diff --git a/.dockerignore b/.dockerignore index bc16e556..f132f7d1 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,6 @@ __pycache__ node_modules evidence .DS_Store +research +student-tests +tests diff --git a/.env.example b/.env.example index d99d26a2..9fe74620 100644 --- a/.env.example +++ b/.env.example @@ -18,3 +18,13 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 +# Implementation knobs (compose.yaml interpolation), see REPORT.md: +LB_PORT=8080 +DB_POOL_MAX=8 +API_CPUS=1 +API_MEMORY=256m +DB_CPUS=2 +SHUTDOWN_DRAIN_MS=2500 +# Reconciler DB <-> S3: never touches pending rows / unreferenced objects younger than grace. +RECONCILE_GRACE_SECONDS=900 +RECONCILE_INTERVAL_SECONDS=300 diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..5660bac9 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,11 @@ +# Node 24 исполняет .ts напрямую (type stripping), отдельной сборки нет; типы проверяет `npm run typecheck`. +FROM node:24.22.2-alpine3.24 +WORKDIR /app +ENV NODE_ENV=production +COPY package.json package-lock.json ./ +RUN npm ci --omit=dev && npm cache clean --force +COPY src ./src +USER node +EXPOSE 8080 +# node работает как PID 1 и сам обрабатывает SIGTERM (graceful shutdown в src/main.ts). +CMD ["node", "src/main.ts"] diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..a81f6f68 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,273 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Морару С. С., БПИ2303 +- Целевая оценка: **5**, трек 2 «Согласованность двух хранилищ» +- Commit/PR: ветка `solution/bpi2303-moraru` (fork `s.s.moraru/mtusi2026lab4` и PR — при публикации) +- Источники: Node.js 24 (`node:http`, `node:crypto`, `node:zlib`, `node:stream`), `pg` 8.23.1, `@aws-sdk/client-s3` 3.1152.0, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; спецификации PNG (ISO/IEC 15948) и JPEG (ITU-T T.81) — для потокового валидатора; документация S3 PutObject/ListObjectsV2. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Prerequisites: Docker Engine + Compose v2 (проверено Docker 29.8.2, Compose 5.5.0, OrbStack), Python 3.9+ (тесты), OpenSSL. Образы: `node:24.22.2-alpine3.24`, `postgres:18.6-alpine`, `haproxy:3.2.26-alpine`, `chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d`. + +```sh +scripts/init-secrets.sh # .env из .env.example; secrets/ (вне Git): пароль БД, 3 пары S3-ключей, s3_identities.json +docker compose --env-file .env up -d --build --wait # postgres, seaweedfs → s3 → migrate + s3-init (one-shot) → api ×2, reconciler → lb +make test # LB на 127.0.0.1:${LB_PORT:-8080} +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker compose start api # вернуть остановленную реплику; для другой цели — повторить тест +docker compose stop # безопасная остановка, данные остаются в volumes +docker compose down -v # намеренное удаление учебных данных (volumes pgdata и s3data) +``` + +На стенде автора порты 8080 и 8090 заняты другими стендами, поэтому в `.env`: `LB_PORT=8094`, `LB_STATS_PORT=8414`, и все команды с `BASE_URL=http://localhost:8094` (`--base-url` у скриптов). Типы: `npm ci && npm run typecheck` (Node 24 исполняет `.ts` напрямую, сборки нет). Полная схема: `python3 -m venv .venv && .venv/bin/python -m pip install -r requirements-dev.txt && make validate PYTHON=.venv/bin/python`. + +Собственные проверки (Python stdlib; скрипты с Docker управляют только compose-проектом этого каталога): + +```sh +python3 student-tests/attachments.py --base-url http://localhost:8094 # 43 негативных/граничных загрузки, ACL, привязка к сообщениям +python3 student-tests/failures.py --base-url http://localhost:8094 # обрыв загрузки, S3 stop/pause, down + up +scripts/check-s3-security.sh # приватный bucket, права ключей, закрытые порты, повтор s3-init +python3 student-tests/idempotency_race.py --base-url http://localhost:8094 # из lab3 +python3 research/upload_memory.py --base-url http://localhost:8094 # 1/10/20/40 одновременных загрузок по 9.9 MiB +python3 research/reconcile_faults.py --base-url http://localhost:8094 # трек 2: матрица внедрённых ошибок +python3 research/reconcile_concurrency.py --base-url http://localhost:8094 # трек 2: reconciler во время загрузок +python3 research/reconcile_cost.py --base-url http://localhost:8094 # трек 2: стоимость обхода 1k/10k/50k +``` + +Reconciler (сервис `reconciler` выполняет `--apply` каждые `RECONCILE_INTERVAL_SECONDS`=300 с при `RECONCILE_GRACE_SECONDS`=900 с); вручную: + +```sh +docker compose run --rm --no-deps reconciler node src/main.ts reconcile # dry-run: только отчёт +docker compose run --rm --no-deps reconciler node src/main.ts reconcile --apply # исправить +docker compose run --rm --no-deps reconciler node src/main.ts reconcile --apply --verify # + сверить SHA-256 всех объектов +``` + +Оператору: никаких ручных действий, кроме `init-secrets.sh`. Ключи и пароль не печатаются ни скриптами, ни тестами. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +клиент ─► lb (HAProxy, 127.0.0.1:LB_PORT) ─► api × 2 ─┬─► postgres (пользователи, сессии, чаты, сообщения, метаданные вложений) + └─► s3 :9000 (S3-шлюз SeaweedFS: подпись SigV4, права identities) + └─► seaweedfs (master + volume + filer, volume s3data) + reconciler (раз в 5 мин) ─► postgres + s3 migrate, s3-init — one-shot до старта реплик +сети: frontend (lb) │ backend internal (lb, api, postgres, s3, one-shot, reconciler) │ storage internal (s3, seaweedfs) +``` + +| Роль | Сервис | Образ | Health / readiness | Volume | Сеть, порт | Credentials (Docker secrets) | +| --- | --- | --- | --- | --- | --- | --- | +| LB | `lb` | haproxy:3.2.26-alpine | проверяет `/health/ready` реплик раз в 1 с | — | frontend + backend; 127.0.0.1:LB_PORT, stats 127.0.0.1:LB_STATS_PORT | — | +| API × 2 | `api` | messenger-lab4-app:dev (из исходников) | `/health/ready` = процесс + `SELECT 1` | нет; корневая ФС `read_only` | backend, 8080 не опубликован | `database_url`, `s3_api_*` | +| PostgreSQL | `postgres` | postgres:18.6-alpine | `pg_isready` | `pgdata` | backend | `postgres_password` | +| S3-шлюз | `s3` | seaweedfs 4.48 @digest | `GET /healthz` :9000 | — | storage + backend, :9000 не опубликован | `s3_identities.json` (только у него) | +| Хранилище S3 | `seaweedfs` | seaweedfs 4.48 @digest | filer :8888 | `s3data` | только storage | — | +| Схема БД | `migrate` | app, one-shot | exit 0 | — | backend | `database_url` | +| Bucket | `s3-init` | app, one-shot | exit 0 | — | backend | `s3_admin_*` | +| Сверка | `reconciler` | app | JSON-итог каждого прохода в логе | — | backend | `database_url`, `s3_reconciler_*` | + +- **Выбор S3.** MinIO не воспроизводится из чистого clone: репозитории `minio/minio` и `minio/mc` удалены с Docker Hub (API registry отвечает `object not found`) и с quay.io. Взят **SeaweedFS 4.48** (релиз 2026-09-28), закреплён по digest. RustFS 1.0.x тоже доступен, но пользователи и политики у него создаются клиентом `rc` неясной зрелости; у SeaweedFS identities задаются декларативным JSON, который генерирует `init-secrets.sh`. +- **Изоляция.** HTTP-интерфейсы SeaweedFS (filer :8888, master :9333, volume :8080) не проверяют подпись S3. Поэтому `seaweedfs` живёт только в internal-сети `storage`, куда подключён один `s3`-шлюз. Из контейнера API они недоступны ни по имени, ни по IP. Наружу опубликован только LB, консоли не опубликованы. +- **Права S3** — три identity: + - `admin`: Admin/Read/List/Write; ключ есть только у `s3-init`; + - `api`: только `Read:` и `Write:messenger-attachments`; без листинга, без создания bucket, без доступа к другим bucket; + - `reconciler`: то же, плюс `List`. + + Анонимной identity нет: запрос без подписи получает 403. В контейнере ключи всегда лежат в `/run/secrets/s3_access_key_id` и `/run/secrets/s3_secret_access_key`; compose монтирует туда пару своего сервиса (`secrets: target`). +- **Bootstrap.** `s3-init` выполняет `CreateBucket`; ответ `BucketAlreadyOwnedByYou` значит «exists», поэтому повтор безопасен. Повторный запуск `migrate`/`s3-init` из `restart.sh` и `up` ничего не меняет. Миграции работают как в lab3: `schema_migrations` + advisory lock. +- **Схема** `002_attachments.sql` только добавляет объекты, версия lab3 на ней продолжает работать. + - Таблица `attachments`: `state` ∈ pending/ready/lost, `object_key text COLLATE "C" UNIQUE`, `size_bytes`, `sha256`, `width`, `height`. + - Таблица `message_attachments` с **составным FK** `(chat_id, attachment_id) → attachments(chat_id, id)`. БД сама не даёт прикрепить вложение другого чата и удалить строку вложения, на которое ссылается сообщение. +- **Загрузка и транзакционные границы** (`src/modules/attachments.ts`): + 1. До чтения тела проверяются: сессия → участник (иначе 404) → `filename` (400) → `Content-Type` (415) → `Content-Length` (обязателен, иначе 400; больше 10 MiB → 413). + 2. `INSERT … pending` с ключом `originals/`, `COMMIT`. Это запись-намерение. + 3. Поток `запрос → валидатор + SHA-256 → S3 PUT` с `ContentLength`. Обратное давление: следующий кусок не читается из сокета, пока S3 не принял предыдущий. Последний кусок уходит в S3 только после полной проверки файла, поэтому невалидный файл не становится объектом. + 4. `UPDATE pending → ready` → `201`. + + Ошибка на шагах 3–4 сразу даёт 4xx/503, а компенсация идёт **в фоне**, чтобы клиент не ждал зависший S3: сначала `DELETE` pending-строки, затем объекта. Если строка уже ready (COMMIT прошёл, а до API дошла ошибка), объект принадлежит готовому вложению и не удаляется. Если процесс умер или компенсация не удалась, остаётся pending-строка с ключом или объект без строки, их убирает reconciler. **Инвариант:** строка всегда создаётся раньше объекта, поэтому объект без строки — всегда мусор. +- **Потоковый валидатор** (`src/modules/images.ts`), только stdlib. + - PNG: сигнатура; порядок chunk; CRC32 каждого chunk (`zlib.crc32`); неизвестные критические chunk; PLTE для палитры, длина PLTE кратна 3 и ≤ 256 цветов; IDAT подряд; IEND последний и без хвоста. Поток zlib из IDAT распаковывается со счётчиком, вывод выбрасывается, а объём сверяется с вычисленным из IHDR (с учётом Adam7). Первый байт каждой строки (каждого прохода Adam7) — тип фильтра, допустимы только 0–4. Это ловит повреждения, усечение, недопустимые фильтры и zip-бомбы. + - JPEG: SOI; цепочка сегментов; ровно один SOF до SOS; энтропийные данные со stuffing и RSTn; обязательный EOI. Хвост после EOI допустим (MPF, «живые» фото). + - JPEG, заголовки — те же проверки, на которых останавливается libjpeg-turbo (декодер Pillow и браузеров): + - SOF baseline/extended/progressive, Huffman или arithmetic; lossless и hierarchical — 415; + - 8 бит, 1/3/4 компонента с уникальными id, прореживание 1–4 с целым отношением к максимальному; + - DQT и DHT корректны: длины, номера таблиц 0–3, коды Хаффмана не переполняют пространство, символы DC ≤ 15; + - каждый SOS ссылается на компоненты кадра, их таблица квантования уже определена; + - таблицы Хаффмана 2–3 должны быть определены; 0–1 libjpeg-turbo при отсутствии заменяет стандартными, поэтому они необязательны; + - MCU ≤ 10 блоков, параметры progressive-скана допустимы; + - скан не пустой. + - Проверено на наборе файлов из cjpeg и ImageMagick (baseline 4:2:0/4:2:2/4:4:4, grayscale, CMYK, progressive, restart, arithmetic; PNG всех типов цвета и глубин, interlace). Результат совпадает с `djpeg` и libpng: корректные приняты, файлы без DQT, с фильтром 5 и с неверной PLTE отвергнуты. Единственное сознательное расхождение — lossless JPEG. + - Лимит 40 млн пикселей проверяется по IHDR/SOF до распаковки (413). Состояние валидатора — несколько чисел и до 13 байт хвоста, файл целиком нигде не хранится. +- **Скачивание.** Доступ проверяется через `JOIN chat_members`: посторонний получает 404. Байты идут потоком из S3, без redirect, с `Content-Type` из метаданных, `Content-Length` и `X-Content-Type-Options: nosniff`. `variant=original` по умолчанию; `thumbnail`/`crop`/`optimized` → 404, иное значение → 400. +- **Сообщения.** + - `attachment_ids`: 0–10 уникальных UUID, все `ready` и из этого чата, иначе 404. Пустой `text` допустим только с вложениями. + - Hash идемпотентности: без вложений тот же, что в lab3; с вложениями — 64 байта (sha(text) ‖ sha(ids)), поэтому отсутствие поля = `[]`. + - Ключ, сообщение и связи вставляются одним SQL-оператором. История и повтор возвращают `attachment_ids` в исходном порядке. +- **Readiness** зависит только от PostgreSQL. Если бы S3 входил в readiness, его отказ вывел бы из LB все реплики и остановил текстовый чат. Сейчас при недоступном S3 вложения отвечают 503, остальное работает (см. «Отказы»). +- **Таймауты.** + - S3: подключение 1 с; простой сокета 8 с (`throwOnRequestTimeout`), это меньше `timeout server` HAProxy (10 с). При зависшем S3 клиент получает 503 от API, а не 504 от LB. + - `maxAttempts: 1`: потоковое тело нельзя отправить повторно. + - Node: `requestTimeout` 60 с (10 MiB на медленном канале), заголовки — 5 с. +- **Лимиты ресурсов:** api 1 CPU / 256 MiB; `s3` 1 CPU / 768 MiB и `-concurrentUploadLimitMB=256` (по результату эксперимента памяти); seaweedfs 1 CPU / 512 MiB; postgres 2 CPU / 1 GiB; reconciler и one-shot 0.5 CPU / 128 MiB. +- **Нет локального оригинала на API.** Корневая ФС контейнеров приложения `read_only`, volumes у `api` нет, тело не буферизуется ни в памяти, ни на диске. +- **Перенесено из lab3:** + - весь API: пользователи, scrypt, сессии в PostgreSQL, чаты, keyset-пагинация, идемпотентность; + - HAProxy-конфиг, graceful drain, `stop-one.sh`, `idempotency_race.py`. +- **Изменено по сравнению с lab3:** + - `Ctx` получил `s3` и `config`, `Result` может быть потоком байтов; + - `createPool(url, max)`; `mediaType()`; ошибки `tooLarge`/`unsupported`; + - история возвращает `attachment_ids`; + - `restart.sh` перезапускает и SeaweedFS (`s3`, `seaweedfs`), `init-secrets.sh` дописывает S3-ключи к существующим секретам; + - образ назван `messenger-lab4-app:dev`: на общем Docker-host чужой стенд уже собирал образ с тегом `messenger-api:lab4`. +- **Переменные `.env.example`.** + - Используются как есть: `APP_HOST`, `APP_PORT`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `API_REPLICAS`, `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`. + - `SESSION_STORE=postgres`. `CACHE_URL_FILE` не используется: Redis нет. `APP_ENV` не используется. + - `IDEMPOTENCY_TTL_SECONDS`: ключи хранятся бессрочно, требование ≥ 24 ч выполнено, очистка — в ограничениях. + - Ручки реализации: `LB_PORT`, `LB_STATS_PORT`, `DB_POOL_MAX`, `API_CPUS`, `API_MEMORY`, `DB_CPUS`, `SHUTDOWN_DRAIN_MS`, `RECONCILE_GRACE_SECONDS`, `RECONCILE_INTERVAL_SECONDS`. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +Все прогоны: 2026-10-30–31, Apple M3 Pro (11 ядер, 18 GiB), OrbStack, `BASE_URL=http://localhost:8094`. -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл | +| --- | --- | --- | --- | +| Публичный smoke | `make check`, `make validate`, `make test` | PASS lab4 public API scenario: 201 ready, SHA-256 оригинала, download вторым участником, 404 постороннему для метаданных и байтов | evidence/level3/public-checks.txt | +| 3: возможности lab3 сохранены | `make test` (сценарий lab1–3), `idempotency_race.py --parallel 64`, failover | PASS; 64 параллельных POST с одним ключом через обе реплики: 32 × 201 с одним и тем же сообщением, 32 × 409, в истории одно сообщение | evidence/level3/public-checks.txt, idempotency-race.txt | +| 3: S3 в стенде, метаданные в PostgreSQL, байты в приватном bucket, не в БД/API | `compose.yaml`, `check-s3-security.sh` | анонимные GET/LIST/PUT к S3 → 403; у `api` нет volumes, корневая ФС read-only | evidence/level4/s3-security.txt | +| 3: реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения | `student-tests/attachments.py` | JPEG и PNG 9.9 MiB → 201; ровно 40 000 000 px → 201; 40 006 400 px, 10 MiB + 1 байт → 413; подмена MIME, PNG с фильтром строки 5, JPEG без таблиц DQT/DHT и данных скана → 415; `../`, `/`, `\`, NUL, управляющие → 400; 0 ответов 5xx | evidence/level4/attachments.txt | +| 3: upload → остановка обслужившей реплики → download через другую | `make test-failover`: цель api-2, затем api-1, затем снова api-2 | PASS все 3 прогона, 0 неудачных записей, восстановление 3.9–6.2 с; файл скачан через оставшуюся реплику; в логе lb `Server api/apiN is DOWN` | evidence/level3/public-checks.txt | +| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence` (hook 53 с); `failures.py` (down + up) | PASS с прежним токеном; `StartedAt` изменился у всех 9 контейнеров; после down/up метаданные равны, sha256 совпал | evidence/level3/persistence-*.txt, evidence/level4/failures.txt | +| 4: тесты большого, повреждённого, подменённого файла, чужого attachment_id, вложения другого чата; не 500 | `student-tests/attachments.py` | 43 случая upload + ACL + привязка: чужое/смешанное/несуществующее → 404, дубль/11 шт/не UUID → 400; 5xx нет | evidence/level4/attachments.txt | +| 4: прерывание и отказ между S3 и БД не оставляют вечных объектов; компенсация + сверка с grace | `failures.py` (обрыв клиента, S3 stop/pause), `reconcile_faults.py` (COMMIT упал; COMMIT прошёл, ответ потерян; реплика убита между PUT и COMMIT) | обрыв и S3 stop: компенсация удалила строки, объектов нет, сверка пуста; pause: буферизованный PUT «воскрес» → orphan_object, убран reconciler-ом, повтор пуст; COMMIT прошёл, ответ потерян → объект ready-вложения цел | evidence/level4/failures.txt, evidence/track2/faults.txt | +| 4: потоковая обработка, лимиты/таймауты, ≥ 10 одновременных загрузок с пиком памяти | `research/upload_memory.py` | 40 × 9.9 MiB: 40/40 201, пик реплики 63 MiB при лимите 256 MiB (+23 MiB к фону) | evidence/level4/upload-memory.txt | +| 4: идемпотентный bootstrap, отдельные ограниченные ключи, консоль закрыта, private bucket вне API | `scripts/check-s3-security.sh` | повторный s3-init → `exists`; `api`: List/CreateBucket/чужой bucket → 403; filer/master/volume недоступны из API; опубликован только lb | evidence/level4/s3-security.txt | +| 5, трек 2: внедрение ошибок с обеих сторон, обнаружение, dry-run, безопасное исправление, повтор | `research/reconcile_faults.py` | 9 внедрённых расхождений найдены точно; dry-run не меняет БД и S3; `--apply --verify` исправил 9; повтор — 0 | evidence/track2/faults.txt | +| 5, трек 2: свежие и используемые вложения не удаляются | `reconcile_faults.py`, `reconcile_concurrency.py` | свежие P3/O2 целы до истечения grace; используемые B/D/F → lost, ссылки целы, DELETE отклонён FK; 4674 загрузки под 19 проходами `--apply` (grace 1 с) целы | evidence/track2/faults.txt, concurrency.txt | +| 5, трек 2: стоимость обхода | `research/reconcile_cost.py` | см. таблицу в разделе трека | evidence/track2/cost.md, cost.jsonl | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### Память при одновременных загрузках -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +**Гипотеза:** загрузка идёт потоком с обратным давлением, поэтому память реплики растёт много меньше, чем N × размер файла. При буферизации 20 файлов по 10 MiB на реплику понадобилось бы ≥ 200 MiB при лимите 256 MiB. + +**Методика** (`research/upload_memory.py`): +- перед каждым уровнем реплики перезапускаются (новая cgroup), затем прогрев — 4 малые загрузки; +- N потоков по барьеру загружают один и тот же PNG 9.9 MiB из шума (не сжимается) через LB; +- `memory.current` всех api и s3 контейнеров опрашивается каждые 50 мс; +- один прогон на уровень. + +| N | OK / ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | 1/0 | 0.21 | 46.9 | 0.20 / 0.20 | 0 / 1 | 39 / 37 → 47 / 38 | 8.0 | 98 → 139 | +| 10 | 10/0 | 3.49 | 28.4 | 3.44 / 3.46 | 5 / 5 | 41 / 39 → 58 / 53 | 16.6 | 138 → 382 | +| 20 | 20/0 | 5.46 | 36.2 | 5.38 / 5.40 | 10 / 10 | 38 / 37 → 64 / 61 | 25.8 | 385 → 699 | +| 40 | 40/0 | 6.78 | 58.5 | 4.60 / 6.66 | 20 / 20 | 38 / 40 → 60 / 63 | 22.9 | 701 → 768 | + +- **Гипотеза подтверждена для API:** при 20 одновременных загрузках по 9.9 MiB на реплику (≈ 198 MiB данных) пик вырос на ≤ 26 MiB и почти не зависит от N. Остаток — буферы сокетов и zlib, пул соединений к S3, V8. +- **Найденное узкое место — S3-шлюз.** В первом прогоне (`s3` 256 MiB, без ограничений) шлюз упирался в лимит: при N = 10 одна загрузка получила 503, при 20 и 40 — все 503, контейнер перезапустился (evidence/level4/upload-memory-s3-256m-oom.txt). SeaweedFS буферизует чанки по 4 MiB на каждую загрузку. Исправление: лимит 768 MiB и `-concurrentUploadLimitMB=256`, т.е. сверх 256 MB данных в работе новые загрузки ждут. После этого все 71 загрузка успешны. Компенсация в том прогоне (тогда она удаляла сначала объект, потом строку) не могла достучаться до S3, и остались 60 pending-строк. Их нашла и убрала первая же сверка следующего эксперимента (`stale_pending: 60`). Так механизм уровня 4 сработал на непредусмотренном отказе. +- **Ограничения:** один прогон на уровень; клиент, LB, API и S3 на одной машине; `memory.current` включает page cache контейнера; нет пропускной способности на медленных клиентах. + +### Отказы + +| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Клиент рвёт соединение на половине тела | строка pending удалена компенсацией, объекта нет | строк `abort.png` 0, сверка с grace 0 пуста | мгновенно / нет | +| `docker compose stop s3` | вложения 503, текст и метаданные работают, readiness 200 | upload 503 за 1.0–1.2 с (таймаут подключения), download 503, текст 201, метаданные 200, readiness 200; pending-строк 0 — компенсация удалила их сразу, объектов нет | download снова 200 через 0.8 с после `start s3` / нет | +| `docker compose pause s3` (TCP висит) | 503 от API раньше 504 от LB | download и upload 503 за 8.1–8.2 с, текст 201 | сразу после unpause; PUT, буферизованный ядром во время паузы, выполнился после ответа клиенту → orphan_object, убран reconciler-ом | +| COMMIT в PostgreSQL падает после S3 PUT (триггер, `ERRCODE 08006`), процесс жив | 503, фоновая компенсация удаляет строку и объект | 503, строк 0, сверка не нашла лишних объектов | мгновенно / нет | +| COMMIT прошёл, а API получил ошибку (триггер: строка становится ready, UPDATE API затрагивает 0 строк) | 503; компенсация видит ready-строку и объект не трогает | 503; строка ready, объект 111 817 байт на месте, скачивается с исходным sha256. До исправления порядка компенсации объект удалялся (evidence/track2/ack-lost-before-fix.txt) | — / нет | +| Реплика убита `docker kill` во время COMMIT после S3 PUT | клиент получает ошибку, остаются pending + объект, reconciler убирает | 502 от LB, строка pending, объект 111 817 байт; `stale_pending` → строка и объект удалены | через grace (900 с в стенде; 30 с в тесте) / нет | +| `make test-failover` (SIGTERM одной реплики) | запись продолжается, файл доступен через другую | 0 ошибок, восстановление 3.9–6.2 с | 4–6 с (drain 2.5 с) / нет | +| `scripts/restart.sh` (lb, api, reconciler, postgres, seaweedfs, s3) и `docker compose down` + `up` | данные и токен сохранены | PASS; sha256 оригинала совпал | 53 с на hook (около 20 с из них — остановка SeaweedFS) / нет | + +## Трек 2. Согласованность двух хранилищ + +**Гипотеза.** Ниже два инварианта: «строка создаётся раньше объекта» и «строки ready/lost не удаляются, только помечаются». При них повторяемый reconciler с grace period обнаружит любое расхождение БД ↔ S3, никогда не удалит используемое или свежее вложение, а стоимость его обхода растёт линейно по числу объектов при постоянной памяти. + +**Reconciler** (`src/reconcile.ts`): +- режимы: по умолчанию dry-run; `--apply` исправляет; `--verify` дополнительно скачивает объекты и сверяет SHA-256; +- `pg_try_advisory_lock`: две сверки одновременно не идут; +- момент начала `t0` берётся из часов БД; +- объекты листинга S3 (`originals/`) и строки БД, оба отсортированных побайтово (`COLLATE "C"`), сливаются **merge join** страницами по 1000. Если S3 нарушит порядок ключей, обход останавливается, а не удаляет лишнее. + +| Находка | Условие | Действие `--apply` | Почему безопасно | +| --- | --- | --- | --- | +| stale_pending | pending старше grace | DELETE строки (с повтором условия), затем объекта | grace 900 с ≫ таймаут загрузки 60 с; поздний UPDATE не найдёт строку → 503 и компенсация | +| orphan_object | объект без строки старше grace | удалить объект | строка всегда раньше объекта; ключ случайный — строка для него уже не появится | +| missing_object | ready без объекта (повторно проверено HEAD) | ready → lost | метаданные и ссылки сохраняются; API отвечает 404 | +| size_mismatch | размер объекта ≠ size_bytes | ready → lost | то же; объект не трогаем, он может понадобиться для расследования | +| checksum_mismatch | `--verify`: SHA-256 ≠ sha256 | ready → lost | то же | +| restored | lost, объект на месте и SHA-256 совпал | lost → ready | карантин обратим | + +Строки, изменённые после `t0`, и объекты моложе grace не проверяются. Конкурентная загрузка не может быть принята за потерю или мусор. + +**Методика и результаты.** + +1. **Матрица ошибок** (`research/reconcile_faults.py`, grace 30 с, фоновый reconciler остановлен). Сначала база очищается до 0 находок. Вложения A, B, D, F используются сообщениями, C и E — нет. Внедрено: + - на стороне S3 (ключом reconciler в обход API): объект B удалён; C подменён другим размером; D подменён тем же размером; F удалён (с резервной копией вне `originals/`); добавлен O1 — объект без строки; + - на стороне БД: строка E удалена; P1 и P2 — pending «час назад», у P2 есть объект; + - настоящие отказы через триггер: COMMIT падает после S3 PUT; COMMIT прошёл, но API получил ошибку (ack-lost: вложенный UPDATE делает строку ready, а UPDATE API затрагивает 0 строк); реплика убита `docker kill` во время COMMIT (CR). + + Результат: + - dry-run нашёл ровно 8 ожидаемых находок (stale_pending P1/P2/CR, orphan_object E/O1, missing_object B/F, size_mismatch C); + - `--verify` добавил checksum_mismatch D; + - отпечаток всех строк (count + md5) и число объектов после dry-run не изменились; + - `--apply --verify` исправил 9, повторный `--verify` — 0; + - A скачивается с тем же sha256; B, C, D, F → lost (API 404), ссылки сообщений на B/D/F на месте, `DELETE` строки B отклонён FK; + - объект F вернули — `restored`, F снова скачивается; + - свежие P3/O2 пережили `--apply` (`fresh_skipped=1`) и были убраны после истечения grace; + - ack-lost: API ответил 503, строка ready, объект на месте и скачивается с исходным sha256, находок по нему нет. + + Случай ack-lost добавлен после ревью кода. Компенсация удаляла сначала объект и только потом pending-строку, поэтому при потерянном ответе на COMMIT готовое вложение теряло оригинал, а reconciler затем помечал его lost. На старом коде матрица падает ровно на этом шаге (evidence/track2/ack-lost-before-fix.txt). Исправление в `discard()`: сначала `DELETE … WHERE state = 'pending'`; объект удаляется, только если строка удалена или её нет. +2. **Конкурентность** (`research/reconcile_concurrency.py`). 25 с: 4 потока загружают через API (каждое 5-е вложение сразу прикрепляется к сообщению), параллельно `reconcile --apply --grace=1 --every=1`. + + Результат: **4674 загрузки, все 201; 19 проходов сверки**. Каждое подтверждённое вложение после теста ready и скачивается с исходным sha256, итоговая сверка пуста. Единственная находка за время гонки — заведомо медленная загрузка (~4 с > grace): reconciler убрал её pending-строку, клиент получил 503, ни строки, ни объекта не осталось. Это граница метода: grace обязан превышать максимальную длительность загрузки (в стенде 900 с против 60 с). +3. **Стоимость обхода** (`research/reconcile_cost.py`). К текущему набору (~3 000 реальных объектов) добавлялись синтетические ready-вложения по 1 KiB (строка + объект) до 1k / 10k / 50k. На каждом уровне — 3 dry-run (медиана) и `--verify` для 1k/10k. + +| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | --verify, мс | прочитано, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | +| 0 | 3002 / 3007 | 471 | 4 | 6 | 119 | 19 516 | 1 123 | +| 1 000 | 4002 / 4007 | 801 | 5 | 7 | 123 | 21 926 | 1 124 | +| 10 000 | 13 002 / 13 007 | 1 165 | 14 | 16 | 123 | 39 813 | 1 133 | +| 50 000 | 53 002 / 53 007 | 3 032 | 54 | 56 | 116 | — | — | + + - Число запросов строго линейно: `ListObjectsV2 = ⌈N/1000⌉`, к БД — страницы + 2. + - Время dry-run растёт примерно на 47 мкс на объект (13k → 53k: +1.9 с). Экстраполяция на 1 млн объектов — около 1 мин. + - **Память постоянна:** 116–123 MiB на всех уровнях — это фон Node + SDK. Merge join держит по одной странице с каждой стороны. Гипотеза о линейной стоимости при постоянной памяти подтверждена. + - `--verify` стоит по байтам и запросам: 1.1 GiB за 19.5 с, а 10 000 мелких объектов добавили 20 с (≈ 2 мс на GET). Поэтому периодический проход сравнивает только наличие и размер, а полную сверку SHA-256 запускают редко и вручную. + - Подробности и сырьё: evidence/track2/cost.md, cost.jsonl. + +**Ограничения.** +- Один host и одна машина для клиента и стенда; для каждого уровня стоимости 3 прогона, для `--verify` — один. +- Глубокий режим читает все байты bucket. Lost-объекты того же размера перехешируются на каждом проходе. +- Поддерживается только префикс `originals/`. +- Часы S3 и БД — одного host; при разных часах grace надо увеличивать на расхождение. +- `missing_object` для строки, ставшей ready ровно между листингом и HEAD, отсекается проверкой `settled` (`updated_at < t0`). ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Выдерживается: + - отказ одного процесса API; + - недоступность или зависание S3: деградируют только вложения; + - обрыв загрузки, отказ COMMIT после PUT, потерянный ответ на COMMIT, гибель процесса между PUT и COMMIT. +- Не выдерживается: + - отказ LB, PostgreSQL, SeaweedFS как единственного экземпляра (без репликации, один volume server); + - отказ host. +- Потерянный объект нельзя восстановить, если нет копии. Reconciler только помечает его `lost`. +- Загрузка требует `Content-Length`: chunked → 400. Поток в S3 PUT без длины потребовал бы multipart. +- Валидатор JPEG проверяет заголовки и таблицы так же строго, как libjpeg-turbo, но не декодирует энтропийные данные. Битые коэффициенты или короткий скан при целой структуре пройдут: libjpeg и Pillow считают это предупреждением и декодируют файл с серыми блоками. Полное декодирование — в worker lab5. +- Lossless JPEG (SOF3) отвергается (415), хотя libjpeg-turbo 3 его декодирует: для фото-вложений это редкий формат, а проверка его предикторов — отдельная ветка. +- Ключи идемпотентности не удаляются (из lab3). +- Дальше: + - presigned upload (трек 1) поверх тех же pending/reconciler; + - inventory-отчёты S3 вместо полного листинга при миллионах объектов; + - кэш результата `--verify` по ETag/LastModified; + - версионирование bucket для отката ошибочных удалений. + +## Ответы на вопросы защиты + +- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, при остановке реплики файл недоступен (failover-тест скачивает через другую реплику), у volume нет API с правами доступа и учёта. S3 — общий сервис с собственной долговечностью и ACL. +- **Когда можно честно вернуть 201?** Только когда весь файл проверен, S3 подтвердил PUT (объект полностью записан) и COMMIT перевёл строку в ready. Здесь 201 возвращается после `UPDATE … RETURNING`, а последний кусок уходит в S3 только после полной проверки формата. +- **Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?** Клиент получает 503 (или 502, если процесс умер), строка остаётся pending. Если процесс жив, фоновая компенсация удаляет pending-строку, затем объект. Если нет, reconciler через grace удалит строку и объект (`stale_pending`). Обратный случай — COMMIT прошёл, но ответ до API не дошёл: строка уже ready, компенсация это видит и объект не трогает. Все три случая воспроизведены в `reconcile_faults.py`. +- **Почему случайный object key и приватный bucket не заменяют ACL приложения?** Ключ — не секрет: он попадает в логи, бэкапы, ответы, его знают все, у кого есть доступ к хранилищу. Приватный bucket защищает только от анонимного доступа к S3, но не отличает участника чата от постороннего пользователя API. Право видеть файл решается в приложении (членство в чате, 404 постороннему), а ключ наружу не выдаётся вообще. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..bf2543e3 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,193 @@ +# Клиент → lb (HAProxy) → api × N → postgres (метаданные) + s3 (SeaweedFS: приватный bucket с байтами вложений). +# Запуск: scripts/init-secrets.sh && docker compose --env-file .env up -d --build (см. REPORT.md) +name: messenger-lab4 + +x-app: &app + build: . + image: messenger-lab4-app:dev # уникальное имя: на общем Docker-host не перепутать с чужими стендами + read_only: true # корневая ФС только для чтения: сохранить оригинал локально API физически не может + networks: [backend] + +x-s3-env: &s3-env + S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + +x-seaweedfs: &seaweedfs + image: chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d + restart: unless-stopped + stop_grace_period: 20s + +services: + postgres: + image: postgres:18.6-alpine + command: ["postgres", "-c", "max_connections=200", "-c", "shared_buffers=256MB"] + environment: + POSTGRES_USER: messenger + POSTGRES_DB: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: [postgres_password] + volumes: [pgdata:/var/lib/postgresql] + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 2s + timeout: 2s + retries: 15 + deploy: + resources: + limits: { cpus: "${DB_CPUS:-2}", memory: 1g } + stop_grace_period: 30s + restart: unless-stopped + networks: [backend] + + # Хранилище SeaweedFS: master + volume + filer, данные в volume s3data. Только во внутренней сети storage: + # его HTTP-интерфейсы (master :9333, filer :8888, volume :8080) не требуют подписи S3 и недоступны даже из API. + seaweedfs: + <<: *seaweedfs + command: ["server", "-dir=/data", "-ip=seaweedfs", "-ip.bind=0.0.0.0", "-filer", "-master.volumeSizeLimitMB=1024"] + volumes: [s3data:/data] + healthcheck: + test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8888/"] + interval: 2s + timeout: 2s + retries: 30 + start_period: 5s + deploy: + resources: + limits: { cpus: "1", memory: 512m } + networks: [storage] + + # S3-шлюз — единственный путь к байтам: проверяет SigV4 и права identities (secrets/s3_identities.json). + # Встроенный IAM API, Iceberg и Lance выключены; порт не опубликован на хост. + s3: + <<: *seaweedfs + # concurrentUploadLimitMB: шлюз буферизует чанки (4 MiB) каждой загрузки; сверх лимита новые загрузки ждут, + # а не выводят шлюз за лимит памяти (эксперимент research/upload_memory.py: при 256m без лимита — OOM). + command: ["s3", "-filer=seaweedfs:8888", "-port=9000", "-config=/run/secrets/s3_identities", + "-iam=false", "-port.iceberg=0", "-port.lance=0", "-concurrentUploadLimitMB=256"] + secrets: [s3_identities] + depends_on: + seaweedfs: { condition: service_healthy } + healthcheck: + test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:9000/healthz"] + interval: 2s + timeout: 2s + retries: 30 + deploy: + resources: + limits: { cpus: "1", memory: 768m } + networks: [storage, backend] + + # Одноразовые сервисы до старта реплик: схема БД (advisory lock) и bucket (повторный запуск ничего не меняет). + migrate: + <<: *app + command: ["node", "src/main.ts", "migrate"] + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: [database_url] + restart: "no" + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + depends_on: + postgres: { condition: service_healthy } + + s3-init: + <<: *app + command: ["node", "src/main.ts", "s3-init"] + environment: *s3-env + secrets: + - { source: s3_admin_access_key_id, target: s3_access_key_id } + - { source: s3_admin_secret_access_key, target: s3_secret_access_key } + restart: "no" + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + depends_on: + s3: { condition: service_healthy } + + api: + <<: *app + environment: + <<: *s3-env + DATABASE_URL_FILE: /run/secrets/database_url + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DB_POOL_MAX: ${DB_POOL_MAX:-8} + SHUTDOWN_DRAIN_MS: ${SHUTDOWN_DRAIN_MS:-2500} + MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} + MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} + secrets: + - database_url + - { source: s3_api_access_key_id, target: s3_access_key_id } + - { source: s3_api_secret_access_key, target: s3_secret_access_key } + depends_on: + migrate: { condition: service_completed_successfully } + s3-init: { condition: service_completed_successfully } + healthcheck: + test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8080/health/ready"] + interval: 2s + timeout: 2s + retries: 3 + start_period: 10s + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: { cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-256m}" } + stop_grace_period: 15s + restart: unless-stopped # упавшая реплика поднимается сама; после `docker stop` остаётся остановленной + + # Периодическая сверка БД ↔ S3 с grace period (src/reconcile.ts). Свои S3-ключи: объекты + листинг bucket. + reconciler: + <<: *app + command: ["node", "src/main.ts", "reconcile", "--apply", "--every=${RECONCILE_INTERVAL_SECONDS:-300}"] + environment: + <<: *s3-env + DATABASE_URL_FILE: /run/secrets/database_url + RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-900} + secrets: + - database_url + - { source: s3_reconciler_access_key_id, target: s3_access_key_id } + - { source: s3_reconciler_secret_access_key, target: s3_secret_access_key } + depends_on: + migrate: { condition: service_completed_successfully } + s3-init: { condition: service_completed_successfully } + deploy: + resources: + limits: { cpus: "0.5", memory: 128m } + restart: unless-stopped + + lb: + image: haproxy:3.2.26-alpine + volumes: ["./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro"] + ports: + - "127.0.0.1:${LB_PORT:-8080}:8080" + - "127.0.0.1:${LB_STATS_PORT:-8404}:8404" # статистика HAProxy для оператора, это не API + depends_on: + api: { condition: service_healthy } + deploy: + resources: + limits: { cpus: "${LB_CPUS:-1}", memory: 128m } + restart: unless-stopped + networks: [frontend, backend] + +networks: + frontend: {} + backend: { internal: true } # api, postgres и s3-шлюз недоступны с хоста и не имеют выхода наружу + storage: { internal: true } # внутренние компоненты SeaweedFS видит только s3-шлюз + +volumes: + pgdata: {} + s3data: {} + +secrets: + database_url: { file: ./secrets/database_url } + postgres_password: { file: ./secrets/postgres_password } + s3_identities: { file: ./secrets/s3_identities.json } + s3_admin_access_key_id: { file: ./secrets/s3_admin_access_key_id } + s3_admin_secret_access_key: { file: ./secrets/s3_admin_secret_access_key } + s3_api_access_key_id: { file: ./secrets/s3_api_access_key_id } + s3_api_secret_access_key: { file: ./secrets/s3_api_secret_access_key } + s3_reconciler_access_key_id: { file: ./secrets/s3_reconciler_access_key_id } + s3_reconciler_secret_access_key: { file: ./secrets/s3_reconciler_secret_access_key } diff --git a/evidence/level3/idempotency-race.txt b/evidence/level3/idempotency-race.txt new file mode 100644 index 00000000..88e8a33c --- /dev/null +++ b/evidence/level3/idempotency-race.txt @@ -0,0 +1,2 @@ +{"parallel": 64, "replicas_hit": 2, "created_201": 32, "conflict_409": 32, "stored_messages": 1} +PASS: concurrent same-key POSTs through different replicas created exactly one message diff --git a/evidence/level3/persistence-after.txt b/evidence/level3/persistence-after.txt new file mode 100644 index 00000000..bb102ff8 --- /dev/null +++ b/evidence/level3/persistence-after.txt @@ -0,0 +1,9 @@ +messenger-lab4-api-1 running 2026-10-30T20:33:48.383931772Z +messenger-lab4-api-2 running 2026-10-30T20:33:48.204468011Z +messenger-lab4-lb-1 running 2026-10-30T20:33:54.105385765Z +messenger-lab4-migrate-1 exited 2026-10-30T20:33:44.009406544Z +messenger-lab4-postgres-1 running 2026-10-30T20:33:07.96054489Z +messenger-lab4-reconciler-1 running 2026-10-30T20:33:48.18220747Z +messenger-lab4-s3-1 running 2026-10-30T20:33:41.342697511Z +messenger-lab4-s3-init-1 exited 2026-10-30T20:33:44.589053894Z +messenger-lab4-seaweedfs-1 running 2026-10-30T20:33:28.064407103Z diff --git a/evidence/level3/persistence-before.txt b/evidence/level3/persistence-before.txt new file mode 100644 index 00000000..d6f94fa0 --- /dev/null +++ b/evidence/level3/persistence-before.txt @@ -0,0 +1,9 @@ +messenger-lab4-api-1 running 2026-10-30T20:32:53.600866465Z +messenger-lab4-api-2 running 2026-10-30T20:32:53.4130002Z +messenger-lab4-lb-1 running 2026-10-30T20:18:26.365040006Z +messenger-lab4-migrate-1 exited 2026-10-30T20:32:50.57728726Z +messenger-lab4-postgres-1 running 2026-10-30T20:17:38.382177837Z +messenger-lab4-reconciler-1 running 2026-10-30T20:32:53.406361682Z +messenger-lab4-s3-1 running 2026-10-30T20:18:11.781864672Z +messenger-lab4-s3-init-1 exited 2026-10-30T20:32:51.057882202Z +messenger-lab4-seaweedfs-1 running 2026-10-30T20:17:58.177043996Z diff --git a/evidence/level3/public-checks.txt b/evidence/level3/public-checks.txt new file mode 100644 index 00000000..2bd30fa0 --- /dev/null +++ b/evidence/level3/public-checks.txt @@ -0,0 +1,37 @@ +# 2026-10-30, ветка solution/bpi2303-moraru, Apple M3 Pro (11 ядер, 18 GiB) / OrbStack, LB_PORT=8094 +# Финальный прогон после всех изменений (read_only rootfs, фоновая компенсация «строка → объект», таймауты S3). +$ npm run typecheck +> tsc + +$ make check +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +$ make validate PYTHON=.venv/bin/python +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +$ make test BASE_URL=http://localhost:8094 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. + +$ python3 student-tests/idempotency_race.py --base-url http://localhost:8094 --parallel 64 +{"parallel": 64, "replicas_hit": 2, "created_201": 32, "conflict_409": 32, "stored_messages": 1} +PASS: concurrent same-key POSTs through different replicas created exactly one message + +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8094 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +took 53 s +# StartedAt до/после: persistence-before.txt / persistence-after.txt — изменился у 9 из 9 контейнеров +# (lb, api-1, api-2, reconciler, postgres, seaweedfs, s3 и повторённые one-shot migrate, s3-init). + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8094 +# между прогонами: docker compose start api; лишний curl /health/live сдвигает round-robin, чтобы целью стала другая реплика +run 1: {"observed_instances_before": 2, "successful_writes": 63, "failed_attempts": 0, "first_recovery_seconds": 6.217} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=running messenger-lab4-api-2=exited +run 2: {"observed_instances_before": 2, "successful_writes": 66, "failed_attempts": 0, "first_recovery_seconds": 4.659} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=exited messenger-lab4-api-2=running +run 3: {"observed_instances_before": 2, "successful_writes": 102, "failed_attempts": 0, "first_recovery_seconds": 3.903} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=running messenger-lab4-api-2=exited +# resilience.py (LAB>=4) загружает sample.png до отказа и после остановки реплики скачивает его через оставшуюся, +# сравнивая байты. Лог lb в момент отказа (api1…api8 — слоты server-template, их заполняет DNS, номер слота не равен +# номеру контейнера; на каждый отказ две записи: readiness 503 во время drain, затем отказ соединения после выхода): +lb-1 | Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 2ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remainin +lb-1 | Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q +lb-1 | Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remainin +lb-1 | Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q +lb-1 | Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 7ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remainin +lb-1 | Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q diff --git a/evidence/level4/attachments.txt b/evidence/level4/attachments.txt new file mode 100644 index 00000000..810ed018 --- /dev/null +++ b/evidence/level4/attachments.txt @@ -0,0 +1,45 @@ +$ python3 student-tests/attachments.py --base-url http://localhost:8094 # 2026-10-31 +real JPEG + unicode filename 201 23 ms +PNG 9.90 MiB (noise 1860x1860) 201 176 ms +PNG ровно 40 000 000 px 201 25 ms +PNG 10.33 MiB > 10 MiB 413 payload_too_large 10 ms +10 MiB + 1 байт 413 payload_too_large 7 ms +PNG 40 006 400 px 413 payload_too_large 10 ms +pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 13 ms +JPEG SOF 10000x10000 413 payload_too_large 6 ms +zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 68 ms +PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 10 ms +PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 8 ms +PNG: данных меньше, чем пикселей 415 unsupported_media_type 10 ms +PNG обрезан 415 unsupported_media_type 8 ms +PNG + данные после IEND 415 unsupported_media_type 9 ms +PNG 1x1: фильтр строки 5 (допустимы 0–4) 415 unsupported_media_type 6 ms +JPEG 27 байт: без DQT/DHT и скана 415 unsupported_media_type 6 ms +JPEG без таблиц квантования DQT 415 unsupported_media_type 7 ms +JPEG обрезан (нет EOI) 415 unsupported_media_type 6 ms +PNG под видом image/jpeg 415 unsupported_media_type 6 ms +JPEG под видом image/png 415 unsupported_media_type 6 ms +GIF под видом image/png 415 unsupported_media_type 6 ms +SVG под видом image/png 415 unsupported_media_type 6 ms +Content-Type image/gif 415 unsupported_media_type 3 ms +Content-Type octet-stream 415 unsupported_media_type 3 ms +пустое тело 415 unsupported_media_type 2 ms +filename '../etc/passwd' 400 invalid_request 2 ms +filename 'a/b.png' 400 invalid_request 2 ms +filename 'a\\b.png' 400 invalid_request 2 ms +filename 'nul\x00.png' 400 invalid_request 2 ms +filename 'tab\t.png' 400 invalid_request 1 ms +filename 'line\n.png' 400 invalid_request 2 ms +filename 'c1\x85.png' 400 invalid_request 3 ms +filename '' 400 invalid_request 2 ms +filename ' ' 400 invalid_request 2 ms +filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 2 ms +без filename 400 invalid_request 2 ms +chunked без Content-Length 400 invalid_request 1 ms +без действительной сессии 401 unauthorized 2 ms +посторонний грузит в чужой чат 404 not_found 2 ms +несуществующий чат 404 not_found 2 ms +chat_id не UUID 400 invalid_request 2 ms +обычный PNG 201 13 ms +PNG в другом чате 201 13 ms +PASS: 43 upload cases, ACL and message linking; no 5xx diff --git a/evidence/level4/failures.txt b/evidence/level4/failures.txt new file mode 100644 index 00000000..2b0ec449 --- /dev/null +++ b/evidence/level4/failures.txt @@ -0,0 +1,22 @@ +$ python3 student-tests/failures.py --base-url http://localhost:8094 # 2026-10-30 +client abort после 55908 из 111817 байт: строк abort.png 0, сверка: {} +S3 stopped: /health/ready (S3 не критичен) 200 13 ms +S3 stopped: upload #1 503 1043 ms +S3 stopped: upload #2 503 1154 ms +S3 stopped: upload #3 503 1078 ms +S3 stopped: download 503 1029 ms +S3 stopped: metadata (только БД) 200 11 ms +S3 stopped: text message 201 19 ms +S3 stopped: message with ready attachment 201 13 ms +pending-строк после 3 неудачных загрузок: 0 +S3 started: download снова 200 через 0.8 s +S3 paused: download (таймаут сокета S3 8 с) 503 8069 ms +S3 paused: upload 503 8229 ms +S3 paused: text message 201 50 ms +S3 unpaused: download снова 200 через 0.1 s +S3 back: upload 201 81 ms +S3 back: download old attachment 200 26 ms +reconcile dry-run --grace=0: {"orphan_object": 1} +reconcile --apply: applied=1; повтор: {} +down + up -d: download with old token 200 95 ms +PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data diff --git a/evidence/level4/s3-security.txt b/evidence/level4/s3-security.txt new file mode 100644 index 00000000..f1b7377b --- /dev/null +++ b/evidence/level4/s3-security.txt @@ -0,0 +1,33 @@ +$ scripts/check-s3-security.sh # 2026-10-30 +PASS анонимный GET объекта: 403 +PASS анонимный LIST bucket: 403 +PASS анонимный PUT объекта: 403 + api GetObject own bucket: allowed + api ListObjectsV2 own bucket: denied (403 AccessDenied) + api CreateBucket other: denied (403 AccessDenied) + api PutObject other bucket: denied (403 AccessDenied) + api PutObject own bucket: allowed + api DeleteObject own bucket: allowed + reconciler GetObject own bucket: allowed + reconciler ListObjectsV2 own bucket: allowed + reconciler CreateBucket other: denied (403 AccessDenied) + reconciler PutObject other bucket: denied (403 AccessDenied) + reconciler PutObject own bucket: allowed + reconciler DeleteObject own bucket: allowed +PASS api GetObject: allowed +PASS api ListObjectsV2 (не нужен API): denied +PASS api CreateBucket: denied +PASS api PutObject в чужой bucket: denied +PASS reconciler ListObjectsV2: allowed +PASS reconciler CreateBucket: denied +PASS seaweedfs:8888 из контейнера api: unreachable +PASS seaweedfs:9333 из контейнера api: unreachable +PASS seaweedfs:8080 из контейнера api: unreachable +PASS filer по IP 192.168.172.2:8888 из контейнера api: unreachable +PASS сервисы с опубликованными портами: lb +PASS api 1d7a6792f179 ReadonlyRootfs: true +PASS api 1d7a6792f179 монтирования кроме /run/secrets: +PASS api 8efc3f678ae0 ReadonlyRootfs: true +PASS api 8efc3f678ae0 монтирования кроме /run/secrets: +PASS повторный s3-init: bucket messenger-attachments: exists +PASS: bucket приватен, права минимальны, внутренние порты закрыты diff --git a/evidence/level4/upload-memory-s3-256m-oom.txt b/evidence/level4/upload-memory-s3-256m-oom.txt new file mode 100644 index 00000000..fe4f88c3 --- /dev/null +++ b/evidence/level4/upload-memory-s3-256m-oom.txt @@ -0,0 +1,12 @@ +{"concurrency": 1, "file_mib": 9.9, "ok": 1, "errors": 0, "wall_s": 0.41, "throughput_mib_s": 23.9, "latency_p50_s": 0.4, "latency_max_s": 0.4, "per_replica": [0, 1], "api_baseline_mib": [37.6, 38.0], "api_peak_mib": [42.5, 38.3], "api_cgroup_peak_mib": [52.1, 51.6], "s3_baseline_mib": [115.6], "s3_peak_mib": [154.6], "api_max_growth_mib": 4.9} +{"concurrency": 10, "file_mib": 9.9, "ok": 9, "errors": 1, "wall_s": 9.42, "throughput_mib_s": 10.5, "latency_p50_s": 9.37, "latency_max_s": 9.37, "per_replica": [5, 5], "api_baseline_mib": [43.8, 37.9], "api_peak_mib": [60.4, 56.0], "api_cgroup_peak_mib": [60.6, 56.0], "s3_baseline_mib": [154.7], "s3_peak_mib": [256.0], "api_max_growth_mib": 18.1} +{"concurrency": 20, "file_mib": 9.9, "ok": 0, "errors": 20, "wall_s": 2.91, "throughput_mib_s": 68.1, "latency_p50_s": 2.82, "latency_max_s": 2.86, "per_replica": [10, 10], "api_baseline_mib": [37.2, 37.0], "api_peak_mib": [58.0, 57.2], "api_cgroup_peak_mib": [64.1, 60.1], "s3_baseline_mib": [252.2], "s3_peak_mib": [256.0], "api_max_growth_mib": 20.8} +{"concurrency": 40, "file_mib": 9.9, "ok": 0, "errors": 40, "wall_s": 2.63, "throughput_mib_s": 150.6, "latency_p50_s": 2.44, "latency_max_s": 2.54, "per_replica": [20, 20], "api_baseline_mib": [37.6, 36.8], "api_peak_mib": [66.1, 67.5], "api_cgroup_peak_mib": [69.8, 67.5], "s3_baseline_mib": [111.5], "s3_peak_mib": [256.0], "api_max_growth_mib": 30.7} + +| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | 1/0 | 0.41 | 23.9 | 0.40 / 0.40 | [0, 1] | [37.6, 38.0] → [42.5, 38.3] | 4.9 | [115.6] → [154.6] | +| 10 | 9/1 | 9.42 | 10.5 | 9.37 / 9.37 | [5, 5] | [43.8, 37.9] → [60.4, 56.0] | 18.1 | [154.7] → [256.0] | +| 20 | 0/20 | 2.91 | 68.1 | 2.82 / 2.86 | [10, 10] | [37.2, 37.0] → [58.0, 57.2] | 20.8 | [252.2] → [256.0] | +| 40 | 0/40 | 2.63 | 150.6 | 2.44 / 2.54 | [20, 20] | [37.6, 36.8] → [66.1, 67.5] | 30.7 | [111.5] → [256.0] | +FAIL: some uploads failed diff --git a/evidence/level4/upload-memory.txt b/evidence/level4/upload-memory.txt new file mode 100644 index 00000000..b97884e7 --- /dev/null +++ b/evidence/level4/upload-memory.txt @@ -0,0 +1,11 @@ +{"concurrency": 1, "file_mib": 9.9, "ok": 1, "errors": 0, "wall_s": 0.21, "throughput_mib_s": 46.9, "latency_p50_s": 0.2, "latency_max_s": 0.2, "per_replica": [0, 1], "api_baseline_mib": [39.2, 37.3], "api_peak_mib": [47.2, 38.1], "api_cgroup_peak_mib": [51.9, 51.8], "s3_baseline_mib": [98.4], "s3_peak_mib": [138.7], "api_max_growth_mib": 8.0} +{"concurrency": 10, "file_mib": 9.9, "ok": 10, "errors": 0, "wall_s": 3.49, "throughput_mib_s": 28.4, "latency_p50_s": 3.44, "latency_max_s": 3.46, "per_replica": [5, 5], "api_baseline_mib": [41.4, 38.6], "api_peak_mib": [58.0, 53.3], "api_cgroup_peak_mib": [60.4, 58.2], "s3_baseline_mib": [138.1], "s3_peak_mib": [381.8], "api_max_growth_mib": 16.6} +{"concurrency": 20, "file_mib": 9.9, "ok": 20, "errors": 0, "wall_s": 5.46, "throughput_mib_s": 36.2, "latency_p50_s": 5.38, "latency_max_s": 5.4, "per_replica": [10, 10], "api_baseline_mib": [37.7, 37.1], "api_peak_mib": [63.5, 61.2], "api_cgroup_peak_mib": [63.5, 64.9], "s3_baseline_mib": [384.9], "s3_peak_mib": [699.4], "api_max_growth_mib": 25.8} +{"concurrency": 40, "file_mib": 9.9, "ok": 40, "errors": 0, "wall_s": 6.78, "throughput_mib_s": 58.5, "latency_p50_s": 4.6, "latency_max_s": 6.66, "per_replica": [20, 20], "api_baseline_mib": [37.7, 40.4], "api_peak_mib": [59.9, 63.3], "api_cgroup_peak_mib": [61.4, 63.6], "s3_baseline_mib": [700.7], "s3_peak_mib": [768.0], "api_max_growth_mib": 22.9} + +| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | 1/0 | 0.21 | 46.9 | 0.20 / 0.20 | [0, 1] | [39.2, 37.3] → [47.2, 38.1] | 8.0 | [98.4] → [138.7] | +| 10 | 10/0 | 3.49 | 28.4 | 3.44 / 3.46 | [5, 5] | [41.4, 38.6] → [58.0, 53.3] | 16.6 | [138.1] → [381.8] | +| 20 | 20/0 | 5.46 | 36.2 | 5.38 / 5.40 | [10, 10] | [37.7, 37.1] → [63.5, 61.2] | 25.8 | [384.9] → [699.4] | +| 40 | 40/0 | 6.78 | 58.5 | 4.60 / 6.66 | [20, 20] | [37.7, 40.4] → [59.9, 63.3] | 22.9 | [700.7] → [768.0] | diff --git a/evidence/track2/ack-lost-before-fix.txt b/evidence/track2/ack-lost-before-fix.txt new file mode 100644 index 00000000..0854c8d9 --- /dev/null +++ b/evidence/track2/ack-lost-before-fix.txt @@ -0,0 +1,10 @@ +# 2026-10-30: research/reconcile_faults.py со случаем ack-lost на коде ДО исправления discard() (сначала объект, потом строка). +# Ожидаемо падает: компенсация удалила объект вложения, строка которого уже ready. +$ python3 research/reconcile_faults.py --base-url http://localhost:8094 +reconcile --apply --verify findings={} applied=0 objects=3015 rows=3020 fresh_skipped=0 s3_get_bytes=1188957568 43971 ms +reconcile --verify findings={} applied=0 objects=3015 rows=3020 fresh_skipped=0 s3_get_bytes=1188957568 41123 ms +used by messages: A B D F; unused: C E +commit-fail.png: HTTP 503, процесс жив → компенсация: строк осталось 0 +ack-lost.png: HTTP 503, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка ready, объект {"exists": false} +FAIL: compensation deleted the object of a ready attachment +exit=1 diff --git a/evidence/track2/concurrency.txt b/evidence/track2/concurrency.txt new file mode 100644 index 00000000..c5cd37cc --- /dev/null +++ b/evidence/track2/concurrency.txt @@ -0,0 +1,3 @@ +{"seconds": 25, "upload_threads": 4, "uploads": {"201": 4674}, "confirmed_and_verified": 4674, "reconciler_runs": 19, "run_ms_max": 943, "findings_during_race": {"stale_pending": 1}, "slow_upload": {"status": 503, "code": "unavailable", "rows_left": 0}, "final_check_grace0": {}} +PASS: 4674 confirmed uploads intact after 19 reconciler --apply runs (grace 1 s); slow upload > grace failed cleanly +exit=0 diff --git a/evidence/track2/cost.jsonl b/evidence/track2/cost.jsonl new file mode 100644 index 00000000..ba6efc94 --- /dev/null +++ b/evidence/track2/cost.jsonl @@ -0,0 +1,4 @@ +{"synthetic": 0, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 579, "max_rss_mb": 110}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 389, "max_rss_mb": 119}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 471, "max_rss_mb": 109}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 1177440238, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 19516, "max_rss_mb": 129}, "seed_ms": null} +{"synthetic": 1000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 801, "max_rss_mb": 123}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 607, "max_rss_mb": 109}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 893, "max_rss_mb": 111}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 1178464238, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 21926, "max_rss_mb": 133}, "seed_ms": 3835} +{"synthetic": 10000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1606, "max_rss_mb": 120}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1165, "max_rss_mb": 112}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1088, "max_rss_mb": 123}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 1187680238, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 39813, "max_rss_mb": 132}, "seed_ms": 36224} +{"synthetic": 50000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 3032, "max_rss_mb": 115}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 4710, "max_rss_mb": 114}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 2762, "max_rss_mb": 116}], "verify": null, "seed_ms": 106006} diff --git a/evidence/track2/cost.md b/evidence/track2/cost.md new file mode 100644 index 00000000..4e7d3dc9 --- /dev/null +++ b/evidence/track2/cost.md @@ -0,0 +1,32 @@ +# Трек 2: стоимость обхода reconciler-а + +2026-10-30, Apple M3 Pro (11 ядер, 18 GiB), OrbStack; reconciler 0.5 CPU / 128 MiB, s3-шлюз 1 CPU / 768 MiB, postgres 2 CPU / 1 GiB. +Команда: `python3 research/reconcile_cost.py --base-url http://localhost:8094` (сырьё: cost.txt, cost.jsonl). +Набор: ~3 000 реальных вложений из прошлых тестов (1.1 GiB, в т.ч. 71 PNG по 9.9 MiB) + синтетические ready-вложения +по 1 KiB (строка + объект, `research/s3_tool.mjs seed`, 64 параллельных записи). Фоновый reconciler остановлен. +Каждый уровень — 3 dry-run подряд (медиана) и один `--verify` (для 1k/10k). После замера синтетика удалена (`unseed`). + +| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| 0 | 3002 / 3007 | 471 [579, 389, 471] | 4 | 6 | 119 | 157 | 19516 | 1123 | +| 1000 | 4002 / 4007 | 801 [801, 607, 893] | 5 | 7 | 123 | 200 | 21926 | 1124 | +| 10000 | 13002 / 13007 | 1165 [1606, 1165, 1088] | 14 | 16 | 123 | 90 | 39813 | 1133 | +| 50000 | 53002 / 53007 | 3032 [3032, 4710, 2762] | 54 | 56 | 116 | 57 | — | — | + +(строк на 5 больше объектов — lost-вложения B/F прошлых прогонов матрицы, у них объекта нет по определению) + +Выводы: + +- Число запросов точно линейно: `ListObjectsV2 = ⌈N / 1000⌉`, запросов к БД = страницы + 2 (`now()` и выборка зависших pending). + Ни одного запроса на объект — кроме HEAD для кандидатов в missing_object и GET для `--verify`/lost. +- Время dry-run: +40 000 объектов (13k → 53k) добавили ≈ 1.9 с, т.е. ≈ 47 мкс на объект; разброс между повторами + до 1.7× (общий хост с другими стендами). Экстраполяция: 1 млн объектов ≈ 50–60 с и 1 000 листингов на проход. +- Память не растёт: max RSS процесса 116–123 MiB на всех уровнях (это фон Node + SDK ~100 MiB): merge join держит + в памяти одну страницу S3 и одну страницу строк. +- `--verify` стоит по байтам и по запросам: 1.1 GiB за 19.5 с (≈ 58 MiB/s); 10 000 дополнительных мелких объектов + добавили 20 с (≈ 2 мс на GET, обход последовательный). На 1 млн объектов это десятки минут — поэтому `--verify` + запускается вручную/редко, а периодический проход сравнивает только наличие и размер. +- Наполнение (для сравнения): ≈ 280 вложений/с (строка + PUT 1 KiB при 64 параллельных запросах). + +Ограничения: один прогон `--verify` на уровень; reconciler, S3 и PostgreSQL на одном хосте с другими стендами; +синтетика одинакового размера, поэтому `size_mismatch` на ней не проверяется (это делает матрица ошибок). diff --git a/evidence/track2/cost.txt b/evidence/track2/cost.txt new file mode 100644 index 00000000..31d8119d --- /dev/null +++ b/evidence/track2/cost.txt @@ -0,0 +1,13 @@ +{"synthetic": 0, "objects": 3002, "rows": 3007, "seed_ms": null, "dry_ms_median": 471, "dry_ms_all": [579, 389, 471], "s3_list": 4, "db_queries": 6, "max_rss_mb": 119, "verify_ms": 19516, "verify_mib": 1123} +{"synthetic": 1000, "objects": 4002, "rows": 4007, "seed_ms": 3835, "dry_ms_median": 801, "dry_ms_all": [801, 607, 893], "s3_list": 5, "db_queries": 7, "max_rss_mb": 123, "verify_ms": 21926, "verify_mib": 1124} +{"synthetic": 10000, "objects": 13002, "rows": 13007, "seed_ms": 36224, "dry_ms_median": 1165, "dry_ms_all": [1606, 1165, 1088], "s3_list": 14, "db_queries": 16, "max_rss_mb": 123, "verify_ms": 39813, "verify_mib": 1133} +{"synthetic": 50000, "objects": 53002, "rows": 53007, "seed_ms": 106006, "dry_ms_median": 3032, "dry_ms_all": [3032, 4710, 2762], "s3_list": 54, "db_queries": 56, "max_rss_mb": 116, "verify_ms": null, "verify_mib": null} +синтетика удалена: 50000 строк и объектов + +| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | +| 0 | 3002 / 3007 | 471 [579, 389, 471] | 4 | 6 | 119 | 157 | 19516 | 1123 | +| 1000 | 4002 / 4007 | 801 [801, 607, 893] | 5 | 7 | 123 | 200 | 21926 | 1124 | +| 10000 | 13002 / 13007 | 1165 [1606, 1165, 1088] | 14 | 16 | 123 | 90 | 39813 | 1133 | +| 50000 | 53002 / 53007 | 3032 [3032, 4710, 2762] | 54 | 56 | 116 | 57 | — | — | +exit=0 diff --git a/evidence/track2/faults.txt b/evidence/track2/faults.txt new file mode 100644 index 00000000..7f28005d --- /dev/null +++ b/evidence/track2/faults.txt @@ -0,0 +1,20 @@ +reconcile --apply --verify findings={} applied=0 objects=8442 rows=8453 fresh_skipped=0 s3_get_bytes=1805516685 30601 ms +reconcile --verify findings={} applied=0 objects=8442 rows=8453 fresh_skipped=0 s3_get_bytes=1805516685 61421 ms +used by messages: A B D F; unused: C E +commit-fail.png: HTTP 503, процесс жив → компенсация: строк осталось 0 +ack-lost.png: HTTP 503, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка ready, объект {"exists": true, "size": 111817} +crash.png: HTTP 502 от LB, реплика c21a25851896 убита во время COMMIT → строка pending, объект {"exists": true, "size": 111817} +reconcile (dry-run) findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2} applied=0 objects=8450 rows=8462 fresh_skipped=0 s3_get_bytes=670902 755 ms +reconcile --verify findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2, "checksum_mismatch": 1} applied=0 objects=8450 rows=8462 fresh_skipped=0 s3_get_bytes=1805852136 44571 ms +dry-run и dry-run --verify: находки ровно ожидаемые, строки БД (8462 fb5a715701dcb58dfbee3fc5bb65dff4) и число объектов (8450) не изменились +reconcile --apply --verify findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2, "checksum_mismatch": 1} applied=9 objects=8448 rows=8459 fresh_skipped=0 s3_get_bytes=1805852136 62936 ms +reconcile --verify findings={} applied=0 objects=8446 rows=8459 fresh_skipped=0 s3_get_bytes=1805852136 54774 ms +после --apply: A и ack-lost скачиваются (sha256 совпал); B C D F → lost, API отвечает 404, ссылки сообщений на B D F сохранены; DELETE строки B отклонён FK; объекты E O1 P2 crash удалены, строк P1 P2 crash нет +reconcile --apply findings={"restored": 1} applied=1 objects=8447 rows=8459 fresh_skipped=0 s3_get_bytes=894536 918 ms +F: объект возвращён → restored, снова ready и скачивается с исходным sha256 +reconcile --apply findings={} applied=0 objects=8448 rows=8460 fresh_skipped=1 s3_get_bytes=782719 1420 ms +свежие P3/O2 (моложе 30 с): --apply ничего не сделал, fresh_skipped=1, строка P3 pending, объект O2 на месте +reconcile --apply findings={"stale_pending": 1, "orphan_object": 1} applied=2 objects=8448 rows=8459 fresh_skipped=0 s3_get_bytes=782719 837 ms +reconcile --verify findings={} applied=0 objects=8447 rows=8459 fresh_skipped=0 s3_get_bytes=1805963953 176062 ms +PASS: all injected inconsistencies detected exactly, dry-run is read-only, apply fixes, rerun is clean, used/fresh data kept +exit=0 diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 00000000..12d569f1 --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,56 @@ +# Единственная публичная точка входа. Реплики находятся через Docker DNS (имя сервиса "api"), +# поэтому `docker compose up --scale api=N` не требует правки конфига (до 8 реплик). +global + log stdout format raw local0 info + maxconn 4096 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 2 + timeout resolve 1s + timeout retry 500ms + hold valid 1s + hold other 1s + hold refused 1s + hold nx 1s + hold timeout 1s + hold obsolete 1s + +defaults + mode http + log global + option httplog + option dontlog-normal # логируем только ошибки и смену состояния реплик + timeout connect 1s + timeout client 30s + timeout server 10s + timeout http-request 10s + timeout http-keep-alive 10s + timeout check 1s + # Повторяется только запрос, не дошедший до реплики (отказ или таймаут соединения), последняя попытка — + # на другой реплике. Уже отправленные запросы НЕ повторяются: POST /users и /chats не идемпотентны. + retries 2 + retry-on conn-failure + option redispatch 1 + +frontend public + bind :8080 + default_backend api + +backend api + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready + http-check expect status 200 + # Активная проверка раз в 1 с (0.5 с при смене состояния): 2 неудачи → DOWN, 2 успеха → UP. + # Отказ соединения на живом трафике сразу помечает реплику DOWN (observe layer4). + default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker init-addr none + server-template api 8 api:8080 + +# Для оператора (compose публикует только на 127.0.0.1): /stats и Prometheus /metrics. +frontend stats + bind :8404 + http-request use-service prometheus-exporter if { path /metrics } + stats enable + stats uri /stats + stats refresh 2s diff --git a/package-lock.json b/package-lock.json new file mode 100644 index 00000000..4108f4d3 --- /dev/null +++ b/package-lock.json @@ -0,0 +1,973 @@ +{ + "name": "messenger-lab4", + "lockfileVersion": 3, + "requires": true, + "packages": { + "": { + "name": "messenger-lab4", + "dependencies": { + "@aws-sdk/client-s3": "3.1152.0", + "pg": "8.23.1" + }, + "devDependencies": { + "@types/node": "24.19.2", + "@types/pg": "8.23.1", + "typescript": "7.0.2" + }, + "engines": { + "node": ">=24" + } + }, + "node_modules/@aws-sdk/checksums": { + "version": "3.1002.1", + "resolved": "https://registry.npmjs.org/@aws-sdk/checksums/-/checksums-3.1002.1.tgz", + "integrity": "sha512-CXNESwkQC9jdrUG6cKXBfudVt1frGcYQykcCYbNclVrsewuGMbo3PlFjRteMe4OftNAqhyc3xC2jTz7SUqLasQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/client-s3": { + "version": "3.1152.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/client-s3/-/client-s3-3.1152.0.tgz", + "integrity": "sha512-oI1+ZaM6pSOwZazu4nAb7rL8ug7LSjg31tDoJqRB9MooRqqWCf/qvkIZqne1mRA3xK3slg6K0RNWXaJYHbWLvg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/checksums": "^3.1001.3", + "@aws-sdk/core": "^3.978.3", + "@aws-sdk/credential-provider-node": "^3.972.86", + "@aws-sdk/middleware-sdk-s3": "^3.972.79", + "@aws-sdk/signature-v4-multi-region": "^3.996.48", + "@aws-sdk/types": "^3.974.6", + "@smithy/core": "^3.35.2", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.12.1", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/core": { + "version": "3.979.1", + "resolved": "https://registry.npmjs.org/@aws-sdk/core/-/core-3.979.1.tgz", + "integrity": "sha512-ayOlV1VhLNMiq8PW9ZkVobG4gkldnUoHjG69yy2b8j+VYFlhz/uAL7ZdYQAoQ+eShtGUdNDnnG5rxDg6yUJrOg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/types": "^3.975.0", + "@aws-sdk/xml-builder": "^3.972.42", + "@aws/lambda-invoke-store": "^0.3.0", + "@smithy/core": "^3.38.0", + "@smithy/signature-v4": "^5.7.5", + "@smithy/types": "^4.19.0", + "bowser": "^2.11.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-env": { + "version": "3.972.80", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-env/-/credential-provider-env-3.972.80.tgz", + "integrity": "sha512-uO5TiSvb6j1w9RTe5z28OaOmsrOxVQUPaC5+wZl50RfOXcrYD/KgnS8I9lfyGXc7sGbkCopK6VnhNIAoLqfewQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-http": { + "version": "3.972.82", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-http/-/credential-provider-http-3.972.82.tgz", + "integrity": "sha512-vQzlDHlC24Yz42p+rT4NBoP/5VdetkBoujbOLq9h6QYWC8THuZSPYnXIR9OP3XcOrdMgPBBipOrdssfxnIiWUg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.14.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-ini": { + "version": "3.973.25", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-ini/-/credential-provider-ini-3.973.25.tgz", + "integrity": "sha512-b5xl71uCRdWsu7P1VeGpiGuCf6zfYETsSNOv8AmYVTrsgbvTJRXdmmOPVfxkvGGVNsiKkGctClQW3jAn0SZLug==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/credential-provider-env": "^3.972.80", + "@aws-sdk/credential-provider-http": "^3.972.82", + "@aws-sdk/credential-provider-login": "^3.972.87", + "@aws-sdk/credential-provider-process": "^3.972.80", + "@aws-sdk/credential-provider-sso": "^3.973.24", + "@aws-sdk/credential-provider-web-identity": "^3.972.86", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/credential-provider-imds": "^4.5.2", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-login": { + "version": "3.972.87", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-login/-/credential-provider-login-3.972.87.tgz", + "integrity": "sha512-C4ZFmcwM+Zj14Z8huVUk54Gv4uzT1ZdzG9cY3Gdh8FePakq7Bss1OFsgZjAhWFOkFOGpBvFBeu0OWjWf8HNKRQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-node": { + "version": "3.972.92", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-node/-/credential-provider-node-3.972.92.tgz", + "integrity": "sha512-jC3zmOo7Qxlk+oBivvSsS1Ph7sFGm0QfuhqDGbqgRXi4cxUYMG+dWtBwS2XYYXgc8TIVXJiwgQ65sbNpbYupTA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/credential-provider-env": "^3.972.80", + "@aws-sdk/credential-provider-http": "^3.972.82", + "@aws-sdk/credential-provider-ini": "^3.973.25", + "@aws-sdk/credential-provider-process": "^3.972.80", + "@aws-sdk/credential-provider-sso": "^3.973.24", + "@aws-sdk/credential-provider-web-identity": "^3.972.86", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/credential-provider-imds": "^4.5.2", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-process": { + "version": "3.972.80", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-process/-/credential-provider-process-3.972.80.tgz", + "integrity": "sha512-xqfixO5aclje7tbQJDias+iNND5wp/3QZixCdZcVQpgWPTZ0V5DfTW9A804A5Z7ezu7sH3WRO+vzUjtiJBA8yg==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-sso": { + "version": "3.973.24", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-sso/-/credential-provider-sso-3.973.24.tgz", + "integrity": "sha512-nlg3BKG03Cgzvv/dMnhxvDJPhAhQSpaN0RUdwgU7ziwkasoev7iI8el8Xy4Rd5sqzgaDUbV269fOXck5SargqA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/token-providers": "3.1161.0", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/credential-provider-web-identity": { + "version": "3.972.86", + "resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-web-identity/-/credential-provider-web-identity-3.972.86.tgz", + "integrity": "sha512-zKTyLJBEyfQBVlYqT6Jt+mYV4r8kGbWM7dn6v4Y4MRARizhYafjDXP/iMu76UMRhToSPNmIKX1XAb24gtpBFIA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/middleware-sdk-s3": { + "version": "3.972.85", + "resolved": "https://registry.npmjs.org/@aws-sdk/middleware-sdk-s3/-/middleware-sdk-s3-3.972.85.tgz", + "integrity": "sha512-Kyl2G6zhIS9qFoeLdlxvXFrWyc6g9D9ZCIRJnGkkfX6JZhxCZB5ebXBc7GKEeetrnhXcail6ALZT0lKbojcaNA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/signature-v4-multi-region": "^3.996.51", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/nested-clients": { + "version": "3.997.54", + "resolved": "https://registry.npmjs.org/@aws-sdk/nested-clients/-/nested-clients-3.997.54.tgz", + "integrity": "sha512-/OczlavsS7U5sOodRO10Ug4R/AKFVZiXTstKipWe68EfjPkmdDFNXNl9FCJyXWkg1DG6RBm3qAuVB8FNW9O8KQ==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/signature-v4-multi-region": "^3.996.51", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/fetch-http-handler": "^5.8.0", + "@smithy/node-http-handler": "^4.14.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/signature-v4-multi-region": { + "version": "3.996.51", + "resolved": "https://registry.npmjs.org/@aws-sdk/signature-v4-multi-region/-/signature-v4-multi-region-3.996.51.tgz", + "integrity": "sha512-+aHvUugVBuMPXxgkPfWnTMyGdE/yWS8GHi5+qQ37HowS0YqzrbuaDLznj+Dtmtu5jgCdqz36gXmujOToUhNNWw==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/types": "^3.975.0", + "@smithy/signature-v4": "^5.7.5", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/token-providers": { + "version": "3.1161.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/token-providers/-/token-providers-3.1161.0.tgz", + "integrity": "sha512-ypbXSofNcSHwf/KA40bFCXJb0MLaAKrfT7sot4dFaA+2lsuXNah4zLRJIAU7Qmvs9PFJ6rnY0bZFEC+mE7attA==", + "license": "Apache-2.0", + "dependencies": { + "@aws-sdk/core": "^3.979.1", + "@aws-sdk/nested-clients": "^3.997.54", + "@aws-sdk/types": "^3.975.0", + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/types": { + "version": "3.975.0", + "resolved": "https://registry.npmjs.org/@aws-sdk/types/-/types-3.975.0.tgz", + "integrity": "sha512-WQlhs6juByzWOzj5fwxOx0mPJaEqMcG/sDpl3Id61B3XhKE63xY+0QWcnG+sWR/sCfprmreyUo1lM7IKZmHMzw==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws-sdk/xml-builder": { + "version": "3.972.42", + "resolved": "https://registry.npmjs.org/@aws-sdk/xml-builder/-/xml-builder-3.972.42.tgz", + "integrity": "sha512-smX8/gNP8Kjq+CWTBMZQLQ912vOQjiWExzwzvMO+eujPB5RY8IbtF0AGdUUXHKN7KoDWK9dIcuW0WG269kiP6w==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=20.0.0" + } + }, + "node_modules/@aws/lambda-invoke-store": { + "version": "0.3.0", + "resolved": "https://registry.npmjs.org/@aws/lambda-invoke-store/-/lambda-invoke-store-0.3.0.tgz", + "integrity": "sha512-sl4Bm6yiMNYrZKkqqDFWN0UfnWhlS8ivKxrYl+6t0gCLrqr8y3B2IqZZbFRkfaVVp7C/baApyh71P+LeE1A2sQ==", + "license": "Apache-2.0", + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/core": { + "version": "3.38.0", + "resolved": "https://registry.npmjs.org/@smithy/core/-/core-3.38.0.tgz", + "integrity": "sha512-aLyyCnK2p4yvNA2TaM+5owXqb+rZGSiUKEsNP329AzeYnERtAz7NrlTbRsaxqmZ0ooxwoID8LMm959UGQQDIsg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/credential-provider-imds": { + "version": "4.5.2", + "resolved": "https://registry.npmjs.org/@smithy/credential-provider-imds/-/credential-provider-imds-4.5.2.tgz", + "integrity": "sha512-A9uSdn72ozbRUSit0eib0TW7nXuNPlaeM0zcGkJ+nE6tFcSDbnmtwoxbTCFBukVQcszDAyvsd7+rTduPTXpygg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.33.2", + "@smithy/types": "^4.17.2", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/fetch-http-handler": { + "version": "5.8.0", + "resolved": "https://registry.npmjs.org/@smithy/fetch-http-handler/-/fetch-http-handler-5.8.0.tgz", + "integrity": "sha512-ycSJu3tFAQ4v04CBB0agqFMVsSQ1iG3yw+SpgxRqKfaURpQD4CZ8Wn0zPMmSnOuTpTh65Vz+EA0rMrw089wvkA==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.33.3", + "@smithy/types": "^4.18.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/node-http-handler": { + "version": "4.14.0", + "resolved": "https://registry.npmjs.org/@smithy/node-http-handler/-/node-http-handler-4.14.0.tgz", + "integrity": "sha512-j24RS5V9J52u0z81RpgF7H55p4bS6UCEIxF4ZYzTYh6M9hzXvjAIAYwgLobqf7vJq3xib5VXc7nX3YesV8Rx4A==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/signature-v4": { + "version": "5.7.5", + "resolved": "https://registry.npmjs.org/@smithy/signature-v4/-/signature-v4-5.7.5.tgz", + "integrity": "sha512-WPjdr5oWOk1LArpI4pavu+fSo+/evi0Re1olxGvqwuZopd4gYR1UGCi+Soyn/IjmafqbWs+ZC+3AKxJS3ZpwUg==", + "license": "Apache-2.0", + "dependencies": { + "@smithy/core": "^3.38.0", + "@smithy/types": "^4.19.0", + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@smithy/types": { + "version": "4.19.0", + "resolved": "https://registry.npmjs.org/@smithy/types/-/types-4.19.0.tgz", + "integrity": "sha512-r7jh49VJxGerfAcTQA6gXcKc+98zOp/tqRwzYjgOE+iSQsP6cEU1hq2QzbuipmP68QtYdY9wKEhiCQZIzHgZ4Q==", + "license": "Apache-2.0", + "dependencies": { + "tslib": "^2.6.2" + }, + "engines": { + "node": ">=18.0.0" + } + }, + "node_modules/@types/node": { + "version": "24.19.2", + "resolved": "https://registry.npmjs.org/@types/node/-/node-24.19.2.tgz", + "integrity": "sha512-93d49wCWJkCyN87MxLpNN6KXPCwFw7bVUg79mGUV1OS40JGWwVCr8n61DXCSqz7CV6/VfPkb7xec7uP2M+QHWQ==", + "dev": true, + "license": "MIT", + "dependencies": { + "undici-types": ">=7.24.0 <7.24.7" + } + }, + "node_modules/@types/pg": { + "version": "8.23.1", + "resolved": "https://registry.npmjs.org/@types/pg/-/pg-8.23.1.tgz", + "integrity": "sha512-fKVHpikPdg4GKks3JuLEhvwSyvwzF23hnabPy6DD8ljVbC7+6J5dQzdv4arV6jqq57djnMgs1HKBxX4P8aBI3A==", + "dev": true, + "license": "MIT", + "dependencies": { + "@types/node": "*", + "pg-protocol": "*", + "pg-types": "^2.2.0" + } + }, + "node_modules/@typescript/typescript-aix-ppc64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-aix-ppc64/-/typescript-aix-ppc64-7.0.2.tgz", + "integrity": "sha512-MTKKkWB7p/0E9xi1d1tHtZ5PiLkGEMIq88pK2CubZjOsLtYTLqhgIgi6zepFa+9GHZ6h05NMCkQxGKiPXMxXtQ==", + "cpu": [ + "ppc64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "aix" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-darwin-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-arm64/-/typescript-darwin-arm64-7.0.2.tgz", + "integrity": "sha512-gowzar9MwS/aRWp6f3a4KUqzRjAZjOsmGNCM6LcTgXum+dBfgsBVMN+AgvOCCbguXyick6LJhpBszxMebJ8syA==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-darwin-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-x64/-/typescript-darwin-x64-7.0.2.tgz", + "integrity": "sha512-SZ9xZInqApNlNGc9s0W1VSsktYSOe9cFqNOIqmN1Gs8SmkjKZYFt017G4VwPxASInODuAdbTW7sXiFUf893RgA==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "darwin" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-freebsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-arm64/-/typescript-freebsd-arm64-7.0.2.tgz", + "integrity": "sha512-W5NH4y/J0plIIS5b2xvTEkU7JFxyqdMAOgf+Ilhl0vHQXKO5dZoxd+C/jEtq56c4F3wk71RB4BMRQ2XdI+bwYQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-freebsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-x64/-/typescript-freebsd-x64-7.0.2.tgz", + "integrity": "sha512-UMGDx5sTpzNw3WiPebH7l90IWfJggEd+egHt/q6p7/Cm3zqoV7VxkGXt+3DxPIw8CcmvAB0j3sVVfbhX+M4Tpw==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "freebsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-arm": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm/-/typescript-linux-arm-7.0.2.tgz", + "integrity": "sha512-gffT3xPz9sR7j/YJExkyPntrI0P2EP9XbOyWzth2/Gs0RstK+90RBcO0ncXoXy/beYll1SXw846Nf2zdnEz0QQ==", + "cpu": [ + "arm" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm64/-/typescript-linux-arm64-7.0.2.tgz", + "integrity": "sha512-Qh4eU4/y3yDjnfjjyPYihMj5/ODIlmt+Bzu17OI+fiSRDW57QmU5SiN63exPRNJPKUzcc1INa1NXdrJ+MqHjUQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-loong64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-loong64/-/typescript-linux-loong64-7.0.2.tgz", + "integrity": "sha512-uEHck9i8hoAzXPiYRib1O7miOnz23SxIeVl6F4LXox+qov1K35jHcEW6VHKvZI+pyvl7fZEP4MCU5LYvIq1GuQ==", + "cpu": [ + "loong64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-mips64el": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-mips64el/-/typescript-linux-mips64el-7.0.2.tgz", + "integrity": "sha512-R4KvAMnE43W5Qeqb0Ly56O3mWMWIAgsMyz36DCaycd5nbg/9kzm0liw3JocfRqyJY0KPmzFjbswozXyW0DnIYA==", + "cpu": [ + "mips64el" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-ppc64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-ppc64/-/typescript-linux-ppc64-7.0.2.tgz", + "integrity": "sha512-DORx5b3sd/4S7eayxm4FQv+A7CrkUIGRaHiwI8oiHTAI1fAPWhF4J0vAlkC8biAlHSVVwxMQ3tjZ2/DVbnQiiA==", + "cpu": [ + "ppc64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-riscv64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-riscv64/-/typescript-linux-riscv64-7.0.2.tgz", + "integrity": "sha512-wf0jqEDOjrPRnKwYRyyJDRo11KMbvMFrU+q4zqKyChODBzvlkbhNQfKvLxQCcwTpdDaXSHZTVuh0JoCrKCUMHQ==", + "cpu": [ + "riscv64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-s390x": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-s390x/-/typescript-linux-s390x-7.0.2.tgz", + "integrity": "sha512-IkwJc3L7yhytWd/ewjyxNDfOmswCm9GWMJT/ue/dU4aZNbwZeYAetq42VyLmsmSjvoX7z74X6ZaYCtzAr0EuGw==", + "cpu": [ + "s390x" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-linux-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-linux-x64/-/typescript-linux-x64-7.0.2.tgz", + "integrity": "sha512-EYdf2cNg7rgCWJnxCdJ+F3V39O8ihb37eHAu1LK8oAFizgTQbPOK7zHHXbPt8rX24COqODXeI3sIf0fCXG7H/A==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "linux" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-netbsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-arm64/-/typescript-netbsd-arm64-7.0.2.tgz", + "integrity": "sha512-+polYF4MF04aPpO5FTkHran9yUQDSXqy5GiSDKpsll5jy3l3+g9QLhpf39T+ePtefhXLOGrLl0QIjkQP6VnelA==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-netbsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-x64/-/typescript-netbsd-x64-7.0.2.tgz", + "integrity": "sha512-8YIT0EHM/3dq10ZOVF/A7pc/YSMtbcecct4rWtexrnSCHOPcpC2KTLXfTCR6vDpnSiY12heNb1GiN/wu+T/FyA==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "netbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-openbsd-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-arm64/-/typescript-openbsd-arm64-7.0.2.tgz", + "integrity": "sha512-APT8+ClYnuYm1u9+kgGXoMj2VzWzcymwh2gNSQVySHfkRDGOTVkoWLjCmOQSaO+PoqQ57B0flRp9SA+7GnnkzQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-openbsd-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-x64/-/typescript-openbsd-x64-7.0.2.tgz", + "integrity": "sha512-yX7s+Q0Dln0Dt9tEzZsAjXXR/+ytBM7AlglaqyeMPxQszJ1JhlJdZ6jLA+IzldHtflX81em7lDao1xXu+aRRkg==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "openbsd" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-sunos-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-sunos-x64/-/typescript-sunos-x64-7.0.2.tgz", + "integrity": "sha512-dLJDGaLZ1D4HPQn62u1n8mBDkJREwMsAkCdkwd4Ieqw+x3TUyTsqY0YiBCtE6H6OzzgGk3iuZ3vFWRS+E8/d1g==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "sunos" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-win32-arm64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-win32-arm64/-/typescript-win32-arm64-7.0.2.tgz", + "integrity": "sha512-Gyl1Vy6OsWesLzmq+EP0Fb7b4Nid5232AvcA2SFcdYreldpNtYFFofPjnt62y9hQy7VTaZp65ICJjuAQRaVcIQ==", + "cpu": [ + "arm64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/@typescript/typescript-win32-x64": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/@typescript/typescript-win32-x64/-/typescript-win32-x64-7.0.2.tgz", + "integrity": "sha512-0BQ3HkAHHlKLSp1qRvf3SUhGpGsDuhB/jgFw75guyqbxJqEaS0Cw/VFO8i2nHglJUzQCRtMMR/IBAKE3ETMC4g==", + "cpu": [ + "x64" + ], + "dev": true, + "license": "Apache-2.0", + "optional": true, + "os": [ + "win32" + ], + "engines": { + "node": ">=16.20.0" + } + }, + "node_modules/bowser": { + "version": "2.15.0", + "resolved": "https://registry.npmjs.org/bowser/-/bowser-2.15.0.tgz", + "integrity": "sha512-xic6KSZglg/I4ymp45fdM4GWfYpBK79Fxd/TOvJktlaPgQqqDxvmGwOPZl2V0dyeS3Lj5c180bLhXF43iyAjZQ==", + "license": "MIT" + }, + "node_modules/pg": { + "version": "8.23.1", + "resolved": "https://registry.npmjs.org/pg/-/pg-8.23.1.tgz", + "integrity": "sha512-aL96AHANtWjPLDOLqnhx+ngp9+UK7ETEU8VJrDCGvsSSi/mGLcWYsS6Herg7lmaBJe4uwrfqsa7gTEFaSizDoQ==", + "license": "MIT", + "dependencies": { + "pg-connection-string": "^2.14.1", + "pg-pool": "^3.14.0", + "pg-protocol": "^1.16.1", + "pg-types": "2.2.0", + "pgpass": "1.0.5" + }, + "engines": { + "node": ">= 16.0.0" + }, + "optionalDependencies": { + "pg-cloudflare": "^1.4.1" + }, + "peerDependencies": { + "pg-native": ">=3.0.1" + }, + "peerDependenciesMeta": { + "pg-native": { + "optional": true + } + } + }, + "node_modules/pg-cloudflare": { + "version": "1.4.1", + "resolved": "https://registry.npmjs.org/pg-cloudflare/-/pg-cloudflare-1.4.1.tgz", + "integrity": "sha512-6PQbsFWZcp9EmJEwy5cGQ2La+AMWpP46lgbb8X+U/XsHIUweYDNCpeuKck5RxL2MdVFi7krbbEi5nX4Zh7JhrQ==", + "license": "MIT", + "optional": true + }, + "node_modules/pg-connection-string": { + "version": "2.14.1", + "resolved": "https://registry.npmjs.org/pg-connection-string/-/pg-connection-string-2.14.1.tgz", + "integrity": "sha512-qR3kGNPBLpCNtz0evbKA0Y/MRFXwSSdT+pTJvYp/bXTcReZbvX1kzF0IyTc1QnxqF7AZbOeBhNL8R5mYQZV/MA==", + "license": "MIT" + }, + "node_modules/pg-int8": { + "version": "1.0.1", + "resolved": "https://registry.npmjs.org/pg-int8/-/pg-int8-1.0.1.tgz", + "integrity": "sha512-WCtabS6t3c8SkpDBUlb1kjOs7l66xsGdKpIPZsg4wR+B3+u9UAum2odSsF9tnvxg80h4ZxLWMy4pRjOsFIqQpw==", + "license": "ISC", + "engines": { + "node": ">=4.0.0" + } + }, + "node_modules/pg-pool": { + "version": "3.14.0", + "resolved": "https://registry.npmjs.org/pg-pool/-/pg-pool-3.14.0.tgz", + "integrity": "sha512-gKtPkFdQPU3DksooVLi9LsjZxrsBUZIpa+7aVx+LV5pNh0KzP4Zleud2po+ConrxbuXGBJ6Hfer6hdgpIBpBaw==", + "license": "MIT", + "peerDependencies": { + "pg": ">=8.0" + } + }, + "node_modules/pg-protocol": { + "version": "1.16.1", + "resolved": "https://registry.npmjs.org/pg-protocol/-/pg-protocol-1.16.1.tgz", + "integrity": "sha512-p9VOFMiHB/ZbJATetbg+99PxssTVSQRnyuPSQ67mN1+1KBOjZaZ83ZQzltnxPhJwSsC3nwVjJ10DVJlerbFzLg==", + "license": "MIT" + }, + "node_modules/pg-types": { + "version": "2.2.0", + "resolved": "https://registry.npmjs.org/pg-types/-/pg-types-2.2.0.tgz", + "integrity": "sha512-qTAAlrEsl8s4OiEQY69wDvcMIdQN6wdz5ojQiOy6YRMuynxenON0O5oCpJI6lshc6scgAY8qvJ2On/p+CXY0GA==", + "license": "MIT", + "dependencies": { + "pg-int8": "1.0.1", + "postgres-array": "~2.0.0", + "postgres-bytea": "~1.0.0", + "postgres-date": "~1.0.4", + "postgres-interval": "^1.1.0" + }, + "engines": { + "node": ">=4" + } + }, + "node_modules/pgpass": { + "version": "1.0.5", + "resolved": "https://registry.npmjs.org/pgpass/-/pgpass-1.0.5.tgz", + "integrity": "sha512-FdW9r/jQZhSeohs1Z3sI1yxFQNFvMcnmfuj4WBMUTxOrAyLMaTcE1aAMBiTlbMNaXvBCQuVi0R7hd8udDSP7ug==", + "license": "MIT", + "dependencies": { + "split2": "^4.1.0" + } + }, + "node_modules/postgres-array": { + "version": "2.0.0", + "resolved": "https://registry.npmjs.org/postgres-array/-/postgres-array-2.0.0.tgz", + "integrity": "sha512-VpZrUqU5A69eQyW2c5CA1jtLecCsN2U/bD6VilrFDWq5+5UIEVO7nazS3TEcHf1zuPYO/sqGvUvW62g86RXZuA==", + "license": "MIT", + "engines": { + "node": ">=4" + } + }, + "node_modules/postgres-bytea": { + "version": "1.0.1", + "resolved": "https://registry.npmjs.org/postgres-bytea/-/postgres-bytea-1.0.1.tgz", + "integrity": "sha512-5+5HqXnsZPE65IJZSMkZtURARZelel2oXUEO8rH83VS/hxH5vv1uHquPg5wZs8yMAfdv971IU+kcPUczi7NVBQ==", + "license": "MIT", + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/postgres-date": { + "version": "1.0.7", + "resolved": "https://registry.npmjs.org/postgres-date/-/postgres-date-1.0.7.tgz", + "integrity": "sha512-suDmjLVQg78nMK2UZ454hAG+OAW+HQPZ6n++TNDUX+L0+uUlLywnoxJKDou51Zm+zTCjrCl0Nq6J9C5hP9vK/Q==", + "license": "MIT", + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/postgres-interval": { + "version": "1.2.0", + "resolved": "https://registry.npmjs.org/postgres-interval/-/postgres-interval-1.2.0.tgz", + "integrity": "sha512-9ZhXKM/rw350N1ovuWHbGxnGh/SNJ4cnxHiM0rxE4VN41wsg8P8zWn9hv/buK00RP4WvlOyr/RBDiptyxVbkZQ==", + "license": "MIT", + "dependencies": { + "xtend": "^4.0.0" + }, + "engines": { + "node": ">=0.10.0" + } + }, + "node_modules/split2": { + "version": "4.2.0", + "resolved": "https://registry.npmjs.org/split2/-/split2-4.2.0.tgz", + "integrity": "sha512-UcjcJOWknrNkF6PLX83qcHM6KHgVKNkV62Y8a5uYDVv9ydGQVwAHMKqHdJje1VTWpljG0WYpCDhrCdAOYH4TWg==", + "license": "ISC", + "engines": { + "node": ">= 10.x" + } + }, + "node_modules/tslib": { + "version": "2.8.1", + "resolved": "https://registry.npmjs.org/tslib/-/tslib-2.8.1.tgz", + "integrity": "sha512-oJFu94HQb+KVduSUQL7wnpmqnfmLsOA/nAh6b6EH0wCEoK0/mPeXU6c3wKDV83MkOuHPRHtSXKKU99IBazS/2w==", + "license": "0BSD" + }, + "node_modules/typescript": { + "version": "7.0.2", + "resolved": "https://registry.npmjs.org/typescript/-/typescript-7.0.2.tgz", + "integrity": "sha512-8FYau96o3NKOhbjKi/qNvG/W5jhzxkbdm5sj9AbZ/5T5sWqn3hJgLfGx27sRKZWTvyzCP8dLRBTf5tBTSRVUNA==", + "dev": true, + "license": "Apache-2.0", + "bin": { + "tsc": "bin/tsc" + }, + "engines": { + "node": ">=16.20.0" + }, + "optionalDependencies": { + "@typescript/typescript-aix-ppc64": "7.0.2", + "@typescript/typescript-darwin-arm64": "7.0.2", + "@typescript/typescript-darwin-x64": "7.0.2", + "@typescript/typescript-freebsd-arm64": "7.0.2", + "@typescript/typescript-freebsd-x64": "7.0.2", + "@typescript/typescript-linux-arm": "7.0.2", + "@typescript/typescript-linux-arm64": "7.0.2", + "@typescript/typescript-linux-loong64": "7.0.2", + "@typescript/typescript-linux-mips64el": "7.0.2", + "@typescript/typescript-linux-ppc64": "7.0.2", + "@typescript/typescript-linux-riscv64": "7.0.2", + "@typescript/typescript-linux-s390x": "7.0.2", + "@typescript/typescript-linux-x64": "7.0.2", + "@typescript/typescript-netbsd-arm64": "7.0.2", + "@typescript/typescript-netbsd-x64": "7.0.2", + "@typescript/typescript-openbsd-arm64": "7.0.2", + "@typescript/typescript-openbsd-x64": "7.0.2", + "@typescript/typescript-sunos-x64": "7.0.2", + "@typescript/typescript-win32-arm64": "7.0.2", + "@typescript/typescript-win32-x64": "7.0.2" + } + }, + "node_modules/undici-types": { + "version": "7.24.6", + "resolved": "https://registry.npmjs.org/undici-types/-/undici-types-7.24.6.tgz", + "integrity": "sha512-WRNW+sJgj5OBN4/0JpHFqtqzhpbnV0GuB+OozA9gCL7a993SmU+1JBZCzLNxYsbMfIeDL+lTsphD5jN5N+n0zg==", + "dev": true, + "license": "MIT" + }, + "node_modules/xtend": { + "version": "4.0.2", + "resolved": "https://registry.npmjs.org/xtend/-/xtend-4.0.2.tgz", + "integrity": "sha512-LKYU1iAXJXUgAXn9URjiu+MWhyUXHsvfp7mcuYm9dSUKK0/CjtrUwFAxD82/mCWbtLsGjFIad0wIsod4zrTAEQ==", + "license": "MIT", + "engines": { + "node": ">=0.4" + } + } + } +} diff --git a/package.json b/package.json new file mode 100644 index 00000000..60f259ec --- /dev/null +++ b/package.json @@ -0,0 +1,22 @@ +{ + "name": "messenger-lab4", + "private": true, + "type": "module", + "engines": { + "node": ">=24" + }, + "scripts": { + "start": "node src/main.ts", + "migrate": "node src/main.ts migrate", + "typecheck": "tsc" + }, + "dependencies": { + "@aws-sdk/client-s3": "3.1152.0", + "pg": "8.23.1" + }, + "devDependencies": { + "@types/node": "24.19.2", + "@types/pg": "8.23.1", + "typescript": "7.0.2" + } +} diff --git a/research/reconcile_concurrency.py b/research/reconcile_concurrency.py new file mode 100644 index 00000000..0f9e8112 --- /dev/null +++ b/research/reconcile_concurrency.py @@ -0,0 +1,130 @@ +#!/usr/bin/env python3 +"""Трек 2: reconciler --apply с grace 1 с работает каждую секунду параллельно с потоком загрузок через API. +Гипотеза: правила (pending старше grace, объект без строки старше grace, проверка только settled-строк) не трогают +загрузки в процессе и подтверждённые (201) вложения. Проверка: каждое вложение, получившее 201, после теста ready +и скачивается с тем же SHA-256; итоговая сверка без расхождений. Отдельно — заведомо медленная загрузка (дольше grace): +reconciler убирает её pending-строку, клиент получает 503, но ни строки, ни объекта не остаётся. +Запуск: python3 research/reconcile_concurrency.py --base-url http://localhost:8080 [--seconds 25]""" +import collections +import hashlib +import http.client +import json +from pathlib import Path +import subprocess +import sys +import threading +import time +import urllib.parse +import uuid + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() +SHA = hashlib.sha256(PNG).hexdigest() +NAME = 'lab4-reconcile-race' + + +def compose(*args): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True) + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r.stdout + + +def slow_upload(base, token, chat, pieces=10, pause=0.4): + """Тело отправляется частями ~4 с — заведомо дольше grace (1 с).""" + url = urllib.parse.urlsplit(base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=30) + conn.putrequest('POST', '/api/v1/chats/' + chat + '/attachments?filename=slow.png') + conn.putheader('Authorization', 'Bearer ' + token) + conn.putheader('Content-Type', 'image/png') + conn.putheader('Content-Length', str(len(PNG))) + conn.endheaders() + step = len(PNG) // pieces + 1 + for i in range(0, len(PNG), step): + conn.send(PNG[i:i + step]) + time.sleep(pause) + r = conn.getresponse() + return r.status, json.loads(r.read() or b'{}') + + +def main(): + args = arguments('Reconciler vs concurrent uploads', lambda p: p.add_argument('--seconds', type=int, default=25)) + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + '/attachments?filename=race.png' + send = '/api/v1/chats/' + chat['id'] + '/messages' + compose('stop', 'reconciler') + # Чистая база: остатки прошлых тестов не должны попасть в находки гонки. + compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--apply', '--grace=0') + runs = [] + proc = subprocess.Popen(['docker', 'compose', 'run', '--rm', '--no-deps', '-T', '--name', NAME, 'reconciler', + 'node', 'src/main.ts', 'reconcile', '--apply', '--grace=1', '--every=1'], + cwd=ROOT, text=True, stdout=subprocess.PIPE, stderr=subprocess.DEVNULL) + reader = threading.Thread(target=lambda: [runs.append(json.loads(x)) for x in proc.stdout if x.startswith('{"mode"')], daemon=True) + reader.start() + try: + deadline = time.monotonic() + 60 + while not runs: + check(time.monotonic() < deadline, 'reconciler did not start') + time.sleep(0.2) + created, statuses, stop = [], collections.Counter(), time.monotonic() + args.seconds + lock = threading.Lock() + + def worker(n): + local = Client(args.base_url, args.ca_file, timeout=30) + i = 0 + while time.monotonic() < stop: + r = local.call('POST', path, [201, 503], actor=alice, raw=PNG, headers={'Content-Type': 'image/png'}, schema='Attachment') + with lock: + statuses[r['status']] += 1 + if r['status'] == 201: + att = r['json'] + if i % 5 == 0: # часть вложений сразу используется сообщением + local.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}) + with lock: + created.append(att) + i += 1 + + slow = [] + threads = [threading.Thread(target=worker, args=(n,)) for n in range(4)] + threads.append(threading.Thread(target=lambda: slow.append(slow_upload(c.base, alice['token'], chat['id'])))) + for t in threads: + t.start() + for t in threads: + t.join() + finally: + subprocess.run(['docker', 'stop', NAME], capture_output=True) + proc.wait(timeout=30) + compose('start', 'reconciler') + + # Каждое подтверждённое вложение на месте и не изменилось. + for att in created: + meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json'] + body = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', 200, actor=bob)['bytes'] + check(meta['sha256'] == SHA and hashlib.sha256(body).hexdigest() == SHA, 'confirmed attachment changed') + slow_status, slow_body = slow[0] + left = compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', + "SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'slow.png'" % chat['id']).strip() + final = json.loads(compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--grace=0').splitlines()[-1]) + findings = collections.Counter() + for r in runs: + findings.update(r.get('findings', {})) + print(json.dumps({ + 'seconds': args.seconds, 'upload_threads': 4, 'uploads': dict(statuses), 'confirmed_and_verified': len(created), + 'reconciler_runs': len(runs), 'run_ms_max': max(r['duration_ms'] for r in runs), 'findings_during_race': dict(findings), + 'slow_upload': {'status': slow_status, 'code': slow_body.get('error', {}).get('code'), 'rows_left': int(left)}, + 'final_check_grace0': final['findings'], + }, ensure_ascii=False)) + check(statuses[503] == 0 and len(created) > 100 and len(runs) >= 5, 'too few uploads or reconciler runs') + check(set(findings) <= {'stale_pending', 'orphan_object'} and findings['stale_pending'] <= 1, 'reconciler touched regular uploads') + check(slow_status == 503 and left == '0', 'slow upload must fail cleanly') + check(not final['findings'], 'stores inconsistent after race') + print('PASS: %d confirmed uploads intact after %d reconciler --apply runs (grace 1 s); slow upload > grace failed cleanly' + % (len(created), len(runs))) + + +if __name__ == '__main__': + run(main) diff --git a/research/reconcile_cost.py b/research/reconcile_cost.py new file mode 100644 index 00000000..12f270dc --- /dev/null +++ b/research/reconcile_cost.py @@ -0,0 +1,76 @@ +#!/usr/bin/env python3 +"""Трек 2: стоимость обхода reconciler-а в зависимости от числа объектов. +Синтетические ready-вложения по 1 KiB (строка + объект, research/s3_tool.mjs seed) добавляются к текущему набору +до 1k / 10k / 50k; на каждом уровне 3 dry-run (медиана) и для 1k/10k один --verify (читает все байты bucket). +Фоновый reconciler на время замера остановлен. В конце синтетика удаляется (unseed). +Запуск: python3 research/reconcile_cost.py --base-url http://localhost:8080 [--levels 1000,10000,50000]""" +import json +from pathlib import Path +import statistics +import subprocess +import sys + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + + +def compose(*args, stdin=None): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True, stdin=stdin) + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r.stdout + + +def tool(*args): + with open(ROOT / 'research/s3_tool.mjs') as script: + return json.loads(compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', '--input-type=module', '-', *args, stdin=script)) + + +def reconcile(*flags): + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags) + summary = json.loads(out.strip().splitlines()[-1]) + check(not summary['findings'], 'unexpected findings during cost run: %s' % summary['findings']) + return summary + + +def main(): + args = arguments('Reconciler traversal cost', lambda p: p.add_argument('--levels', default='1000,10000,50000')) + c = Client(args.base_url, args.ca_file, timeout=30) + alice, _, _, chat = c.bootstrap() + compose('stop', 'reconciler') + rows, seeded, raw = [], 0, [] + try: + for level in [0] + [int(x) for x in args.levels.split(',')]: + seed_ms = None + if level > seeded: + seed_ms = tool('seed', chat['id'], alice['id'], str(level - seeded))['ms'] + seeded = level + runs = [reconcile() for _ in range(3)] + verify = reconcile('--verify') if level <= 10000 else None + raw.append({'synthetic': level, 'dry_runs': runs, 'verify': verify, 'seed_ms': seed_ms}) + r = runs[-1] + row = { + 'synthetic': level, 'objects': r['objects'], 'rows': r['rows'], 'seed_ms': seed_ms, + 'dry_ms_median': statistics.median(x['duration_ms'] for x in runs), 'dry_ms_all': [x['duration_ms'] for x in runs], + 's3_list': r['s3_list'], 'db_queries': r['db_queries'], 'max_rss_mb': max(x['max_rss_mb'] for x in runs), + 'verify_ms': verify and verify['duration_ms'], 'verify_mib': verify and round(verify['s3_get_bytes'] / 2**20), + } + rows.append(row) + print(json.dumps(row), flush=True) + finally: + removed = tool('unseed', chat['id'])['removed'] if seeded else 0 + compose('start', 'reconciler') + print('синтетика удалена: %d строк и объектов' % removed) + with open(ROOT / 'evidence/track2/cost.jsonl', 'w') as f: + for x in raw: + f.write(json.dumps(x) + '\n') + print('\n| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB |') + print('| --- | --- | --- | --- | --- | --- | --- | --- | --- |') + for r in rows: + print('| %d | %d / %d | %d %s | %d | %d | %d | %.0f | %s | %s |' % ( + r['synthetic'], r['objects'], r['rows'], r['dry_ms_median'], r['dry_ms_all'], r['s3_list'], r['db_queries'], r['max_rss_mb'], + 1000 * r['dry_ms_median'] / r['objects'], r['verify_ms'] or '—', r['verify_mib'] if r['verify_mib'] is not None else '—')) + + +if __name__ == '__main__': + run(main) diff --git a/research/reconcile_faults.py b/research/reconcile_faults.py new file mode 100644 index 00000000..66932a90 --- /dev/null +++ b/research/reconcile_faults.py @@ -0,0 +1,249 @@ +#!/usr/bin/env python3 +"""Трек 2: матрица расхождений PostgreSQL ↔ S3, внедрённых в обход API на обеих сторонах, и проверка reconciler-а. +Отказы вокруг COMMIT (триггер): COMMIT упал при живом процессе; COMMIT прошёл, но API получил ошибку (ack-lost) — +компенсация не должна тронуть объект ready-вложения; реплика убита между S3 PUT и COMMIT. +Порядок: чистая база → внедрение → dry-run (ничего не меняет) → dry-run --verify → --apply --verify → +повтор (0 находок) → проверки через API и БД → возврат объекта F (restored) → свежие P3/O2 не тронуты, пока +моложе grace, и убраны после неё. +Фоновый сервис reconciler на время теста остановлен, иначе он сам исправил бы часть ошибок. +Запуск: python3 research/reconcile_faults.py --base-url http://localhost:8080""" +import hashlib +import http.client +import json +from pathlib import Path +import subprocess +import sys +import threading +import time +import urllib.parse +import uuid + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + +GRACE = 30 # с запасом на запуск контейнеров `docker compose run` на нагруженном хосте: свежие P3/O2 не должны состариться +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() +SHA = hashlib.sha256(PNG).hexdigest() +TRIGGER = """CREATE OR REPLACE FUNCTION lab_fault() RETURNS trigger LANGUAGE plpgsql AS $$ +BEGIN + -- ack-lost.png: строка становится ready (вложенный UPDATE фиксируется вместе с оператором API), а сам UPDATE API + -- затрагивает 0 строк — как если бы COMMIT прошёл, но подтверждение до API не дошло. API отвечает 503 и компенсирует. + IF NEW.state = 'ready' AND NEW.filename = 'ack-lost.png' AND pg_trigger_depth() = 1 THEN + UPDATE attachments SET state = NEW.state, size_bytes = NEW.size_bytes, sha256 = NEW.sha256, width = NEW.width, + height = NEW.height, updated_at = NEW.updated_at WHERE id = NEW.id; + RETURN NULL; + END IF; + -- crash.png: пауза, чтобы успеть убить реплику после S3 PUT; затем COMMIT всё равно не происходит. + IF NEW.state = 'ready' AND NEW.filename = 'crash.png' THEN PERFORM pg_sleep(5); END IF; + IF NEW.state = 'ready' AND NEW.filename IN ('crash.png', 'commit-fail.png') THEN + RAISE EXCEPTION 'injected commit failure' USING ERRCODE = '08006'; + END IF; + RETURN NEW; +END $$; +DROP TRIGGER IF EXISTS lab_fault ON attachments; +CREATE TRIGGER lab_fault BEFORE UPDATE ON attachments FOR EACH ROW EXECUTE FUNCTION lab_fault();""" +log = [] + + +def say(line): + log.append(line) + print(line, flush=True) + + +def compose(*args, stdin=None, ok=True): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True, stdin=stdin) + if ok: + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r + + +def sql(query, ok=True): + r = compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-v', 'ON_ERROR_STOP=1', '-tAc', query, ok=ok) + return r.stdout.strip() if ok else r + + +def tool(*args): + with open(ROOT / 'research/s3_tool.mjs') as script: + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', '--input-type=module', '-', *args, stdin=script).stdout + return json.loads(out) if out.strip() else None + + +def reconcile(*flags, grace=GRACE): + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--grace=%d' % grace, *flags).stdout + lines = [json.loads(x) for x in out.splitlines() if x.startswith('{')] + found = sorted((x['finding'], x['key']) for x in lines if 'finding' in x) + summary = lines[-1] + say('reconcile %-22s findings=%s applied=%d objects=%d rows=%d fresh_skipped=%d s3_get_bytes=%d %d ms' % ( + ' '.join(flags) or '(dry-run)', json.dumps(summary['findings']), summary['applied'], summary['objects'], summary['rows'], + summary['fresh_skipped'], summary['s3_get_bytes'], summary['duration_ms'])) + return found, summary + + +def raw_post(base, path, token): + """Ответ на запрос к убитой реплике формирует LB (502) — без X-Request-Id, поэтому без проверок client.py.""" + url = urllib.parse.urlsplit(base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=30) + conn.request('POST', path, PNG, {'Authorization': 'Bearer ' + token, 'Content-Type': 'image/png'}) + return conn.getresponse().status + + +def state(): + """Отпечаток всех строк вложений: id, состояние, размер.""" + return sql("SELECT count(*) || ' ' || md5(coalesce(string_agg(id || ':' || state || ':' || coalesce(size_bytes::text, ''), ',' ORDER BY id), '')) FROM attachments") + + +def main(): + args = arguments('Reconciler fault-injection matrix') + c = Client(args.base_url, args.ca_file, timeout=30) + compose('stop', 'reconciler') + try: + scenario(c) + finally: + sql('DROP TRIGGER IF EXISTS lab_fault ON attachments; DROP FUNCTION IF EXISTS lab_fault();') + compose('start', 'api') + compose('start', 'reconciler') + + +def scenario(c): + found, _ = reconcile('--apply', '--verify', grace=0) # исходное состояние без расхождений (остатки прошлых экспериментов) + found, _ = reconcile('--verify', grace=0) + check(not found, 'baseline is not clean') + + alice, bob, _, chat = c.bootstrap() + hdr = {'Content-Type': 'image/png'} + up = lambda name: '/api/v1/chats/' + chat['id'] + '/attachments?filename=' + name # noqa: E731 + att = {n: c.call('POST', up(n + '.png'), 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json'] for n in 'ABCDEF'} + key = {n: 'originals/' + a['id'] for n, a in att.items()} + send = '/api/v1/chats/' + chat['id'] + '/messages' + m1 = c.call('POST', send, 201, actor=alice, body={'text': 'A B D', 'attachment_ids': [att[n]['id'] for n in 'ABD']}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')['json'] + m2 = c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['F']['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')['json'] + say('used by messages: A B D F; unused: C E') + + # --- Внедрение ошибок на стороне S3 (ключами reconciler, в обход API) --- + tool('copy', key['F'], 'backup/' + att['F']['id']) # вне originals/: reconciler его не сканирует + tool('delete', key['B']) # B: используемое, объект потерян + tool('put', key['C'], '100') # C: неиспользуемое, объект подменён другим размером + tool('put', key['D'], str(len(PNG))) # D: используемое, подмена того же размера (только --verify) + tool('delete', key['F']) # F: потерян, позже вернём оригинал + o1 = 'originals/' + str(uuid.uuid4()) + tool('put', o1, '3000') # O1: объект без строки + # --- на стороне БД --- + sql("DELETE FROM attachments WHERE id = '%s'" % att['E']['id']) # E: строку потеряли, объект остался + p = {n: str(uuid.uuid4()) for n in ('P1', 'P2', 'P3')} + for n in ('P1', 'P2'): # загрузка «час назад» так и не завершилась + sql("INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, created_at, updated_at) " + "VALUES ('%s', '%s', '%s', 'fault.png', 'image/png', 'originals/%s', now() - interval '1 hour', now() - interval '1 hour')" + % (p[n], chat['id'], alice['id'], p[n])) + tool('put', 'originals/' + p['P2'], '2048') # P2: загрузка умерла после PUT; P1 — до PUT + + # --- Настоящие отказы между S3 PUT и COMMIT (триггер в БД) --- + sql(TRIGGER) + r = c.call('POST', up('commit-fail.png'), 503, actor=alice, raw=PNG, headers=hdr) + time.sleep(2) # компенсация идёт в фоне после ответа + left = sql("SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'commit-fail.png'" % chat['id']) + say('commit-fail.png: HTTP %d, процесс жив → компенсация: строк осталось %s' % (r['status'], left)) + check(left == '0', 'compensation left a row') + r = c.call('POST', up('ack-lost.png'), 503, actor=alice, raw=PNG, headers=hdr) + time.sleep(2) + ack = sql("SELECT id || ' ' || state FROM attachments WHERE chat_id = '%s' AND filename = 'ack-lost.png'" % chat['id']).split() + ack_object = tool('head', 'originals/' + ack[0]) + say('ack-lost.png: HTTP %d, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка %s, объект %s' % ( + r['status'], ack[1], json.dumps(ack_object))) + check(ack[1] == 'ready' and ack_object == {'exists': True, 'size': len(PNG)}, 'compensation deleted the object of a ready attachment') + crash_status = [] + th = threading.Thread(target=lambda: crash_status.append(raw_post(c.base, up('crash.png'), alice['token']))) + th.start() + addr = '' + for _ in range(50): + addr = sql("SELECT coalesce(host(client_addr), '') FROM pg_stat_activity WHERE wait_event = 'PgSleep' LIMIT 1") + if addr: + break + time.sleep(0.1) + check(addr, 'crash upload did not reach the UPDATE') + victim = next(cid for cid in compose('ps', '-q', 'api').stdout.split() + if addr in subprocess.run(['docker', 'inspect', '-f', '{{range .NetworkSettings.Networks}}{{.IPAddress}} {{end}}', cid], + capture_output=True, text=True).stdout.split()) + subprocess.run(['docker', 'kill', victim], check=True, capture_output=True) # SIGKILL: компенсации не будет + th.join() + time.sleep(5.5) # сессия БД досыпает и откатывает UPDATE + cr = sql("SELECT id || ' ' || state FROM attachments WHERE chat_id = '%s' AND filename = 'crash.png'" % chat['id']).split() + cr_key = 'originals/' + cr[0] + say('crash.png: HTTP %d от LB, реплика %s убита во время COMMIT → строка %s, объект %s' % ( + crash_status[0], victim[:12], cr[1], json.dumps(tool('head', cr_key)))) + check(cr[1] == 'pending' and tool('head', cr_key)['exists'], 'crash did not leave pending row + object') + compose('start', 'api') + sql('DROP TRIGGER lab_fault ON attachments; DROP FUNCTION lab_fault();') + + time.sleep(GRACE + 1) # всё внедрённое выше старше grace + + expected = sorted([('stale_pending', 'originals/' + p['P1']), ('stale_pending', 'originals/' + p['P2']), ('stale_pending', cr_key), + ('orphan_object', key['E']), ('orphan_object', o1), + ('missing_object', key['B']), ('missing_object', key['F']), ('size_mismatch', key['C'])]) + before = state() + found, s = reconcile() + check(found == expected, 'dry-run findings differ: %s' % found) + check(state() == before, 'dry-run changed the database') + objects = s['objects'] + found, s = reconcile('--verify') + check(found == sorted(expected + [('checksum_mismatch', key['D'])]), 'dry-run --verify findings differ: %s' % found) + check(state() == before and s['objects'] == objects, 'dry-run --verify changed something') + say('dry-run и dry-run --verify: находки ровно ожидаемые, строки БД (%s) и число объектов (%d) не изменились' % (before, objects)) + + found, s = reconcile('--apply', '--verify') + check(s['applied'] == len(expected) + 1, 'not all findings fixed') + found, s = reconcile('--verify') + check(not found, 'second run still finds problems: %s' % found) + + # Последствия исправления. + a = c.call('GET', '/api/v1/attachments/' + att['A']['id'] + '/content', 200, actor=bob) + check(hashlib.sha256(a['bytes']).hexdigest() == SHA, 'healthy A changed') + for n in 'BCDF': + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/' + att[n]['id'] + suffix, 404, actor=bob) + states = dict(x.split('|') for x in sql("SELECT filename || '|' || state FROM attachments WHERE chat_id = '%s' AND filename <> 'fault.png'" % chat['id']).split()) + check(states == {'A.png': 'ready', 'B.png': 'lost', 'C.png': 'lost', 'D.png': 'lost', 'F.png': 'lost', 'ack-lost.png': 'ready'}, 'states: %s' % states) + a = c.call('GET', '/api/v1/attachments/' + ack[0] + '/content', 200, actor=bob) + check(hashlib.sha256(a['bytes']).hexdigest() == SHA, 'ack-lost attachment changed') + history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + check([x['attachment_ids'] for x in history if x['id'] in (m1['id'], m2['id'])] == [m1['attachment_ids'], m2['attachment_ids']], 'links lost') + fk = sql("DELETE FROM attachments WHERE id = '%s'" % att['B']['id'], ok=False) + check(fk.returncode != 0 and 'foreign key' in fk.stderr, 'used attachment row could be deleted') + gone = {n: tool('head', k)['exists'] for n, k in (('E', key['E']), ('O1', o1), ('P2', 'originals/' + p['P2']), ('crash', cr_key))} + check(not any(gone.values()), 'objects left: %s' % gone) + rows = sql("SELECT count(*) FROM attachments WHERE id IN ('%s', '%s', '%s')" % (p['P1'], p['P2'], cr[0])) + check(rows == '0', 'stale pending rows left: %s' % rows) + say('после --apply: A и ack-lost скачиваются (sha256 совпал); B C D F → lost, API отвечает 404, ссылки сообщений на B D F сохранены; ' + 'DELETE строки B отклонён FK; объекты E O1 P2 crash удалены, строк P1 P2 crash нет') + + # Карантин обратим: оригинал F вернули из резервной копии → restored. + tool('copy', 'backup/' + att['F']['id'], key['F']) + found, _ = reconcile('--apply') + check(found == [('restored', key['F'])], 'F not restored: %s' % found) + f = c.call('GET', '/api/v1/attachments/' + att['F']['id'] + '/content', 200, actor=bob) + check(hashlib.sha256(f['bytes']).hexdigest() == SHA, 'restored F differs') + tool('delete', 'backup/' + att['F']['id']) + say('F: объект возвращён → restored, снова ready и скачивается с исходным sha256') + + # Свежие P3 (pending-строка) и O2 (объект без строки) моложе grace: --apply их не трогает. + o2 = 'originals/' + str(uuid.uuid4()) + tool('put', o2, '500') + sql("INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key) " + "VALUES ('%s', '%s', '%s', 'fault.png', 'image/png', 'originals/%s')" % (p['P3'], chat['id'], alice['id'], p['P3'])) + found, s = reconcile('--apply') + p3 = sql("SELECT state FROM attachments WHERE id = '%s'" % p['P3']) + check(not found and s['fresh_skipped'] == 1 and p3 == 'pending' and tool('head', o2)['exists'], 'fresh data touched') + say('свежие P3/O2 (моложе %d с): --apply ничего не сделал, fresh_skipped=1, строка P3 pending, объект O2 на месте' % GRACE) + # Их защищала только grace: после неё это обычный мусор. + time.sleep(GRACE + 1) + found, _ = reconcile('--apply') + check(found == sorted([('stale_pending', 'originals/' + p['P3']), ('orphan_object', o2)]), 'after grace: %s' % found) + found, _ = reconcile('--verify') + check(not found, 'not clean at the end') + print('PASS: all injected inconsistencies detected exactly, dry-run is read-only, apply fixes, rerun is clean, used/fresh data kept') + + +if __name__ == '__main__': + run(main) diff --git a/research/s3_tool.mjs b/research/s3_tool.mjs new file mode 100644 index 00000000..65a8feb7 --- /dev/null +++ b/research/s3_tool.mjs @@ -0,0 +1,59 @@ +// Внедрение ошибок и массовое наполнение на стороне S3/БД (трек 2), в обход API. Выполняется в контейнере +// сервиса reconciler с его ключами (объекты + листинг своего bucket, без прав администратора): +// docker compose run --rm --no-deps -T reconciler node --input-type=module - <команда> ... < research/s3_tool.mjs +// put записать объект из случайных байт +// copy копия объекта на стороне S3 +// delete удалить объект +// head {"exists": true|false, "size": …} +// seed n синтетических ready-вложений по 1 KiB: строка БД + объект с тем же SHA-256 +// unseed удалить синтетические строки чата и их объекты +import { createHash, randomBytes, randomUUID } from 'node:crypto'; +import { readFileSync } from 'node:fs'; +import { CopyObjectCommand, DeleteObjectCommand, HeadObjectCommand, PutObjectCommand, S3Client } from '@aws-sdk/client-s3'; +import pg from 'pg'; + +const [cmd, ...args] = process.argv.slice(2); +const file = (n) => readFileSync(`/run/secrets/${n}`, 'utf8').trim(); +const s3 = new S3Client({ + endpoint: process.env.S3_ENDPOINT, region: process.env.S3_REGION, forcePathStyle: true, + requestChecksumCalculation: 'WHEN_REQUIRED', responseChecksumValidation: 'WHEN_REQUIRED', + credentials: { accessKeyId: file('s3_access_key_id'), secretAccessKey: file('s3_secret_access_key') }, +}); +const Bucket = process.env.S3_BUCKET; +const db = new pg.Pool({ connectionString: file('database_url'), max: 16 }); +const pool = async (items, fn, width = 64) => { + let i = 0; + await Promise.all(Array.from({ length: width }, async () => { while (i < items.length) await fn(items[i++]); })); +}; + +if (cmd === 'put') await s3.send(new PutObjectCommand({ Bucket, Key: args[0], Body: randomBytes(Number(args[1])) })); +if (cmd === 'copy') await s3.send(new CopyObjectCommand({ Bucket, CopySource: `${Bucket}/${args[0]}`, Key: args[1] })); +if (cmd === 'delete') await s3.send(new DeleteObjectCommand({ Bucket, Key: args[0] })); +if (cmd === 'head') { + try { + const h = await s3.send(new HeadObjectCommand({ Bucket, Key: args[0] })); + console.log(JSON.stringify({ exists: true, size: h.ContentLength })); + } catch (err) { + if (err.$metadata?.httpStatusCode !== 404) throw err; + console.log(JSON.stringify({ exists: false })); + } +} +if (cmd === 'seed') { + const [chat, owner, n] = [args[0], args[1], Number(args[2])]; + const started = Date.now(); + await pool(Array.from({ length: n }, () => randomUUID()), async (id) => { + const body = randomBytes(1024); + // Как в API: сначала строка (здесь сразу ready, это синтетика для замера обхода), затем объект. + await db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, state, size_bytes, sha256) +VALUES ($1, $2, $3, 'bulk.png', 'image/png', $4, 'ready', 1024, $5)`, [id, chat, owner, `originals/${id}`, createHash('sha256').update(body).digest('hex')]); + await s3.send(new PutObjectCommand({ Bucket, Key: `originals/${id}`, Body: body })); + }); + console.log(JSON.stringify({ seeded: n, ms: Date.now() - started })); +} +if (cmd === 'unseed') { + const rows = (await db.query(`DELETE FROM attachments WHERE chat_id = $1 AND filename = 'bulk.png' RETURNING object_key`, [args[0]])).rows; + await pool(rows, (r) => s3.send(new DeleteObjectCommand({ Bucket, Key: r.object_key }))); + console.log(JSON.stringify({ removed: rows.length })); +} +s3.destroy(); // keep-alive сокеты иначе держат процесс до idle-таймаута S3 +await db.end(); diff --git a/research/upload_memory.py b/research/upload_memory.py new file mode 100644 index 00000000..09be4cf8 --- /dev/null +++ b/research/upload_memory.py @@ -0,0 +1,134 @@ +#!/usr/bin/env python3 +"""Пик памяти API при N одновременных загрузках ~9.9 MiB (уровень 4). +Гипотеза: загрузка идёт потоком с обратным давлением, поэтому рост памяти реплики ≪ N × размер файла. +Перед каждым уровнем реплики перезапускаются (новая cgroup), затем прогрев и выборка memory.current каждые 50 мс +во всех api и s3 контейнерах. Запуск: python3 research/upload_memory.py --base-url http://localhost:8080""" +import json +import os +from pathlib import Path +import statistics +import struct +import subprocess +import sys +import threading +import time +import zlib + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + +MiB = 1024 * 1024 + + +def noise_png(side): + def chunk(kind, data): + return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data)) + raw = b''.join(b'\0' + os.urandom(side * 3) for _ in range(side)) + return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', struct.pack('>IIBBBBB', side, side, 8, 2, 0, 0, 0)) + + chunk(b'IDAT', zlib.compress(raw, 1)) + chunk(b'IEND', b'')) + + +def containers(service): + out = subprocess.run(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, capture_output=True, text=True, check=True).stdout + return out.split() + + +def cgroup(cid, name): + return int(subprocess.run(['docker', 'exec', cid, 'cat', '/sys/fs/cgroup/' + name], capture_output=True, text=True, check=True).stdout) + + +class Sampler(threading.Thread): + """Максимум memory.current контейнера, опрос каждые 50 мс одним долгим docker exec.""" + def __init__(self, cid): + super().__init__(daemon=True) + self.max = 0 + self.proc = subprocess.Popen(['docker', 'exec', cid, 'sh', '-c', 'while :; do cat /sys/fs/cgroup/memory.current; sleep 0.05; done'], + stdout=subprocess.PIPE, text=True) + + def run(self): + for line in self.proc.stdout: + self.max = max(self.max, int(line)) + + def stop(self): + self.proc.terminate() + return self.max + + +def restart_api(c): + subprocess.run(['docker', 'compose', 'restart', 'api'], cwd=ROOT, check=True, capture_output=True) + seen, deadline = set(), time.monotonic() + 60 + while len(seen) < 2: + check(time.monotonic() < deadline, 'replicas not ready') + try: + r = c.call('GET', '/health/ready', [200, 503]) + if r['status'] == 200: + seen.add(r['headers']['X-Instance-Id']) + except AssertionError: + pass + time.sleep(0.2) + + +def main(): + args = arguments('Concurrent upload memory experiment', lambda p: p.add_argument('--levels', default='1,10,20,40')) + c = Client(args.base_url, args.ca_file, timeout=120) + data = noise_png(1860) + small = (ROOT / 'tests/fixtures/sample.png').read_bytes() + results = [] + for n in [int(x) for x in args.levels.split(',')]: + restart_api(c) + alice, _, _, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + '/attachments?filename=load.png' + for _ in range(4): # прогрев: модули SDK, пул соединений, JIT + c.call('POST', path, 201, actor=alice, raw=small, headers={'Content-Type': 'image/png'}) + api = containers('api') + watched = {('api', cid): None for cid in api} | {('s3', cid): None for cid in containers('s3')} + base = {k: cgroup(k[1], 'memory.current') for k in watched} + samplers = {k: Sampler(k[1]) for k in watched} + for s in samplers.values(): + s.start() + time.sleep(0.5) + barrier = threading.Barrier(n) + done = [] + + def upload(): + local = Client(args.base_url, args.ca_file, timeout=120) + barrier.wait() + r = local.call('POST', path, [201, 503], actor=alice, raw=data, headers={'Content-Type': 'image/png'}) + done.append((r['status'], r['elapsed'], r['headers'].get('X-Instance-Id'))) + + start = time.monotonic() + threads = [threading.Thread(target=upload) for _ in range(n)] + for t in threads: + t.start() + for t in threads: + t.join() + wall = time.monotonic() - start + time.sleep(0.5) + peak = {k: s.stop() for k, s in samplers.items()} + lat = sorted(e for _, e, _ in done) + row = { + 'concurrency': n, 'file_mib': round(len(data) / MiB, 2), 'ok': sum(s == 201 for s, _, _ in done), 'errors': sum(s != 201 for s, _, _ in done), + 'wall_s': round(wall, 2), 'throughput_mib_s': round(n * len(data) / MiB / wall, 1), + 'latency_p50_s': round(statistics.median(lat), 2), 'latency_max_s': round(lat[-1], 2), + 'per_replica': sorted(sum(1 for *_, i in done if i == cid[:12]) for cid in api), + 'api_baseline_mib': [round(base[('api', cid)] / MiB, 1) for cid in api], + 'api_peak_mib': [round(peak[('api', cid)] / MiB, 1) for cid in api], + 'api_cgroup_peak_mib': [round(cgroup(cid, 'memory.peak') / MiB, 1) for cid in api], + 's3_baseline_mib': [round(base[k] / MiB, 1) for k in watched if k[0] == 's3'], + 's3_peak_mib': [round(peak[k] / MiB, 1) for k in watched if k[0] == 's3'], + } + row['api_max_growth_mib'] = round(max(p - b for p, b in zip(row['api_peak_mib'], row['api_baseline_mib'])), 1) + results.append(row) + print(json.dumps(row, ensure_ascii=False)) + print('\n| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB |') + print('| --- | --- | --- | --- | --- | --- | --- | --- | --- |') + for r in results: + print('| %d | %d/%d | %.2f | %.1f | %.2f / %.2f | %s | %s → %s | %.1f | %s → %s |' % ( + r['concurrency'], r['ok'], r['errors'], r['wall_s'], r['throughput_mib_s'], r['latency_p50_s'], r['latency_max_s'], + r['per_replica'], r['api_baseline_mib'], r['api_peak_mib'], r['api_max_growth_mib'], r['s3_baseline_mib'], r['s3_peak_mib'])) + check(all(r['errors'] == 0 for r in results), 'some uploads failed') + + +if __name__ == '__main__': + run(main) diff --git a/scripts/check-s3-security.sh b/scripts/check-s3-security.sh new file mode 100755 index 00000000..b8d3bee3 --- /dev/null +++ b/scripts/check-s3-security.sh @@ -0,0 +1,58 @@ +#!/bin/sh +# Проверка приватности bucket и минимальных прав вне API (уровень 4). Ничего не меняет, кроме +# временного объекта probe/* (создаётся и сразу удаляется ключом api) — и повторного запуска s3-init. +set -eu +cd "$(dirname "$0")/.." +fail=0 +expect() { # описание, ожидаемое, фактическое + if [ "$2" = "$3" ]; then echo "PASS $1: $3"; else echo "FAIL $1: ожидалось $2, получено $3"; fail=1; fi +} +key=$(docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT object_key FROM attachments WHERE state = 'ready' LIMIT 1") +[ -n "$key" ] || { echo "нужно хотя бы одно вложение: сначала make test"; exit 2; } +bucket=$(docker compose exec -T api printenv S3_BUCKET) + +# 1. Анонимный доступ напрямую к S3-шлюзу из сети backend (минуя API): без подписи — 403. +anon() { docker compose exec -T api node -e 'fetch(process.argv[1], { method: process.argv[2], body: process.argv[2] === "PUT" ? "x" : undefined }).then((r) => console.log(r.status), () => console.log("error"))' "$@"; } +expect "анонимный GET объекта" 403 "$(anon "http://s3:9000/$bucket/$key" GET)" +expect "анонимный LIST bucket" 403 "$(anon "http://s3:9000/$bucket?list-type=2" GET)" +expect "анонимный PUT объекта" 403 "$(anon "http://s3:9000/$bucket/originals/anonymous" PUT)" + +# 2. Ключи api и reconciler: только свой bucket и только нужные действия. +for svc in api reconciler; do + docker compose exec -T "$svc" node --input-type=module - "$key" < student-tests/s3_probe.mjs | while read -r line; do echo " $svc $line"; done +done +probe() { docker compose exec -T "$1" node --input-type=module - "$key" < student-tests/s3_probe.mjs | awk -v op="$2: " 'index($0, op) == 1 {split(substr($0, length(op) + 1), w, " "); print w[1]}'; } +expect "api GetObject" allowed "$(probe api 'GetObject own bucket')" +expect "api ListObjectsV2 (не нужен API)" denied "$(probe api 'ListObjectsV2 own bucket')" +expect "api CreateBucket" denied "$(probe api 'CreateBucket other')" +expect "api PutObject в чужой bucket" denied "$(probe api 'PutObject other bucket')" +expect "reconciler ListObjectsV2" allowed "$(probe reconciler 'ListObjectsV2 own bucket')" +expect "reconciler CreateBucket" denied "$(probe reconciler 'CreateBucket other')" + +# 3. Внутренние интерфейсы SeaweedFS (filer/master/volume без подписи S3) недоступны из API: другая сеть. +for port in 8888 9333 8080; do + if docker compose exec -T api wget -T 2 -q -O /dev/null "http://seaweedfs:$port/" 2>/dev/null; then r=reachable; else r=unreachable; fi + expect "seaweedfs:$port из контейнера api" unreachable "$r" +done +# Не только DNS: и по IP в сети storage маршрута из backend нет. +ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$(docker compose ps -q seaweedfs)") +if docker compose exec -T api wget -T 2 -q -O /dev/null "http://$ip:8888/" 2>/dev/null; then r=reachable; else r=unreachable; fi +expect "filer по IP $ip:8888 из контейнера api" unreachable "$r" + +# 4. На хост опубликован только LB (API и статистика HAProxy на 127.0.0.1); S3 и консоли — нет. +published=$(for id in $(docker compose ps -q); do + [ -n "$(docker port "$id")" ] && docker inspect -f '{{index .Config.Labels "com.docker.compose.service"}}' "$id" +done | sort -u | tr '\n' ' ') +expect "сервисы с опубликованными портами" "lb " "$published" + +# 5. Оригинал на API не хранится: корневая ФС реплик только для чтения, смонтированы лишь Docker secrets. +for id in $(docker compose ps -q api); do + expect "api $(echo "$id" | cut -c1-12) ReadonlyRootfs" true "$(docker inspect -f '{{.HostConfig.ReadonlyRootfs}}' "$id")" + expect "api $(echo "$id" | cut -c1-12) монтирования кроме /run/secrets" "" \ + "$(docker inspect -f '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | awk 'NF && index($0, "/run/secrets/") != 1' | tr '\n' ' ')" +done + +# 6. Bootstrap идемпотентен: повторный s3-init не создаёт и не ломает bucket. +expect "повторный s3-init" "bucket $bucket: exists" "$(docker compose run --rm -T s3-init 2>/dev/null | tail -1)" + +[ "$fail" = 0 ] && echo "PASS: bucket приватен, права минимальны, внутренние порты закрыты" || exit 1 diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 00000000..addc3ca7 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,40 @@ +#!/bin/sh +# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны +# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее. +set -eu +cd "$(dirname "$0")/.." +[ -f .env ] || cp .env.example .env +mkdir -p secrets +chmod 700 secrets +put() { + [ -f "secrets/$1" ] && return 0 + printf '%s' "$2" > "secrets/$1" + chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700 + echo "created secrets/$1" +} +if [ ! -f secrets/postgres_password ]; then + password=$(openssl rand -hex 24) + put postgres_password "$password" + put database_url "postgres://messenger:$password@postgres:5432/messenger" +fi +# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api — объекты, reconciler — объекты + листинг. +for who in admin api reconciler; do + put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)" + put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)" +done + +# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске. +# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin. +# Анонимной identity нет: запрос без подписи получает 403. +bucket=$(sed -n 's/^S3_BUCKET=//p' .env) +bucket=${bucket:-messenger-attachments} +identity() { + printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \ + "$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2" +} +umask 022 +printf '{"identities":[%s,%s,%s]}\n' \ + "$(identity admin '"Admin","Read","List","Write"')" \ + "$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \ + "$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json +echo "secrets/ and .env are ready (bucket $bucket)" diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..120e351c --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,10 @@ +#!/bin/sh +# Перезапускает LB, все API-реплики, reconciler, PostgreSQL и SeaweedFS (хранилище + S3-шлюз). +# Volumes pgdata и s3data, схема и bucket сохраняются; migrate и s3-init при повторе ничего не меняют. +set -eu +cd "$(dirname "$0")/.." +docker compose stop lb api reconciler # штатный SIGTERM, реплики сначала завершают запросы +docker compose stop s3 +docker compose restart postgres seaweedfs # те же контейнеры и те же volumes +docker compose start s3 +docker compose start api reconciler lb diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 00000000..87ac4e3a --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,14 @@ +#!/bin/sh +# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной. +# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера. +# Восстановление после теста: docker compose start api +set -eu +: "${TARGET_INSTANCE_ID:?test provides target API instance alias}" +cd "$(dirname "$0")/.." +case "$TARGET_INSTANCE_ID" in + *[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;; +esac +ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true) +[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; } +docker stop "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с) +echo "stopped $(docker inspect -f '{{.Name}}' "$ids") ($TARGET_INSTANCE_ID)" diff --git a/src/app.ts b/src/app.ts new file mode 100644 index 00000000..1432e1f5 --- /dev/null +++ b/src/app.ts @@ -0,0 +1,92 @@ +// HTTP-приложение: таблица маршрутов, health-проверки и общая обработка каждого запроса. +import { randomUUID } from 'node:crypto'; +import type { IncomingMessage, OutgoingHttpHeaders, ServerResponse } from 'node:http'; +import { Readable } from 'node:stream'; +import { pipeline } from 'node:stream/promises'; +import type { Pool } from 'pg'; +import type { Config } from './config.ts'; +import type { Handler, Result } from './http/context.ts'; +import { notFound, toHttpError, unavailable } from './http/errors.ts'; +import { downloadAttachment, getAttachment, uploadAttachment } from './modules/attachments.ts'; +import { createChat, getChat, listChats } from './modules/chats.ts'; +import { listMessages, sendMessage } from './modules/messages.ts'; +import { createSession, deleteSession } from './modules/sessions.ts'; +import { createUser, me } from './modules/users.ts'; +import type { Storage } from './storage/s3.ts'; + +function send(res: ServerResponse, status: number, body?: unknown, headers?: OutgoingHttpHeaders) { + if (body instanceof Readable) { + // Байты вложения потоком из S3. Обрыв с любой стороны закрывает соединение: клиент увидит + // несовпадение с Content-Length, а не «успешно» обрезанный файл. + res.writeHead(status, headers); + pipeline(body, res).catch((err) => console.error(`передача вложения прервана: ${err.message}`)); + return; + } + if (body === undefined) { + res.writeHead(status).end(); + return; + } + const data = JSON.stringify(body); + res.writeHead(status, { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(data) }).end(data); +} + +export function createApp(db: Pool, s3: Storage, config: Config) { + // ready = false с момента SIGTERM: балансировщик по readiness выводит реплику из ротации. + const state = { ready: true }; + + // Готовность: процесс не завершается и PostgreSQL отвечает. Это единственная критичная зависимость: + // при недоступном S3 реплика остаётся в ротации, текстовые сообщения работают, вложения отвечают 503. + const readiness: Handler = async () => { + if (!state.ready) throw unavailable('Реплика завершает работу'); + try { + await db.query('SELECT 1'); + } catch { + throw unavailable('База данных недоступна'); + } + return [200, { status: 'ok' }]; + }; + + const routes: [method: string, path: RegExp, handler: Handler][] = [ + ['GET', /^\/health\/live$/, async () => [200, { status: 'ok' }]], + ['GET', /^\/health\/ready$/, readiness], + ['POST', /^\/api\/v1\/users$/, createUser], + ['GET', /^\/api\/v1\/users\/me$/, me], + ['POST', /^\/api\/v1\/auth\/sessions$/, createSession], + ['DELETE', /^\/api\/v1\/auth\/sessions\/current$/, deleteSession], + ['POST', /^\/api\/v1\/chats$/, createChat], + ['GET', /^\/api\/v1\/chats$/, listChats], + ['GET', /^\/api\/v1\/chats\/([^/]+)$/, getChat], + ['POST', /^\/api\/v1\/chats\/([^/]+)\/messages$/, sendMessage], + ['GET', /^\/api\/v1\/chats\/([^/]+)\/messages$/, listMessages], + ['POST', /^\/api\/v1\/chats\/([^/]+)\/attachments$/, uploadAttachment], + ['GET', /^\/api\/v1\/attachments\/([^/]+)$/, getAttachment], + ['GET', /^\/api\/v1\/attachments\/([^/]+)\/content$/, downloadAttachment], + ]; + + async function dispatch(req: IncomingMessage): Promise { + const url = new URL(req.url ?? '/', 'http://api'); + for (const [method, pattern, handler] of routes) { + const m = pattern.exec(url.pathname); + if (m && req.method === method) return handler({ req, url, params: m.slice(1), db, s3, config }); + } + throw notFound(); // неизвестный путь или метод — тоже JSON-ошибка контракта + } + + // Каждый ответ, включая ошибки и health, несёт X-Request-Id и X-Instance-Id. + function handle(req: IncomingMessage, res: ServerResponse) { + const requestId = randomUUID(); + res.setHeader('X-Request-Id', requestId); + res.setHeader('X-Instance-Id', config.instanceId); + if (!state.ready) res.setHeader('Connection', 'close'); // при остановке LB не переиспользует соединение + dispatch(req).then(([status, body, headers]) => send(res, status, body, headers), (err) => { + const e = toHttpError(err, requestId); + if (e.status === 401) { + // Basic только на входе, на остальных эндпоинтах — Bearer. + res.setHeader('WWW-Authenticate', req.url === '/api/v1/auth/sessions' ? 'Basic realm="messenger", charset="UTF-8"' : 'Bearer realm="messenger"'); + } + send(res, e.status, { error: { code: e.code, message: e.message, request_id: requestId } }); + }); + } + + return { state, handle }; +} diff --git a/src/config.ts b/src/config.ts new file mode 100644 index 00000000..8d4d8350 --- /dev/null +++ b/src/config.ts @@ -0,0 +1,70 @@ +// Конфигурация процесса из переменных окружения. Читается один раз при старте. +import { readFileSync } from 'node:fs'; +import { hostname } from 'node:os'; + +export type S3Config = { + endpoint: string; + region: string; + bucket: string; + accessKeyId: string; + secretAccessKey: string; +}; + +export type Config = { + host: string; + port: number; + databaseUrl: string; + dbPoolMax: number; + sessionTtlSeconds: number; + shutdownDrainMs: number; + instanceId: string; + s3: S3Config; + maxUploadBytes: number; + maxImagePixels: number; +}; + +function env(name: string, def: string): string { + return process.env[name] || def; +} + +export function envInt(name: string, def: number): number { + const n = Number(env(name, String(def))); + if (!Number.isInteger(n) || n <= 0) throw new Error(`${name} должен быть положительным целым`); + return n; +} + +// Секрет берётся из файла NAME_FILE (Docker secret), иначе из NAME. Значение никогда не логируется. +export function secret(name: string): string { + const file = process.env[name + '_FILE']; + const value = file ? readFileSync(file, 'utf8').trim() : process.env[name]; + if (!value) throw new Error(`нужна переменная ${name} или ${name}_FILE`); + return value; +} + +// Ключи у каждого сервиса свои (api, reconciler, s3-init), compose монтирует их под одинаковыми именами. +export function s3Config(): S3Config { + return { + endpoint: env('S3_ENDPOINT', 'http://s3:9000'), + region: env('S3_REGION', 'us-east-1'), + bucket: env('S3_BUCKET', 'messenger-attachments'), + accessKeyId: secret('S3_ACCESS_KEY_ID'), + secretAccessKey: secret('S3_SECRET_ACCESS_KEY'), + }; +} + +export function loadConfig(): Config { + return { + host: env('APP_HOST', '0.0.0.0'), + port: envInt('APP_PORT', 8080), + databaseUrl: secret('DATABASE_URL'), + dbPoolMax: envInt('DB_POOL_MAX', 8), + sessionTtlSeconds: envInt('SESSION_TTL_SECONDS', 3600), + // Пауза между отказом readiness и закрытием сервера: должна быть больше времени обнаружения LB (fall × inter). + shutdownDrainMs: envInt('SHUTDOWN_DRAIN_MS', 2500), + // X-Instance-Id = hostname контейнера (12 символов ID), по нему scripts/stop-one.sh находит реплику. + instanceId: env('INSTANCE_ID', hostname()), + s3: s3Config(), + maxUploadBytes: envInt('MAX_UPLOAD_BYTES', 10485760), + maxImagePixels: envInt('MAX_IMAGE_PIXELS', 40000000), + }; +} diff --git a/src/db.ts b/src/db.ts new file mode 100644 index 00000000..b05c50bf --- /dev/null +++ b/src/db.ts @@ -0,0 +1,44 @@ +// Доступ к PostgreSQL: пул соединений для API и однократный прогон миграций. +import { readFileSync, readdirSync } from 'node:fs'; +import pg from 'pg'; + +export function createPool(databaseUrl: string, max: number): pg.Pool { + const pool = new pg.Pool({ + connectionString: databaseUrl, + max, + connectionTimeoutMillis: 2000, // пул исчерпан или БД недоступна → 503, а не зависший запрос + statement_timeout: 5000, + }); + // Ошибка простаивающего соединения (например, рестарт PostgreSQL) не должна ронять процесс. + pool.on('error', (err) => console.error('ошибка соединения с БД:', err.message)); + return pool; +} + +// Применяет src/migrations/*.sql по порядку, каждую в своей транзакции и ровно один раз. +// Advisory lock не даёт двум запускам выполнить DDL одновременно. +export async function migrate(databaseUrl: string): Promise { + const client = new pg.Client({ connectionString: databaseUrl }); + await client.connect(); + try { + await client.query('SELECT pg_advisory_lock(3003)'); + await client.query('CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())'); + const dir = new URL('./migrations/', import.meta.url); + for (const file of readdirSync(dir).filter((f) => f.endsWith('.sql')).sort()) { + const done = await client.query('SELECT 1 FROM schema_migrations WHERE version = $1', [file]); + if (done.rowCount) continue; + await client.query('BEGIN'); + try { + await client.query(readFileSync(new URL(file, dir), 'utf8')); + await client.query('INSERT INTO schema_migrations (version) VALUES ($1)', [file]); + await client.query('COMMIT'); + } catch (err) { + await client.query('ROLLBACK'); + throw err; + } + console.log(`применена миграция ${file}`); + } + console.log('схема актуальна'); + } finally { + await client.end(); + } +} diff --git a/src/http/context.ts b/src/http/context.ts new file mode 100644 index 00000000..c4c38984 --- /dev/null +++ b/src/http/context.ts @@ -0,0 +1,19 @@ +// Общие типы обработчиков: контекст запроса и результат. +import type { IncomingMessage, OutgoingHttpHeaders } from 'node:http'; +import type { Pool } from 'pg'; +import type { Config } from '../config.ts'; +import type { Storage } from '../storage/s3.ts'; + +export type Ctx = { + req: IncomingMessage; + url: URL; + params: string[]; // группы из шаблона маршрута, например chat_id + db: Pool; + s3: Storage; + config: Config; +}; + +// [HTTP-статус, JSON-тело или поток байтов, заголовки потока]; без тела — ответ без содержимого (204). +export type Result = [status: number, body?: unknown, headers?: OutgoingHttpHeaders]; + +export type Handler = (c: Ctx) => Promise; diff --git a/src/http/errors.ts b/src/http/errors.ts new file mode 100644 index 00000000..b8b22e4c --- /dev/null +++ b/src/http/errors.ts @@ -0,0 +1,31 @@ +// Ошибки API в формате контракта: {"error":{"code","message","request_id"}}. + +export class HttpError extends Error { + status: number; + code: string; + constructor(status: number, code: string, message: string) { + super(message); + this.status = status; + this.code = code; + } +} + +export const badRequest = (message: string) => new HttpError(400, 'invalid_request', message); +export const unauthorized = () => new HttpError(401, 'unauthorized', 'Требуется действительная сессия'); +// 404 и для отсутствующего, и для чужого объекта: не раскрываем факт существования. +export const notFound = () => new HttpError(404, 'not_found', 'Объект не найден'); +export const conflict = (message: string) => new HttpError(409, 'conflict', message); +export const unavailable = (message: string) => new HttpError(503, 'unavailable', message); +export const tooLarge = (message: string) => new HttpError(413, 'payload_too_large', message); +export const unsupported = (message: string) => new HttpError(415, 'unsupported_media_type', message); + +// Неизвестную ошибку переводим в ответ без внутренних деталей. +// Ошибка SQL — наш баг (500). Потеря соединения, таймаут пула, рестарт или отмена в PostgreSQL — +// временная недоступность зависимости (503): клиент может повторить запрос. +export function toHttpError(err: unknown, requestId: string): HttpError { + if (err instanceof HttpError) return err; + const { code = '', message = '' } = err as { code?: string; message?: string }; + console.error(`запрос ${requestId}: ${code} ${message}`); + const transient = /^(08|53|57)/.test(code) || /^E[A-Z]+$/.test(code) || /connect|terminated|timeout/i.test(message); + return transient ? unavailable('Сервис временно недоступен') : new HttpError(500, 'internal_error', 'Внутренняя ошибка'); +} diff --git a/src/http/pagination.ts b/src/http/pagination.ts new file mode 100644 index 00000000..019413b2 --- /dev/null +++ b/src/http/pagination.ts @@ -0,0 +1,44 @@ +// Keyset-пагинация по (created_at, id) по возрастанию. +// Cursor непрозрачен для клиента: base64url("вид|область|created_at|id"). +// Область привязывает cursor к конкретному чату (или пользователю для списка чатов): чужой cursor → 400. +import { badRequest } from './errors.ts'; +import { UUID } from './request.ts'; + +const TIMESTAMP = /^\d{4}-\d\d-\d\dT\d\d:\d\d:\d\d\.\d{6}Z$/; + +type Keyed = { created_at: string; id: string }; + +export function limitOf(url: URL): number { + const q = url.searchParams.get('limit'); + if (q === null) return 50; + const n = Number(q); + if (!/^\d+$/.test(q) || n < 1 || n > 100) throw badRequest('limit должен быть целым 1–100'); + return n; +} + +// Позиция, после которой продолжать чтение. Без cursor — начало истории. +export function afterCursor(url: URL, kind: string, scope: string): [createdAt: string, id: string] { + const raw = url.searchParams.get('cursor'); + if (raw === null) return ['-infinity', '00000000-0000-0000-0000-000000000000']; + const [k, s, ts, id, ...rest] = Buffer.from(raw, 'base64url').toString().split('|'); + if (k !== kind || s !== scope || !isTimestamp(ts) || !UUID.test(id ?? '') || rest.length) { + throw badRequest('Некорректный cursor'); + } + return [ts, id]; +} + +// Форма RFC 3339 и реальная дата: 2026-13-01 или 2026-02-30 иначе дошли бы до PostgreSQL и дали 500. +// Проверка круговым преобразованием: JS-дата без микросекунд должна совпасть с исходной строкой. +function isTimestamp(ts: string | undefined): ts is string { + if (!ts || !TIMESTAMP.test(ts)) return false; + const ms = Date.parse(ts.slice(0, 23) + 'Z'); + return !Number.isNaN(ms) && new Date(ms).toISOString().slice(0, 23) === ts.slice(0, 23); +} + +// Запрос выбирает limit + 1 строк: лишняя строка означает, что следующая страница есть. +export function page(rows: T[], limit: number, kind: string, scope: string) { + const items = rows.slice(0, limit); + const last = items[limit - 1]; + const next = rows.length > limit ? Buffer.from([kind, scope, last.created_at, last.id].join('|')).toString('base64url') : null; + return { items, next_cursor: next }; +} diff --git a/src/http/request.ts b/src/http/request.ts new file mode 100644 index 00000000..52101b0a --- /dev/null +++ b/src/http/request.ts @@ -0,0 +1,60 @@ +// Разбор и проверка входных данных запроса. +import type { IncomingMessage } from 'node:http'; +import { badRequest, tooLarge, unsupported } from './errors.ts'; + +const BODY_LIMIT = 1 << 20; // 1 MiB: с запасом для 4000 символов в худшем JSON-экранировании +export const UUID = /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/i; + +// Тело запроса как JSON: только application/json, строгий UTF-8, ограничение размера. +export async function readJson(req: IncomingMessage): Promise { + if (mediaType(req) !== 'application/json') throw unsupported('Ожидается application/json'); + const chunks: Buffer[] = []; + let size = 0; + for await (const chunk of req) { + size += chunk.length; + if (size > BODY_LIMIT) throw tooLarge('Слишком большое тело запроса'); + chunks.push(chunk); + } + try { + return JSON.parse(new TextDecoder('utf-8', { fatal: true }).decode(Buffer.concat(chunks))); + } catch { + throw badRequest('Некорректный JSON'); + } +} + +// Тип тела без параметров (charset и т.п.), в нижнем регистре. +export function mediaType(req: IncomingMessage): string { + return (req.headers['content-type'] ?? '').split(';')[0].trim().toLowerCase(); +} + +// Для эндпоинтов без тела: любое непустое тело — 400, а не молча игнорируется. +export async function requireEmptyBody(req: IncomingMessage): Promise { + let size = 0; + for await (const chunk of req) { + size += chunk.length; + if (size > BODY_LIMIT) break; + } + if (size > 0) throw badRequest('Тело запроса не допускается'); +} + +// JSON-объект только с разрешёнными ключами: лишние поля по контракту дают 400. +export function jsonObject(value: unknown, keys: string[]): Record { + if (typeof value !== 'object' || value === null || Array.isArray(value) || Object.keys(value).some((k) => !keys.includes(k))) { + throw badRequest('Ожидается JSON-объект без лишних полей'); + } + return value as Record; +} + +// Обязательная строка: не только пробелы, длина в Unicode code points (эмодзи = 1 символ). +export function isText(v: unknown, min: number, max: number): v is string { + if (typeof v !== 'string' || v.trim() === '') return false; + const n = [...v].length; + return n >= min && n <= max; +} + +// UUID из пути в каноническом нижнем регистре. +export function uuidParam(c: { params: string[] }, name: string): string { + const value = c.params[0]; + if (!UUID.test(value)) throw badRequest(`Некорректный ${name}`); + return value.toLowerCase(); +} diff --git a/src/main.ts b/src/main.ts new file mode 100644 index 00000000..87975036 --- /dev/null +++ b/src/main.ts @@ -0,0 +1,70 @@ +// Точка входа мессенджера (лабораторная 4). +// Реплика не хранит состояния: пользователи, сессии, чаты, сообщения, ключи идемпотентности и метаданные +// вложений — в PostgreSQL, байты вложений — в S3, поэтому любой запрос может обслужить любая реплика. +// node src/main.ts — HTTP-сервер +// node src/main.ts migrate — однократный прогон миграций (сервис migrate) +// node src/main.ts s3-init — идемпотентное создание приватного bucket ключом администратора (сервис s3-init) +// node src/main.ts reconcile — сверка БД ↔ S3, параметры в src/reconcile.ts (сервис reconciler) +import { createServer } from 'node:http'; +import { setTimeout as sleep } from 'node:timers/promises'; +import { createApp } from './app.ts'; +import { envInt, loadConfig, s3Config, secret } from './config.ts'; +import { createPool, migrate } from './db.ts'; +import { reconcileCommand } from './reconcile.ts'; +import { createStorage } from './storage/s3.ts'; + +async function serve(): Promise { + const config = loadConfig(); + const db = createPool(config.databaseUrl, config.dbPoolMax); + const app = createApp(db, createStorage(config.s3), config); + const server = createServer(app.handle); + server.headersTimeout = 5000; + server.requestTimeout = 60000; // 10 MiB на медленном канале; grace reconciler-а (15 мин) заведомо больше + server.keepAliveTimeout = 60000; + server.listen(config.port, config.host, () => + console.log(`реплика ${config.instanceId} слушает :${config.port}, пул БД ${config.dbPoolMax}`)); + + // Graceful shutdown: сначала readiness → 503 и пауза drain, пока LB не исключит реплику (fall × inter), + // при этом запросы ещё обслуживаются; затем перестаём принимать соединения и дожидаемся текущих запросов. + const stop = (signal: string) => { + if (!app.state.ready) return; + console.log(`${signal}: readiness=503, drain ${config.shutdownDrainMs} мс`); + app.state.ready = false; + setTimeout(() => { + server.close(async () => { + await db.end(); + console.log('остановлена'); + process.exit(0); + }); + server.closeIdleConnections(); + setTimeout(() => process.exit(1), 10000).unref(); // страховка от зависшего запроса + }, config.shutdownDrainMs); + }; + process.on('SIGTERM', () => stop('SIGTERM')); + process.on('SIGINT', () => stop('SIGINT')); +} + +// S3 может стартовать позже: повторяем до 30 с. Повторный запуск на готовом bucket ничего не меняет. +async function s3Init(): Promise { + const storage = createStorage(s3Config()); + for (let attempt = 1; ; attempt++) { + try { + console.log(`bucket ${storage.bucket}: ${await storage.createBucket()}`); + return; + } catch (err) { + if (attempt >= 30) throw err; + await sleep(1000); + } + } +} + +const command = process.argv[2]; +if (command === 'migrate') { + await migrate(secret('DATABASE_URL')); +} else if (command === 's3-init') { + await s3Init(); +} else if (command === 'reconcile') { + await reconcileCommand(process.argv.slice(3), envInt('RECONCILE_GRACE_SECONDS', 900)); +} else { + await serve(); +} diff --git a/src/migrations/001_init.sql b/src/migrations/001_init.sql new file mode 100644 index 00000000..e78ebda7 --- /dev/null +++ b/src/migrations/001_init.sql @@ -0,0 +1,57 @@ +-- Начальная схема мессенджера. Источник истины для всех реплик API. +CREATE TABLE users ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + username text NOT NULL UNIQUE, + display_name text NOT NULL, + password_hash text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +-- Хранится только sha256(токена): дамп БД не содержит рабочих Bearer-токенов. +CREATE TABLE sessions ( + token_hash bytea PRIMARY KEY, + user_id uuid NOT NULL REFERENCES users (id), + expires_at timestamptz NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chats ( + id uuid PRIMARY KEY DEFAULT gen_random_uuid(), + title text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); + +CREATE TABLE chat_members ( + chat_id uuid NOT NULL REFERENCES chats (id), + user_id uuid NOT NULL REFERENCES users (id), + position int NOT NULL, + PRIMARY KEY (chat_id, user_id) +); +CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id); + +CREATE TABLE messages ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats (id), + sender_id uuid NOT NULL REFERENCES users (id), + text text NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp() +); +CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id); + +-- Ключи идемпотентности: область = пользователь + метод + путь + ключ. +-- Строка вставляется тем же SQL-оператором, что и сообщение (атомарно). +-- ponytail: ключи не удаляются (контракт требует >= 24 ч); при росте таблицы добавить периодический DELETE. +CREATE TABLE idempotency_keys ( + user_id uuid NOT NULL, + method text NOT NULL, + path text NOT NULL, + key text NOT NULL, + request_hash bytea NOT NULL, + message_id uuid NOT NULL, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + PRIMARY KEY (user_id, method, path, key) +); + +-- RFC 3339 UTC с микросекундами: формат ответа API и точная позиция keyset-cursor. +CREATE FUNCTION rfc3339(timestamptz) RETURNS text LANGUAGE sql STABLE AS +$$ SELECT to_char($1 AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS.US"Z"') $$; diff --git a/src/migrations/002_attachments.sql b/src/migrations/002_attachments.sql new file mode 100644 index 00000000..de1f5ba1 --- /dev/null +++ b/src/migrations/002_attachments.sql @@ -0,0 +1,38 @@ +-- Вложения (lab4). Только добавление схемы: версия lab3 продолжает работать на этой схеме. +-- Метаданные — здесь, байты — в приватном S3-bucket под ключом object_key, который назначает сервер. +-- pending — запись-намерение: создаётся ДО загрузки байтов, поэтому у любого объекта в S3 сначала есть строка; +-- ready — объект загружен и проверен, метаданные описывают оригинал; +-- lost — reconciler не нашёл объект или он не совпал по размеру/SHA-256: вложение скрыто из API (404), +-- ссылки в сообщениях сохраняются, при возврате правильного объекта reconciler вернёт ready. +CREATE TABLE attachments ( + id uuid PRIMARY KEY, + chat_id uuid NOT NULL REFERENCES chats (id), + owner_id uuid NOT NULL REFERENCES users (id), + filename text NOT NULL, + content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')), + -- Побайтовая сортировка совпадает с порядком ListObjectsV2: reconciler сливает два отсортированных потока. + object_key text COLLATE "C" NOT NULL UNIQUE, + state text NOT NULL DEFAULT 'pending' CHECK (state IN ('pending', 'ready', 'lost')), + size_bytes integer CHECK (size_bytes > 0), + sha256 text CHECK (sha256 ~ '^[0-9a-f]{64}$'), + width integer, + height integer, + created_at timestamptz NOT NULL DEFAULT clock_timestamp(), + updated_at timestamptz NOT NULL DEFAULT clock_timestamp(), + UNIQUE (chat_id, id), -- цель составного FK из message_attachments + CHECK (state = 'pending' OR (size_bytes IS NOT NULL AND sha256 IS NOT NULL)) +); +-- Поиск зависших загрузок reconciler-ом. +CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE state = 'pending'; + +-- Вложения сообщения. FK (chat_id, attachment_id) → attachments (chat_id, id): БД не даст прикрепить вложение +-- чужого чата и не даст удалить метаданные вложения, на которое ссылается сообщение (NO ACTION). +CREATE TABLE message_attachments ( + message_id uuid NOT NULL REFERENCES messages (id), + chat_id uuid NOT NULL, + attachment_id uuid NOT NULL, + position int NOT NULL, + PRIMARY KEY (message_id, attachment_id), + FOREIGN KEY (chat_id, attachment_id) REFERENCES attachments (chat_id, id) +); +CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id, chat_id); diff --git a/src/modules/attachments.ts b/src/modules/attachments.ts new file mode 100644 index 00000000..1d1b03f0 --- /dev/null +++ b/src/modules/attachments.ts @@ -0,0 +1,148 @@ +// Вложения: потоковая загрузка PNG/JPEG в приватный S3, метаданные в PostgreSQL, скачивание только через API. +// +// Согласованность двух хранилищ без распределённой транзакции: +// 1. INSERT строки pending (запись-намерение с ключом объекта) — COMMIT; +// 2. поток байтов: клиент → проверка формата + SHA-256 → S3 PUT; +// 3. UPDATE pending → ready — только после этого 201. +// Ошибка на шаге 2–3 → компенсация (удалить объект, затем строку). Если процесс умер и компенсации не было, +// остаются pending-строка и, возможно, объект: их удаляет reconciler после grace period (src/reconcile.ts). +// Объект без строки появиться не может: строка всегда создаётся раньше объекта. +import { createHash, randomUUID } from 'node:crypto'; +import { Transform } from 'node:stream'; +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, notFound, tooLarge, unavailable, unsupported } from '../http/errors.ts'; +import { isText, mediaType, uuidParam } from '../http/request.ts'; +import { requireMember } from './chats.ts'; +import { imageValidator, type Dimensions } from './images.ts'; +import type { User } from './model.ts'; +import { authenticate } from './sessions.ts'; + +const FORBIDDEN_IN_FILENAME = /[/\\\p{Cc}]/u; // разделители путей, NUL и управляющие символы C0/C1 +const VARIANTS = ['thumbnail', 'crop', 'optimized']; // имена контракта; в lab4 вариантов ещё нет +const columns = `a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes, a.sha256, + rfc3339(a.created_at) AS created_at, rfc3339(a.updated_at) AS updated_at`; + +type Row = Record & { object_key?: string }; + +// Ключ объекта в S3 наружу не отдаётся. В lab4 через API видны только ready-вложения без вариантов. +const view = ({ object_key: _, ...row }: Row) => ({ ...row, status: 'ready', variants: [], error_code: null }); + +// POST /api/v1/chats/{chat_id}/attachments?filename=… — сырые байты одного PNG/JPEG. +// Все лимиты проверяются до чтения тела; тело не буферизуется целиком ни в памяти, ни на диске API. +export async function uploadAttachment(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); + const filename = c.url.searchParams.get('filename'); + if (!isText(filename, 1, 255) || FORBIDDEN_IN_FILENAME.test(filename)) { + throw badRequest('filename: 1–255 символов, без / \\ и управляющих символов'); + } + const type = mediaType(c.req); + if (type !== 'image/png' && type !== 'image/jpeg') throw unsupported('Ожидается image/png или image/jpeg'); + const declared = c.req.headers['content-length']; + if (declared === undefined || !/^\d+$/.test(declared)) throw badRequest('Нужен Content-Length: файл передаётся потоком в S3'); + const length = Number(declared); + if (length > c.config.maxUploadBytes) throw tooLarge(`Файл больше ${c.config.maxUploadBytes} байт`); + if (length === 0) throw unsupported('Пустое тело не является изображением'); + + const id = randomUUID(); + const key = `originals/${id}`; // filename только для отображения и в ключ не попадает + await c.db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key) +VALUES ($1, $2, $3, $4, $5, $6)`, [id, chatId, user.id, filename, type, key]); + try { + const { sha256, width, height } = await store(c, key, type, length); + const r = await c.db.query(`UPDATE attachments AS a SET state = 'ready', size_bytes = $2, sha256 = $3, width = $4, height = $5, + updated_at = clock_timestamp() WHERE a.id = $1 AND a.state = 'pending' RETURNING ${columns}`, [id, length, sha256, width, height]); + if (!r.rowCount) throw unavailable('Загрузка не завершилась вовремя'); // строку уже убрал reconciler + return [201, view(r.rows[0])]; + } catch (err) { + void discard(c, id, key); // в фоне: при зависшем S3 клиент не ждёт ещё и DELETE + throw err; + } +} + +// Клиент → проверка + SHA-256 → S3. Обратное давление: пока S3 не принял кусок, следующий не читается из сокета, +// поэтому память на загрузку не зависит от размера файла. Последний кусок уходит в S3 только после полной +// проверки файла: S3 не получит все Content-Length байт невалидного изображения, и объект не создастся. +async function store(c: Ctx, key: string, type: 'image/png' | 'image/jpeg', length: number) { + const check = imageValidator(type, c.config.maxImagePixels); + const hash = createHash('sha256'); + const abort = new AbortController(); + let received = 0; + let dims: Dimensions | undefined; + let failure: unknown; + const fail = (err: unknown) => { + failure ??= err; + abort.abort(); + }; + const body = new Transform({ + transform(chunk: Buffer, _encoding, done) { + received += chunk.length; + hash.update(chunk); + check.write(chunk) + .then(async () => { if (received === length) dims = await check.end(); }) + .then(() => done(null, chunk), done); + }, + }); + body.on('error', fail); + c.req.on('close', () => { if (!c.req.complete) fail(badRequest('Загрузка прервана клиентом')); }); + c.req.pipe(body); + try { + await c.s3.put(key, body, length, type, abort.signal); + if (failure) throw failure; + if (!dims) throw new Error('S3 принял объект до конца проверки'); + return { sha256: hash.digest('hex'), ...dims }; + } catch (err) { + // Остаток тела читаем и выбрасываем: иначе ответ с ошибкой не дойдёт до клиента, который ещё отправляет файл. + c.req.unpipe(body); + c.req.resume(); + body.destroy(); + check.close(); + throw failure ?? err; + } +} + +// Компенсация неудачной загрузки: сначала pending-строка, затем объект. Если строка уже ready (COMMIT прошёл, +// а до API дошла ошибка), объект принадлежит готовому вложению и не удаляется. Сбой здесь не теряет учёт: +// останется pending-строка или объект без строки, их подберёт reconciler. +async function discard(c: Ctx, id: string, key: string): Promise { + try { + const deleted = await c.db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'`, [id]); + if (!deleted.rowCount && (await c.db.query('SELECT 1 FROM attachments WHERE id = $1', [id])).rowCount) return; + await c.s3.remove(key); + } catch (err) { + console.error(`компенсация вложения ${id} не завершена, остаток уберёт reconciler: ${(err as Error).message}`); + } +} + +// Вложение доступно только участникам его чата; постороннему — тот же 404, что и для несуществующего. +async function findReady(c: Ctx, user: User): Promise { + const r = await c.db.query(`SELECT ${columns}, a.object_key FROM attachments a +JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2 +WHERE a.id = $1 AND a.state = 'ready'`, [uuidParam(c, 'attachment_id'), user.id]); + if (!r.rowCount) throw notFound(); + return r.rows[0]; +} + +// GET /api/v1/attachments/{attachment_id} +export async function getAttachment(c: Ctx): Promise { + return [200, view(await findReady(c, await authenticate(c)))]; +} + +// GET /api/v1/attachments/{attachment_id}/content[?variant=original] — байты потоком из S3, без redirect. +export async function downloadAttachment(c: Ctx): Promise { + const user = await authenticate(c); + const variant = c.url.searchParams.get('variant'); + if (variant !== null && variant !== 'original' && !VARIANTS.includes(variant)) throw badRequest('Неизвестный variant'); + const row = await findReady(c, user); + if (variant !== null && variant !== 'original') throw notFound(); // вариантов у ready-объекта lab4 нет + const body = await c.s3.get(row.object_key); + if (!body) { + console.error(`объект вложения ${row.id} отсутствует в S3`); // reconciler пометит его lost + throw notFound(); + } + return [200, body, { + 'Content-Type': row.content_type as string, + 'Content-Length': row.size_bytes as number, + 'X-Content-Type-Options': 'nosniff', + }]; +} diff --git a/src/modules/chats.ts b/src/modules/chats.ts new file mode 100644 index 00000000..8a874a82 --- /dev/null +++ b/src/modules/chats.ts @@ -0,0 +1,68 @@ +// Чаты: создание, список чатов пользователя, один чат, проверка членства. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, notFound } from '../http/errors.ts'; +import { afterCursor, limitOf, page } from '../http/pagination.ts'; +import { UUID, isText, jsonObject, readJson, uuidParam } from '../http/request.ts'; +import { authenticate } from './sessions.ts'; +import type { User } from './model.ts'; + +// Чаты, где состоит пользователь $1; member_ids в порядке, заданном при создании. +const chatSelect = `SELECT c.id, c.title, rfc3339(c.created_at) AS created_at, + (SELECT array_agg(m.user_id::text ORDER BY m.position) FROM chat_members m WHERE m.chat_id = c.id) AS member_ids +FROM chats c JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $1 `; + +// chat_id из пути, если пользователь — участник. Постороннему тот же 404, что и для несуществующего чата. +export async function requireMember(c: Ctx, user: User): Promise { + const chatId = uuidParam(c, 'chat_id'); + const r = await c.db.query({ + name: 'member', + text: 'SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2', + values: [chatId, user.id], + }); + if (!r.rowCount) throw notFound(); + return chatId; +} + +// POST /api/v1/chats: участники фиксируются при создании и обязательно включают создателя. +export async function createChat(c: Ctx): Promise { + const user = await authenticate(c); + const b = jsonObject(await readJson(c.req), ['title', 'member_ids']); + const ids = b.member_ids; + if (!isText(b.title, 1, 100) || !Array.isArray(ids) || ids.length < 1 || ids.length > 100 + || !ids.every((id) => typeof id === 'string' && UUID.test(id))) { + throw badRequest('Неверные title или member_ids'); + } + const members = ids.map((id: string) => id.toLowerCase()); + if (new Set(members).size !== members.length || !members.includes(user.id)) { + throw badRequest('member_ids должны быть уникальны и включать создателя'); + } + try { + // Один оператор = одна транзакция: при неизвестном участнике сработает FK и не создастся ничего. + const r = await c.db.query(`WITH c AS (INSERT INTO chats (title) VALUES ($1) RETURNING id, title, created_at), +m AS (INSERT INTO chat_members (chat_id, user_id, position) + SELECT c.id, t.u::uuid, t.o FROM c, unnest($2::text[]) WITH ORDINALITY AS t(u, o)) +SELECT id, title, rfc3339(created_at) AS created_at FROM c`, [b.title, members]); + return [201, { ...r.rows[0], member_ids: members }]; + } catch (err) { + if ((err as { code?: string }).code === '23503') throw badRequest('Неизвестный участник'); // foreign_key_violation + throw err; + } +} + +// GET /api/v1/chats: только чаты текущего пользователя, cursor привязан к пользователю. +export async function listChats(c: Ctx): Promise { + const user = await authenticate(c); + const limit = limitOf(c.url); + const [ts, id] = afterCursor(c.url, 'c', user.id); + const r = await c.db.query(chatSelect + 'WHERE (c.created_at, c.id) > ($2, $3::uuid) ORDER BY c.created_at, c.id LIMIT $4', + [user.id, ts, id, limit + 1]); + return [200, page(r.rows, limit, 'c', user.id)]; +} + +// GET /api/v1/chats/{chat_id} +export async function getChat(c: Ctx): Promise { + const user = await authenticate(c); + const r = await c.db.query(chatSelect + 'WHERE c.id = $2', [user.id, uuidParam(c, 'chat_id')]); + if (!r.rowCount) throw notFound(); + return [200, r.rows[0]]; +} diff --git a/src/modules/images.ts b/src/modules/images.ts new file mode 100644 index 00000000..f4995c37 --- /dev/null +++ b/src/modules/images.ts @@ -0,0 +1,411 @@ +// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла. +// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу. +// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов +// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом, +// который следует из размеров и формата пикселя. +// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых +// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы +// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый +// Huffman-код libjpeg тоже считает лишь предупреждением. +// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста +// (у JPEG ещё сегмент заголовка, ≤ 64 KiB). +import { finished } from 'node:stream/promises'; +import { createInflate, crc32 } from 'node:zlib'; +import { tooLarge, unsupported } from '../http/errors.ts'; + +export type Dimensions = { width: number; height: number }; + +export type ImageValidator = { + write(chunk: Buffer): Promise; + end(): Promise; // весь файл получен; бросает 415, если он обрезан + close(): void; // освободить ресурсы при обрыве загрузки +}; + +const broken = (why: string) => unsupported(`Содержимое не является корректным изображением: ${why}`); + +export function imageValidator(type: 'image/png' | 'image/jpeg', maxPixels: number): ImageValidator { + return type === 'image/png' ? png(maxPixels) : jpeg(maxPixels); +} + +function checkPixels(width: number, height: number, maxPixels: number): void { + if (width * height > maxPixels) throw tooLarge(`Изображение больше ${maxPixels} пикселей`); +} + +const SIGNATURE = Buffer.from([0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a]); +const CHANNELS: Record = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 }; +const DEPTHS: Record = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] }; +const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]]; + +// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели; +// при interlace — по одной паре на каждый непустой проход Adam7. +function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] { + const row = (w: number) => 1 + Math.ceil((w * bits) / 8); + if (!interlaced) return [[height, row(width)]]; + const passes: [number, number][] = []; + for (const [x0, y0, dx, dy] of ADAM7) { + const w = Math.ceil((width - x0) / dx); + const h = Math.ceil((height - y0) / dy); + if (w > 0 && h > 0) passes.push([h, row(w)]); + } + return passes; +} + +function png(maxPixels: number): ImageValidator { + let carry = Buffer.alloc(0); + let state: 'signature' | 'header' | 'data' | 'crc' | 'done' = 'signature'; + let type = ''; + let left = 0; + let crc = 0; + let ihdr = Buffer.alloc(0); + let dims: Dimensions | null = null; + let color = 0; + let palette = false; + let idat: 'none' | 'open' | 'closed' = 'none'; + let expected = 0; + let inflated = 0; + let rows: [number, number][] = []; + let pass = 0; // текущий проход Adam7 (без interlace — единственный) + let rowsLeft = 0; // строк до конца прохода + let inRow = 0; // позиция внутри текущей строки + let badFilter = false; + + const inflate = createInflate(); + let zerr: Error | null = null; + let wake: (() => void) | null = null; + inflate.on('data', (d: Buffer) => { + inflated += d.length; + // Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2). + for (let i = 0; i < d.length && pass < rows.length;) { + const len = rows[pass][1]; + if (inRow === 0 && d[i] > 4) badFilter = true; + const step = Math.min(len - inRow, d.length - i); + i += step; + inRow += step; + if (inRow === len) { + inRow = 0; + if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0]; + } + } + }); + // При ошибке zlib callback write не вызывается: будим ожидающего вручную. + inflate.on('error', (e) => { zerr = e; wake?.(); }); + const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise((resolve) => { + wake = resolve; + inflate.write(data, () => resolve()); + }); + + function startChunk(len: number) { + if (!/^[A-Za-z]{4}$/.test(type) || len > 0x7fffffff) throw broken('неверный заголовок chunk'); + if (!dims && type !== 'IHDR') throw broken('первым должен быть IHDR'); + if (dims && type === 'IHDR') throw broken('повторный IHDR'); + if (type === 'IHDR' && len !== 13) throw broken('неверная длина IHDR'); + // Неизвестный критический chunk (заглавная первая буква) декодер обязан отвергнуть. + if (/^[A-Z]/.test(type) && !['IHDR', 'PLTE', 'IDAT', 'IEND'].includes(type)) throw broken(`неизвестный chunk ${type}`); + if (type === 'IDAT') { + if (idat === 'closed') throw broken('IDAT идут не подряд'); + if (color === 3 && !palette) throw broken('нет палитры PLTE'); + idat = 'open'; + } else if (idat === 'open') { + idat = 'closed'; + } + if (type === 'PLTE') { + if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE'); + palette = true; + } + if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND'); + } + + function endChunk() { + if (type === 'IHDR') { + const width = ihdr.readUInt32BE(0); + const height = ihdr.readUInt32BE(4); + const depth = ihdr[8]; + color = ihdr[9]; + if (!width || !height || width > 0x7fffffff || height > 0x7fffffff) throw broken('неверные размеры'); + if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR'); + checkPixels(width, height, maxPixels); // до первого байта IDAT + dims = { width, height }; + rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1); + expected = rows.reduce((sum, [h, len]) => sum + h * len, 0); + rowsLeft = rows[0][0]; + } + state = type === 'IEND' ? 'done' : 'header'; + } + + async function write(chunk: Buffer) { + const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk; + let pos = 0; + while (pos < buf.length) { + const avail = buf.length - pos; + if (state === 'signature') { + if (avail < 8) break; + if (!buf.subarray(pos, pos + 8).equals(SIGNATURE)) throw broken('нет сигнатуры PNG'); + pos += 8; + state = 'header'; + } else if (state === 'header') { + if (avail < 8) break; + left = buf.readUInt32BE(pos); + type = buf.toString('latin1', pos + 4, pos + 8); + startChunk(left); + crc = crc32(buf.subarray(pos + 4, pos + 8)); + pos += 8; + state = left ? 'data' : 'crc'; + } else if (state === 'data') { + const part = buf.subarray(pos, pos + Math.min(left, avail)); + crc = crc32(part, crc); + if (type === 'IHDR') ihdr = Buffer.concat([ihdr, part]); + if (type === 'IDAT') { + await feed(part); + if (zerr) throw broken('повреждён поток zlib'); + if (badFilter) throw broken('неверный тип фильтра строки'); + if (inflated > expected) throw broken('данных больше, чем пикселей'); + } + left -= part.length; + pos += part.length; + if (!left) state = 'crc'; + } else if (state === 'crc') { + if (avail < 4) break; + if (buf.readUInt32BE(pos) !== crc) throw broken(`неверная CRC chunk ${type}`); + pos += 4; + endChunk(); + } else { + throw broken('данные после IEND'); + } + } + carry = Buffer.from(buf.subarray(pos)); + } + + return { + async write(chunk) { + try { + await write(chunk); + } catch (err) { + inflate.destroy(); + throw err; + } + }, + async end() { + if (state !== 'done') throw broken('файл обрезан'); + inflate.end(); + try { + await finished(inflate); + } catch { + throw broken('поток zlib не завершён'); + } + if (badFilter) throw broken('неверный тип фильтра строки'); + if (inflated !== expected) throw broken('объём данных не совпадает с размерами'); + return dims!; + }, + close: () => inflate.destroy(), + }; +} + +// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра. +const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]); +// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive +// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются. +const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]); +const DHT = 0xc4; +const SOS = 0xda; +const DQT = 0xdb; +const DRI = 0xdd; +const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]); + +type Component = { h: number; v: number; tq: number }; + +function jpeg(maxPixels: number): ImageValidator { + let carry = Buffer.alloc(0); + let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi'; + let marker = 0; + let left = 0; + let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS) + let dims: Dimensions | null = null; + let progressive = false; + let arithmetic = false; + let scanned = false; + let scanData = 0; // байт энтропийных данных в текущем скане + const components = new Map(); + const quant = new Set(); // номера определённых таблиц DQT + const huff = new Set(); // таблицы DHT: класс << 2 | номер + + function frame() { + const [precision, n] = [seg[0], seg[5]]; + const height = seg.readUInt16BE(1); + const width = seg.readUInt16BE(3); + if (!width || !height) throw broken('нулевые размеры'); + if (precision !== 8) throw broken('поддерживается только 8 бит на канал'); + if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF'); + for (let i = 6; i < seg.length; i += 3) { + const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]]; + if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF'); + components.set(id, { h, v, tq }); + } + // libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному. + const all = [...components.values()]; + const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))]; + if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета'); + checkPixels(width, height, maxPixels); // до энтропийных данных + dims = { width, height }; + progressive = marker === 0xc2 || marker === 0xca; + arithmetic = marker >= 0xc9; + } + + function quantTables() { + for (let i = 0; i < seg.length;) { + const [pq, tq] = [seg[i] >> 4, seg[i] & 15]; + const size = 1 + 64 * (pq + 1); + if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT'); + quant.add(tq); + i += size; + } + } + + function huffmanTables() { + for (let i = 0; i < seg.length;) { + if (i + 17 > seg.length) throw broken('неверная таблица DHT'); + const [tc, th] = [seg[i] >> 4, seg[i] & 15]; + let total = 0; + let code = 0; + for (let len = 1; len <= 16; len++) { + total += seg[i + len]; + code += seg[i + len]; + // Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован). + if (code >= 1 << len) throw broken('неверная таблица DHT'); + code <<= 1; + } + const symbols = seg.subarray(i + 17, i + 17 + total); + if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT'); + if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT'); + huff.add((tc << 2) | th); + i += 17 + total; + } + } + + function scan() { + const n = seg[0]; + if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS'); + const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15]; + if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана'); + if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана'); + const seen = new Set(); + let blocks = 0; + for (let i = 1; i < 1 + 2 * n; i += 2) { + const comp = components.get(seg[i]); + if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент'); + seen.add(seg[i]); + blocks += comp.h * comp.v; + if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT'); + // Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет. + // У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер. + const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15]; + const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t)); + const needDC = !progressive || (ss === 0 && ah === 0); + const needAC = !progressive || ss > 0; + if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования'); + } + if (n > 1 && blocks > 10) throw broken('слишком большой MCU'); + scanned = true; + scanData = 0; + } + + function write(chunk: Buffer) { + const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk; + let pos = 0; + loop: while (pos < buf.length) { + const avail = buf.length - pos; + switch (state) { + case 'soi': + if (avail < 2) break loop; + if (buf[pos] !== 0xff || buf[pos + 1] !== 0xd8) throw broken('нет сигнатуры JPEG'); + pos += 2; + state = 'marker'; + break; + case 'marker': { + if (avail < 2) break loop; + if (buf[pos] !== 0xff) throw broken('ожидался маркер'); + const code = buf[pos + 1]; + if (code === 0xff) { // байты-заполнители 0xFF перед маркером + pos += 1; + break; + } + pos += 2; + if (code === 0xd9) { + if (!scanned) throw broken('EOI до данных изображения'); + state = 'done'; + } else if (code === 0x00 || code === 0xd8 || (code >= 0xd0 && code <= 0xd7)) { + throw broken('неожиданный маркер'); + } else if (code !== 0x01) { // TEM не имеет длины + marker = code; + state = 'length'; + } + break; + } + case 'length': { + if (avail < 2) break loop; + left = buf.readUInt16BE(pos) - 2; + pos += 2; + if (left < 0) throw broken('неверная длина сегмента'); + if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)'); + if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF'); + if (marker === SOS && !dims) throw broken('SOS до SOF'); + if (marker === DRI && left !== 2) throw broken('неверный DRI'); + seg = Buffer.alloc(0); + state = 'payload'; + break; + } + case 'payload': { + const n = Math.min(left, avail); + if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]); + pos += n; + left -= n; + if (left) break; + if (SUPPORTED_SOF.has(marker)) frame(); + else if (marker === DQT) quantTables(); + else if (marker === DHT) huffmanTables(); + else if (marker === SOS) scan(); + state = marker === SOS ? 'scan' : 'marker'; + break; + } + case 'scan': { + // Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер. + const ff = buf.indexOf(0xff, pos); + scanData += (ff < 0 ? buf.length : ff) - pos; + if (ff < 0) { + pos = buf.length; + } else if (ff + 1 >= buf.length) { + pos = ff; + break loop; + } else { + const next = buf[ff + 1]; + if (next === 0x00) { + pos = ff + 2; + scanData += 1; + } else if (next >= 0xd0 && next <= 0xd7) { + pos = ff + 2; + } else if (next === 0xff) { + pos = ff + 1; // заполнитель перед маркером + } else { + if (!scanData) throw broken('скан без данных'); + pos = ff; + state = 'marker'; + } + } + break; + } + case 'done': // данные после EOI (MPF, «живые» фото) — нормальная практика камер + pos = buf.length; + break; + } + } + carry = Buffer.from(buf.subarray(pos)); + } + + return { + write: async (chunk) => write(chunk), + async end() { + if (state !== 'done') throw broken('нет EOI: файл обрезан'); + return dims!; + }, + close: () => {}, + }; +} diff --git a/src/modules/messages.ts b/src/modules/messages.ts new file mode 100644 index 00000000..c4e649a2 --- /dev/null +++ b/src/modules/messages.ts @@ -0,0 +1,102 @@ +// Сообщения: идемпотентная отправка и история чата. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, conflict, notFound } from '../http/errors.ts'; +import { afterCursor, limitOf, page } from '../http/pagination.ts'; +import { UUID, isText, jsonObject, readJson } from '../http/request.ts'; +import { requireMember } from './chats.ts'; +import { authenticate, sha256 } from './sessions.ts'; + +const IDEMPOTENCY_KEY = /^[A-Za-z0-9._:-]{1,128}$/; +// attachment_ids в порядке, заданном отправителем; text[] драйвер pg возвращает как массив строк. +const attachmentIds = (m: string) => + `ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma WHERE ma.message_id = ${m}.id ORDER BY ma.position) AS attachment_ids`; +const messageColumns = `id, chat_id, sender_id, text, rfc3339(created_at) AS created_at, ${attachmentIds('messages')}`; + +// POST /api/v1/chats/{chat_id}/messages с обязательным Idempotency-Key. +// Область ключа: пользователь + метод + путь чата + ключ. +// Ключ и сообщение вставляются ОДНИМ оператором, поэтому фиксируются атомарно: при ошибке БД нет ни того, +// ни другого, и клиент может безопасно повторить запрос с тем же ключом. +// Одновременный дубль (с любой реплики) ждёт на первичном ключе idempotency_keys, пока первая транзакция +// не зафиксируется, затем получает ON CONFLICT DO NOTHING и отдаёт сохранённый результат. +export async function sendMessage(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); // повтор тоже заново проверяет сессию и доступ + const key = c.req.headers['idempotency-key']; + if (typeof key !== 'string' || !IDEMPOTENCY_KEY.test(key)) throw badRequest('Нужен Idempotency-Key [A-Za-z0-9._:-]{1,128}'); + // sender_id в теле не принимается: отправитель — из сессии. + const b = jsonObject(await readJson(c.req), ['text', 'attachment_ids']); + const ids = attachmentList(b.attachment_ids); + const text = b.text; + // С вложениями текст может быть пустым; без вложений — 1–4000 символов, не только пробелы. + if (typeof text !== 'string' || [...text].length > 4000 || (!ids.length && !isText(text, 1, 4000))) { + throw badRequest('text: до 4000 символов; пустой текст допустим только с вложениями'); + } + if (ids.length) await requireReadyAttachments(c, chatId, ids); + + const path = `/api/v1/chats/${chatId}/messages`; + // Каноническое тело: порядок ключей JSON не важен, отсутствующий attachment_ids = []. + // Без вложений hash тот же, что в lab3 (32 байта); с вложениями 64 байта — с текстовым не совпадёт. + const hash = ids.length ? Buffer.concat([sha256(text), sha256(ids.join(','))]) : sha256(text); + let inserted; + try { + inserted = await c.db.query({ + name: 'send', + text: `WITH k AS ( + INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id) + VALUES ($1, 'POST', $2, $3, $4, gen_random_uuid()) ON CONFLICT DO NOTHING RETURNING message_id), +m AS (INSERT INTO messages (id, chat_id, sender_id, text) SELECT message_id, $5, $1, $6 FROM k + RETURNING id, chat_id, sender_id, text, rfc3339(created_at) AS created_at), +a AS (INSERT INTO message_attachments (message_id, chat_id, attachment_id, position) + SELECT m.id, m.chat_id, t.id, t.ord FROM m, unnest($7::uuid[]) WITH ORDINALITY AS t(id, ord)) +SELECT * FROM m`, + values: [user.id, path, key, hash, chatId, text, ids], + }); + } catch (err) { + // Составной FK (chat_id, attachment_id): вложение другого чата не прикрепить даже в обход проверки выше. + if ((err as { code?: string }).code === '23503') throw notFound(); + throw err; + } + if (inserted.rowCount) return [201, { ...inserted.rows[0], attachment_ids: ids }]; + + // Ключ уже использован: тот же body → тот же 201 и то же сообщение, другой body → 409. + const stored = await c.db.query(`SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, rfc3339(m.created_at) AS created_at, + ${attachmentIds('m')} +FROM idempotency_keys k JOIN messages m ON m.id = k.message_id +WHERE k.user_id = $1 AND k.method = 'POST' AND k.path = $2 AND k.key = $3`, [user.id, path, key]); + const { request_hash, ...message } = stored.rows[0]; + if (!hash.equals(request_hash)) throw conflict('Idempotency-Key уже использован с другим телом'); + return [201, message]; +} + +// GET /api/v1/chats/{chat_id}/messages: история по возрастанию (created_at, id), limit 1–100. +export async function listMessages(c: Ctx): Promise { + const user = await authenticate(c); + const chatId = await requireMember(c, user); + const limit = limitOf(c.url); + const [ts, id] = afterCursor(c.url, 'm', chatId); + const r = await c.db.query({ + name: 'history', + text: `SELECT ${messageColumns} FROM messages WHERE chat_id = $1 AND (created_at, id) > ($2, $3::uuid) +ORDER BY created_at, id LIMIT $4`, + values: [chatId, ts, id, limit + 1], + }); + return [200, page(r.rows, limit, 'm', chatId)]; +} + +// attachment_ids: 0–10 уникальных UUID (в нижнем регистре), по умолчанию []. +function attachmentList(value: unknown): string[] { + if (value === undefined) return []; + if (!Array.isArray(value) || value.length > 10 || !value.every((id) => typeof id === 'string' && UUID.test(id))) { + throw badRequest('attachment_ids: до 10 UUID'); + } + const ids = value.map((id: string) => id.toLowerCase()); + if (new Set(ids).size !== ids.length) throw badRequest('attachment_ids должны быть уникальны'); + return ids; +} + +// Все вложения из этого чата и готовы. Чужое или неизвестное — 404, как и чужой чат. +async function requireReadyAttachments(c: Ctx, chatId: string, ids: string[]): Promise { + const r = await c.db.query(`SELECT count(*)::int AS n FROM attachments WHERE id = ANY($1::uuid[]) AND chat_id = $2 AND state = 'ready'`, + [ids, chatId]); + if (r.rows[0].n !== ids.length) throw notFound(); +} diff --git a/src/modules/model.ts b/src/modules/model.ts new file mode 100644 index 00000000..05b679d8 --- /dev/null +++ b/src/modules/model.ts @@ -0,0 +1,8 @@ +// Общая модель пользователя для модулей users и sessions. + +export type User = { id: string; username: string; display_name: string; created_at: string }; + +export const USERNAME = /^[a-z0-9_]{3,32}$/; + +// Время форматирует PostgreSQL: Date в JS потерял бы микросекунды, на которых держится cursor. +export const userColumns = 'u.id, u.username, u.display_name, rfc3339(u.created_at) AS created_at'; diff --git a/src/modules/passwords.ts b/src/modules/passwords.ts new file mode 100644 index 00000000..2db8f87f --- /dev/null +++ b/src/modules/passwords.ts @@ -0,0 +1,29 @@ +// Хеширование паролей: scrypt из node:crypto (N=2^14, r=8, p=1, 16 MiB на хеш). +// Формат хранения: scrypt$N$r$p$соль$хеш (base64), параметры читаются из записи при проверке. +import { randomBytes, scrypt, timingSafeEqual } from 'node:crypto'; + +const N = 16384; +const R = 8; +const P = 1; + +function scryptKey(password: string, salt: Buffer, n: number, r: number, p: number): Promise { + return new Promise((resolve, reject) => + scrypt(password, salt, 32, { N: n, r, p, maxmem: 64 << 20 }, (err, key) => (err ? reject(err) : resolve(key)))); +} + +export async function hashPassword(password: string): Promise { + const salt = randomBytes(16); + const key = await scryptKey(password, salt, N, R, P); + return ['scrypt', N, R, P, salt.toString('base64'), key.toString('base64')].join('$'); +} + +export async function checkPassword(password: string, encoded: string): Promise { + const [alg, n, r, p, salt, hash] = encoded.split('$'); + if (alg !== 'scrypt') return false; + const got = await scryptKey(password, Buffer.from(salt, 'base64'), Number(n), Number(r), Number(p)); + return timingSafeEqual(got, Buffer.from(hash, 'base64')); +} + +// Хеш-пустышка: вход несуществующего пользователя стоит столько же, сколько неверный пароль, +// поэтому по времени ответа нельзя узнать, существует ли username. +export const dummyHash = hashPassword('dummy-password-for-timing'); diff --git a/src/modules/sessions.ts b/src/modules/sessions.ts new file mode 100644 index 00000000..d26b5dca --- /dev/null +++ b/src/modules/sessions.ts @@ -0,0 +1,62 @@ +// Сессии: вход по Basic, выход, проверка Bearer-токена. +// В БД хранится только sha256(токена): дамп базы не даёт рабочих токенов. +import { createHash, randomBytes } from 'node:crypto'; +import type { Ctx, Result } from '../http/context.ts'; +import { HttpError, unauthorized } from '../http/errors.ts'; +import { isText, requireEmptyBody } from '../http/request.ts'; +import { checkPassword, dummyHash } from './passwords.ts'; +import { USERNAME, userColumns, type User } from './model.ts'; + +export const sha256 = (s: string) => createHash('sha256').update(s).digest(); + +function bearerToken(c: Ctx): string | null { + return /^Bearer +(\S+)$/i.exec(c.req.headers.authorization ?? '')?.[1] ?? null; +} + +// Текущий пользователь по Bearer-сессии. Basic и X-User-Id на бизнес-эндпоинтах не аутентифицируют. +// Запрос именованный: pg готовит его один раз на соединение (улучшение из трека 1). +export async function authenticate(c: Ctx): Promise { + const token = bearerToken(c); + if (!token) throw unauthorized(); + const r = await c.db.query({ + name: 'auth', + text: `SELECT ${userColumns} FROM sessions s JOIN users u ON u.id = s.user_id +WHERE s.token_hash = $1 AND s.expires_at > now()`, + values: [sha256(token)], + }); + if (!r.rowCount) throw unauthorized(); + return r.rows[0]; +} + +// POST /api/v1/auth/sessions: Basic username:password → новый Bearer-токен. +export async function createSession(c: Ctx): Promise { + await requireEmptyBody(c.req); // контракт: только заголовок Basic, без JSON-тела + const deny = new HttpError(401, 'unauthorized', 'Неверные учётные данные'); // одинаковый ответ на любую ошибку входа + const m = /^Basic +([A-Za-z0-9+/]+=*)$/i.exec(c.req.headers.authorization ?? ''); + if (!m) throw deny; + const decoded = Buffer.from(m[1], 'base64').toString('utf8'); + const colon = decoded.indexOf(':'); // в username двоеточия нет, в пароле может быть + const username = decoded.slice(0, colon); + const password = decoded.slice(colon + 1); + if (colon < 0 || !USERNAME.test(username)) throw deny; + + const r = await c.db.query( + `SELECT ${userColumns}, u.password_hash FROM users u WHERE u.username = $1`, [username]); + const row = r.rows[0]; + const valid = await checkPassword(password, row?.password_hash ?? await dummyHash); + if (!row || !valid || !isText(password, 12, 128)) throw deny; + + const token = randomBytes(32).toString('base64url'); // 256 бит энтропии + const s = await c.db.query( + `INSERT INTO sessions (token_hash, user_id, expires_at) VALUES ($1, $2, now() + make_interval(secs => $3)) +RETURNING rfc3339(expires_at) AS expires_at`, [sha256(token), row.id, c.config.sessionTtlSeconds]); + const { password_hash: _, ...user } = row; + return [201, { token, token_type: 'Bearer', expires_at: s.rows[0].expires_at, user }]; +} + +// DELETE /api/v1/auth/sessions/current: отзыв текущего токена. +export async function deleteSession(c: Ctx): Promise { + await authenticate(c); + await c.db.query('DELETE FROM sessions WHERE token_hash = $1', [sha256(bearerToken(c)!)]); + return [204]; +} diff --git a/src/modules/users.ts b/src/modules/users.ts new file mode 100644 index 00000000..ad14de2d --- /dev/null +++ b/src/modules/users.ts @@ -0,0 +1,29 @@ +// Пользователи: регистрация и профиль текущего пользователя. +import type { Ctx, Result } from '../http/context.ts'; +import { badRequest, conflict } from '../http/errors.ts'; +import { isText, jsonObject, readJson } from '../http/request.ts'; +import { hashPassword } from './passwords.ts'; +import { USERNAME, userColumns, type User } from './model.ts'; +import { authenticate } from './sessions.ts'; + +// POST /api/v1/users: публичная регистрация. Пароль и его хеш в ответ не попадают. +export async function createUser(c: Ctx): Promise { + const b = jsonObject(await readJson(c.req), ['username', 'display_name', 'password']); + if (typeof b.username !== 'string' || !USERNAME.test(b.username) || !isText(b.display_name, 1, 100) || !isText(b.password, 12, 128)) { + throw badRequest('Неверные username, display_name или password'); + } + try { + const r = await c.db.query( + `INSERT INTO users AS u (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING ${userColumns}`, + [b.username, b.display_name, await hashPassword(b.password)]); + return [201, r.rows[0]]; + } catch (err) { + if ((err as { code?: string }).code === '23505') throw conflict('Username уже занят'); // unique_violation + throw err; + } +} + +// GET /api/v1/users/me +export async function me(c: Ctx): Promise { + return [200, await authenticate(c)]; +} diff --git a/src/reconcile.ts b/src/reconcile.ts new file mode 100644 index 00000000..f5552611 --- /dev/null +++ b/src/reconcile.ts @@ -0,0 +1,202 @@ +// Сверка PostgreSQL ↔ S3: очистка после сбоев загрузки (уровень 4) и исправление расхождений (трек 2). +// node src/main.ts reconcile — dry-run: только отчёт, ничего не меняет +// ... reconcile --apply — выполнить исправления +// --verify дополнительно скачать ready-объекты и сверить SHA-256 (читает все байты bucket) +// --grace=N pending-строки и объекты без строки моложе N секунд не трогаются (RECONCILE_GRACE_SECONDS, 900) +// --every=N повторять каждые N секунд (так работает сервис reconciler) +// +// Правила. Строки ready/lost не удаляются никогда, используемые сообщениями дополнительно защищены FK. +// stale_pending pending старше grace: запрос загрузки давно завершён (таймаут API 60 с ≪ grace) +// → удалить строку, затем объект (если упадём между ними — останется orphan_object) +// orphan_object объект без строки старше grace → удалить объект. Строка создаётся раньше объекта, +// ключ случайный, поэтому строка для такого объекта уже не появится +// missing_object ready без объекта (повторно проверено HEAD) → lost: скрыть из API, ссылки сохранить +// size_mismatch ready, размер объекта ≠ size_bytes → lost +// checksum_mismatch ready, SHA-256 объекта ≠ sha256 (только --verify) → lost +// restored lost, объект на месте и SHA-256 совпал → снова ready (карантин обратим) +// +// Обход: ListObjectsV2 и строки БД, оба отсортированы по ключу побайтово, сливаются как два потока +// (merge join) — память O(страница), запросов O(N / 1000). Конкурентные загрузки: строки, изменённые после +// начала обхода (updated_at ≥ t0), не проверяются; их объекты моложе grace и тоже не трогаются. +import { createHash } from 'node:crypto'; +import type { Readable } from 'node:stream'; +import { setTimeout as sleep } from 'node:timers/promises'; +import type pg from 'pg'; +import { s3Config, secret } from './config.ts'; +import { createPool } from './db.ts'; +import { createStorage, type Storage } from './storage/s3.ts'; + +const PREFIX = 'originals/'; +const PAGE = 1000; +const PRINT_LIMIT = 20; // находки сверх лимита только считаются + +type Options = { apply: boolean; verify: boolean; grace: number }; +type Obj = { key: string; size: number; modified: Date }; +type Row = { id: string; object_key: string; state: string; size_bytes: number | null; sha256: string | null; settled: boolean }; + +export async function reconcileCommand(args: string[], defaultGrace: number): Promise { + const flag = (name: string) => args.find((a) => a.startsWith(`--${name}=`))?.split('=')[1]; + const opts: Options = { apply: args.includes('--apply'), verify: args.includes('--verify'), grace: Number(flag('grace') ?? defaultGrace) }; + const every = Number(flag('every') ?? 0); + if (!Number.isInteger(opts.grace) || opts.grace < 0 || !Number.isInteger(every) || every < 0) throw new Error('--grace/--every: целые секунды'); + const db = createPool(secret('DATABASE_URL'), 2); + const s3 = createStorage(s3Config()); + process.on('SIGTERM', () => process.exit(0)); // прерванный обход безопасен: каждое действие атомарно + for (;;) { + try { + console.log(JSON.stringify(await reconcile(db, s3, opts))); + } catch (err) { + console.error(`сверка не выполнена: ${(err as Error).message}`); + if (!every) process.exitCode = 1; + } + if (!every) break; + await sleep(every * 1000); + } + await db.end(); +} + +export async function reconcile(db: pg.Pool, s3: Storage, opts: Options) { + const started = performance.now(); + const lock = await db.connect(); + try { + // Два reconciler-а одновременно не работают: второй сразу выходит. + if (!(await lock.query('SELECT pg_try_advisory_lock(4004) AS ok')).rows[0].ok) return { skipped: 'другая сверка уже идёт' }; + try { + return await run(db, s3, opts, started); + } finally { + await lock.query('SELECT pg_advisory_unlock(4004)'); + } + } finally { + lock.release(); + } +} + +async function run(db: pg.Pool, s3: Storage, { apply, verify, grace }: Options, started: number) { + const stats = { mode: apply ? 'apply' : 'dry-run', verify, grace_seconds: grace, objects: 0, rows: 0, fresh_skipped: 0, + s3_list: 0, s3_head: 0, s3_get_bytes: 0, db_queries: 0, findings: {} as Record, applied: 0 }; + const t0: Date = (await db.query('SELECT now() AS t0')).rows[0].t0; + stats.db_queries++; + const cutoff = t0.getTime() - grace * 1000; + + const found = async (kind: string, detail: Record, fix: () => Promise) => { + const n = stats.findings[kind] = (stats.findings[kind] ?? 0) + 1; + const done = apply && await fix(); + if (done) stats.applied++; + if (n <= PRINT_LIMIT) console.log(JSON.stringify({ finding: kind, ...detail, action: apply ? (done ? 'fixed' : 'changed meanwhile, skipped') : 'would fix' })); + }; + const setState = async (id: string, from: string, to: string) => { + stats.db_queries++; + return Boolean((await db.query('UPDATE attachments SET state = $3, updated_at = clock_timestamp() WHERE id = $1 AND state = $2', + [id, from, to])).rowCount); + }; + const sha256Of = async (key: string) => { + const body = await s3.get(key); + if (!body) return null; + const hash = createHash('sha256'); + for await (const chunk of body as Readable) { + hash.update(chunk); + stats.s3_get_bytes += chunk.length; + } + return hash.digest('hex'); + }; + + // 1. Зависшие загрузки. Условие повторяется в DELETE: если строка успела измениться, её не трогаем. + const stale = await db.query(`SELECT id, object_key FROM attachments +WHERE state = 'pending' AND created_at < $1::timestamptz - make_interval(secs => $2)`, [t0, grace]); + stats.db_queries++; + for (const r of stale.rows) { + await found('stale_pending', { id: r.id, key: r.object_key }, async () => { + stats.db_queries++; + const d = await db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending' +AND created_at < $2::timestamptz - make_interval(secs => $3)`, [r.id, t0, grace]); + if (!d.rowCount) return false; + await s3.remove(r.object_key); + return true; + }); + } + + // 2. Слияние отсортированных потоков объектов и строк. + const onlyObject = async (o: Obj) => { + if (o.modified.getTime() > cutoff) { + stats.fresh_skipped++; + return; + } + await found('orphan_object', { key: o.key, size: o.size, modified: o.modified }, async () => { + await s3.remove(o.key); + return true; + }); + }; + const onlyRow = async (r: Row) => { + // pending — этап 1; lost — уже в карантине; не settled — строка изменилась после начала обхода. + if (r.state !== 'ready' || !r.settled) return; + stats.s3_head++; + if (await s3.exists(r.object_key)) return; // объект не попал в листинг, но существует — не трогаем + await found('missing_object', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost')); + }; + const both = async (o: Obj, r: Row) => { + if (r.state === 'pending' || !r.settled) return; + if (o.size !== r.size_bytes) { + if (r.state === 'ready') await found('size_mismatch', { id: r.id, key: r.object_key, expected: r.size_bytes, actual: o.size }, () => setState(r.id, 'ready', 'lost')); + return; + } + if (r.state === 'ready' && !verify) return; + const actual = await sha256Of(o.key); + if (r.state === 'ready' && actual !== r.sha256) { + await found('checksum_mismatch', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost')); + } else if (r.state === 'lost' && actual === r.sha256) { + await found('restored', { id: r.id, key: r.object_key }, () => setState(r.id, 'lost', 'ready')); + } + }; + + const objs = objects(s3, stats); + const rows = dbRows(db, t0, stats); + let o = (await objs.next()).value; + let r = (await rows.next()).value; + while (o || r) { + if (o && (!r || o.key < r.object_key)) { + stats.objects++; + await onlyObject(o); + o = (await objs.next()).value; + } else if (r && (!o || r.object_key < o.key)) { + stats.rows++; + await onlyRow(r); + r = (await rows.next()).value; + } else { + stats.objects++; + stats.rows++; + await both(o!, r!); + o = (await objs.next()).value; + r = (await rows.next()).value; + } + } + return { ...stats, duration_ms: Math.round(performance.now() - started), max_rss_mb: Math.round(process.resourceUsage().maxRSS / 1024) }; +} + +async function* objects(s3: Storage, stats: { s3_list: number }): AsyncGenerator { + let token: string | undefined; + let last = ''; + do { + const page = await s3.list(PREFIX, token); + stats.s3_list++; + for (const item of page.Contents ?? []) { + // Слияние корректно только на отсортированных потоках: иначе остановиться, а не удалить лишнее. + if (item.Key! <= last) throw new Error('S3 вернул ключи не по порядку'); + last = item.Key!; + yield { key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! }; + } + token = page.IsTruncated ? page.NextContinuationToken : undefined; + } while (token); + return undefined; +} + +async function* dbRows(db: pg.Pool, t0: Date, stats: { db_queries: number }): AsyncGenerator { + let last = ''; + for (;;) { + const r = await db.query(`SELECT id, object_key, state, size_bytes, sha256, updated_at < $2 AS settled +FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT ${PAGE}`, [last, t0]); + stats.db_queries++; + yield* r.rows; + if (r.rows.length < PAGE) return undefined; + last = r.rows[r.rows.length - 1].object_key; + } +} diff --git a/src/storage/s3.ts b/src/storage/s3.ts new file mode 100644 index 00000000..2451f783 --- /dev/null +++ b/src/storage/s3.ts @@ -0,0 +1,93 @@ +// S3-совместимое хранилище байтов вложений (SeaweedFS). Один приватный bucket, ключи объектов назначает сервер. +// Ошибки переводятся в ответы контракта: недоступность хранилища — 503, ошибка конфигурации/прав — 500. +import { + CreateBucketCommand, + DeleteObjectCommand, + GetObjectCommand, + HeadObjectCommand, + ListObjectsV2Command, + PutObjectCommand, + S3Client, +} from '@aws-sdk/client-s3'; +import type { Readable } from 'node:stream'; +import type { S3Config } from '../config.ts'; +import { HttpError, unavailable } from '../http/errors.ts'; + +export type Storage = ReturnType; + +export function createStorage(cfg: S3Config) { + const client = new S3Client({ + endpoint: cfg.endpoint, + region: cfg.region, + forcePathStyle: true, + credentials: { accessKeyId: cfg.accessKeyId, secretAccessKey: cfg.secretAccessKey }, + // Тело PUT уходит как есть с Content-Length, без aws-chunked/trailer: SHA-256 считает сам API. + requestChecksumCalculation: 'WHEN_REQUIRED', + responseChecksumValidation: 'WHEN_REQUIRED', + // Потоковое тело PUT нельзя отправить повторно; повтор — решение клиента API (он получит 503). + maxAttempts: 1, + // Недоступный S3 — быстрый отказ (1 с); requestTimeout — простой сокета, а не длительность всей загрузки. + // requestTimeout < timeout server HAProxy (10 с): при зависшем S3 ответит API (503), а не LB (504). + requestHandler: { connectionTimeout: 1000, requestTimeout: 8000, throwOnRequestTimeout: true }, + }); + const Bucket = cfg.bucket; + const send = async (p: Promise): Promise => { + try { + return await p; + } catch (err) { + throw storageError(err); + } + }; + + return { + bucket: Bucket, + put: (key: string, body: Readable, length: number, type: string, signal: AbortSignal) => + send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentLength: length, ContentType: type }), { abortSignal: signal })), + // null — объекта нет. + async get(key: string): Promise { + try { + return (await client.send(new GetObjectCommand({ Bucket, Key: key }))).Body as Readable; + } catch (err) { + if (isMissing(err)) return null; + throw storageError(err); + } + }, + async exists(key: string): Promise { + try { + await client.send(new HeadObjectCommand({ Bucket, Key: key })); + return true; + } catch (err) { + if (isMissing(err)) return false; + throw storageError(err); + } + }, + remove: (key: string) => send(client.send(new DeleteObjectCommand({ Bucket, Key: key }))), + list: (prefix: string, token?: string) => + send(client.send(new ListObjectsV2Command({ Bucket, Prefix: prefix, ContinuationToken: token, MaxKeys: 1000 }))), + // Идемпотентный bootstrap: существующий bucket этого владельца — не ошибка. + async createBucket(): Promise<'created' | 'exists'> { + try { + await client.send(new CreateBucketCommand({ Bucket })); + return 'created'; + } catch (err) { + if ((err as Error).name === 'BucketAlreadyOwnedByYou') return 'exists'; + throw err; + } + }, + }; +} + +function isMissing(err: unknown): boolean { + const e = err as { name?: string; $metadata?: { httpStatusCode?: number } }; + return e.name === 'NoSuchKey' || e.name === 'NotFound' || e.$metadata?.httpStatusCode === 404; +} + +// 4xx от S3 (AccessDenied, неверный bucket) — ошибка конфигурации: 500. Сеть, таймаут, 5xx — 503, клиент может повторить. +function storageError(err: unknown): Error { + if (err instanceof HttpError) return err; + const e = err as { name?: string; message?: string; $metadata?: { httpStatusCode?: number } }; + if (e.name === 'AbortError') return err as Error; // загрузку прервал сам API, причину знает вызывающий + console.error(`S3: ${e.name} ${e.message}`); + const status = e.$metadata?.httpStatusCode ?? 0; + return status >= 400 && status < 500 ? new HttpError(500, 'internal_error', 'Внутренняя ошибка') : unavailable('Хранилище файлов недоступно'); +} diff --git a/student-tests/attachments.py b/student-tests/attachments.py new file mode 100644 index 00000000..f09900cf --- /dev/null +++ b/student-tests/attachments.py @@ -0,0 +1,212 @@ +#!/usr/bin/env python3 +"""Негативные и граничные сценарии вложений (уровень 4) через LB: ни один из них не должен дать 500. +Изображения генерируются кодом (PNG — zlib/struct), JPEG — синтетический fixtures/sample.jpg (sips из sample.png). +Запуск: python3 student-tests/attachments.py --base-url http://localhost:8080""" +import hashlib +import http.client +import os +from pathlib import Path +import struct +import sys +import time +import urllib.parse +import uuid +import zlib + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run # noqa: E402 + +MiB = 1024 * 1024 +SAMPLE_PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() +SAMPLE_JPG = (Path(__file__).parent / 'fixtures/sample.jpg').read_bytes() + + +def chunk(kind, data): + return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data)) + + +def png(width, height, raw, depth=8, color=2, level=1): + """PNG из готовых распакованных строк raw (байт фильтра + пиксели).""" + ihdr = struct.pack('>IIBBBBB', width, height, depth, color, 0, 0, 0) + return b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + chunk(b'IEND', b'') + + +def noise_png(side): + """RGB-шум не сжимается: размер файла ≈ side² × 3 байт.""" + row = 1 + side * 3 + return png(side, side, b''.join(b'\0' + os.urandom(row - 1) for _ in range(side))) + + +def gray1(width, height): + """1-битный серый PNG из нулей: 40 Мпикс занимают несколько килобайт файла.""" + return png(width, height, bytes(height * (1 + (width + 7) // 8)), depth=1, color=0, level=9) + + +def jpeg_with_size(data, width, height): + """Подменить размеры в SOF0 существующего JPEG.""" + i = data.index(b'\xff\xc0') + return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:] + + +def jpeg_without(data, marker): + """Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS.""" + out, i = data[:2], 2 + while data[i + 1] != 0xda: + size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0] + if data[i + 1] != marker: + out += data[i:i + size] + i += size + return out + data[i:] + + +def bare_jpeg(): + """27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана.""" + return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00' + + b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9') + + +def main(): + args = arguments('Attachment negative suite') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, eve, chat = c.bootstrap() + other = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json'] + results = [] + + def upload(data, expected, ctype='image/png', name='file.png', actor=alice, target=chat, label=None): + path = '/api/v1/chats/' + target['id'] + '/attachments?filename=' + urllib.parse.quote(name, safe='') + r = c.call('POST', path, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, schema='Attachment' if expected == 201 else None) + results.append((label or name, r['status'], (r['json'] or {}).get('error', {}).get('code', ''), round(r['elapsed'] * 1000))) + if expected == 201: + att = r['json'] + check(att['sha256'] == hashlib.sha256(data).hexdigest() and att['size_bytes'] == len(data), label + ': checksum/size') + check(att['content_type'] == ctype and att['filename'] == name and att['status'] == 'ready', label + ': metadata') + return att + return r['json'] + + def download(att, actor=bob, expect=None): + r = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=actor) + check(r['bytes'] == expect and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'download differs') + check(r['headers'].get_content_type() == att['content_type'], 'download content type') + check(r['headers'].get('X-Content-Type-Options') == 'nosniff', 'missing nosniff') + check(not r['headers'].get('Location'), 'download must not redirect') + + # Принимаются реальные PNG/JPEG, граница по размеру и по пикселям. + jpg = upload(SAMPLE_JPG, 201, 'image/jpeg', 'фото 📷 2026.jpg', label='real JPEG + unicode filename') + download(jpg, expect=SAMPLE_JPG) + big = noise_png(1860) + check(9 * MiB < len(big) <= 10 * MiB, 'big fixture size %d' % len(big)) + big_att = upload(big, 201, label='PNG %.2f MiB (noise 1860x1860)' % (len(big) / MiB)) + download(big_att, expect=big) + upload(gray1(6400, 6250), 201, label='PNG ровно 40 000 000 px') + + # Лимиты: до чтения тела (Content-Length) и по заголовку изображения до распаковки. + upload(noise_png(1900), 413, label='PNG 10.33 MiB > 10 MiB') + upload(os.urandom(10 * MiB + 1), 413, label='10 MiB + 1 байт') + upload(gray1(6400, 6251), 413, label='PNG 40 006 400 px') + bomb = gray1(30000, 30000) + upload(bomb, 413, label='pixel-bomb 30000x30000, файл %d КБ' % (len(bomb) // 1024)) + upload(jpeg_with_size(SAMPLE_JPG, 10000, 10000), 413, 'image/jpeg', 'bomb.jpg', label='JPEG SOF 10000x10000') + # IHDR обещает 100x100, а IDAT распаковывается в 64 МБ нулей: распаковка останавливается на лишних данных. + upload(png(100, 100, bytes(64 * MiB), level=9), 415, label='zip-bomb в IDAT (64 МБ при 100x100)') + + # Повреждённые файлы и подмена типа. + bad_crc = bytearray(SAMPLE_PNG) + bad_crc[1000] ^= 0xFF + upload(bytes(bad_crc), 415, label='PNG: байт IDAT испорчен (CRC)') + upload(png(320, 200, os.urandom(1000)), 415, label='PNG: корректные CRC, мусор в zlib') + upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей') + upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан') + upload(SAMPLE_PNG + b'', 415, label='PNG + данные после IEND') + upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)') + upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана') + upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT') + upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)') + upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg') + upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png') + upload(b'GIF89a' + os.urandom(100), 415, label='GIF под видом image/png') + upload(b'', 415, label='SVG под видом image/png') + upload(SAMPLE_PNG, 415, 'image/gif', 'x.gif', label='Content-Type image/gif') + upload(SAMPLE_PNG, 415, 'application/octet-stream', 'x.png', label='Content-Type octet-stream') + upload(b'', 415, label='пустое тело') + + # Опасные и некорректные filename: 400 до чтения тела. + for name in ['../etc/passwd', 'a/b.png', 'a\\b.png', 'nul\x00.png', 'tab\t.png', 'line\n.png', 'c1\x85.png', '', ' ', 'x' * 256]: + upload(SAMPLE_PNG, 400, name=name, label='filename %r' % name[:20]) + r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=SAMPLE_PNG, headers={'Content-Type': 'image/png'}) + results.append(('без filename', r['status'], r['json']['error']['code'], round(r['elapsed'] * 1000))) + results.append(('chunked без Content-Length',) + chunked_upload(c, alice, chat)) + + # Доступ: без сессии, посторонний, чужое вложение. + upload(SAMPLE_PNG, 401, actor={'id': '', 'token': 'bad'}, label='без действительной сессии') + upload(SAMPLE_PNG, 404, actor=eve, label='посторонний грузит в чужой чат') + upload(SAMPLE_PNG, 404, target={'id': str(uuid.uuid4())}, label='несуществующий чат') + upload(SAMPLE_PNG, 400, target={'id': 'not-a-uuid'}, label='chat_id не UUID') + own = upload(SAMPLE_PNG, 201, label='обычный PNG') + foreign = upload(SAMPLE_PNG, 201, target=other, label='PNG в другом чате') + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 404, actor=eve) + c.call('GET', '/api/v1/attachments/' + foreign['id'] + suffix, 404, actor=bob) + c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=bob) + c.call('GET', '/api/v1/attachments/xyz' + suffix, 400, actor=bob) + c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 401) + content = '/api/v1/attachments/' + own['id'] + '/content' + c.call('GET', content + '?variant=thumbnail', 404, actor=bob) + c.call('GET', content + '?variant=bogus', 400, actor=bob) + check(c.call('GET', content + '?variant=original', actor=bob)['bytes'] == SAMPLE_PNG, 'variant=original') + + # Привязка к сообщению: только вложения этого чата, 0–10 уникальных UUID. + send = '/api/v1/chats/' + chat['id'] + '/messages' + + def post(body, expected, key=None): + return c.call('POST', send, expected, actor=alice, body=body, headers={'Idempotency-Key': key or uuid.uuid4().hex}, + schema='Message' if expected == 201 else None)['json'] + + post({'text': 'чужое', 'attachment_ids': [foreign['id']]}, 404) + post({'text': 'смесь', 'attachment_ids': [own['id'], foreign['id']]}, 404) + post({'text': 'нет такого', 'attachment_ids': [str(uuid.uuid4())]}, 404) + post({'text': 'дубль', 'attachment_ids': [own['id'], own['id'].upper()]}, 400) + post({'text': 'много', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400) + post({'text': 'не uuid', 'attachment_ids': ['x']}, 400) + post({'text': 'не массив', 'attachment_ids': own['id']}, 400) + post({'text': ' '}, 400) + post({'text': '', 'attachment_ids': []}, 400) + c.call('POST', '/api/v1/chats/' + other['id'] + '/messages', 404, actor=bob, body={'text': 'x', 'attachment_ids': [foreign['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}) + key = uuid.uuid4().hex + m = post({'text': '', 'attachment_ids': [own['id'], jpg['id']]}, 201, key) + check(m['attachment_ids'] == [own['id'], jpg['id']] and m['text'] == '', 'attachment order/text') + check(post({'attachment_ids': [own['id'], jpg['id']], 'text': ''}, 201, key) == m, 'replay with attachments differs') + post({'text': '', 'attachment_ids': [jpg['id'], own['id']]}, 409, key) + post({'text': '', 'attachment_ids': [own['id']]}, 409, key) + key = uuid.uuid4().hex + t = post({'text': 'без вложений'}, 201, key) + check(post({'text': 'без вложений', 'attachment_ids': []}, 201, key) == t and t['attachment_ids'] == [], 'missing attachment_ids != []') + history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + check([x for x in history if x['id'] == m['id']] == [m], 'history lost attachment_ids') + + width = max(len(r[0]) for r in results) + for label, status, code, ms in results: + print('%-*s %d %-24s %5d ms' % (width, label, status, code, ms)) + check(all(status < 500 for _, status, _, _ in results), 'server error in negative suite') + print('PASS: %d upload cases, ACL and message linking; no 5xx' % len(results)) + + +def chunked_upload(c, actor, chat): + """Тело без Content-Length (Transfer-Encoding: chunked): потоковая запись в S3 требует длину — 400.""" + url = urllib.parse.urlsplit(c.base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10) + conn.putrequest('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=c.png') + conn.putheader('Authorization', 'Bearer ' + actor['token']) + conn.putheader('Content-Type', 'image/png') + conn.putheader('Transfer-Encoding', 'chunked') + conn.endheaders() + start = time.monotonic() + conn.send(b'%x\r\n%s\r\n0\r\n\r\n' % (len(SAMPLE_PNG), SAMPLE_PNG)) + r = conn.getresponse() + body = r.read() + check(r.status == 400 and b'invalid_request' in body, 'chunked upload: %d' % r.status) + return r.status, 'invalid_request', round((time.monotonic() - start) * 1000) + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/failures.py b/student-tests/failures.py new file mode 100644 index 00000000..de248b6a --- /dev/null +++ b/student-tests/failures.py @@ -0,0 +1,167 @@ +#!/usr/bin/env python3 +"""Отказы вокруг S3 и перезапуск всего стенда (уровни 3–4). Управляет Docker Compose этого каталога: + 0. клиент обрывает загрузку на середине тела: компенсация убирает строку, объект не появляется; + 1. S3 остановлен: upload/download → 503 быстро, метаданные и текст работают, readiness = 200; + 2. S3 «завис» (docker pause): ответ 503 по таймауту API раньше таймаута LB; + 3. после возврата S3 всё работает, неудачные загрузки не оставили ни строк, ни объектов; «воскресший» PUT убирает reconciler; + 4. docker compose down (без -v) + up: метаданные, оригинал и прежний токен сохранены. +Запуск: python3 student-tests/failures.py --base-url http://localhost:8080""" +import hashlib +import http.client +import json +from pathlib import Path +import subprocess +import sys +import time +import urllib.parse +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, ROOT, arguments, check, run # noqa: E402 + +PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + +def compose(*args, capture=False): + r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True) + check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:])) + return r.stdout if capture else None + + +def sql(query): + return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query, capture=True).strip() + + +def reconcile(*flags): + for _ in range(3): # фоновый reconciler держит advisory lock — подождать и повторить + out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags, capture=True) + summary = json.loads(out.strip().splitlines()[-1]) + if 'skipped' not in summary: + return summary + time.sleep(2) + raise AssertionError('reconciler lock is busy') + + +def abort_upload(base, token, chat): + """Отправить заголовки и половину тела, затем закрыть соединение.""" + url = urllib.parse.urlsplit(base) + conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10) + conn.putrequest('POST', '/api/v1/chats/' + chat + '/attachments?filename=abort.png') + conn.putheader('Authorization', 'Bearer ' + token) + conn.putheader('Content-Type', 'image/png') + conn.putheader('Content-Length', str(len(PNG))) + conn.endheaders() + conn.send(PNG[:len(PNG) // 2]) + time.sleep(0.5) # строка pending и S3 PUT уже начаты + conn.close() + return len(PNG) // 2 + + +def wait_ready(c, seconds=90): + deadline = time.monotonic() + seconds + while time.monotonic() < deadline: + try: + if c.call('GET', '/health/ready', [200, 503])['status'] == 200: + return + except AssertionError: + pass + time.sleep(1) + raise AssertionError('stand not ready') + + +def recover(c, path, actor, seconds=60): + """Время до первого успешного скачивания после возврата S3.""" + start = time.monotonic() + while c.call('GET', path, [200, 503], actor=actor)['status'] != 200: + check(time.monotonic() - start < seconds, 'S3 path did not recover') + time.sleep(0.5) + return time.monotonic() - start + + +def main(): + args = arguments('S3 outage, S3 hang and full stand restart') + c = Client(args.base_url, args.ca_file, timeout=30) + alice, bob, _, chat = c.bootstrap() + up = '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png' + send = '/api/v1/chats/' + chat['id'] + '/messages' + hdr = {'Content-Type': 'image/png'} + att = c.call('POST', up, 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json'] + content = '/api/v1/attachments/' + att['id'] + '/content' + pending_before = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) + log = [] + + def step(name, r): + log.append('%-52s %d %5d ms' % (name, r['status'], r['elapsed'] * 1000)) + + # 0. Обрыв загрузки клиентом. Перед этим --apply с grace 0 (кроме теста никто не пишет): чистая база для сравнения. + reconcile('--grace=0', '--apply') + sent = abort_upload(c.base, alice['token'], chat['id']) + time.sleep(1.5) + left = sql("SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'abort.png'" % chat['id']) + after = reconcile('--grace=0') + log.append('client abort после %d из %d байт: строк abort.png %s, сверка: %s' % (sent, len(PNG), left, json.dumps(after['findings']))) + check(left == '0' and not after['findings'], 'aborted upload left a row or an object') + + # 1. S3 остановлен. + compose('stop', 's3') + try: + step('S3 stopped: /health/ready (S3 не критичен)', c.call('GET', '/health/ready', 200)) + for i in range(3): + step('S3 stopped: upload #%d' % (i + 1), c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr)) + step('S3 stopped: download', c.call('GET', content, 503, actor=bob)) + step('S3 stopped: metadata (только БД)', c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')) + step('S3 stopped: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 недоступен'}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + step('S3 stopped: message with ready attachment', c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + finally: + compose('start', 's3') + # Компенсация сначала удаляет pending-строку (БД доступна), затем объект: S3 недоступен, но объекта и нет — PUT не прошёл. + leftover = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) - pending_before + log.append('pending-строк после 3 неудачных загрузок: %d' % leftover) + check(leftover == 0, 'compensation left pending rows') + + log.append('S3 started: download снова 200 через %.1f s' % recover(c, content, bob)) + + # 2. S3 завис: TCP-соединения не отвечают. + c.call('GET', content, 200, actor=bob) # прогреть keep-alive соединения API → S3 + compose('pause', 's3') + try: + step('S3 paused: download (таймаут сокета S3 8 с)', c.call('GET', content, 503, actor=bob)) + step('S3 paused: upload', c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr)) + step('S3 paused: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 завис'}, + headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')) + finally: + compose('unpause', 's3') + + # 3. S3 вернулся. + log.append('S3 unpaused: download снова 200 через %.1f s' % recover(c, content, bob)) + step('S3 back: upload', c.call('POST', up, 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment')) + r = c.call('GET', content, 200, actor=bob) + check(r['bytes'] == PNG, 'original changed') + step('S3 back: download old attachment', r) + # Ожидаемо: пусто или orphan_object — PUT, который S3 буферизовал во время pause и выполнил после того, + # как API сдался и компенсация уже удалила строку и объект (объект «воскрес»). + dry = reconcile('--grace=0') + log.append('reconcile dry-run --grace=0: %s' % json.dumps(dry['findings'], ensure_ascii=False)) + check(set(dry['findings']) <= {'orphan_object'}, 'unexpected findings') + fixed = reconcile('--grace=0', '--apply') + again = reconcile('--grace=0') + log.append('reconcile --apply: applied=%d; повтор: %s' % (fixed['applied'], json.dumps(again['findings']))) + check(not again['findings'], 'reconciler left inconsistencies') + + # 4. Полный перезапуск стенда с сохранением volumes: down удаляет контейнеры и сети, не volumes. + compose('down') + compose('up', '-d', '--wait') + wait_ready(c) + r = c.call('GET', content, 200, actor=bob) # прежний токен + check(r['bytes'] == PNG and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'original lost after down/up') + step('down + up -d: download with old token', r) + meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json'] + check(meta == att, 'metadata changed after restart') + print('\n'.join(log)) + print('PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/fixtures/sample.jpg b/student-tests/fixtures/sample.jpg new file mode 100644 index 00000000..208d00b6 Binary files /dev/null and b/student-tests/fixtures/sample.jpg differ diff --git a/student-tests/idempotency_race.py b/student-tests/idempotency_race.py new file mode 100755 index 00000000..0b056a65 --- /dev/null +++ b/student-tests/idempotency_race.py @@ -0,0 +1,59 @@ +#!/usr/bin/env python3 +"""Один Idempotency-Key, N параллельных запросов через LB (то есть через разные реплики). +Половина запросов с телом A, половина с телом B: должно появиться ровно одно сообщение, каждый 201 возвращает его, +другое тело получает 409. Запуск: python3 student-tests/idempotency_race.py --base-url http://localhost:8080""" +from concurrent.futures import ThreadPoolExecutor +import json +from pathlib import Path +import sys +import threading +import uuid + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) +from client import Client, arguments, check, run # noqa: E402 + + +def main(): + args = arguments('Parallel same-key POST race', lambda p: p.add_argument('--parallel', type=int, default=32)) + c = Client(args.base_url, args.ca_file) + alice, bob, _, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + '/messages' + key = 'race-' + uuid.uuid4().hex + texts = ['гонка A ' + key, 'гонка B ' + key] + barrier = threading.Barrier(args.parallel) + + def send(i): + local = Client(args.base_url, args.ca_file) + barrier.wait() + r = local.call('POST', path, [201, 409], actor=alice, body={'text': texts[i % 2]}, headers={'Idempotency-Key': key}, schema='Message') + return r['status'], r['json'], r['headers']['X-Instance-Id'] + + with ThreadPoolExecutor(args.parallel) as pool: + results = list(pool.map(send, range(args.parallel))) + + created = [body for status, body, _ in results if status == 201] + check(created, 'no request succeeded') + winner = created[0] + check(all(body == winner for body in created), 'replicas returned different messages for one key') + check(all(body['error']['code'] == 'conflict' for status, body, _ in results if status == 409), '409 without conflict code') + statuses = {texts[i % 2]: set() for i in range(2)} + for i, (status, _, _) in enumerate(results): + statuses[texts[i % 2]].add(status) + check(statuses[winner['text']] == {201}, 'winning body must always get 201') + check(statuses[next(t for t in texts if t != winner['text'])] == {409}, 'other body must always get 409') + instances = {inst for _, _, inst in results} + check(len(instances) >= 2, 'race did not reach two replicas') + + history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] + stored = [m for m in history if key in m['text']] + check(stored == [winner], 'expected exactly one stored message equal to the replayed one') + # Тот же ключ у другого пользователя независим. + other = c.message(bob, chat, texts[0], key=key)['json'] + check(other['id'] != winner['id'] and other['sender_id'] == bob['id'], 'key scope leaked across users') + print(json.dumps({'parallel': args.parallel, 'replicas_hit': len(instances), 'created_201': len(created), + 'conflict_409': args.parallel - len(created), 'stored_messages': len(stored)}, ensure_ascii=False)) + print('PASS: concurrent same-key POSTs through different replicas created exactly one message') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/s3_probe.mjs b/student-tests/s3_probe.mjs new file mode 100644 index 00000000..a1916040 --- /dev/null +++ b/student-tests/s3_probe.mjs @@ -0,0 +1,31 @@ +// Проба прав S3 изнутри контейнера сервиса (его же ключами из /run/secrets). +// Запуск: docker compose exec -T api node --input-type=module - < student-tests/s3_probe.mjs +// Печатает по строке «операция: результат»; ключи и секреты не выводятся. +import { readFileSync } from 'node:fs'; +import { CreateBucketCommand, GetObjectCommand, ListObjectsV2Command, PutObjectCommand, DeleteObjectCommand, S3Client } from '@aws-sdk/client-s3'; + +const key = process.argv[2]; +const bucket = process.env.S3_BUCKET; +const s3 = new S3Client({ + endpoint: process.env.S3_ENDPOINT, region: process.env.S3_REGION, forcePathStyle: true, maxAttempts: 1, + credentials: { + accessKeyId: readFileSync('/run/secrets/s3_access_key_id', 'utf8').trim(), + secretAccessKey: readFileSync('/run/secrets/s3_secret_access_key', 'utf8').trim(), + }, +}); +const probe = async (name, command) => { + try { + await s3.send(command); + console.log(`${name}: allowed`); + } catch (err) { + console.log(`${name}: denied (${err.$metadata?.httpStatusCode} ${err.name})`); + } +}; +const scratch = `probe/${Date.now()}`; +await probe('GetObject own bucket', new GetObjectCommand({ Bucket: bucket, Key: key })); +await probe('ListObjectsV2 own bucket', new ListObjectsV2Command({ Bucket: bucket, MaxKeys: 1 })); +await probe('CreateBucket other', new CreateBucketCommand({ Bucket: `probe-${Date.now()}` })); +await probe('PutObject other bucket', new PutObjectCommand({ Bucket: 'other-bucket', Key: 'x', Body: 'x' })); +await probe('PutObject own bucket', new PutObjectCommand({ Bucket: bucket, Key: scratch, Body: 'x' })); +await probe('DeleteObject own bucket', new DeleteObjectCommand({ Bucket: bucket, Key: scratch })); +s3.destroy(); // keep-alive сокеты иначе держат процесс до idle-таймаута S3 diff --git a/tsconfig.json b/tsconfig.json new file mode 100644 index 00000000..9afe9524 --- /dev/null +++ b/tsconfig.json @@ -0,0 +1,15 @@ +{ + "compilerOptions": { + "target": "esnext", + "module": "nodenext", + "moduleResolution": "nodenext", + "noEmit": true, + "strict": true, + "allowImportingTsExtensions": true, + "erasableSyntaxOnly": true, + "verbatimModuleSyntax": true, + "skipLibCheck": true, + "types": ["node"] + }, + "include": ["src"] +}