Реализовать лабораторную 4: вложения в S3 и согласованность с БД

- приватный bucket SeaweedFS за S3-шлюзом, отдельные identities
  admin/api/reconciler, анонимный доступ запрещён
- потоковый upload с проверкой PNG/JPEG (CRC, распаковка со сверкой
  объёма, лимит пикселей до распаковки) без буферизации тела
- скачивание через авторизованный API; компенсация неудачной загрузки:
  сначала pending-строка, затем объект
- reconciler БД ↔ S3 с grace period: stale_pending, orphan_object,
  missing_object, size/checksum mismatch, обратимый карантин lost
- сценарии отказов S3, замер памяти загрузок, трек 2, evidence и REPORT.md
This commit is contained in:
celis
2026-10-31 00:31:54 +03:00
parent ec540a1a72
commit 04458025fb
58 changed files with 4549 additions and 17 deletions
+3
View File
@@ -18,3 +18,6 @@ __pycache__
node_modules
evidence
.DS_Store
research
student-tests
tests
+10
View File
@@ -18,3 +18,13 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
# Implementation knobs (compose.yaml interpolation), see REPORT.md:
LB_PORT=8080
DB_POOL_MAX=8
API_CPUS=1
API_MEMORY=256m
DB_CPUS=2
SHUTDOWN_DRAIN_MS=2500
# Reconciler DB <-> S3: never touches pending rows / unreferenced objects younger than grace.
RECONCILE_GRACE_SECONDS=900
RECONCILE_INTERVAL_SECONDS=300
+11
View File
@@ -0,0 +1,11 @@
# Node 24 исполняет .ts напрямую (type stripping), отдельной сборки нет; типы проверяет `npm run typecheck`.
FROM node:24.22.2-alpine3.24
WORKDIR /app
ENV NODE_ENV=production
COPY package.json package-lock.json ./
RUN npm ci --omit=dev && npm cache clean --force
COPY src ./src
USER node
EXPOSE 8080
# node работает как PID 1 и сам обрабатывает SIGTERM (graceful shutdown в src/main.ts).
CMD ["node", "src/main.ts"]
+243 -17
View File
@@ -1,37 +1,263 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Морару С. С., БПИ2303
- Целевая оценка: **5**, трек 2 «Согласованность двух хранилищ»
- Commit/PR: ветка `solution/bpi2303-moraru` (fork `s.s.moraru/mtusi2026lab4` и PR — при публикации)
- Источники: Node.js 24 (`node:http`, `node:crypto`, `node:zlib`, `node:stream`), `pg` 8.23.1, `@aws-sdk/client-s3` 3.1152.0, SeaweedFS 4.48, HAProxy 3.2, PostgreSQL 18; спецификации PNG (ISO/IEC 15948) и JPEG (ITU-T T.81) — для потокового валидатора; документация S3 PutObject/ListObjectsV2.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Prerequisites: Docker Engine + Compose v2 (проверено Docker 29.8.2, Compose 5.5.0, OrbStack), Python 3.9+ (тесты), OpenSSL. Образы: `node:24.22.2-alpine3.24`, `postgres:18.6-alpine`, `haproxy:3.2.26-alpine`, `chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d`.
```sh
scripts/init-secrets.sh # .env из .env.example; secrets/ (вне Git): пароль БД, 3 пары S3-ключей, s3_identities.json
docker compose --env-file .env up -d --build --wait # postgres, seaweedfs → s3 → migrate + s3-init (one-shot) → api ×2, reconciler → lb
make test # LB на 127.0.0.1:${LB_PORT:-8080}
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api # вернуть остановленную реплику; для другой цели — повторить тест
docker compose stop # безопасная остановка, данные остаются в volumes
docker compose down -v # намеренное удаление учебных данных (volumes pgdata и s3data)
```
На стенде автора порты 8080 и 8090 заняты другими стендами, поэтому в `.env`: `LB_PORT=8094`, `LB_STATS_PORT=8414`, и все команды с `BASE_URL=http://localhost:8094` (`--base-url` у скриптов). Типы: `npm ci && npm run typecheck` (Node 24 исполняет `.ts` напрямую, сборки нет). Полная схема: `python3 -m venv .venv && .venv/bin/python -m pip install -r requirements-dev.txt && make validate PYTHON=.venv/bin/python`.
Собственные проверки (Python stdlib; скрипты с Docker управляют только compose-проектом этого каталога):
```sh
python3 student-tests/attachments.py --base-url http://localhost:8094 # 40 негативных/граничных загрузок, ACL, привязка к сообщениям
python3 student-tests/failures.py --base-url http://localhost:8094 # обрыв загрузки, S3 stop/pause, down + up
scripts/check-s3-security.sh # приватный bucket, права ключей, закрытые порты, повтор s3-init
python3 student-tests/idempotency_race.py --base-url http://localhost:8094 # из lab3
python3 research/upload_memory.py --base-url http://localhost:8094 # 1/10/20/40 одновременных загрузок по 9.9 MiB
python3 research/reconcile_faults.py --base-url http://localhost:8094 # трек 2: матрица внедрённых ошибок
python3 research/reconcile_concurrency.py --base-url http://localhost:8094 # трек 2: reconciler во время загрузок
python3 research/reconcile_cost.py --base-url http://localhost:8094 # трек 2: стоимость обхода 1k/10k/50k
```
Reconciler (сервис `reconciler` выполняет `--apply` каждые `RECONCILE_INTERVAL_SECONDS`=300 с при `RECONCILE_GRACE_SECONDS`=900 с); вручную:
```sh
docker compose run --rm --no-deps reconciler node src/main.ts reconcile # dry-run: только отчёт
docker compose run --rm --no-deps reconciler node src/main.ts reconcile --apply # исправить
docker compose run --rm --no-deps reconciler node src/main.ts reconcile --apply --verify # + сверить SHA-256 всех объектов
```
Оператору: никаких ручных действий, кроме `init-secrets.sh`. Ключи и пароль не печатаются ни скриптами, ни тестами.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```
клиент ─► lb (HAProxy, 127.0.0.1:LB_PORT) ─► api × 2 ─┬─► postgres (пользователи, сессии, чаты, сообщения, метаданные вложений)
└─► s3 :9000 (S3-шлюз SeaweedFS: подпись SigV4, права identities)
└─► seaweedfs (master + volume + filer, volume s3data)
reconciler (раз в 5 мин) ─► postgres + s3 migrate, s3-init — one-shot до старта реплик
сети: frontend (lb) │ backend internal (lb, api, postgres, s3, one-shot, reconciler) │ storage internal (s3, seaweedfs)
```
| Роль | Сервис | Образ | Health / readiness | Volume | Сеть, порт | Credentials (Docker secrets) |
| --- | --- | --- | --- | --- | --- | --- |
| LB | `lb` | haproxy:3.2.26-alpine | проверяет `/health/ready` реплик раз в 1 с | — | frontend + backend; 127.0.0.1:LB_PORT, stats 127.0.0.1:LB_STATS_PORT | — |
| API × 2 | `api` | messenger-lab4-app:dev (из исходников) | `/health/ready` = процесс + `SELECT 1` | нет; корневая ФС `read_only` | backend, 8080 не опубликован | `database_url`, `s3_api_*` |
| PostgreSQL | `postgres` | postgres:18.6-alpine | `pg_isready` | `pgdata` | backend | `postgres_password` |
| S3-шлюз | `s3` | seaweedfs 4.48 @digest | `GET /healthz` :9000 | — | storage + backend, :9000 не опубликован | `s3_identities.json` (только у него) |
| Хранилище S3 | `seaweedfs` | seaweedfs 4.48 @digest | filer :8888 | `s3data` | только storage | — |
| Схема БД | `migrate` | app, one-shot | exit 0 | — | backend | `database_url` |
| Bucket | `s3-init` | app, one-shot | exit 0 | — | backend | `s3_admin_*` |
| Сверка | `reconciler` | app | JSON-итог каждого прохода в логе | — | backend | `database_url`, `s3_reconciler_*` |
- **Выбор S3.** MinIO не воспроизводится из чистого clone: репозитории `minio/minio` и `minio/mc` удалены с Docker Hub (API registry отвечает `object not found`) и с quay.io. Взят **SeaweedFS 4.48** (релиз 2026-09-28), закреплён по digest. RustFS 1.0.x тоже доступен, но пользователи и политики у него создаются клиентом `rc` неясной зрелости; у SeaweedFS identities задаются декларативным JSON, который генерирует `init-secrets.sh`.
- **Изоляция.** HTTP-интерфейсы SeaweedFS (filer :8888, master :9333, volume :8080) не проверяют подпись S3. Поэтому `seaweedfs` живёт только в internal-сети `storage`, куда подключён один `s3`-шлюз. Из контейнера API они недоступны ни по имени, ни по IP. Наружу опубликован только LB, консоли не опубликованы.
- **Права S3** — три identity:
- `admin`: Admin/Read/List/Write; ключ есть только у `s3-init`;
- `api`: только `Read:` и `Write:messenger-attachments`; без листинга, без создания bucket, без доступа к другим bucket;
- `reconciler`: то же, плюс `List`.
Анонимной identity нет: запрос без подписи получает 403. В контейнере ключи всегда лежат в `/run/secrets/s3_access_key_id` и `/run/secrets/s3_secret_access_key`; compose монтирует туда пару своего сервиса (`secrets: target`).
- **Bootstrap.** `s3-init` выполняет `CreateBucket`; ответ `BucketAlreadyOwnedByYou` значит «exists», поэтому повтор безопасен. Повторный запуск `migrate`/`s3-init` из `restart.sh` и `up` ничего не меняет. Миграции работают как в lab3: `schema_migrations` + advisory lock.
- **Схема** `002_attachments.sql` только добавляет объекты, версия lab3 на ней продолжает работать.
- Таблица `attachments`: `state` ∈ pending/ready/lost, `object_key text COLLATE "C" UNIQUE`, `size_bytes`, `sha256`, `width`, `height`.
- Таблица `message_attachments` с **составным FK** `(chat_id, attachment_id) → attachments(chat_id, id)`. БД сама не даёт прикрепить вложение другого чата и удалить строку вложения, на которое ссылается сообщение.
- **Загрузка и транзакционные границы** (`src/modules/attachments.ts`):
1. До чтения тела проверяются: сессия → участник (иначе 404) → `filename` (400) → `Content-Type` (415) → `Content-Length` (обязателен, иначе 400; больше 10 MiB → 413).
2. `INSERT … pending` с ключом `originals/<uuid>`, `COMMIT`. Это запись-намерение.
3. Поток `запрос → валидатор + SHA-256 → S3 PUT` с `ContentLength`. Обратное давление: следующий кусок не читается из сокета, пока S3 не принял предыдущий. Последний кусок уходит в S3 только после полной проверки файла, поэтому невалидный файл не становится объектом.
4. `UPDATE pending → ready` → `201`.
Ошибка на шагах 3–4 сразу даёт 4xx/503, а компенсация идёт **в фоне**, чтобы клиент не ждал зависший S3: сначала `DELETE` pending-строки, затем объекта. Если строка уже ready (COMMIT прошёл, а до API дошла ошибка), объект принадлежит готовому вложению и не удаляется. Если процесс умер или компенсация не удалась, остаётся pending-строка с ключом или объект без строки, их убирает reconciler. **Инвариант:** строка всегда создаётся раньше объекта, поэтому объект без строки — всегда мусор.
- **Потоковый валидатор** (`src/modules/images.ts`), только stdlib.
- PNG: сигнатура; порядок chunk; CRC32 каждого chunk (`zlib.crc32`); неизвестные критические chunk; PLTE для палитры; IDAT подряд; IEND последний и без хвоста. Поток zlib из IDAT распаковывается со счётчиком, вывод выбрасывается, а объём сверяется с вычисленным из IHDR (с учётом Adam7). Это ловит повреждения, усечение и zip-бомбы.
- JPEG: SOI; цепочка сегментов; ровно один SOF (C0–CF кроме C4/C8/CC) до SOS; энтропийные данные со stuffing и RSTn; обязательный EOI. Хвост после EOI допустим (MPF, «живые» фото).
- Лимит 40 млн пикселей проверяется по IHDR/SOF до распаковки (413). Состояние валидатора — несколько чисел и до 13 байт хвоста, файл целиком нигде не хранится.
- **Скачивание.** Доступ проверяется через `JOIN chat_members`: посторонний получает 404. Байты идут потоком из S3, без redirect, с `Content-Type` из метаданных, `Content-Length` и `X-Content-Type-Options: nosniff`. `variant=original` по умолчанию; `thumbnail`/`crop`/`optimized` → 404, иное значение → 400.
- **Сообщения.**
- `attachment_ids`: 0–10 уникальных UUID, все `ready` и из этого чата, иначе 404. Пустой `text` допустим только с вложениями.
- Hash идемпотентности: без вложений тот же, что в lab3; с вложениями — 64 байта (sha(text) ‖ sha(ids)), поэтому отсутствие поля = `[]`.
- Ключ, сообщение и связи вставляются одним SQL-оператором. История и повтор возвращают `attachment_ids` в исходном порядке.
- **Readiness** зависит только от PostgreSQL. Если бы S3 входил в readiness, его отказ вывел бы из LB все реплики и остановил текстовый чат. Сейчас при недоступном S3 вложения отвечают 503, остальное работает (см. «Отказы»).
- **Таймауты.**
- S3: подключение 1 с; простой сокета 8 с (`throwOnRequestTimeout`), это меньше `timeout server` HAProxy (10 с). При зависшем S3 клиент получает 503 от API, а не 504 от LB.
- `maxAttempts: 1`: потоковое тело нельзя отправить повторно.
- Node: `requestTimeout` 60 с (10 MiB на медленном канале), заголовки — 5 с.
- **Лимиты ресурсов:** api 1 CPU / 256 MiB; `s3` 1 CPU / 768 MiB и `-concurrentUploadLimitMB=256` (по результату эксперимента памяти); seaweedfs 1 CPU / 512 MiB; postgres 2 CPU / 1 GiB; reconciler и one-shot 0.5 CPU / 128 MiB.
- **Нет локального оригинала на API.** Корневая ФС контейнеров приложения `read_only`, volumes у `api` нет, тело не буферизуется ни в памяти, ни на диске.
- **Перенесено из lab3:**
- весь API: пользователи, scrypt, сессии в PostgreSQL, чаты, keyset-пагинация, идемпотентность;
- HAProxy-конфиг, graceful drain, `stop-one.sh`, `idempotency_race.py`.
- **Изменено по сравнению с lab3:**
- `Ctx` получил `s3` и `config`, `Result` может быть потоком байтов;
- `createPool(url, max)`; `mediaType()`; ошибки `tooLarge`/`unsupported`;
- история возвращает `attachment_ids`;
- `restart.sh` перезапускает и SeaweedFS (`s3`, `seaweedfs`), `init-secrets.sh` дописывает S3-ключи к существующим секретам;
- образ назван `messenger-lab4-app:dev`: на общем Docker-host чужой стенд уже собирал образ с тегом `messenger-api:lab4`.
- **Переменные `.env.example`.**
- Используются как есть: `APP_HOST`, `APP_PORT`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `API_REPLICAS`, `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET`, `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`.
- `SESSION_STORE=postgres`. `CACHE_URL_FILE` не используется: Redis нет. `APP_ENV` не используется.
- `IDEMPOTENCY_TTL_SECONDS`: ключи хранятся бессрочно, требование ≥ 24 ч выполнено, очистка — в ограничениях.
- Ручки реализации: `LB_PORT`, `LB_STATS_PORT`, `DB_POOL_MAX`, `API_CPUS`, `API_MEMORY`, `DB_CPUS`, `SHUTDOWN_DRAIN_MS`, `RECONCILE_GRACE_SECONDS`, `RECONCILE_INTERVAL_SECONDS`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Все прогоны: 2026-10-30–31, Apple M3 Pro (11 ядер, 18 GiB), OrbStack, `BASE_URL=http://localhost:8094`.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Публичный smoke | `make check`, `make validate`, `make test` | PASS lab4 public API scenario: 201 ready, SHA-256 оригинала, download вторым участником, 404 постороннему для метаданных и байтов | evidence/level3/public-checks.txt |
| 3: возможности lab3 сохранены | `make test` (сценарий lab1–3), `idempotency_race.py --parallel 64`, failover | PASS; 64 параллельных POST с одним ключом через обе реплики: 32 × 201 с одним и тем же сообщением, 32 × 409, в истории одно сообщение | evidence/level3/public-checks.txt, idempotency-race.txt |
| 3: S3 в стенде, метаданные в PostgreSQL, байты в приватном bucket, не в БД/API | `compose.yaml`, `check-s3-security.sh` | анонимные GET/LIST/PUT к S3 → 403; у `api` нет volumes, корневая ФС read-only | evidence/level4/s3-security.txt |
| 3: реальные PNG/JPEG ≤ 10 MiB и ≤ 40 Мпикс, MIME по содержимому, опасные filename, лимиты до чтения | `student-tests/attachments.py` | JPEG и PNG 9.9 MiB → 201; ровно 40 000 000 px → 201; 40 006 400 px, 10 MiB + 1 байт → 413; подмена MIME → 415; `../`, `/`, `\`, NUL, управляющие → 400; 0 ответов 5xx | evidence/level4/attachments.txt |
| 3: upload → остановка обслужившей реплики → download через другую | `make test-failover`: цель api-2, затем api-1, затем снова api-2 | PASS все 3 прогона, 0 неудачных записей, восстановление 3.9–6.2 с; файл скачан через оставшуюся реплику; в логе lb `Server api/apiN is DOWN` | evidence/level3/public-checks.txt |
| 3: restart с volumes сохраняет метаданные и оригинал | `make test-persistence` (hook 53 с); `failures.py` (down + up) | PASS с прежним токеном; `StartedAt` изменился у всех 9 контейнеров; после down/up метаданные равны, sha256 совпал | evidence/level3/persistence-*.txt, evidence/level4/failures.txt |
| 4: тесты большого, повреждённого, подменённого файла, чужого attachment_id, вложения другого чата; не 500 | `student-tests/attachments.py` | 40 случаев upload + ACL + привязка: чужое/смешанное/несуществующее → 404, дубль/11 шт/не UUID → 400; 5xx нет | evidence/level4/attachments.txt |
| 4: прерывание и отказ между S3 и БД не оставляют вечных объектов; компенсация + сверка с grace | `failures.py` (обрыв клиента, S3 stop/pause), `reconcile_faults.py` (COMMIT упал; COMMIT прошёл, ответ потерян; реплика убита между PUT и COMMIT) | обрыв и S3 stop: компенсация удалила строки, объектов нет, сверка пуста; pause: буферизованный PUT «воскрес» → orphan_object, убран reconciler-ом, повтор пуст; COMMIT прошёл, ответ потерян → объект ready-вложения цел | evidence/level4/failures.txt, evidence/track2/faults.txt |
| 4: потоковая обработка, лимиты/таймауты, ≥ 10 одновременных загрузок с пиком памяти | `research/upload_memory.py` | 40 × 9.9 MiB: 40/40 201, пик реплики 63 MiB при лимите 256 MiB (+23 MiB к фону) | evidence/level4/upload-memory.txt |
| 4: идемпотентный bootstrap, отдельные ограниченные ключи, консоль закрыта, private bucket вне API | `scripts/check-s3-security.sh` | повторный s3-init → `exists`; `api`: List/CreateBucket/чужой bucket → 403; filer/master/volume недоступны из API; опубликован только lb | evidence/level4/s3-security.txt |
| 5, трек 2: внедрение ошибок с обеих сторон, обнаружение, dry-run, безопасное исправление, повтор | `research/reconcile_faults.py` | 9 внедрённых расхождений найдены точно; dry-run не меняет БД и S3; `--apply --verify` исправил 9; повтор — 0 | evidence/track2/faults.txt |
| 5, трек 2: свежие и используемые вложения не удаляются | `reconcile_faults.py`, `reconcile_concurrency.py` | свежие P3/O2 целы до истечения grace; используемые B/D/F → lost, ссылки целы, DELETE отклонён FK; 4674 загрузки под 19 проходами `--apply` (grace 1 с) целы | evidence/track2/faults.txt, concurrency.txt |
| 5, трек 2: стоимость обхода | `research/reconcile_cost.py` | см. таблицу в разделе трека | evidence/track2/cost.md, cost.jsonl |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
### Память при одновременных загрузках
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
**Гипотеза:** загрузка идёт потоком с обратным давлением, поэтому память реплики растёт много меньше, чем N × размер файла. При буферизации 20 файлов по 10 MiB на реплику понадобилось бы ≥ 200 MiB при лимите 256 MiB.
**Методика** (`research/upload_memory.py`):
- перед каждым уровнем реплики перезапускаются (новая cgroup), затем прогрев — 4 малые загрузки;
- N потоков по барьеру загружают один и тот же PNG 9.9 MiB из шума (не сжимается) через LB;
- `memory.current` всех api и s3 контейнеров опрашивается каждые 50 мс;
- один прогон на уровень.
| N | OK / ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | 1/0 | 0.21 | 46.9 | 0.20 / 0.20 | 0 / 1 | 39 / 37 → 47 / 38 | 8.0 | 98 → 139 |
| 10 | 10/0 | 3.49 | 28.4 | 3.44 / 3.46 | 5 / 5 | 41 / 39 → 58 / 53 | 16.6 | 138 → 382 |
| 20 | 20/0 | 5.46 | 36.2 | 5.38 / 5.40 | 10 / 10 | 38 / 37 → 64 / 61 | 25.8 | 385 → 699 |
| 40 | 40/0 | 6.78 | 58.5 | 4.60 / 6.66 | 20 / 20 | 38 / 40 → 60 / 63 | 22.9 | 701 → 768 |
- **Гипотеза подтверждена для API:** при 20 одновременных загрузках по 9.9 MiB на реплику (≈ 198 MiB данных) пик вырос на ≤ 26 MiB и почти не зависит от N. Остаток — буферы сокетов и zlib, пул соединений к S3, V8.
- **Найденное узкое место — S3-шлюз.** В первом прогоне (`s3` 256 MiB, без ограничений) шлюз упирался в лимит: при N = 10 одна загрузка получила 503, при 20 и 40 — все 503, контейнер перезапустился (evidence/level4/upload-memory-s3-256m-oom.txt). SeaweedFS буферизует чанки по 4 MiB на каждую загрузку. Исправление: лимит 768 MiB и `-concurrentUploadLimitMB=256`, т.е. сверх 256 MB данных в работе новые загрузки ждут. После этого все 71 загрузка успешны. Компенсация в том прогоне (тогда она удаляла сначала объект, потом строку) не могла достучаться до S3, и остались 60 pending-строк. Их нашла и убрала первая же сверка следующего эксперимента (`stale_pending: 60`). Так механизм уровня 4 сработал на непредусмотренном отказе.
- **Ограничения:** один прогон на уровень; клиент, LB, API и S3 на одной машине; `memory.current` включает page cache контейнера; нет пропускной способности на медленных клиентах.
### Отказы
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Клиент рвёт соединение на половине тела | строка pending удалена компенсацией, объекта нет | строк `abort.png` 0, сверка с grace 0 пуста | мгновенно / нет |
| `docker compose stop s3` | вложения 503, текст и метаданные работают, readiness 200 | upload 503 за 1.0–1.2 с (таймаут подключения), download 503, текст 201, метаданные 200, readiness 200; pending-строк 0 — компенсация удалила их сразу, объектов нет | download снова 200 через 0.8 с после `start s3` / нет |
| `docker compose pause s3` (TCP висит) | 503 от API раньше 504 от LB | download и upload 503 за 8.1–8.2 с, текст 201 | сразу после unpause; PUT, буферизованный ядром во время паузы, выполнился после ответа клиенту → orphan_object, убран reconciler-ом |
| COMMIT в PostgreSQL падает после S3 PUT (триггер, `ERRCODE 08006`), процесс жив | 503, фоновая компенсация удаляет строку и объект | 503, строк 0, сверка не нашла лишних объектов | мгновенно / нет |
| COMMIT прошёл, а API получил ошибку (триггер: строка становится ready, UPDATE API затрагивает 0 строк) | 503; компенсация видит ready-строку и объект не трогает | 503; строка ready, объект 111 817 байт на месте, скачивается с исходным sha256. До исправления порядка компенсации объект удалялся (evidence/track2/ack-lost-before-fix.txt) | — / нет |
| Реплика убита `docker kill` во время COMMIT после S3 PUT | клиент получает ошибку, остаются pending + объект, reconciler убирает | 502 от LB, строка pending, объект 111 817 байт; `stale_pending` → строка и объект удалены | через grace (900 с в стенде; 30 с в тесте) / нет |
| `make test-failover` (SIGTERM одной реплики) | запись продолжается, файл доступен через другую | 0 ошибок, восстановление 3.9–6.2 с | 4–6 с (drain 2.5 с) / нет |
| `scripts/restart.sh` (lb, api, reconciler, postgres, seaweedfs, s3) и `docker compose down` + `up` | данные и токен сохранены | PASS; sha256 оригинала совпал | 53 с на hook (около 20 с из них — остановка SeaweedFS) / нет |
## Трек 2. Согласованность двух хранилищ
**Гипотеза.** Ниже два инварианта: «строка создаётся раньше объекта» и «строки ready/lost не удаляются, только помечаются». При них повторяемый reconciler с grace period обнаружит любое расхождение БД ↔ S3, никогда не удалит используемое или свежее вложение, а стоимость его обхода растёт линейно по числу объектов при постоянной памяти.
**Reconciler** (`src/reconcile.ts`):
- режимы: по умолчанию dry-run; `--apply` исправляет; `--verify` дополнительно скачивает объекты и сверяет SHA-256;
- `pg_try_advisory_lock`: две сверки одновременно не идут;
- момент начала `t0` берётся из часов БД;
- объекты листинга S3 (`originals/`) и строки БД, оба отсортированных побайтово (`COLLATE "C"`), сливаются **merge join** страницами по 1000. Если S3 нарушит порядок ключей, обход останавливается, а не удаляет лишнее.
| Находка | Условие | Действие `--apply` | Почему безопасно |
| --- | --- | --- | --- |
| stale_pending | pending старше grace | DELETE строки (с повтором условия), затем объекта | grace 900 с ≫ таймаут загрузки 60 с; поздний UPDATE не найдёт строку → 503 и компенсация |
| orphan_object | объект без строки старше grace | удалить объект | строка всегда раньше объекта; ключ случайный — строка для него уже не появится |
| missing_object | ready без объекта (повторно проверено HEAD) | ready → lost | метаданные и ссылки сохраняются; API отвечает 404 |
| size_mismatch | размер объекта ≠ size_bytes | ready → lost | то же; объект не трогаем, он может понадобиться для расследования |
| checksum_mismatch | `--verify`: SHA-256 ≠ sha256 | ready → lost | то же |
| restored | lost, объект на месте и SHA-256 совпал | lost → ready | карантин обратим |
Строки, изменённые после `t0`, и объекты моложе grace не проверяются. Конкурентная загрузка не может быть принята за потерю или мусор.
**Методика и результаты.**
1. **Матрица ошибок** (`research/reconcile_faults.py`, grace 30 с, фоновый reconciler остановлен). Сначала база очищается до 0 находок. Вложения A, B, D, F используются сообщениями, C и E — нет. Внедрено:
- на стороне S3 (ключом reconciler в обход API): объект B удалён; C подменён другим размером; D подменён тем же размером; F удалён (с резервной копией вне `originals/`); добавлен O1 — объект без строки;
- на стороне БД: строка E удалена; P1 и P2 — pending «час назад», у P2 есть объект;
- настоящие отказы через триггер: COMMIT падает после S3 PUT; COMMIT прошёл, но API получил ошибку (ack-lost: вложенный UPDATE делает строку ready, а UPDATE API затрагивает 0 строк); реплика убита `docker kill` во время COMMIT (CR).
Результат:
- dry-run нашёл ровно 8 ожидаемых находок (stale_pending P1/P2/CR, orphan_object E/O1, missing_object B/F, size_mismatch C);
- `--verify` добавил checksum_mismatch D;
- отпечаток всех строк (count + md5) и число объектов после dry-run не изменились;
- `--apply --verify` исправил 9, повторный `--verify` — 0;
- A скачивается с тем же sha256; B, C, D, F → lost (API 404), ссылки сообщений на B/D/F на месте, `DELETE` строки B отклонён FK;
- объект F вернули — `restored`, F снова скачивается;
- свежие P3/O2 пережили `--apply` (`fresh_skipped=1`) и были убраны после истечения grace;
- ack-lost: API ответил 503, строка ready, объект на месте и скачивается с исходным sha256, находок по нему нет.
Случай ack-lost добавлен после ревью кода. Компенсация удаляла сначала объект и только потом pending-строку, поэтому при потерянном ответе на COMMIT готовое вложение теряло оригинал, а reconciler затем помечал его lost. На старом коде матрица падает ровно на этом шаге (evidence/track2/ack-lost-before-fix.txt). Исправление в `discard()`: сначала `DELETE … WHERE state = 'pending'`; объект удаляется, только если строка удалена или её нет.
2. **Конкурентность** (`research/reconcile_concurrency.py`). 25 с: 4 потока загружают через API (каждое 5-е вложение сразу прикрепляется к сообщению), параллельно `reconcile --apply --grace=1 --every=1`.
Результат: **4674 загрузки, все 201; 19 проходов сверки**. Каждое подтверждённое вложение после теста ready и скачивается с исходным sha256, итоговая сверка пуста. Единственная находка за время гонки — заведомо медленная загрузка (~4 с > grace): reconciler убрал её pending-строку, клиент получил 503, ни строки, ни объекта не осталось. Это граница метода: grace обязан превышать максимальную длительность загрузки (в стенде 900 с против 60 с).
3. **Стоимость обхода** (`research/reconcile_cost.py`). К текущему набору (~3 000 реальных объектов) добавлялись синтетические ready-вложения по 1 KiB (строка + объект) до 1k / 10k / 50k. На каждом уровне — 3 dry-run (медиана) и `--verify` для 1k/10k.
| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | --verify, мс | прочитано, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 0 | 3002 / 3007 | 471 | 4 | 6 | 119 | 19 516 | 1 123 |
| 1 000 | 4002 / 4007 | 801 | 5 | 7 | 123 | 21 926 | 1 124 |
| 10 000 | 13 002 / 13 007 | 1 165 | 14 | 16 | 123 | 39 813 | 1 133 |
| 50 000 | 53 002 / 53 007 | 3 032 | 54 | 56 | 116 | — | — |
- Число запросов строго линейно: `ListObjectsV2 = ⌈N/1000⌉`, к БД — страницы + 2.
- Время dry-run растёт примерно на 47 мкс на объект (13k → 53k: +1.9 с). Экстраполяция на 1 млн объектов — около 1 мин.
- **Память постоянна:** 116–123 MiB на всех уровнях — это фон Node + SDK. Merge join держит по одной странице с каждой стороны. Гипотеза о линейной стоимости при постоянной памяти подтверждена.
- `--verify` стоит по байтам и запросам: 1.1 GiB за 19.5 с, а 10 000 мелких объектов добавили 20 с (≈ 2 мс на GET). Поэтому периодический проход сравнивает только наличие и размер, а полную сверку SHA-256 запускают редко и вручную.
- Подробности и сырьё: evidence/track2/cost.md, cost.jsonl.
**Ограничения.**
- Один host и одна машина для клиента и стенда; для каждого уровня стоимости 3 прогона, для `--verify` — один.
- Глубокий режим читает все байты bucket. Lost-объекты того же размера перехешируются на каждом проходе.
- Поддерживается только префикс `originals/`.
- Часы S3 и БД — одного host; при разных часах grace надо увеличивать на расхождение.
- `missing_object` для строки, ставшей ready ровно между листингом и HEAD, отсекается проверкой `settled` (`updated_at < t0`).
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Выдерживается:
- отказ одного процесса API;
- недоступность или зависание S3: деградируют только вложения;
- обрыв загрузки, отказ COMMIT после PUT, потерянный ответ на COMMIT, гибель процесса между PUT и COMMIT.
- Не выдерживается:
- отказ LB, PostgreSQL, SeaweedFS как единственного экземпляра (без репликации, один volume server);
- отказ host.
- Потерянный объект нельзя восстановить, если нет копии. Reconciler только помечает его `lost`.
- Загрузка требует `Content-Length`: chunked → 400. Поток в S3 PUT без длины потребовал бы multipart.
- Валидатор JPEG не декодирует энтропийные данные: битые коэффициенты при целой структуре пройдут. Полное декодирование — в worker lab5.
- Ключи идемпотентности не удаляются (из lab3).
- Дальше:
- presigned upload (трек 1) поверх тех же pending/reconciler;
- inventory-отчёты S3 вместо полного листинга при миллионах объектов;
- кэш результата `--verify` по ETag/LastModified;
- версионирование bucket для отката ошибочных удалений.
## Ответы на вопросы защиты
- **Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?** Volume привязан к одному контейнеру и host. Другая реплика его не видит, при остановке реплики файл недоступен (failover-тест скачивает через другую реплику), у volume нет API с правами доступа и учёта. S3 — общий сервис с собственной долговечностью и ACL.
- **Когда можно честно вернуть 201?** Только когда весь файл проверен, S3 подтвердил PUT (объект полностью записан) и COMMIT перевёл строку в ready. Здесь 201 возвращается после `UPDATE … RETURNING`, а последний кусок уходит в S3 только после полной проверки формата.
- **Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?** Клиент получает 503 (или 502, если процесс умер), строка остаётся pending. Если процесс жив, фоновая компенсация удаляет pending-строку, затем объект. Если нет, reconciler через grace удалит строку и объект (`stale_pending`). Обратный случай — COMMIT прошёл, но ответ до API не дошёл: строка уже ready, компенсация это видит и объект не трогает. Все три случая воспроизведены в `reconcile_faults.py`.
- **Почему случайный object key и приватный bucket не заменяют ACL приложения?** Ключ — не секрет: он попадает в логи, бэкапы, ответы, его знают все, у кого есть доступ к хранилищу. Приватный bucket защищает только от анонимного доступа к S3, но не отличает участника чата от постороннего пользователя API. Право видеть файл решается в приложении (членство в чате, 404 постороннему), а ключ наружу не выдаётся вообще.
+193
View File
@@ -0,0 +1,193 @@
# Клиент → lb (HAProxy) → api × N → postgres (метаданные) + s3 (SeaweedFS: приватный bucket с байтами вложений).
# Запуск: scripts/init-secrets.sh && docker compose --env-file .env up -d --build (см. REPORT.md)
name: messenger-lab4
x-app: &app
build: .
image: messenger-lab4-app:dev # уникальное имя: на общем Docker-host не перепутать с чужими стендами
read_only: true # корневая ФС только для чтения: сохранить оригинал локально API физически не может
networks: [backend]
x-s3-env: &s3-env
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
x-seaweedfs: &seaweedfs
image: chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
restart: unless-stopped
stop_grace_period: 20s
services:
postgres:
image: postgres:18.6-alpine
command: ["postgres", "-c", "max_connections=200", "-c", "shared_buffers=256MB"]
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [pgdata:/var/lib/postgresql]
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 2s
timeout: 2s
retries: 15
deploy:
resources:
limits: { cpus: "${DB_CPUS:-2}", memory: 1g }
stop_grace_period: 30s
restart: unless-stopped
networks: [backend]
# Хранилище SeaweedFS: master + volume + filer, данные в volume s3data. Только во внутренней сети storage:
# его HTTP-интерфейсы (master :9333, filer :8888, volume :8080) не требуют подписи S3 и недоступны даже из API.
seaweedfs:
<<: *seaweedfs
command: ["server", "-dir=/data", "-ip=seaweedfs", "-ip.bind=0.0.0.0", "-filer", "-master.volumeSizeLimitMB=1024"]
volumes: [s3data:/data]
healthcheck:
test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8888/"]
interval: 2s
timeout: 2s
retries: 30
start_period: 5s
deploy:
resources:
limits: { cpus: "1", memory: 512m }
networks: [storage]
# S3-шлюз — единственный путь к байтам: проверяет SigV4 и права identities (secrets/s3_identities.json).
# Встроенный IAM API, Iceberg и Lance выключены; порт не опубликован на хост.
s3:
<<: *seaweedfs
# concurrentUploadLimitMB: шлюз буферизует чанки (4 MiB) каждой загрузки; сверх лимита новые загрузки ждут,
# а не выводят шлюз за лимит памяти (эксперимент research/upload_memory.py: при 256m без лимита — OOM).
command: ["s3", "-filer=seaweedfs:8888", "-port=9000", "-config=/run/secrets/s3_identities",
"-iam=false", "-port.iceberg=0", "-port.lance=0", "-concurrentUploadLimitMB=256"]
secrets: [s3_identities]
depends_on:
seaweedfs: { condition: service_healthy }
healthcheck:
test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:9000/healthz"]
interval: 2s
timeout: 2s
retries: 30
deploy:
resources:
limits: { cpus: "1", memory: 768m }
networks: [storage, backend]
# Одноразовые сервисы до старта реплик: схема БД (advisory lock) и bucket (повторный запуск ничего не меняет).
migrate:
<<: *app
command: ["node", "src/main.ts", "migrate"]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
restart: "no"
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
depends_on:
postgres: { condition: service_healthy }
s3-init:
<<: *app
command: ["node", "src/main.ts", "s3-init"]
environment: *s3-env
secrets:
- { source: s3_admin_access_key_id, target: s3_access_key_id }
- { source: s3_admin_secret_access_key, target: s3_secret_access_key }
restart: "no"
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
depends_on:
s3: { condition: service_healthy }
api:
<<: *app
environment:
<<: *s3-env
DATABASE_URL_FILE: /run/secrets/database_url
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DB_POOL_MAX: ${DB_POOL_MAX:-8}
SHUTDOWN_DRAIN_MS: ${SHUTDOWN_DRAIN_MS:-2500}
MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760}
MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000}
secrets:
- database_url
- { source: s3_api_access_key_id, target: s3_access_key_id }
- { source: s3_api_secret_access_key, target: s3_secret_access_key }
depends_on:
migrate: { condition: service_completed_successfully }
s3-init: { condition: service_completed_successfully }
healthcheck:
test: ["CMD", "wget", "-qO", "/dev/null", "http://127.0.0.1:8080/health/ready"]
interval: 2s
timeout: 2s
retries: 3
start_period: 10s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits: { cpus: "${API_CPUS:-1}", memory: "${API_MEMORY:-256m}" }
stop_grace_period: 15s
restart: unless-stopped # упавшая реплика поднимается сама; после `docker stop` остаётся остановленной
# Периодическая сверка БД ↔ S3 с grace period (src/reconcile.ts). Свои S3-ключи: объекты + листинг bucket.
reconciler:
<<: *app
command: ["node", "src/main.ts", "reconcile", "--apply", "--every=${RECONCILE_INTERVAL_SECONDS:-300}"]
environment:
<<: *s3-env
DATABASE_URL_FILE: /run/secrets/database_url
RECONCILE_GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-900}
secrets:
- database_url
- { source: s3_reconciler_access_key_id, target: s3_access_key_id }
- { source: s3_reconciler_secret_access_key, target: s3_secret_access_key }
depends_on:
migrate: { condition: service_completed_successfully }
s3-init: { condition: service_completed_successfully }
deploy:
resources:
limits: { cpus: "0.5", memory: 128m }
restart: unless-stopped
lb:
image: haproxy:3.2.26-alpine
volumes: ["./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro"]
ports:
- "127.0.0.1:${LB_PORT:-8080}:8080"
- "127.0.0.1:${LB_STATS_PORT:-8404}:8404" # статистика HAProxy для оператора, это не API
depends_on:
api: { condition: service_healthy }
deploy:
resources:
limits: { cpus: "${LB_CPUS:-1}", memory: 128m }
restart: unless-stopped
networks: [frontend, backend]
networks:
frontend: {}
backend: { internal: true } # api, postgres и s3-шлюз недоступны с хоста и не имеют выхода наружу
storage: { internal: true } # внутренние компоненты SeaweedFS видит только s3-шлюз
volumes:
pgdata: {}
s3data: {}
secrets:
database_url: { file: ./secrets/database_url }
postgres_password: { file: ./secrets/postgres_password }
s3_identities: { file: ./secrets/s3_identities.json }
s3_admin_access_key_id: { file: ./secrets/s3_admin_access_key_id }
s3_admin_secret_access_key: { file: ./secrets/s3_admin_secret_access_key }
s3_api_access_key_id: { file: ./secrets/s3_api_access_key_id }
s3_api_secret_access_key: { file: ./secrets/s3_api_secret_access_key }
s3_reconciler_access_key_id: { file: ./secrets/s3_reconciler_access_key_id }
s3_reconciler_secret_access_key: { file: ./secrets/s3_reconciler_secret_access_key }
+2
View File
@@ -0,0 +1,2 @@
{"parallel": 64, "replicas_hit": 2, "created_201": 32, "conflict_409": 32, "stored_messages": 1}
PASS: concurrent same-key POSTs through different replicas created exactly one message
+9
View File
@@ -0,0 +1,9 @@
messenger-lab4-api-1 running 2026-10-30T20:33:48.383931772Z
messenger-lab4-api-2 running 2026-10-30T20:33:48.204468011Z
messenger-lab4-lb-1 running 2026-10-30T20:33:54.105385765Z
messenger-lab4-migrate-1 exited 2026-10-30T20:33:44.009406544Z
messenger-lab4-postgres-1 running 2026-10-30T20:33:07.96054489Z
messenger-lab4-reconciler-1 running 2026-10-30T20:33:48.18220747Z
messenger-lab4-s3-1 running 2026-10-30T20:33:41.342697511Z
messenger-lab4-s3-init-1 exited 2026-10-30T20:33:44.589053894Z
messenger-lab4-seaweedfs-1 running 2026-10-30T20:33:28.064407103Z
+9
View File
@@ -0,0 +1,9 @@
messenger-lab4-api-1 running 2026-10-30T20:32:53.600866465Z
messenger-lab4-api-2 running 2026-10-30T20:32:53.4130002Z
messenger-lab4-lb-1 running 2026-10-30T20:18:26.365040006Z
messenger-lab4-migrate-1 exited 2026-10-30T20:32:50.57728726Z
messenger-lab4-postgres-1 running 2026-10-30T20:17:38.382177837Z
messenger-lab4-reconciler-1 running 2026-10-30T20:32:53.406361682Z
messenger-lab4-s3-1 running 2026-10-30T20:18:11.781864672Z
messenger-lab4-s3-init-1 exited 2026-10-30T20:32:51.057882202Z
messenger-lab4-seaweedfs-1 running 2026-10-30T20:17:58.177043996Z
+37
View File
@@ -0,0 +1,37 @@
# 2026-10-30, ветка solution/bpi2303-moraru, Apple M3 Pro (11 ядер, 18 GiB) / OrbStack, LB_PORT=8094
# Финальный прогон после всех изменений (read_only rootfs, фоновая компенсация «строка → объект», таймауты S3).
$ npm run typecheck
> tsc
$ make check
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make validate PYTHON=.venv/bin/python
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
$ make test BASE_URL=http://localhost:8094
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
$ python3 student-tests/idempotency_race.py --base-url http://localhost:8094 --parallel 64
{"parallel": 64, "replicas_hit": 2, "created_201": 32, "conflict_409": 32, "stored_messages": 1}
PASS: concurrent same-key POSTs through different replicas created exactly one message
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8094
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
took 53 s
# StartedAt до/после: persistence-before.txt / persistence-after.txt — изменился у 9 из 9 контейнеров
# (lb, api-1, api-2, reconciler, postgres, seaweedfs, s3 и повторённые one-shot migrate, s3-init).
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8094
# между прогонами: docker compose start api; лишний curl /health/live сдвигает round-robin, чтобы целью стала другая реплика
run 1: {"observed_instances_before": 2, "successful_writes": 63, "failed_attempts": 0, "first_recovery_seconds": 6.217} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=running messenger-lab4-api-2=exited
run 2: {"observed_instances_before": 2, "successful_writes": 66, "failed_attempts": 0, "first_recovery_seconds": 4.659} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=exited messenger-lab4-api-2=running
run 3: {"observed_instances_before": 2, "successful_writes": 102, "failed_attempts": 0, "first_recovery_seconds": 3.903} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. | messenger-lab4-api-1=running messenger-lab4-api-2=exited
# resilience.py (LAB>=4) загружает sample.png до отказа и после остановки реплики скачивает его через оставшуюся,
# сравнивая байты. Лог lb в момент отказа (api1…api8 — слоты server-template, их заполняет DNS, номер слота не равен
# номеру контейнера; на каждый отказ две записи: readiness 503 во время drain, затем отказ соединения после выхода):
lb-1 | Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 2ms. 1 active and 0 backup servers left. 1 sessions active, 0 requeued, 0 remainin
lb-1 | Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q
lb-1 | Server api/api2 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remainin
lb-1 | Server api/api2 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q
lb-1 | Server api/api1 is DOWN, reason: Layer7 wrong status, code: 503, info: "Service Unavailable", check duration: 7ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remainin
lb-1 | Server api/api1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 1ms. 1 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in q
+42
View File
@@ -0,0 +1,42 @@
$ python3 student-tests/attachments.py --base-url http://localhost:8094 # 2026-10-30
real JPEG + unicode filename 201 284 ms
PNG 9.90 MiB (noise 1860x1860) 201 1926 ms
PNG ровно 40 000 000 px 201 339 ms
PNG 10.33 MiB > 10 MiB 413 payload_too_large 47 ms
10 MiB + 1 байт 413 payload_too_large 94 ms
PNG 40 006 400 px 413 payload_too_large 56 ms
pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 370 ms
JPEG SOF 10000x10000 413 payload_too_large 87 ms
zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 1946 ms
PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 58 ms
PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 49 ms
PNG: данных меньше, чем пикселей 415 unsupported_media_type 151 ms
PNG обрезан 415 unsupported_media_type 29 ms
PNG + данные после IEND 415 unsupported_media_type 49 ms
JPEG обрезан (нет EOI) 415 unsupported_media_type 94 ms
PNG под видом image/jpeg 415 unsupported_media_type 18 ms
JPEG под видом image/png 415 unsupported_media_type 38 ms
GIF под видом image/png 415 unsupported_media_type 37 ms
SVG под видом image/png 415 unsupported_media_type 51 ms
Content-Type image/gif 415 unsupported_media_type 14 ms
Content-Type octet-stream 415 unsupported_media_type 19 ms
пустое тело 415 unsupported_media_type 10 ms
filename '../etc/passwd' 400 invalid_request 9 ms
filename 'a/b.png' 400 invalid_request 10 ms
filename 'a\\b.png' 400 invalid_request 5 ms
filename 'nul\x00.png' 400 invalid_request 7 ms
filename 'tab\t.png' 400 invalid_request 7 ms
filename 'line\n.png' 400 invalid_request 7 ms
filename 'c1\x85.png' 400 invalid_request 4 ms
filename '' 400 invalid_request 7 ms
filename ' ' 400 invalid_request 6 ms
filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 10 ms
без filename 400 invalid_request 12 ms
chunked без Content-Length 400 invalid_request 12 ms
без действительной сессии 401 unauthorized 7 ms
посторонний грузит в чужой чат 404 not_found 8 ms
несуществующий чат 404 not_found 7 ms
chat_id не UUID 400 invalid_request 9 ms
обычный PNG 201 54 ms
PNG в другом чате 201 51 ms
PASS: 40 upload cases, ACL and message linking; no 5xx
+22
View File
@@ -0,0 +1,22 @@
$ python3 student-tests/failures.py --base-url http://localhost:8094 # 2026-10-30
client abort после 55908 из 111817 байт: строк abort.png 0, сверка: {}
S3 stopped: /health/ready (S3 не критичен) 200 13 ms
S3 stopped: upload #1 503 1043 ms
S3 stopped: upload #2 503 1154 ms
S3 stopped: upload #3 503 1078 ms
S3 stopped: download 503 1029 ms
S3 stopped: metadata (только БД) 200 11 ms
S3 stopped: text message 201 19 ms
S3 stopped: message with ready attachment 201 13 ms
pending-строк после 3 неудачных загрузок: 0
S3 started: download снова 200 через 0.8 s
S3 paused: download (таймаут сокета S3 8 с) 503 8069 ms
S3 paused: upload 503 8229 ms
S3 paused: text message 201 50 ms
S3 unpaused: download снова 200 через 0.1 s
S3 back: upload 201 81 ms
S3 back: download old attachment 200 26 ms
reconcile dry-run --grace=0: {"orphan_object": 1}
reconcile --apply: applied=1; повтор: {}
down + up -d: download with old token 200 95 ms
PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data
+33
View File
@@ -0,0 +1,33 @@
$ scripts/check-s3-security.sh # 2026-10-30
PASS анонимный GET объекта: 403
PASS анонимный LIST bucket: 403
PASS анонимный PUT объекта: 403
api GetObject own bucket: allowed
api ListObjectsV2 own bucket: denied (403 AccessDenied)
api CreateBucket other: denied (403 AccessDenied)
api PutObject other bucket: denied (403 AccessDenied)
api PutObject own bucket: allowed
api DeleteObject own bucket: allowed
reconciler GetObject own bucket: allowed
reconciler ListObjectsV2 own bucket: allowed
reconciler CreateBucket other: denied (403 AccessDenied)
reconciler PutObject other bucket: denied (403 AccessDenied)
reconciler PutObject own bucket: allowed
reconciler DeleteObject own bucket: allowed
PASS api GetObject: allowed
PASS api ListObjectsV2 (не нужен API): denied
PASS api CreateBucket: denied
PASS api PutObject в чужой bucket: denied
PASS reconciler ListObjectsV2: allowed
PASS reconciler CreateBucket: denied
PASS seaweedfs:8888 из контейнера api: unreachable
PASS seaweedfs:9333 из контейнера api: unreachable
PASS seaweedfs:8080 из контейнера api: unreachable
PASS filer по IP 192.168.172.2:8888 из контейнера api: unreachable
PASS сервисы с опубликованными портами: lb
PASS api 1d7a6792f179 ReadonlyRootfs: true
PASS api 1d7a6792f179 монтирования кроме /run/secrets:
PASS api 8efc3f678ae0 ReadonlyRootfs: true
PASS api 8efc3f678ae0 монтирования кроме /run/secrets:
PASS повторный s3-init: bucket messenger-attachments: exists
PASS: bucket приватен, права минимальны, внутренние порты закрыты
@@ -0,0 +1,12 @@
{"concurrency": 1, "file_mib": 9.9, "ok": 1, "errors": 0, "wall_s": 0.41, "throughput_mib_s": 23.9, "latency_p50_s": 0.4, "latency_max_s": 0.4, "per_replica": [0, 1], "api_baseline_mib": [37.6, 38.0], "api_peak_mib": [42.5, 38.3], "api_cgroup_peak_mib": [52.1, 51.6], "s3_baseline_mib": [115.6], "s3_peak_mib": [154.6], "api_max_growth_mib": 4.9}
{"concurrency": 10, "file_mib": 9.9, "ok": 9, "errors": 1, "wall_s": 9.42, "throughput_mib_s": 10.5, "latency_p50_s": 9.37, "latency_max_s": 9.37, "per_replica": [5, 5], "api_baseline_mib": [43.8, 37.9], "api_peak_mib": [60.4, 56.0], "api_cgroup_peak_mib": [60.6, 56.0], "s3_baseline_mib": [154.7], "s3_peak_mib": [256.0], "api_max_growth_mib": 18.1}
{"concurrency": 20, "file_mib": 9.9, "ok": 0, "errors": 20, "wall_s": 2.91, "throughput_mib_s": 68.1, "latency_p50_s": 2.82, "latency_max_s": 2.86, "per_replica": [10, 10], "api_baseline_mib": [37.2, 37.0], "api_peak_mib": [58.0, 57.2], "api_cgroup_peak_mib": [64.1, 60.1], "s3_baseline_mib": [252.2], "s3_peak_mib": [256.0], "api_max_growth_mib": 20.8}
{"concurrency": 40, "file_mib": 9.9, "ok": 0, "errors": 40, "wall_s": 2.63, "throughput_mib_s": 150.6, "latency_p50_s": 2.44, "latency_max_s": 2.54, "per_replica": [20, 20], "api_baseline_mib": [37.6, 36.8], "api_peak_mib": [66.1, 67.5], "api_cgroup_peak_mib": [69.8, 67.5], "s3_baseline_mib": [111.5], "s3_peak_mib": [256.0], "api_max_growth_mib": 30.7}
| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | 1/0 | 0.41 | 23.9 | 0.40 / 0.40 | [0, 1] | [37.6, 38.0] → [42.5, 38.3] | 4.9 | [115.6] → [154.6] |
| 10 | 9/1 | 9.42 | 10.5 | 9.37 / 9.37 | [5, 5] | [43.8, 37.9] → [60.4, 56.0] | 18.1 | [154.7] → [256.0] |
| 20 | 0/20 | 2.91 | 68.1 | 2.82 / 2.86 | [10, 10] | [37.2, 37.0] → [58.0, 57.2] | 20.8 | [252.2] → [256.0] |
| 40 | 0/40 | 2.63 | 150.6 | 2.44 / 2.54 | [20, 20] | [37.6, 36.8] → [66.1, 67.5] | 30.7 | [111.5] → [256.0] |
FAIL: some uploads failed
+11
View File
@@ -0,0 +1,11 @@
{"concurrency": 1, "file_mib": 9.9, "ok": 1, "errors": 0, "wall_s": 0.21, "throughput_mib_s": 46.9, "latency_p50_s": 0.2, "latency_max_s": 0.2, "per_replica": [0, 1], "api_baseline_mib": [39.2, 37.3], "api_peak_mib": [47.2, 38.1], "api_cgroup_peak_mib": [51.9, 51.8], "s3_baseline_mib": [98.4], "s3_peak_mib": [138.7], "api_max_growth_mib": 8.0}
{"concurrency": 10, "file_mib": 9.9, "ok": 10, "errors": 0, "wall_s": 3.49, "throughput_mib_s": 28.4, "latency_p50_s": 3.44, "latency_max_s": 3.46, "per_replica": [5, 5], "api_baseline_mib": [41.4, 38.6], "api_peak_mib": [58.0, 53.3], "api_cgroup_peak_mib": [60.4, 58.2], "s3_baseline_mib": [138.1], "s3_peak_mib": [381.8], "api_max_growth_mib": 16.6}
{"concurrency": 20, "file_mib": 9.9, "ok": 20, "errors": 0, "wall_s": 5.46, "throughput_mib_s": 36.2, "latency_p50_s": 5.38, "latency_max_s": 5.4, "per_replica": [10, 10], "api_baseline_mib": [37.7, 37.1], "api_peak_mib": [63.5, 61.2], "api_cgroup_peak_mib": [63.5, 64.9], "s3_baseline_mib": [384.9], "s3_peak_mib": [699.4], "api_max_growth_mib": 25.8}
{"concurrency": 40, "file_mib": 9.9, "ok": 40, "errors": 0, "wall_s": 6.78, "throughput_mib_s": 58.5, "latency_p50_s": 4.6, "latency_max_s": 6.66, "per_replica": [20, 20], "api_baseline_mib": [37.7, 40.4], "api_peak_mib": [59.9, 63.3], "api_cgroup_peak_mib": [61.4, 63.6], "s3_baseline_mib": [700.7], "s3_peak_mib": [768.0], "api_max_growth_mib": 22.9}
| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 1 | 1/0 | 0.21 | 46.9 | 0.20 / 0.20 | [0, 1] | [39.2, 37.3] → [47.2, 38.1] | 8.0 | [98.4] → [138.7] |
| 10 | 10/0 | 3.49 | 28.4 | 3.44 / 3.46 | [5, 5] | [41.4, 38.6] → [58.0, 53.3] | 16.6 | [138.1] → [381.8] |
| 20 | 20/0 | 5.46 | 36.2 | 5.38 / 5.40 | [10, 10] | [37.7, 37.1] → [63.5, 61.2] | 25.8 | [384.9] → [699.4] |
| 40 | 40/0 | 6.78 | 58.5 | 4.60 / 6.66 | [20, 20] | [37.7, 40.4] → [59.9, 63.3] | 22.9 | [700.7] → [768.0] |
+10
View File
@@ -0,0 +1,10 @@
# 2026-10-30: research/reconcile_faults.py со случаем ack-lost на коде ДО исправления discard() (сначала объект, потом строка).
# Ожидаемо падает: компенсация удалила объект вложения, строка которого уже ready.
$ python3 research/reconcile_faults.py --base-url http://localhost:8094
reconcile --apply --verify findings={} applied=0 objects=3015 rows=3020 fresh_skipped=0 s3_get_bytes=1188957568 43971 ms
reconcile --verify findings={} applied=0 objects=3015 rows=3020 fresh_skipped=0 s3_get_bytes=1188957568 41123 ms
used by messages: A B D F; unused: C E
commit-fail.png: HTTP 503, процесс жив → компенсация: строк осталось 0
ack-lost.png: HTTP 503, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка ready, объект {"exists": false}
FAIL: compensation deleted the object of a ready attachment
exit=1
+3
View File
@@ -0,0 +1,3 @@
{"seconds": 25, "upload_threads": 4, "uploads": {"201": 4674}, "confirmed_and_verified": 4674, "reconciler_runs": 19, "run_ms_max": 943, "findings_during_race": {"stale_pending": 1}, "slow_upload": {"status": 503, "code": "unavailable", "rows_left": 0}, "final_check_grace0": {}}
PASS: 4674 confirmed uploads intact after 19 reconciler --apply runs (grace 1 s); slow upload > grace failed cleanly
exit=0
+4
View File
@@ -0,0 +1,4 @@
{"synthetic": 0, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 579, "max_rss_mb": 110}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 389, "max_rss_mb": 119}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 471, "max_rss_mb": 109}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 3002, "rows": 3007, "fresh_skipped": 0, "s3_list": 4, "s3_head": 0, "s3_get_bytes": 1177440238, "db_queries": 6, "findings": {}, "applied": 0, "duration_ms": 19516, "max_rss_mb": 129}, "seed_ms": null}
{"synthetic": 1000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 801, "max_rss_mb": 123}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 607, "max_rss_mb": 109}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 893, "max_rss_mb": 111}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 4002, "rows": 4007, "fresh_skipped": 0, "s3_list": 5, "s3_head": 0, "s3_get_bytes": 1178464238, "db_queries": 7, "findings": {}, "applied": 0, "duration_ms": 21926, "max_rss_mb": 133}, "seed_ms": 3835}
{"synthetic": 10000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1606, "max_rss_mb": 120}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1165, "max_rss_mb": 112}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 1088, "max_rss_mb": 123}], "verify": {"mode": "dry-run", "verify": true, "grace_seconds": 900, "objects": 13002, "rows": 13007, "fresh_skipped": 0, "s3_list": 14, "s3_head": 0, "s3_get_bytes": 1187680238, "db_queries": 16, "findings": {}, "applied": 0, "duration_ms": 39813, "max_rss_mb": 132}, "seed_ms": 36224}
{"synthetic": 50000, "dry_runs": [{"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 3032, "max_rss_mb": 115}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 4710, "max_rss_mb": 114}, {"mode": "dry-run", "verify": false, "grace_seconds": 900, "objects": 53002, "rows": 53007, "fresh_skipped": 0, "s3_list": 54, "s3_head": 0, "s3_get_bytes": 335451, "db_queries": 56, "findings": {}, "applied": 0, "duration_ms": 2762, "max_rss_mb": 116}], "verify": null, "seed_ms": 106006}
+32
View File
@@ -0,0 +1,32 @@
# Трек 2: стоимость обхода reconciler-а
2026-10-30, Apple M3 Pro (11 ядер, 18 GiB), OrbStack; reconciler 0.5 CPU / 128 MiB, s3-шлюз 1 CPU / 768 MiB, postgres 2 CPU / 1 GiB.
Команда: `python3 research/reconcile_cost.py --base-url http://localhost:8094` (сырьё: cost.txt, cost.jsonl).
Набор: ~3 000 реальных вложений из прошлых тестов (1.1 GiB, в т.ч. 71 PNG по 9.9 MiB) + синтетические ready-вложения
по 1 KiB (строка + объект, `research/s3_tool.mjs seed`, 64 параллельных записи). Фоновый reconciler остановлен.
Каждый уровень — 3 dry-run подряд (медиана) и один `--verify` (для 1k/10k). После замера синтетика удалена (`unseed`).
| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 0 | 3002 / 3007 | 471 [579, 389, 471] | 4 | 6 | 119 | 157 | 19516 | 1123 |
| 1000 | 4002 / 4007 | 801 [801, 607, 893] | 5 | 7 | 123 | 200 | 21926 | 1124 |
| 10000 | 13002 / 13007 | 1165 [1606, 1165, 1088] | 14 | 16 | 123 | 90 | 39813 | 1133 |
| 50000 | 53002 / 53007 | 3032 [3032, 4710, 2762] | 54 | 56 | 116 | 57 | — | — |
(строк на 5 больше объектов — lost-вложения B/F прошлых прогонов матрицы, у них объекта нет по определению)
Выводы:
- Число запросов точно линейно: `ListObjectsV2 = ⌈N / 1000⌉`, запросов к БД = страницы + 2 (`now()` и выборка зависших pending).
Ни одного запроса на объект — кроме HEAD для кандидатов в missing_object и GET для `--verify`/lost.
- Время dry-run: +40 000 объектов (13k → 53k) добавили ≈ 1.9 с, т.е. ≈ 47 мкс на объект; разброс между повторами
до 1.7× (общий хост с другими стендами). Экстраполяция: 1 млн объектов ≈ 50–60 с и 1 000 листингов на проход.
- Память не растёт: max RSS процесса 116–123 MiB на всех уровнях (это фон Node + SDK ~100 MiB): merge join держит
в памяти одну страницу S3 и одну страницу строк.
- `--verify` стоит по байтам и по запросам: 1.1 GiB за 19.5 с (≈ 58 MiB/s); 10 000 дополнительных мелких объектов
добавили 20 с (≈ 2 мс на GET, обход последовательный). На 1 млн объектов это десятки минут — поэтому `--verify`
запускается вручную/редко, а периодический проход сравнивает только наличие и размер.
- Наполнение (для сравнения): ≈ 280 вложений/с (строка + PUT 1 KiB при 64 параллельных запросах).
Ограничения: один прогон `--verify` на уровень; reconciler, S3 и PostgreSQL на одном хосте с другими стендами;
синтетика одинакового размера, поэтому `size_mismatch` на ней не проверяется (это делает матрица ошибок).
+13
View File
@@ -0,0 +1,13 @@
{"synthetic": 0, "objects": 3002, "rows": 3007, "seed_ms": null, "dry_ms_median": 471, "dry_ms_all": [579, 389, 471], "s3_list": 4, "db_queries": 6, "max_rss_mb": 119, "verify_ms": 19516, "verify_mib": 1123}
{"synthetic": 1000, "objects": 4002, "rows": 4007, "seed_ms": 3835, "dry_ms_median": 801, "dry_ms_all": [801, 607, 893], "s3_list": 5, "db_queries": 7, "max_rss_mb": 123, "verify_ms": 21926, "verify_mib": 1124}
{"synthetic": 10000, "objects": 13002, "rows": 13007, "seed_ms": 36224, "dry_ms_median": 1165, "dry_ms_all": [1606, 1165, 1088], "s3_list": 14, "db_queries": 16, "max_rss_mb": 123, "verify_ms": 39813, "verify_mib": 1133}
{"synthetic": 50000, "objects": 53002, "rows": 53007, "seed_ms": 106006, "dry_ms_median": 3032, "dry_ms_all": [3032, 4710, 2762], "s3_list": 54, "db_queries": 56, "max_rss_mb": 116, "verify_ms": null, "verify_mib": null}
синтетика удалена: 50000 строк и объектов
| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| 0 | 3002 / 3007 | 471 [579, 389, 471] | 4 | 6 | 119 | 157 | 19516 | 1123 |
| 1000 | 4002 / 4007 | 801 [801, 607, 893] | 5 | 7 | 123 | 200 | 21926 | 1124 |
| 10000 | 13002 / 13007 | 1165 [1606, 1165, 1088] | 14 | 16 | 123 | 90 | 39813 | 1133 |
| 50000 | 53002 / 53007 | 3032 [3032, 4710, 2762] | 54 | 56 | 116 | 57 | — | — |
exit=0
+20
View File
@@ -0,0 +1,20 @@
reconcile --apply --verify findings={} applied=0 objects=8442 rows=8453 fresh_skipped=0 s3_get_bytes=1805516685 30601 ms
reconcile --verify findings={} applied=0 objects=8442 rows=8453 fresh_skipped=0 s3_get_bytes=1805516685 61421 ms
used by messages: A B D F; unused: C E
commit-fail.png: HTTP 503, процесс жив → компенсация: строк осталось 0
ack-lost.png: HTTP 503, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка ready, объект {"exists": true, "size": 111817}
crash.png: HTTP 502 от LB, реплика c21a25851896 убита во время COMMIT → строка pending, объект {"exists": true, "size": 111817}
reconcile (dry-run) findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2} applied=0 objects=8450 rows=8462 fresh_skipped=0 s3_get_bytes=670902 755 ms
reconcile --verify findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2, "checksum_mismatch": 1} applied=0 objects=8450 rows=8462 fresh_skipped=0 s3_get_bytes=1805852136 44571 ms
dry-run и dry-run --verify: находки ровно ожидаемые, строки БД (8462 fb5a715701dcb58dfbee3fc5bb65dff4) и число объектов (8450) не изменились
reconcile --apply --verify findings={"stale_pending": 3, "size_mismatch": 1, "missing_object": 2, "orphan_object": 2, "checksum_mismatch": 1} applied=9 objects=8448 rows=8459 fresh_skipped=0 s3_get_bytes=1805852136 62936 ms
reconcile --verify findings={} applied=0 objects=8446 rows=8459 fresh_skipped=0 s3_get_bytes=1805852136 54774 ms
после --apply: A и ack-lost скачиваются (sha256 совпал); B C D F → lost, API отвечает 404, ссылки сообщений на B D F сохранены; DELETE строки B отклонён FK; объекты E O1 P2 crash удалены, строк P1 P2 crash нет
reconcile --apply findings={"restored": 1} applied=1 objects=8447 rows=8459 fresh_skipped=0 s3_get_bytes=894536 918 ms
F: объект возвращён → restored, снова ready и скачивается с исходным sha256
reconcile --apply findings={} applied=0 objects=8448 rows=8460 fresh_skipped=1 s3_get_bytes=782719 1420 ms
свежие P3/O2 (моложе 30 с): --apply ничего не сделал, fresh_skipped=1, строка P3 pending, объект O2 на месте
reconcile --apply findings={"stale_pending": 1, "orphan_object": 1} applied=2 objects=8448 rows=8459 fresh_skipped=0 s3_get_bytes=782719 837 ms
reconcile --verify findings={} applied=0 objects=8447 rows=8459 fresh_skipped=0 s3_get_bytes=1805963953 176062 ms
PASS: all injected inconsistencies detected exactly, dry-run is read-only, apply fixes, rerun is clean, used/fresh data kept
exit=0
+56
View File
@@ -0,0 +1,56 @@
# Единственная публичная точка входа. Реплики находятся через Docker DNS (имя сервиса "api"),
# поэтому `docker compose up --scale api=N` не требует правки конфига (до 8 реплик).
global
log stdout format raw local0 info
maxconn 4096
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 2
timeout resolve 1s
timeout retry 500ms
hold valid 1s
hold other 1s
hold refused 1s
hold nx 1s
hold timeout 1s
hold obsolete 1s
defaults
mode http
log global
option httplog
option dontlog-normal # логируем только ошибки и смену состояния реплик
timeout connect 1s
timeout client 30s
timeout server 10s
timeout http-request 10s
timeout http-keep-alive 10s
timeout check 1s
# Повторяется только запрос, не дошедший до реплики (отказ или таймаут соединения), последняя попытка —
# на другой реплике. Уже отправленные запросы НЕ повторяются: POST /users и /chats не идемпотентны.
retries 2
retry-on conn-failure
option redispatch 1
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready
http-check expect status 200
# Активная проверка раз в 1 с (0.5 с при смене состояния): 2 неудачи → DOWN, 2 успеха → UP.
# Отказ соединения на живом трафике сразу помечает реплику DOWN (observe layer4).
default-server check inter 1s fastinter 500ms downinter 1s fall 2 rise 2 observe layer4 error-limit 1 on-error mark-down resolvers docker init-addr none
server-template api 8 api:8080
# Для оператора (compose публикует только на 127.0.0.1): /stats и Prometheus /metrics.
frontend stats
bind :8404
http-request use-service prometheus-exporter if { path /metrics }
stats enable
stats uri /stats
stats refresh 2s
+973
View File
@@ -0,0 +1,973 @@
{
"name": "messenger-lab4",
"lockfileVersion": 3,
"requires": true,
"packages": {
"": {
"name": "messenger-lab4",
"dependencies": {
"@aws-sdk/client-s3": "3.1152.0",
"pg": "8.23.1"
},
"devDependencies": {
"@types/node": "24.19.2",
"@types/pg": "8.23.1",
"typescript": "7.0.2"
},
"engines": {
"node": ">=24"
}
},
"node_modules/@aws-sdk/checksums": {
"version": "3.1002.1",
"resolved": "https://registry.npmjs.org/@aws-sdk/checksums/-/checksums-3.1002.1.tgz",
"integrity": "sha512-CXNESwkQC9jdrUG6cKXBfudVt1frGcYQykcCYbNclVrsewuGMbo3PlFjRteMe4OftNAqhyc3xC2jTz7SUqLasQ==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/client-s3": {
"version": "3.1152.0",
"resolved": "https://registry.npmjs.org/@aws-sdk/client-s3/-/client-s3-3.1152.0.tgz",
"integrity": "sha512-oI1+ZaM6pSOwZazu4nAb7rL8ug7LSjg31tDoJqRB9MooRqqWCf/qvkIZqne1mRA3xK3slg6K0RNWXaJYHbWLvg==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/checksums": "^3.1001.3",
"@aws-sdk/core": "^3.978.3",
"@aws-sdk/credential-provider-node": "^3.972.86",
"@aws-sdk/middleware-sdk-s3": "^3.972.79",
"@aws-sdk/signature-v4-multi-region": "^3.996.48",
"@aws-sdk/types": "^3.974.6",
"@smithy/core": "^3.35.2",
"@smithy/fetch-http-handler": "^5.8.0",
"@smithy/node-http-handler": "^4.12.1",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/core": {
"version": "3.979.1",
"resolved": "https://registry.npmjs.org/@aws-sdk/core/-/core-3.979.1.tgz",
"integrity": "sha512-ayOlV1VhLNMiq8PW9ZkVobG4gkldnUoHjG69yy2b8j+VYFlhz/uAL7ZdYQAoQ+eShtGUdNDnnG5rxDg6yUJrOg==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/types": "^3.975.0",
"@aws-sdk/xml-builder": "^3.972.42",
"@aws/lambda-invoke-store": "^0.3.0",
"@smithy/core": "^3.38.0",
"@smithy/signature-v4": "^5.7.5",
"@smithy/types": "^4.19.0",
"bowser": "^2.11.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-env": {
"version": "3.972.80",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-env/-/credential-provider-env-3.972.80.tgz",
"integrity": "sha512-uO5TiSvb6j1w9RTe5z28OaOmsrOxVQUPaC5+wZl50RfOXcrYD/KgnS8I9lfyGXc7sGbkCopK6VnhNIAoLqfewQ==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-http": {
"version": "3.972.82",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-http/-/credential-provider-http-3.972.82.tgz",
"integrity": "sha512-vQzlDHlC24Yz42p+rT4NBoP/5VdetkBoujbOLq9h6QYWC8THuZSPYnXIR9OP3XcOrdMgPBBipOrdssfxnIiWUg==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/fetch-http-handler": "^5.8.0",
"@smithy/node-http-handler": "^4.14.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-ini": {
"version": "3.973.25",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-ini/-/credential-provider-ini-3.973.25.tgz",
"integrity": "sha512-b5xl71uCRdWsu7P1VeGpiGuCf6zfYETsSNOv8AmYVTrsgbvTJRXdmmOPVfxkvGGVNsiKkGctClQW3jAn0SZLug==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/credential-provider-env": "^3.972.80",
"@aws-sdk/credential-provider-http": "^3.972.82",
"@aws-sdk/credential-provider-login": "^3.972.87",
"@aws-sdk/credential-provider-process": "^3.972.80",
"@aws-sdk/credential-provider-sso": "^3.973.24",
"@aws-sdk/credential-provider-web-identity": "^3.972.86",
"@aws-sdk/nested-clients": "^3.997.54",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/credential-provider-imds": "^4.5.2",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-login": {
"version": "3.972.87",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-login/-/credential-provider-login-3.972.87.tgz",
"integrity": "sha512-C4ZFmcwM+Zj14Z8huVUk54Gv4uzT1ZdzG9cY3Gdh8FePakq7Bss1OFsgZjAhWFOkFOGpBvFBeu0OWjWf8HNKRQ==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/nested-clients": "^3.997.54",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-node": {
"version": "3.972.92",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-node/-/credential-provider-node-3.972.92.tgz",
"integrity": "sha512-jC3zmOo7Qxlk+oBivvSsS1Ph7sFGm0QfuhqDGbqgRXi4cxUYMG+dWtBwS2XYYXgc8TIVXJiwgQ65sbNpbYupTA==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/credential-provider-env": "^3.972.80",
"@aws-sdk/credential-provider-http": "^3.972.82",
"@aws-sdk/credential-provider-ini": "^3.973.25",
"@aws-sdk/credential-provider-process": "^3.972.80",
"@aws-sdk/credential-provider-sso": "^3.973.24",
"@aws-sdk/credential-provider-web-identity": "^3.972.86",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/credential-provider-imds": "^4.5.2",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-process": {
"version": "3.972.80",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-process/-/credential-provider-process-3.972.80.tgz",
"integrity": "sha512-xqfixO5aclje7tbQJDias+iNND5wp/3QZixCdZcVQpgWPTZ0V5DfTW9A804A5Z7ezu7sH3WRO+vzUjtiJBA8yg==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-sso": {
"version": "3.973.24",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-sso/-/credential-provider-sso-3.973.24.tgz",
"integrity": "sha512-nlg3BKG03Cgzvv/dMnhxvDJPhAhQSpaN0RUdwgU7ziwkasoev7iI8el8Xy4Rd5sqzgaDUbV269fOXck5SargqA==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/nested-clients": "^3.997.54",
"@aws-sdk/token-providers": "3.1161.0",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/credential-provider-web-identity": {
"version": "3.972.86",
"resolved": "https://registry.npmjs.org/@aws-sdk/credential-provider-web-identity/-/credential-provider-web-identity-3.972.86.tgz",
"integrity": "sha512-zKTyLJBEyfQBVlYqT6Jt+mYV4r8kGbWM7dn6v4Y4MRARizhYafjDXP/iMu76UMRhToSPNmIKX1XAb24gtpBFIA==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/nested-clients": "^3.997.54",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/middleware-sdk-s3": {
"version": "3.972.85",
"resolved": "https://registry.npmjs.org/@aws-sdk/middleware-sdk-s3/-/middleware-sdk-s3-3.972.85.tgz",
"integrity": "sha512-Kyl2G6zhIS9qFoeLdlxvXFrWyc6g9D9ZCIRJnGkkfX6JZhxCZB5ebXBc7GKEeetrnhXcail6ALZT0lKbojcaNA==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/signature-v4-multi-region": "^3.996.51",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/nested-clients": {
"version": "3.997.54",
"resolved": "https://registry.npmjs.org/@aws-sdk/nested-clients/-/nested-clients-3.997.54.tgz",
"integrity": "sha512-/OczlavsS7U5sOodRO10Ug4R/AKFVZiXTstKipWe68EfjPkmdDFNXNl9FCJyXWkg1DG6RBm3qAuVB8FNW9O8KQ==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/signature-v4-multi-region": "^3.996.51",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/fetch-http-handler": "^5.8.0",
"@smithy/node-http-handler": "^4.14.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/signature-v4-multi-region": {
"version": "3.996.51",
"resolved": "https://registry.npmjs.org/@aws-sdk/signature-v4-multi-region/-/signature-v4-multi-region-3.996.51.tgz",
"integrity": "sha512-+aHvUugVBuMPXxgkPfWnTMyGdE/yWS8GHi5+qQ37HowS0YqzrbuaDLznj+Dtmtu5jgCdqz36gXmujOToUhNNWw==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/types": "^3.975.0",
"@smithy/signature-v4": "^5.7.5",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/token-providers": {
"version": "3.1161.0",
"resolved": "https://registry.npmjs.org/@aws-sdk/token-providers/-/token-providers-3.1161.0.tgz",
"integrity": "sha512-ypbXSofNcSHwf/KA40bFCXJb0MLaAKrfT7sot4dFaA+2lsuXNah4zLRJIAU7Qmvs9PFJ6rnY0bZFEC+mE7attA==",
"license": "Apache-2.0",
"dependencies": {
"@aws-sdk/core": "^3.979.1",
"@aws-sdk/nested-clients": "^3.997.54",
"@aws-sdk/types": "^3.975.0",
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/types": {
"version": "3.975.0",
"resolved": "https://registry.npmjs.org/@aws-sdk/types/-/types-3.975.0.tgz",
"integrity": "sha512-WQlhs6juByzWOzj5fwxOx0mPJaEqMcG/sDpl3Id61B3XhKE63xY+0QWcnG+sWR/sCfprmreyUo1lM7IKZmHMzw==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws-sdk/xml-builder": {
"version": "3.972.42",
"resolved": "https://registry.npmjs.org/@aws-sdk/xml-builder/-/xml-builder-3.972.42.tgz",
"integrity": "sha512-smX8/gNP8Kjq+CWTBMZQLQ912vOQjiWExzwzvMO+eujPB5RY8IbtF0AGdUUXHKN7KoDWK9dIcuW0WG269kiP6w==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=20.0.0"
}
},
"node_modules/@aws/lambda-invoke-store": {
"version": "0.3.0",
"resolved": "https://registry.npmjs.org/@aws/lambda-invoke-store/-/lambda-invoke-store-0.3.0.tgz",
"integrity": "sha512-sl4Bm6yiMNYrZKkqqDFWN0UfnWhlS8ivKxrYl+6t0gCLrqr8y3B2IqZZbFRkfaVVp7C/baApyh71P+LeE1A2sQ==",
"license": "Apache-2.0",
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/core": {
"version": "3.38.0",
"resolved": "https://registry.npmjs.org/@smithy/core/-/core-3.38.0.tgz",
"integrity": "sha512-aLyyCnK2p4yvNA2TaM+5owXqb+rZGSiUKEsNP329AzeYnERtAz7NrlTbRsaxqmZ0ooxwoID8LMm959UGQQDIsg==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/credential-provider-imds": {
"version": "4.5.2",
"resolved": "https://registry.npmjs.org/@smithy/credential-provider-imds/-/credential-provider-imds-4.5.2.tgz",
"integrity": "sha512-A9uSdn72ozbRUSit0eib0TW7nXuNPlaeM0zcGkJ+nE6tFcSDbnmtwoxbTCFBukVQcszDAyvsd7+rTduPTXpygg==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/core": "^3.33.2",
"@smithy/types": "^4.17.2",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/fetch-http-handler": {
"version": "5.8.0",
"resolved": "https://registry.npmjs.org/@smithy/fetch-http-handler/-/fetch-http-handler-5.8.0.tgz",
"integrity": "sha512-ycSJu3tFAQ4v04CBB0agqFMVsSQ1iG3yw+SpgxRqKfaURpQD4CZ8Wn0zPMmSnOuTpTh65Vz+EA0rMrw089wvkA==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/core": "^3.33.3",
"@smithy/types": "^4.18.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/node-http-handler": {
"version": "4.14.0",
"resolved": "https://registry.npmjs.org/@smithy/node-http-handler/-/node-http-handler-4.14.0.tgz",
"integrity": "sha512-j24RS5V9J52u0z81RpgF7H55p4bS6UCEIxF4ZYzTYh6M9hzXvjAIAYwgLobqf7vJq3xib5VXc7nX3YesV8Rx4A==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/signature-v4": {
"version": "5.7.5",
"resolved": "https://registry.npmjs.org/@smithy/signature-v4/-/signature-v4-5.7.5.tgz",
"integrity": "sha512-WPjdr5oWOk1LArpI4pavu+fSo+/evi0Re1olxGvqwuZopd4gYR1UGCi+Soyn/IjmafqbWs+ZC+3AKxJS3ZpwUg==",
"license": "Apache-2.0",
"dependencies": {
"@smithy/core": "^3.38.0",
"@smithy/types": "^4.19.0",
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@smithy/types": {
"version": "4.19.0",
"resolved": "https://registry.npmjs.org/@smithy/types/-/types-4.19.0.tgz",
"integrity": "sha512-r7jh49VJxGerfAcTQA6gXcKc+98zOp/tqRwzYjgOE+iSQsP6cEU1hq2QzbuipmP68QtYdY9wKEhiCQZIzHgZ4Q==",
"license": "Apache-2.0",
"dependencies": {
"tslib": "^2.6.2"
},
"engines": {
"node": ">=18.0.0"
}
},
"node_modules/@types/node": {
"version": "24.19.2",
"resolved": "https://registry.npmjs.org/@types/node/-/node-24.19.2.tgz",
"integrity": "sha512-93d49wCWJkCyN87MxLpNN6KXPCwFw7bVUg79mGUV1OS40JGWwVCr8n61DXCSqz7CV6/VfPkb7xec7uP2M+QHWQ==",
"dev": true,
"license": "MIT",
"dependencies": {
"undici-types": ">=7.24.0 <7.24.7"
}
},
"node_modules/@types/pg": {
"version": "8.23.1",
"resolved": "https://registry.npmjs.org/@types/pg/-/pg-8.23.1.tgz",
"integrity": "sha512-fKVHpikPdg4GKks3JuLEhvwSyvwzF23hnabPy6DD8ljVbC7+6J5dQzdv4arV6jqq57djnMgs1HKBxX4P8aBI3A==",
"dev": true,
"license": "MIT",
"dependencies": {
"@types/node": "*",
"pg-protocol": "*",
"pg-types": "^2.2.0"
}
},
"node_modules/@typescript/typescript-aix-ppc64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-aix-ppc64/-/typescript-aix-ppc64-7.0.2.tgz",
"integrity": "sha512-MTKKkWB7p/0E9xi1d1tHtZ5PiLkGEMIq88pK2CubZjOsLtYTLqhgIgi6zepFa+9GHZ6h05NMCkQxGKiPXMxXtQ==",
"cpu": [
"ppc64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"aix"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-darwin-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-arm64/-/typescript-darwin-arm64-7.0.2.tgz",
"integrity": "sha512-gowzar9MwS/aRWp6f3a4KUqzRjAZjOsmGNCM6LcTgXum+dBfgsBVMN+AgvOCCbguXyick6LJhpBszxMebJ8syA==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"darwin"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-darwin-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-darwin-x64/-/typescript-darwin-x64-7.0.2.tgz",
"integrity": "sha512-SZ9xZInqApNlNGc9s0W1VSsktYSOe9cFqNOIqmN1Gs8SmkjKZYFt017G4VwPxASInODuAdbTW7sXiFUf893RgA==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"darwin"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-freebsd-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-arm64/-/typescript-freebsd-arm64-7.0.2.tgz",
"integrity": "sha512-W5NH4y/J0plIIS5b2xvTEkU7JFxyqdMAOgf+Ilhl0vHQXKO5dZoxd+C/jEtq56c4F3wk71RB4BMRQ2XdI+bwYQ==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"freebsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-freebsd-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-freebsd-x64/-/typescript-freebsd-x64-7.0.2.tgz",
"integrity": "sha512-UMGDx5sTpzNw3WiPebH7l90IWfJggEd+egHt/q6p7/Cm3zqoV7VxkGXt+3DxPIw8CcmvAB0j3sVVfbhX+M4Tpw==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"freebsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-arm": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm/-/typescript-linux-arm-7.0.2.tgz",
"integrity": "sha512-gffT3xPz9sR7j/YJExkyPntrI0P2EP9XbOyWzth2/Gs0RstK+90RBcO0ncXoXy/beYll1SXw846Nf2zdnEz0QQ==",
"cpu": [
"arm"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-arm64/-/typescript-linux-arm64-7.0.2.tgz",
"integrity": "sha512-Qh4eU4/y3yDjnfjjyPYihMj5/ODIlmt+Bzu17OI+fiSRDW57QmU5SiN63exPRNJPKUzcc1INa1NXdrJ+MqHjUQ==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-loong64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-loong64/-/typescript-linux-loong64-7.0.2.tgz",
"integrity": "sha512-uEHck9i8hoAzXPiYRib1O7miOnz23SxIeVl6F4LXox+qov1K35jHcEW6VHKvZI+pyvl7fZEP4MCU5LYvIq1GuQ==",
"cpu": [
"loong64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-mips64el": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-mips64el/-/typescript-linux-mips64el-7.0.2.tgz",
"integrity": "sha512-R4KvAMnE43W5Qeqb0Ly56O3mWMWIAgsMyz36DCaycd5nbg/9kzm0liw3JocfRqyJY0KPmzFjbswozXyW0DnIYA==",
"cpu": [
"mips64el"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-ppc64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-ppc64/-/typescript-linux-ppc64-7.0.2.tgz",
"integrity": "sha512-DORx5b3sd/4S7eayxm4FQv+A7CrkUIGRaHiwI8oiHTAI1fAPWhF4J0vAlkC8biAlHSVVwxMQ3tjZ2/DVbnQiiA==",
"cpu": [
"ppc64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-riscv64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-riscv64/-/typescript-linux-riscv64-7.0.2.tgz",
"integrity": "sha512-wf0jqEDOjrPRnKwYRyyJDRo11KMbvMFrU+q4zqKyChODBzvlkbhNQfKvLxQCcwTpdDaXSHZTVuh0JoCrKCUMHQ==",
"cpu": [
"riscv64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-s390x": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-s390x/-/typescript-linux-s390x-7.0.2.tgz",
"integrity": "sha512-IkwJc3L7yhytWd/ewjyxNDfOmswCm9GWMJT/ue/dU4aZNbwZeYAetq42VyLmsmSjvoX7z74X6ZaYCtzAr0EuGw==",
"cpu": [
"s390x"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-linux-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-linux-x64/-/typescript-linux-x64-7.0.2.tgz",
"integrity": "sha512-EYdf2cNg7rgCWJnxCdJ+F3V39O8ihb37eHAu1LK8oAFizgTQbPOK7zHHXbPt8rX24COqODXeI3sIf0fCXG7H/A==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"linux"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-netbsd-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-arm64/-/typescript-netbsd-arm64-7.0.2.tgz",
"integrity": "sha512-+polYF4MF04aPpO5FTkHran9yUQDSXqy5GiSDKpsll5jy3l3+g9QLhpf39T+ePtefhXLOGrLl0QIjkQP6VnelA==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"netbsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-netbsd-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-netbsd-x64/-/typescript-netbsd-x64-7.0.2.tgz",
"integrity": "sha512-8YIT0EHM/3dq10ZOVF/A7pc/YSMtbcecct4rWtexrnSCHOPcpC2KTLXfTCR6vDpnSiY12heNb1GiN/wu+T/FyA==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"netbsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-openbsd-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-arm64/-/typescript-openbsd-arm64-7.0.2.tgz",
"integrity": "sha512-APT8+ClYnuYm1u9+kgGXoMj2VzWzcymwh2gNSQVySHfkRDGOTVkoWLjCmOQSaO+PoqQ57B0flRp9SA+7GnnkzQ==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"openbsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-openbsd-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-openbsd-x64/-/typescript-openbsd-x64-7.0.2.tgz",
"integrity": "sha512-yX7s+Q0Dln0Dt9tEzZsAjXXR/+ytBM7AlglaqyeMPxQszJ1JhlJdZ6jLA+IzldHtflX81em7lDao1xXu+aRRkg==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"openbsd"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-sunos-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-sunos-x64/-/typescript-sunos-x64-7.0.2.tgz",
"integrity": "sha512-dLJDGaLZ1D4HPQn62u1n8mBDkJREwMsAkCdkwd4Ieqw+x3TUyTsqY0YiBCtE6H6OzzgGk3iuZ3vFWRS+E8/d1g==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"sunos"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-win32-arm64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-win32-arm64/-/typescript-win32-arm64-7.0.2.tgz",
"integrity": "sha512-Gyl1Vy6OsWesLzmq+EP0Fb7b4Nid5232AvcA2SFcdYreldpNtYFFofPjnt62y9hQy7VTaZp65ICJjuAQRaVcIQ==",
"cpu": [
"arm64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"win32"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/@typescript/typescript-win32-x64": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/@typescript/typescript-win32-x64/-/typescript-win32-x64-7.0.2.tgz",
"integrity": "sha512-0BQ3HkAHHlKLSp1qRvf3SUhGpGsDuhB/jgFw75guyqbxJqEaS0Cw/VFO8i2nHglJUzQCRtMMR/IBAKE3ETMC4g==",
"cpu": [
"x64"
],
"dev": true,
"license": "Apache-2.0",
"optional": true,
"os": [
"win32"
],
"engines": {
"node": ">=16.20.0"
}
},
"node_modules/bowser": {
"version": "2.15.0",
"resolved": "https://registry.npmjs.org/bowser/-/bowser-2.15.0.tgz",
"integrity": "sha512-xic6KSZglg/I4ymp45fdM4GWfYpBK79Fxd/TOvJktlaPgQqqDxvmGwOPZl2V0dyeS3Lj5c180bLhXF43iyAjZQ==",
"license": "MIT"
},
"node_modules/pg": {
"version": "8.23.1",
"resolved": "https://registry.npmjs.org/pg/-/pg-8.23.1.tgz",
"integrity": "sha512-aL96AHANtWjPLDOLqnhx+ngp9+UK7ETEU8VJrDCGvsSSi/mGLcWYsS6Herg7lmaBJe4uwrfqsa7gTEFaSizDoQ==",
"license": "MIT",
"dependencies": {
"pg-connection-string": "^2.14.1",
"pg-pool": "^3.14.0",
"pg-protocol": "^1.16.1",
"pg-types": "2.2.0",
"pgpass": "1.0.5"
},
"engines": {
"node": ">= 16.0.0"
},
"optionalDependencies": {
"pg-cloudflare": "^1.4.1"
},
"peerDependencies": {
"pg-native": ">=3.0.1"
},
"peerDependenciesMeta": {
"pg-native": {
"optional": true
}
}
},
"node_modules/pg-cloudflare": {
"version": "1.4.1",
"resolved": "https://registry.npmjs.org/pg-cloudflare/-/pg-cloudflare-1.4.1.tgz",
"integrity": "sha512-6PQbsFWZcp9EmJEwy5cGQ2La+AMWpP46lgbb8X+U/XsHIUweYDNCpeuKck5RxL2MdVFi7krbbEi5nX4Zh7JhrQ==",
"license": "MIT",
"optional": true
},
"node_modules/pg-connection-string": {
"version": "2.14.1",
"resolved": "https://registry.npmjs.org/pg-connection-string/-/pg-connection-string-2.14.1.tgz",
"integrity": "sha512-qR3kGNPBLpCNtz0evbKA0Y/MRFXwSSdT+pTJvYp/bXTcReZbvX1kzF0IyTc1QnxqF7AZbOeBhNL8R5mYQZV/MA==",
"license": "MIT"
},
"node_modules/pg-int8": {
"version": "1.0.1",
"resolved": "https://registry.npmjs.org/pg-int8/-/pg-int8-1.0.1.tgz",
"integrity": "sha512-WCtabS6t3c8SkpDBUlb1kjOs7l66xsGdKpIPZsg4wR+B3+u9UAum2odSsF9tnvxg80h4ZxLWMy4pRjOsFIqQpw==",
"license": "ISC",
"engines": {
"node": ">=4.0.0"
}
},
"node_modules/pg-pool": {
"version": "3.14.0",
"resolved": "https://registry.npmjs.org/pg-pool/-/pg-pool-3.14.0.tgz",
"integrity": "sha512-gKtPkFdQPU3DksooVLi9LsjZxrsBUZIpa+7aVx+LV5pNh0KzP4Zleud2po+ConrxbuXGBJ6Hfer6hdgpIBpBaw==",
"license": "MIT",
"peerDependencies": {
"pg": ">=8.0"
}
},
"node_modules/pg-protocol": {
"version": "1.16.1",
"resolved": "https://registry.npmjs.org/pg-protocol/-/pg-protocol-1.16.1.tgz",
"integrity": "sha512-p9VOFMiHB/ZbJATetbg+99PxssTVSQRnyuPSQ67mN1+1KBOjZaZ83ZQzltnxPhJwSsC3nwVjJ10DVJlerbFzLg==",
"license": "MIT"
},
"node_modules/pg-types": {
"version": "2.2.0",
"resolved": "https://registry.npmjs.org/pg-types/-/pg-types-2.2.0.tgz",
"integrity": "sha512-qTAAlrEsl8s4OiEQY69wDvcMIdQN6wdz5ojQiOy6YRMuynxenON0O5oCpJI6lshc6scgAY8qvJ2On/p+CXY0GA==",
"license": "MIT",
"dependencies": {
"pg-int8": "1.0.1",
"postgres-array": "~2.0.0",
"postgres-bytea": "~1.0.0",
"postgres-date": "~1.0.4",
"postgres-interval": "^1.1.0"
},
"engines": {
"node": ">=4"
}
},
"node_modules/pgpass": {
"version": "1.0.5",
"resolved": "https://registry.npmjs.org/pgpass/-/pgpass-1.0.5.tgz",
"integrity": "sha512-FdW9r/jQZhSeohs1Z3sI1yxFQNFvMcnmfuj4WBMUTxOrAyLMaTcE1aAMBiTlbMNaXvBCQuVi0R7hd8udDSP7ug==",
"license": "MIT",
"dependencies": {
"split2": "^4.1.0"
}
},
"node_modules/postgres-array": {
"version": "2.0.0",
"resolved": "https://registry.npmjs.org/postgres-array/-/postgres-array-2.0.0.tgz",
"integrity": "sha512-VpZrUqU5A69eQyW2c5CA1jtLecCsN2U/bD6VilrFDWq5+5UIEVO7nazS3TEcHf1zuPYO/sqGvUvW62g86RXZuA==",
"license": "MIT",
"engines": {
"node": ">=4"
}
},
"node_modules/postgres-bytea": {
"version": "1.0.1",
"resolved": "https://registry.npmjs.org/postgres-bytea/-/postgres-bytea-1.0.1.tgz",
"integrity": "sha512-5+5HqXnsZPE65IJZSMkZtURARZelel2oXUEO8rH83VS/hxH5vv1uHquPg5wZs8yMAfdv971IU+kcPUczi7NVBQ==",
"license": "MIT",
"engines": {
"node": ">=0.10.0"
}
},
"node_modules/postgres-date": {
"version": "1.0.7",
"resolved": "https://registry.npmjs.org/postgres-date/-/postgres-date-1.0.7.tgz",
"integrity": "sha512-suDmjLVQg78nMK2UZ454hAG+OAW+HQPZ6n++TNDUX+L0+uUlLywnoxJKDou51Zm+zTCjrCl0Nq6J9C5hP9vK/Q==",
"license": "MIT",
"engines": {
"node": ">=0.10.0"
}
},
"node_modules/postgres-interval": {
"version": "1.2.0",
"resolved": "https://registry.npmjs.org/postgres-interval/-/postgres-interval-1.2.0.tgz",
"integrity": "sha512-9ZhXKM/rw350N1ovuWHbGxnGh/SNJ4cnxHiM0rxE4VN41wsg8P8zWn9hv/buK00RP4WvlOyr/RBDiptyxVbkZQ==",
"license": "MIT",
"dependencies": {
"xtend": "^4.0.0"
},
"engines": {
"node": ">=0.10.0"
}
},
"node_modules/split2": {
"version": "4.2.0",
"resolved": "https://registry.npmjs.org/split2/-/split2-4.2.0.tgz",
"integrity": "sha512-UcjcJOWknrNkF6PLX83qcHM6KHgVKNkV62Y8a5uYDVv9ydGQVwAHMKqHdJje1VTWpljG0WYpCDhrCdAOYH4TWg==",
"license": "ISC",
"engines": {
"node": ">= 10.x"
}
},
"node_modules/tslib": {
"version": "2.8.1",
"resolved": "https://registry.npmjs.org/tslib/-/tslib-2.8.1.tgz",
"integrity": "sha512-oJFu94HQb+KVduSUQL7wnpmqnfmLsOA/nAh6b6EH0wCEoK0/mPeXU6c3wKDV83MkOuHPRHtSXKKU99IBazS/2w==",
"license": "0BSD"
},
"node_modules/typescript": {
"version": "7.0.2",
"resolved": "https://registry.npmjs.org/typescript/-/typescript-7.0.2.tgz",
"integrity": "sha512-8FYau96o3NKOhbjKi/qNvG/W5jhzxkbdm5sj9AbZ/5T5sWqn3hJgLfGx27sRKZWTvyzCP8dLRBTf5tBTSRVUNA==",
"dev": true,
"license": "Apache-2.0",
"bin": {
"tsc": "bin/tsc"
},
"engines": {
"node": ">=16.20.0"
},
"optionalDependencies": {
"@typescript/typescript-aix-ppc64": "7.0.2",
"@typescript/typescript-darwin-arm64": "7.0.2",
"@typescript/typescript-darwin-x64": "7.0.2",
"@typescript/typescript-freebsd-arm64": "7.0.2",
"@typescript/typescript-freebsd-x64": "7.0.2",
"@typescript/typescript-linux-arm": "7.0.2",
"@typescript/typescript-linux-arm64": "7.0.2",
"@typescript/typescript-linux-loong64": "7.0.2",
"@typescript/typescript-linux-mips64el": "7.0.2",
"@typescript/typescript-linux-ppc64": "7.0.2",
"@typescript/typescript-linux-riscv64": "7.0.2",
"@typescript/typescript-linux-s390x": "7.0.2",
"@typescript/typescript-linux-x64": "7.0.2",
"@typescript/typescript-netbsd-arm64": "7.0.2",
"@typescript/typescript-netbsd-x64": "7.0.2",
"@typescript/typescript-openbsd-arm64": "7.0.2",
"@typescript/typescript-openbsd-x64": "7.0.2",
"@typescript/typescript-sunos-x64": "7.0.2",
"@typescript/typescript-win32-arm64": "7.0.2",
"@typescript/typescript-win32-x64": "7.0.2"
}
},
"node_modules/undici-types": {
"version": "7.24.6",
"resolved": "https://registry.npmjs.org/undici-types/-/undici-types-7.24.6.tgz",
"integrity": "sha512-WRNW+sJgj5OBN4/0JpHFqtqzhpbnV0GuB+OozA9gCL7a993SmU+1JBZCzLNxYsbMfIeDL+lTsphD5jN5N+n0zg==",
"dev": true,
"license": "MIT"
},
"node_modules/xtend": {
"version": "4.0.2",
"resolved": "https://registry.npmjs.org/xtend/-/xtend-4.0.2.tgz",
"integrity": "sha512-LKYU1iAXJXUgAXn9URjiu+MWhyUXHsvfp7mcuYm9dSUKK0/CjtrUwFAxD82/mCWbtLsGjFIad0wIsod4zrTAEQ==",
"license": "MIT",
"engines": {
"node": ">=0.4"
}
}
}
}
+22
View File
@@ -0,0 +1,22 @@
{
"name": "messenger-lab4",
"private": true,
"type": "module",
"engines": {
"node": ">=24"
},
"scripts": {
"start": "node src/main.ts",
"migrate": "node src/main.ts migrate",
"typecheck": "tsc"
},
"dependencies": {
"@aws-sdk/client-s3": "3.1152.0",
"pg": "8.23.1"
},
"devDependencies": {
"@types/node": "24.19.2",
"@types/pg": "8.23.1",
"typescript": "7.0.2"
}
}
+130
View File
@@ -0,0 +1,130 @@
#!/usr/bin/env python3
"""Трек 2: reconciler --apply с grace 1 с работает каждую секунду параллельно с потоком загрузок через API.
Гипотеза: правила (pending старше grace, объект без строки старше grace, проверка только settled-строк) не трогают
загрузки в процессе и подтверждённые (201) вложения. Проверка: каждое вложение, получившее 201, после теста ready
и скачивается с тем же SHA-256; итоговая сверка без расхождений. Отдельно — заведомо медленная загрузка (дольше grace):
reconciler убирает её pending-строку, клиент получает 503, но ни строки, ни объекта не остаётся.
Запуск: python3 research/reconcile_concurrency.py --base-url http://localhost:8080 [--seconds 25]"""
import collections
import hashlib
import http.client
import json
from pathlib import Path
import subprocess
import sys
import threading
import time
import urllib.parse
import uuid
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, arguments, check, run # noqa: E402
PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
SHA = hashlib.sha256(PNG).hexdigest()
NAME = 'lab4-reconcile-race'
def compose(*args):
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True)
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
return r.stdout
def slow_upload(base, token, chat, pieces=10, pause=0.4):
"""Тело отправляется частями ~4 с — заведомо дольше grace (1 с)."""
url = urllib.parse.urlsplit(base)
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=30)
conn.putrequest('POST', '/api/v1/chats/' + chat + '/attachments?filename=slow.png')
conn.putheader('Authorization', 'Bearer ' + token)
conn.putheader('Content-Type', 'image/png')
conn.putheader('Content-Length', str(len(PNG)))
conn.endheaders()
step = len(PNG) // pieces + 1
for i in range(0, len(PNG), step):
conn.send(PNG[i:i + step])
time.sleep(pause)
r = conn.getresponse()
return r.status, json.loads(r.read() or b'{}')
def main():
args = arguments('Reconciler vs concurrent uploads', lambda p: p.add_argument('--seconds', type=int, default=25))
c = Client(args.base_url, args.ca_file, timeout=30)
alice, bob, _, chat = c.bootstrap()
path = '/api/v1/chats/' + chat['id'] + '/attachments?filename=race.png'
send = '/api/v1/chats/' + chat['id'] + '/messages'
compose('stop', 'reconciler')
# Чистая база: остатки прошлых тестов не должны попасть в находки гонки.
compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--apply', '--grace=0')
runs = []
proc = subprocess.Popen(['docker', 'compose', 'run', '--rm', '--no-deps', '-T', '--name', NAME, 'reconciler',
'node', 'src/main.ts', 'reconcile', '--apply', '--grace=1', '--every=1'],
cwd=ROOT, text=True, stdout=subprocess.PIPE, stderr=subprocess.DEVNULL)
reader = threading.Thread(target=lambda: [runs.append(json.loads(x)) for x in proc.stdout if x.startswith('{"mode"')], daemon=True)
reader.start()
try:
deadline = time.monotonic() + 60
while not runs:
check(time.monotonic() < deadline, 'reconciler did not start')
time.sleep(0.2)
created, statuses, stop = [], collections.Counter(), time.monotonic() + args.seconds
lock = threading.Lock()
def worker(n):
local = Client(args.base_url, args.ca_file, timeout=30)
i = 0
while time.monotonic() < stop:
r = local.call('POST', path, [201, 503], actor=alice, raw=PNG, headers={'Content-Type': 'image/png'}, schema='Attachment')
with lock:
statuses[r['status']] += 1
if r['status'] == 201:
att = r['json']
if i % 5 == 0: # часть вложений сразу используется сообщением
local.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex})
with lock:
created.append(att)
i += 1
slow = []
threads = [threading.Thread(target=worker, args=(n,)) for n in range(4)]
threads.append(threading.Thread(target=lambda: slow.append(slow_upload(c.base, alice['token'], chat['id']))))
for t in threads:
t.start()
for t in threads:
t.join()
finally:
subprocess.run(['docker', 'stop', NAME], capture_output=True)
proc.wait(timeout=30)
compose('start', 'reconciler')
# Каждое подтверждённое вложение на месте и не изменилось.
for att in created:
meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json']
body = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', 200, actor=bob)['bytes']
check(meta['sha256'] == SHA and hashlib.sha256(body).hexdigest() == SHA, 'confirmed attachment changed')
slow_status, slow_body = slow[0]
left = compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc',
"SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'slow.png'" % chat['id']).strip()
final = json.loads(compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--grace=0').splitlines()[-1])
findings = collections.Counter()
for r in runs:
findings.update(r.get('findings', {}))
print(json.dumps({
'seconds': args.seconds, 'upload_threads': 4, 'uploads': dict(statuses), 'confirmed_and_verified': len(created),
'reconciler_runs': len(runs), 'run_ms_max': max(r['duration_ms'] for r in runs), 'findings_during_race': dict(findings),
'slow_upload': {'status': slow_status, 'code': slow_body.get('error', {}).get('code'), 'rows_left': int(left)},
'final_check_grace0': final['findings'],
}, ensure_ascii=False))
check(statuses[503] == 0 and len(created) > 100 and len(runs) >= 5, 'too few uploads or reconciler runs')
check(set(findings) <= {'stale_pending', 'orphan_object'} and findings['stale_pending'] <= 1, 'reconciler touched regular uploads')
check(slow_status == 503 and left == '0', 'slow upload must fail cleanly')
check(not final['findings'], 'stores inconsistent after race')
print('PASS: %d confirmed uploads intact after %d reconciler --apply runs (grace 1 s); slow upload > grace failed cleanly'
% (len(created), len(runs)))
if __name__ == '__main__':
run(main)
+76
View File
@@ -0,0 +1,76 @@
#!/usr/bin/env python3
"""Трек 2: стоимость обхода reconciler-а в зависимости от числа объектов.
Синтетические ready-вложения по 1 KiB (строка + объект, research/s3_tool.mjs seed) добавляются к текущему набору
до 1k / 10k / 50k; на каждом уровне 3 dry-run (медиана) и для 1k/10k один --verify (читает все байты bucket).
Фоновый reconciler на время замера остановлен. В конце синтетика удаляется (unseed).
Запуск: python3 research/reconcile_cost.py --base-url http://localhost:8080 [--levels 1000,10000,50000]"""
import json
from pathlib import Path
import statistics
import subprocess
import sys
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, arguments, check, run # noqa: E402
def compose(*args, stdin=None):
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True, stdin=stdin)
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
return r.stdout
def tool(*args):
with open(ROOT / 'research/s3_tool.mjs') as script:
return json.loads(compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', '--input-type=module', '-', *args, stdin=script))
def reconcile(*flags):
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags)
summary = json.loads(out.strip().splitlines()[-1])
check(not summary['findings'], 'unexpected findings during cost run: %s' % summary['findings'])
return summary
def main():
args = arguments('Reconciler traversal cost', lambda p: p.add_argument('--levels', default='1000,10000,50000'))
c = Client(args.base_url, args.ca_file, timeout=30)
alice, _, _, chat = c.bootstrap()
compose('stop', 'reconciler')
rows, seeded, raw = [], 0, []
try:
for level in [0] + [int(x) for x in args.levels.split(',')]:
seed_ms = None
if level > seeded:
seed_ms = tool('seed', chat['id'], alice['id'], str(level - seeded))['ms']
seeded = level
runs = [reconcile() for _ in range(3)]
verify = reconcile('--verify') if level <= 10000 else None
raw.append({'synthetic': level, 'dry_runs': runs, 'verify': verify, 'seed_ms': seed_ms})
r = runs[-1]
row = {
'synthetic': level, 'objects': r['objects'], 'rows': r['rows'], 'seed_ms': seed_ms,
'dry_ms_median': statistics.median(x['duration_ms'] for x in runs), 'dry_ms_all': [x['duration_ms'] for x in runs],
's3_list': r['s3_list'], 'db_queries': r['db_queries'], 'max_rss_mb': max(x['max_rss_mb'] for x in runs),
'verify_ms': verify and verify['duration_ms'], 'verify_mib': verify and round(verify['s3_get_bytes'] / 2**20),
}
rows.append(row)
print(json.dumps(row), flush=True)
finally:
removed = tool('unseed', chat['id'])['removed'] if seeded else 0
compose('start', 'reconciler')
print('синтетика удалена: %d строк и объектов' % removed)
with open(ROOT / 'evidence/track2/cost.jsonl', 'w') as f:
for x in raw:
f.write(json.dumps(x) + '\n')
print('\n| синтетики | объектов / строк | dry-run, мс (медиана из 3) | ListObjectsV2 | запросов к БД | max RSS, MiB | мкс на объект | --verify, мс | прочитано, MiB |')
print('| --- | --- | --- | --- | --- | --- | --- | --- | --- |')
for r in rows:
print('| %d | %d / %d | %d %s | %d | %d | %d | %.0f | %s | %s |' % (
r['synthetic'], r['objects'], r['rows'], r['dry_ms_median'], r['dry_ms_all'], r['s3_list'], r['db_queries'], r['max_rss_mb'],
1000 * r['dry_ms_median'] / r['objects'], r['verify_ms'] or '—', r['verify_mib'] if r['verify_mib'] is not None else '—'))
if __name__ == '__main__':
run(main)
+249
View File
@@ -0,0 +1,249 @@
#!/usr/bin/env python3
"""Трек 2: матрица расхождений PostgreSQL ↔ S3, внедрённых в обход API на обеих сторонах, и проверка reconciler-а.
Отказы вокруг COMMIT (триггер): COMMIT упал при живом процессе; COMMIT прошёл, но API получил ошибку (ack-lost) —
компенсация не должна тронуть объект ready-вложения; реплика убита между S3 PUT и COMMIT.
Порядок: чистая база → внедрение → dry-run (ничего не меняет) → dry-run --verify → --apply --verify →
повтор (0 находок) → проверки через API и БД → возврат объекта F (restored) → свежие P3/O2 не тронуты, пока
моложе grace, и убраны после неё.
Фоновый сервис reconciler на время теста остановлен, иначе он сам исправил бы часть ошибок.
Запуск: python3 research/reconcile_faults.py --base-url http://localhost:8080"""
import hashlib
import http.client
import json
from pathlib import Path
import subprocess
import sys
import threading
import time
import urllib.parse
import uuid
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, arguments, check, run # noqa: E402
GRACE = 30 # с запасом на запуск контейнеров `docker compose run` на нагруженном хосте: свежие P3/O2 не должны состариться
PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
SHA = hashlib.sha256(PNG).hexdigest()
TRIGGER = """CREATE OR REPLACE FUNCTION lab_fault() RETURNS trigger LANGUAGE plpgsql AS $$
BEGIN
-- ack-lost.png: строка становится ready (вложенный UPDATE фиксируется вместе с оператором API), а сам UPDATE API
-- затрагивает 0 строк — как если бы COMMIT прошёл, но подтверждение до API не дошло. API отвечает 503 и компенсирует.
IF NEW.state = 'ready' AND NEW.filename = 'ack-lost.png' AND pg_trigger_depth() = 1 THEN
UPDATE attachments SET state = NEW.state, size_bytes = NEW.size_bytes, sha256 = NEW.sha256, width = NEW.width,
height = NEW.height, updated_at = NEW.updated_at WHERE id = NEW.id;
RETURN NULL;
END IF;
-- crash.png: пауза, чтобы успеть убить реплику после S3 PUT; затем COMMIT всё равно не происходит.
IF NEW.state = 'ready' AND NEW.filename = 'crash.png' THEN PERFORM pg_sleep(5); END IF;
IF NEW.state = 'ready' AND NEW.filename IN ('crash.png', 'commit-fail.png') THEN
RAISE EXCEPTION 'injected commit failure' USING ERRCODE = '08006';
END IF;
RETURN NEW;
END $$;
DROP TRIGGER IF EXISTS lab_fault ON attachments;
CREATE TRIGGER lab_fault BEFORE UPDATE ON attachments FOR EACH ROW EXECUTE FUNCTION lab_fault();"""
log = []
def say(line):
log.append(line)
print(line, flush=True)
def compose(*args, stdin=None, ok=True):
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True, stdin=stdin)
if ok:
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
return r
def sql(query, ok=True):
r = compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-v', 'ON_ERROR_STOP=1', '-tAc', query, ok=ok)
return r.stdout.strip() if ok else r
def tool(*args):
with open(ROOT / 'research/s3_tool.mjs') as script:
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', '--input-type=module', '-', *args, stdin=script).stdout
return json.loads(out) if out.strip() else None
def reconcile(*flags, grace=GRACE):
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', '--grace=%d' % grace, *flags).stdout
lines = [json.loads(x) for x in out.splitlines() if x.startswith('{')]
found = sorted((x['finding'], x['key']) for x in lines if 'finding' in x)
summary = lines[-1]
say('reconcile %-22s findings=%s applied=%d objects=%d rows=%d fresh_skipped=%d s3_get_bytes=%d %d ms' % (
' '.join(flags) or '(dry-run)', json.dumps(summary['findings']), summary['applied'], summary['objects'], summary['rows'],
summary['fresh_skipped'], summary['s3_get_bytes'], summary['duration_ms']))
return found, summary
def raw_post(base, path, token):
"""Ответ на запрос к убитой реплике формирует LB (502) — без X-Request-Id, поэтому без проверок client.py."""
url = urllib.parse.urlsplit(base)
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=30)
conn.request('POST', path, PNG, {'Authorization': 'Bearer ' + token, 'Content-Type': 'image/png'})
return conn.getresponse().status
def state():
"""Отпечаток всех строк вложений: id, состояние, размер."""
return sql("SELECT count(*) || ' ' || md5(coalesce(string_agg(id || ':' || state || ':' || coalesce(size_bytes::text, ''), ',' ORDER BY id), '')) FROM attachments")
def main():
args = arguments('Reconciler fault-injection matrix')
c = Client(args.base_url, args.ca_file, timeout=30)
compose('stop', 'reconciler')
try:
scenario(c)
finally:
sql('DROP TRIGGER IF EXISTS lab_fault ON attachments; DROP FUNCTION IF EXISTS lab_fault();')
compose('start', 'api')
compose('start', 'reconciler')
def scenario(c):
found, _ = reconcile('--apply', '--verify', grace=0) # исходное состояние без расхождений (остатки прошлых экспериментов)
found, _ = reconcile('--verify', grace=0)
check(not found, 'baseline is not clean')
alice, bob, _, chat = c.bootstrap()
hdr = {'Content-Type': 'image/png'}
up = lambda name: '/api/v1/chats/' + chat['id'] + '/attachments?filename=' + name # noqa: E731
att = {n: c.call('POST', up(n + '.png'), 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json'] for n in 'ABCDEF'}
key = {n: 'originals/' + a['id'] for n, a in att.items()}
send = '/api/v1/chats/' + chat['id'] + '/messages'
m1 = c.call('POST', send, 201, actor=alice, body={'text': 'A B D', 'attachment_ids': [att[n]['id'] for n in 'ABD']},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')['json']
m2 = c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['F']['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message')['json']
say('used by messages: A B D F; unused: C E')
# --- Внедрение ошибок на стороне S3 (ключами reconciler, в обход API) ---
tool('copy', key['F'], 'backup/' + att['F']['id']) # вне originals/: reconciler его не сканирует
tool('delete', key['B']) # B: используемое, объект потерян
tool('put', key['C'], '100') # C: неиспользуемое, объект подменён другим размером
tool('put', key['D'], str(len(PNG))) # D: используемое, подмена того же размера (только --verify)
tool('delete', key['F']) # F: потерян, позже вернём оригинал
o1 = 'originals/' + str(uuid.uuid4())
tool('put', o1, '3000') # O1: объект без строки
# --- на стороне БД ---
sql("DELETE FROM attachments WHERE id = '%s'" % att['E']['id']) # E: строку потеряли, объект остался
p = {n: str(uuid.uuid4()) for n in ('P1', 'P2', 'P3')}
for n in ('P1', 'P2'): # загрузка «час назад» так и не завершилась
sql("INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, created_at, updated_at) "
"VALUES ('%s', '%s', '%s', 'fault.png', 'image/png', 'originals/%s', now() - interval '1 hour', now() - interval '1 hour')"
% (p[n], chat['id'], alice['id'], p[n]))
tool('put', 'originals/' + p['P2'], '2048') # P2: загрузка умерла после PUT; P1 — до PUT
# --- Настоящие отказы между S3 PUT и COMMIT (триггер в БД) ---
sql(TRIGGER)
r = c.call('POST', up('commit-fail.png'), 503, actor=alice, raw=PNG, headers=hdr)
time.sleep(2) # компенсация идёт в фоне после ответа
left = sql("SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'commit-fail.png'" % chat['id'])
say('commit-fail.png: HTTP %d, процесс жив → компенсация: строк осталось %s' % (r['status'], left))
check(left == '0', 'compensation left a row')
r = c.call('POST', up('ack-lost.png'), 503, actor=alice, raw=PNG, headers=hdr)
time.sleep(2)
ack = sql("SELECT id || ' ' || state FROM attachments WHERE chat_id = '%s' AND filename = 'ack-lost.png'" % chat['id']).split()
ack_object = tool('head', 'originals/' + ack[0])
say('ack-lost.png: HTTP %d, но строка уже ready (подтверждение COMMIT потеряно) → после компенсации строка %s, объект %s' % (
r['status'], ack[1], json.dumps(ack_object)))
check(ack[1] == 'ready' and ack_object == {'exists': True, 'size': len(PNG)}, 'compensation deleted the object of a ready attachment')
crash_status = []
th = threading.Thread(target=lambda: crash_status.append(raw_post(c.base, up('crash.png'), alice['token'])))
th.start()
addr = ''
for _ in range(50):
addr = sql("SELECT coalesce(host(client_addr), '') FROM pg_stat_activity WHERE wait_event = 'PgSleep' LIMIT 1")
if addr:
break
time.sleep(0.1)
check(addr, 'crash upload did not reach the UPDATE')
victim = next(cid for cid in compose('ps', '-q', 'api').stdout.split()
if addr in subprocess.run(['docker', 'inspect', '-f', '{{range .NetworkSettings.Networks}}{{.IPAddress}} {{end}}', cid],
capture_output=True, text=True).stdout.split())
subprocess.run(['docker', 'kill', victim], check=True, capture_output=True) # SIGKILL: компенсации не будет
th.join()
time.sleep(5.5) # сессия БД досыпает и откатывает UPDATE
cr = sql("SELECT id || ' ' || state FROM attachments WHERE chat_id = '%s' AND filename = 'crash.png'" % chat['id']).split()
cr_key = 'originals/' + cr[0]
say('crash.png: HTTP %d от LB, реплика %s убита во время COMMIT → строка %s, объект %s' % (
crash_status[0], victim[:12], cr[1], json.dumps(tool('head', cr_key))))
check(cr[1] == 'pending' and tool('head', cr_key)['exists'], 'crash did not leave pending row + object')
compose('start', 'api')
sql('DROP TRIGGER lab_fault ON attachments; DROP FUNCTION lab_fault();')
time.sleep(GRACE + 1) # всё внедрённое выше старше grace
expected = sorted([('stale_pending', 'originals/' + p['P1']), ('stale_pending', 'originals/' + p['P2']), ('stale_pending', cr_key),
('orphan_object', key['E']), ('orphan_object', o1),
('missing_object', key['B']), ('missing_object', key['F']), ('size_mismatch', key['C'])])
before = state()
found, s = reconcile()
check(found == expected, 'dry-run findings differ: %s' % found)
check(state() == before, 'dry-run changed the database')
objects = s['objects']
found, s = reconcile('--verify')
check(found == sorted(expected + [('checksum_mismatch', key['D'])]), 'dry-run --verify findings differ: %s' % found)
check(state() == before and s['objects'] == objects, 'dry-run --verify changed something')
say('dry-run и dry-run --verify: находки ровно ожидаемые, строки БД (%s) и число объектов (%d) не изменились' % (before, objects))
found, s = reconcile('--apply', '--verify')
check(s['applied'] == len(expected) + 1, 'not all findings fixed')
found, s = reconcile('--verify')
check(not found, 'second run still finds problems: %s' % found)
# Последствия исправления.
a = c.call('GET', '/api/v1/attachments/' + att['A']['id'] + '/content', 200, actor=bob)
check(hashlib.sha256(a['bytes']).hexdigest() == SHA, 'healthy A changed')
for n in 'BCDF':
for suffix in ('', '/content'):
c.call('GET', '/api/v1/attachments/' + att[n]['id'] + suffix, 404, actor=bob)
states = dict(x.split('|') for x in sql("SELECT filename || '|' || state FROM attachments WHERE chat_id = '%s' AND filename <> 'fault.png'" % chat['id']).split())
check(states == {'A.png': 'ready', 'B.png': 'lost', 'C.png': 'lost', 'D.png': 'lost', 'F.png': 'lost', 'ack-lost.png': 'ready'}, 'states: %s' % states)
a = c.call('GET', '/api/v1/attachments/' + ack[0] + '/content', 200, actor=bob)
check(hashlib.sha256(a['bytes']).hexdigest() == SHA, 'ack-lost attachment changed')
history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
check([x['attachment_ids'] for x in history if x['id'] in (m1['id'], m2['id'])] == [m1['attachment_ids'], m2['attachment_ids']], 'links lost')
fk = sql("DELETE FROM attachments WHERE id = '%s'" % att['B']['id'], ok=False)
check(fk.returncode != 0 and 'foreign key' in fk.stderr, 'used attachment row could be deleted')
gone = {n: tool('head', k)['exists'] for n, k in (('E', key['E']), ('O1', o1), ('P2', 'originals/' + p['P2']), ('crash', cr_key))}
check(not any(gone.values()), 'objects left: %s' % gone)
rows = sql("SELECT count(*) FROM attachments WHERE id IN ('%s', '%s', '%s')" % (p['P1'], p['P2'], cr[0]))
check(rows == '0', 'stale pending rows left: %s' % rows)
say('после --apply: A и ack-lost скачиваются (sha256 совпал); B C D F → lost, API отвечает 404, ссылки сообщений на B D F сохранены; '
'DELETE строки B отклонён FK; объекты E O1 P2 crash удалены, строк P1 P2 crash нет')
# Карантин обратим: оригинал F вернули из резервной копии → restored.
tool('copy', 'backup/' + att['F']['id'], key['F'])
found, _ = reconcile('--apply')
check(found == [('restored', key['F'])], 'F not restored: %s' % found)
f = c.call('GET', '/api/v1/attachments/' + att['F']['id'] + '/content', 200, actor=bob)
check(hashlib.sha256(f['bytes']).hexdigest() == SHA, 'restored F differs')
tool('delete', 'backup/' + att['F']['id'])
say('F: объект возвращён → restored, снова ready и скачивается с исходным sha256')
# Свежие P3 (pending-строка) и O2 (объект без строки) моложе grace: --apply их не трогает.
o2 = 'originals/' + str(uuid.uuid4())
tool('put', o2, '500')
sql("INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key) "
"VALUES ('%s', '%s', '%s', 'fault.png', 'image/png', 'originals/%s')" % (p['P3'], chat['id'], alice['id'], p['P3']))
found, s = reconcile('--apply')
p3 = sql("SELECT state FROM attachments WHERE id = '%s'" % p['P3'])
check(not found and s['fresh_skipped'] == 1 and p3 == 'pending' and tool('head', o2)['exists'], 'fresh data touched')
say('свежие P3/O2 (моложе %d с): --apply ничего не сделал, fresh_skipped=1, строка P3 pending, объект O2 на месте' % GRACE)
# Их защищала только grace: после неё это обычный мусор.
time.sleep(GRACE + 1)
found, _ = reconcile('--apply')
check(found == sorted([('stale_pending', 'originals/' + p['P3']), ('orphan_object', o2)]), 'after grace: %s' % found)
found, _ = reconcile('--verify')
check(not found, 'not clean at the end')
print('PASS: all injected inconsistencies detected exactly, dry-run is read-only, apply fixes, rerun is clean, used/fresh data kept')
if __name__ == '__main__':
run(main)
+59
View File
@@ -0,0 +1,59 @@
// Внедрение ошибок и массовое наполнение на стороне S3/БД (трек 2), в обход API. Выполняется в контейнере
// сервиса reconciler с его ключами (объекты + листинг своего bucket, без прав администратора):
// docker compose run --rm --no-deps -T reconciler node --input-type=module - <команда> ... < research/s3_tool.mjs
// put <key> <size> записать объект из <size> случайных байт
// copy <from> <to> копия объекта на стороне S3
// delete <key> удалить объект
// head <key> {"exists": true|false, "size": …}
// seed <chat_id> <owner_id> <n> n синтетических ready-вложений по 1 KiB: строка БД + объект с тем же SHA-256
// unseed <chat_id> удалить синтетические строки чата и их объекты
import { createHash, randomBytes, randomUUID } from 'node:crypto';
import { readFileSync } from 'node:fs';
import { CopyObjectCommand, DeleteObjectCommand, HeadObjectCommand, PutObjectCommand, S3Client } from '@aws-sdk/client-s3';
import pg from 'pg';
const [cmd, ...args] = process.argv.slice(2);
const file = (n) => readFileSync(`/run/secrets/${n}`, 'utf8').trim();
const s3 = new S3Client({
endpoint: process.env.S3_ENDPOINT, region: process.env.S3_REGION, forcePathStyle: true,
requestChecksumCalculation: 'WHEN_REQUIRED', responseChecksumValidation: 'WHEN_REQUIRED',
credentials: { accessKeyId: file('s3_access_key_id'), secretAccessKey: file('s3_secret_access_key') },
});
const Bucket = process.env.S3_BUCKET;
const db = new pg.Pool({ connectionString: file('database_url'), max: 16 });
const pool = async (items, fn, width = 64) => {
let i = 0;
await Promise.all(Array.from({ length: width }, async () => { while (i < items.length) await fn(items[i++]); }));
};
if (cmd === 'put') await s3.send(new PutObjectCommand({ Bucket, Key: args[0], Body: randomBytes(Number(args[1])) }));
if (cmd === 'copy') await s3.send(new CopyObjectCommand({ Bucket, CopySource: `${Bucket}/${args[0]}`, Key: args[1] }));
if (cmd === 'delete') await s3.send(new DeleteObjectCommand({ Bucket, Key: args[0] }));
if (cmd === 'head') {
try {
const h = await s3.send(new HeadObjectCommand({ Bucket, Key: args[0] }));
console.log(JSON.stringify({ exists: true, size: h.ContentLength }));
} catch (err) {
if (err.$metadata?.httpStatusCode !== 404) throw err;
console.log(JSON.stringify({ exists: false }));
}
}
if (cmd === 'seed') {
const [chat, owner, n] = [args[0], args[1], Number(args[2])];
const started = Date.now();
await pool(Array.from({ length: n }, () => randomUUID()), async (id) => {
const body = randomBytes(1024);
// Как в API: сначала строка (здесь сразу ready, это синтетика для замера обхода), затем объект.
await db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key, state, size_bytes, sha256)
VALUES ($1, $2, $3, 'bulk.png', 'image/png', $4, 'ready', 1024, $5)`, [id, chat, owner, `originals/${id}`, createHash('sha256').update(body).digest('hex')]);
await s3.send(new PutObjectCommand({ Bucket, Key: `originals/${id}`, Body: body }));
});
console.log(JSON.stringify({ seeded: n, ms: Date.now() - started }));
}
if (cmd === 'unseed') {
const rows = (await db.query(`DELETE FROM attachments WHERE chat_id = $1 AND filename = 'bulk.png' RETURNING object_key`, [args[0]])).rows;
await pool(rows, (r) => s3.send(new DeleteObjectCommand({ Bucket, Key: r.object_key })));
console.log(JSON.stringify({ removed: rows.length }));
}
s3.destroy(); // keep-alive сокеты иначе держат процесс до idle-таймаута S3
await db.end();
+134
View File
@@ -0,0 +1,134 @@
#!/usr/bin/env python3
"""Пик памяти API при N одновременных загрузках ~9.9 MiB (уровень 4).
Гипотеза: загрузка идёт потоком с обратным давлением, поэтому рост памяти реплики ≪ N × размер файла.
Перед каждым уровнем реплики перезапускаются (новая cgroup), затем прогрев и выборка memory.current каждые 50 мс
во всех api и s3 контейнерах. Запуск: python3 research/upload_memory.py --base-url http://localhost:8080"""
import json
import os
from pathlib import Path
import statistics
import struct
import subprocess
import sys
import threading
import time
import zlib
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests'))
from client import Client, arguments, check, run # noqa: E402
MiB = 1024 * 1024
def noise_png(side):
def chunk(kind, data):
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
raw = b''.join(b'\0' + os.urandom(side * 3) for _ in range(side))
return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', struct.pack('>IIBBBBB', side, side, 8, 2, 0, 0, 0))
+ chunk(b'IDAT', zlib.compress(raw, 1)) + chunk(b'IEND', b''))
def containers(service):
out = subprocess.run(['docker', 'compose', 'ps', '-q', service], cwd=ROOT, capture_output=True, text=True, check=True).stdout
return out.split()
def cgroup(cid, name):
return int(subprocess.run(['docker', 'exec', cid, 'cat', '/sys/fs/cgroup/' + name], capture_output=True, text=True, check=True).stdout)
class Sampler(threading.Thread):
"""Максимум memory.current контейнера, опрос каждые 50 мс одним долгим docker exec."""
def __init__(self, cid):
super().__init__(daemon=True)
self.max = 0
self.proc = subprocess.Popen(['docker', 'exec', cid, 'sh', '-c', 'while :; do cat /sys/fs/cgroup/memory.current; sleep 0.05; done'],
stdout=subprocess.PIPE, text=True)
def run(self):
for line in self.proc.stdout:
self.max = max(self.max, int(line))
def stop(self):
self.proc.terminate()
return self.max
def restart_api(c):
subprocess.run(['docker', 'compose', 'restart', 'api'], cwd=ROOT, check=True, capture_output=True)
seen, deadline = set(), time.monotonic() + 60
while len(seen) < 2:
check(time.monotonic() < deadline, 'replicas not ready')
try:
r = c.call('GET', '/health/ready', [200, 503])
if r['status'] == 200:
seen.add(r['headers']['X-Instance-Id'])
except AssertionError:
pass
time.sleep(0.2)
def main():
args = arguments('Concurrent upload memory experiment', lambda p: p.add_argument('--levels', default='1,10,20,40'))
c = Client(args.base_url, args.ca_file, timeout=120)
data = noise_png(1860)
small = (ROOT / 'tests/fixtures/sample.png').read_bytes()
results = []
for n in [int(x) for x in args.levels.split(',')]:
restart_api(c)
alice, _, _, chat = c.bootstrap()
path = '/api/v1/chats/' + chat['id'] + '/attachments?filename=load.png'
for _ in range(4): # прогрев: модули SDK, пул соединений, JIT
c.call('POST', path, 201, actor=alice, raw=small, headers={'Content-Type': 'image/png'})
api = containers('api')
watched = {('api', cid): None for cid in api} | {('s3', cid): None for cid in containers('s3')}
base = {k: cgroup(k[1], 'memory.current') for k in watched}
samplers = {k: Sampler(k[1]) for k in watched}
for s in samplers.values():
s.start()
time.sleep(0.5)
barrier = threading.Barrier(n)
done = []
def upload():
local = Client(args.base_url, args.ca_file, timeout=120)
barrier.wait()
r = local.call('POST', path, [201, 503], actor=alice, raw=data, headers={'Content-Type': 'image/png'})
done.append((r['status'], r['elapsed'], r['headers'].get('X-Instance-Id')))
start = time.monotonic()
threads = [threading.Thread(target=upload) for _ in range(n)]
for t in threads:
t.start()
for t in threads:
t.join()
wall = time.monotonic() - start
time.sleep(0.5)
peak = {k: s.stop() for k, s in samplers.items()}
lat = sorted(e for _, e, _ in done)
row = {
'concurrency': n, 'file_mib': round(len(data) / MiB, 2), 'ok': sum(s == 201 for s, _, _ in done), 'errors': sum(s != 201 for s, _, _ in done),
'wall_s': round(wall, 2), 'throughput_mib_s': round(n * len(data) / MiB / wall, 1),
'latency_p50_s': round(statistics.median(lat), 2), 'latency_max_s': round(lat[-1], 2),
'per_replica': sorted(sum(1 for *_, i in done if i == cid[:12]) for cid in api),
'api_baseline_mib': [round(base[('api', cid)] / MiB, 1) for cid in api],
'api_peak_mib': [round(peak[('api', cid)] / MiB, 1) for cid in api],
'api_cgroup_peak_mib': [round(cgroup(cid, 'memory.peak') / MiB, 1) for cid in api],
's3_baseline_mib': [round(base[k] / MiB, 1) for k in watched if k[0] == 's3'],
's3_peak_mib': [round(peak[k] / MiB, 1) for k in watched if k[0] == 's3'],
}
row['api_max_growth_mib'] = round(max(p - b for p, b in zip(row['api_peak_mib'], row['api_baseline_mib'])), 1)
results.append(row)
print(json.dumps(row, ensure_ascii=False))
print('\n| N | OK/ошибки | время, с | MiB/s | p50 / max, с | загрузок на реплику | API до → пик, MiB | рост max, MiB | S3-шлюз до → пик, MiB |')
print('| --- | --- | --- | --- | --- | --- | --- | --- | --- |')
for r in results:
print('| %d | %d/%d | %.2f | %.1f | %.2f / %.2f | %s | %s → %s | %.1f | %s → %s |' % (
r['concurrency'], r['ok'], r['errors'], r['wall_s'], r['throughput_mib_s'], r['latency_p50_s'], r['latency_max_s'],
r['per_replica'], r['api_baseline_mib'], r['api_peak_mib'], r['api_max_growth_mib'], r['s3_baseline_mib'], r['s3_peak_mib']))
check(all(r['errors'] == 0 for r in results), 'some uploads failed')
if __name__ == '__main__':
run(main)
+58
View File
@@ -0,0 +1,58 @@
#!/bin/sh
# Проверка приватности bucket и минимальных прав вне API (уровень 4). Ничего не меняет, кроме
# временного объекта probe/* (создаётся и сразу удаляется ключом api) — и повторного запуска s3-init.
set -eu
cd "$(dirname "$0")/.."
fail=0
expect() { # описание, ожидаемое, фактическое
if [ "$2" = "$3" ]; then echo "PASS $1: $3"; else echo "FAIL $1: ожидалось $2, получено $3"; fail=1; fi
}
key=$(docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT object_key FROM attachments WHERE state = 'ready' LIMIT 1")
[ -n "$key" ] || { echo "нужно хотя бы одно вложение: сначала make test"; exit 2; }
bucket=$(docker compose exec -T api printenv S3_BUCKET)
# 1. Анонимный доступ напрямую к S3-шлюзу из сети backend (минуя API): без подписи — 403.
anon() { docker compose exec -T api node -e 'fetch(process.argv[1], { method: process.argv[2], body: process.argv[2] === "PUT" ? "x" : undefined }).then((r) => console.log(r.status), () => console.log("error"))' "$@"; }
expect "анонимный GET объекта" 403 "$(anon "http://s3:9000/$bucket/$key" GET)"
expect "анонимный LIST bucket" 403 "$(anon "http://s3:9000/$bucket?list-type=2" GET)"
expect "анонимный PUT объекта" 403 "$(anon "http://s3:9000/$bucket/originals/anonymous" PUT)"
# 2. Ключи api и reconciler: только свой bucket и только нужные действия.
for svc in api reconciler; do
docker compose exec -T "$svc" node --input-type=module - "$key" < student-tests/s3_probe.mjs | while read -r line; do echo " $svc $line"; done
done
probe() { docker compose exec -T "$1" node --input-type=module - "$key" < student-tests/s3_probe.mjs | awk -v op="$2: " 'index($0, op) == 1 {split(substr($0, length(op) + 1), w, " "); print w[1]}'; }
expect "api GetObject" allowed "$(probe api 'GetObject own bucket')"
expect "api ListObjectsV2 (не нужен API)" denied "$(probe api 'ListObjectsV2 own bucket')"
expect "api CreateBucket" denied "$(probe api 'CreateBucket other')"
expect "api PutObject в чужой bucket" denied "$(probe api 'PutObject other bucket')"
expect "reconciler ListObjectsV2" allowed "$(probe reconciler 'ListObjectsV2 own bucket')"
expect "reconciler CreateBucket" denied "$(probe reconciler 'CreateBucket other')"
# 3. Внутренние интерфейсы SeaweedFS (filer/master/volume без подписи S3) недоступны из API: другая сеть.
for port in 8888 9333 8080; do
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://seaweedfs:$port/" 2>/dev/null; then r=reachable; else r=unreachable; fi
expect "seaweedfs:$port из контейнера api" unreachable "$r"
done
# Не только DNS: и по IP в сети storage маршрута из backend нет.
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$(docker compose ps -q seaweedfs)")
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://$ip:8888/" 2>/dev/null; then r=reachable; else r=unreachable; fi
expect "filer по IP $ip:8888 из контейнера api" unreachable "$r"
# 4. На хост опубликован только LB (API и статистика HAProxy на 127.0.0.1); S3 и консоли — нет.
published=$(for id in $(docker compose ps -q); do
[ -n "$(docker port "$id")" ] && docker inspect -f '{{index .Config.Labels "com.docker.compose.service"}}' "$id"
done | sort -u | tr '\n' ' ')
expect "сервисы с опубликованными портами" "lb " "$published"
# 5. Оригинал на API не хранится: корневая ФС реплик только для чтения, смонтированы лишь Docker secrets.
for id in $(docker compose ps -q api); do
expect "api $(echo "$id" | cut -c1-12) ReadonlyRootfs" true "$(docker inspect -f '{{.HostConfig.ReadonlyRootfs}}' "$id")"
expect "api $(echo "$id" | cut -c1-12) монтирования кроме /run/secrets" "" \
"$(docker inspect -f '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | awk 'NF && index($0, "/run/secrets/") != 1' | tr '\n' ' ')"
done
# 6. Bootstrap идемпотентен: повторный s3-init не создаёт и не ломает bucket.
expect "повторный s3-init" "bucket $bucket: exists" "$(docker compose run --rm -T s3-init 2>/dev/null | tail -1)"
[ "$fail" = 0 ] && echo "PASS: bucket приватен, права минимальны, внутренние порты закрыты" || exit 1
+40
View File
@@ -0,0 +1,40 @@
#!/bin/sh
# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны
# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее.
set -eu
cd "$(dirname "$0")/.."
[ -f .env ] || cp .env.example .env
mkdir -p secrets
chmod 700 secrets
put() {
[ -f "secrets/$1" ] && return 0
printf '%s' "$2" > "secrets/$1"
chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700
echo "created secrets/$1"
}
if [ ! -f secrets/postgres_password ]; then
password=$(openssl rand -hex 24)
put postgres_password "$password"
put database_url "postgres://messenger:$password@postgres:5432/messenger"
fi
# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api — объекты, reconciler — объекты + листинг.
for who in admin api reconciler; do
put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)"
put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)"
done
# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске.
# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin.
# Анонимной identity нет: запрос без подписи получает 403.
bucket=$(sed -n 's/^S3_BUCKET=//p' .env)
bucket=${bucket:-messenger-attachments}
identity() {
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
"$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2"
}
umask 022
printf '{"identities":[%s,%s,%s]}\n' \
"$(identity admin '"Admin","Read","List","Write"')" \
"$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \
"$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json
echo "secrets/ and .env are ready (bucket $bucket)"
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
# Перезапускает LB, все API-реплики, reconciler, PostgreSQL и SeaweedFS (хранилище + S3-шлюз).
# Volumes pgdata и s3data, схема и bucket сохраняются; migrate и s3-init при повторе ничего не меняют.
set -eu
cd "$(dirname "$0")/.."
docker compose stop lb api reconciler # штатный SIGTERM, реплики сначала завершают запросы
docker compose stop s3
docker compose restart postgres seaweedfs # те же контейнеры и те же volumes
docker compose start s3
docker compose start api reconciler lb
+14
View File
@@ -0,0 +1,14 @@
#!/bin/sh
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера.
# Восстановление после теста: docker compose start api
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
cd "$(dirname "$0")/.."
case "$TARGET_INSTANCE_ID" in
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
esac
ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true)
[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
docker stop "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с)
echo "stopped $(docker inspect -f '{{.Name}}' "$ids") ($TARGET_INSTANCE_ID)"
+92
View File
@@ -0,0 +1,92 @@
// HTTP-приложение: таблица маршрутов, health-проверки и общая обработка каждого запроса.
import { randomUUID } from 'node:crypto';
import type { IncomingMessage, OutgoingHttpHeaders, ServerResponse } from 'node:http';
import { Readable } from 'node:stream';
import { pipeline } from 'node:stream/promises';
import type { Pool } from 'pg';
import type { Config } from './config.ts';
import type { Handler, Result } from './http/context.ts';
import { notFound, toHttpError, unavailable } from './http/errors.ts';
import { downloadAttachment, getAttachment, uploadAttachment } from './modules/attachments.ts';
import { createChat, getChat, listChats } from './modules/chats.ts';
import { listMessages, sendMessage } from './modules/messages.ts';
import { createSession, deleteSession } from './modules/sessions.ts';
import { createUser, me } from './modules/users.ts';
import type { Storage } from './storage/s3.ts';
function send(res: ServerResponse, status: number, body?: unknown, headers?: OutgoingHttpHeaders) {
if (body instanceof Readable) {
// Байты вложения потоком из S3. Обрыв с любой стороны закрывает соединение: клиент увидит
// несовпадение с Content-Length, а не «успешно» обрезанный файл.
res.writeHead(status, headers);
pipeline(body, res).catch((err) => console.error(`передача вложения прервана: ${err.message}`));
return;
}
if (body === undefined) {
res.writeHead(status).end();
return;
}
const data = JSON.stringify(body);
res.writeHead(status, { 'Content-Type': 'application/json', 'Content-Length': Buffer.byteLength(data) }).end(data);
}
export function createApp(db: Pool, s3: Storage, config: Config) {
// ready = false с момента SIGTERM: балансировщик по readiness выводит реплику из ротации.
const state = { ready: true };
// Готовность: процесс не завершается и PostgreSQL отвечает. Это единственная критичная зависимость:
// при недоступном S3 реплика остаётся в ротации, текстовые сообщения работают, вложения отвечают 503.
const readiness: Handler = async () => {
if (!state.ready) throw unavailable('Реплика завершает работу');
try {
await db.query('SELECT 1');
} catch {
throw unavailable('База данных недоступна');
}
return [200, { status: 'ok' }];
};
const routes: [method: string, path: RegExp, handler: Handler][] = [
['GET', /^\/health\/live$/, async () => [200, { status: 'ok' }]],
['GET', /^\/health\/ready$/, readiness],
['POST', /^\/api\/v1\/users$/, createUser],
['GET', /^\/api\/v1\/users\/me$/, me],
['POST', /^\/api\/v1\/auth\/sessions$/, createSession],
['DELETE', /^\/api\/v1\/auth\/sessions\/current$/, deleteSession],
['POST', /^\/api\/v1\/chats$/, createChat],
['GET', /^\/api\/v1\/chats$/, listChats],
['GET', /^\/api\/v1\/chats\/([^/]+)$/, getChat],
['POST', /^\/api\/v1\/chats\/([^/]+)\/messages$/, sendMessage],
['GET', /^\/api\/v1\/chats\/([^/]+)\/messages$/, listMessages],
['POST', /^\/api\/v1\/chats\/([^/]+)\/attachments$/, uploadAttachment],
['GET', /^\/api\/v1\/attachments\/([^/]+)$/, getAttachment],
['GET', /^\/api\/v1\/attachments\/([^/]+)\/content$/, downloadAttachment],
];
async function dispatch(req: IncomingMessage): Promise<Result> {
const url = new URL(req.url ?? '/', 'http://api');
for (const [method, pattern, handler] of routes) {
const m = pattern.exec(url.pathname);
if (m && req.method === method) return handler({ req, url, params: m.slice(1), db, s3, config });
}
throw notFound(); // неизвестный путь или метод — тоже JSON-ошибка контракта
}
// Каждый ответ, включая ошибки и health, несёт X-Request-Id и X-Instance-Id.
function handle(req: IncomingMessage, res: ServerResponse) {
const requestId = randomUUID();
res.setHeader('X-Request-Id', requestId);
res.setHeader('X-Instance-Id', config.instanceId);
if (!state.ready) res.setHeader('Connection', 'close'); // при остановке LB не переиспользует соединение
dispatch(req).then(([status, body, headers]) => send(res, status, body, headers), (err) => {
const e = toHttpError(err, requestId);
if (e.status === 401) {
// Basic только на входе, на остальных эндпоинтах — Bearer.
res.setHeader('WWW-Authenticate', req.url === '/api/v1/auth/sessions' ? 'Basic realm="messenger", charset="UTF-8"' : 'Bearer realm="messenger"');
}
send(res, e.status, { error: { code: e.code, message: e.message, request_id: requestId } });
});
}
return { state, handle };
}
+70
View File
@@ -0,0 +1,70 @@
// Конфигурация процесса из переменных окружения. Читается один раз при старте.
import { readFileSync } from 'node:fs';
import { hostname } from 'node:os';
export type S3Config = {
endpoint: string;
region: string;
bucket: string;
accessKeyId: string;
secretAccessKey: string;
};
export type Config = {
host: string;
port: number;
databaseUrl: string;
dbPoolMax: number;
sessionTtlSeconds: number;
shutdownDrainMs: number;
instanceId: string;
s3: S3Config;
maxUploadBytes: number;
maxImagePixels: number;
};
function env(name: string, def: string): string {
return process.env[name] || def;
}
export function envInt(name: string, def: number): number {
const n = Number(env(name, String(def)));
if (!Number.isInteger(n) || n <= 0) throw new Error(`${name} должен быть положительным целым`);
return n;
}
// Секрет берётся из файла NAME_FILE (Docker secret), иначе из NAME. Значение никогда не логируется.
export function secret(name: string): string {
const file = process.env[name + '_FILE'];
const value = file ? readFileSync(file, 'utf8').trim() : process.env[name];
if (!value) throw new Error(`нужна переменная ${name} или ${name}_FILE`);
return value;
}
// Ключи у каждого сервиса свои (api, reconciler, s3-init), compose монтирует их под одинаковыми именами.
export function s3Config(): S3Config {
return {
endpoint: env('S3_ENDPOINT', 'http://s3:9000'),
region: env('S3_REGION', 'us-east-1'),
bucket: env('S3_BUCKET', 'messenger-attachments'),
accessKeyId: secret('S3_ACCESS_KEY_ID'),
secretAccessKey: secret('S3_SECRET_ACCESS_KEY'),
};
}
export function loadConfig(): Config {
return {
host: env('APP_HOST', '0.0.0.0'),
port: envInt('APP_PORT', 8080),
databaseUrl: secret('DATABASE_URL'),
dbPoolMax: envInt('DB_POOL_MAX', 8),
sessionTtlSeconds: envInt('SESSION_TTL_SECONDS', 3600),
// Пауза между отказом readiness и закрытием сервера: должна быть больше времени обнаружения LB (fall × inter).
shutdownDrainMs: envInt('SHUTDOWN_DRAIN_MS', 2500),
// X-Instance-Id = hostname контейнера (12 символов ID), по нему scripts/stop-one.sh находит реплику.
instanceId: env('INSTANCE_ID', hostname()),
s3: s3Config(),
maxUploadBytes: envInt('MAX_UPLOAD_BYTES', 10485760),
maxImagePixels: envInt('MAX_IMAGE_PIXELS', 40000000),
};
}
+44
View File
@@ -0,0 +1,44 @@
// Доступ к PostgreSQL: пул соединений для API и однократный прогон миграций.
import { readFileSync, readdirSync } from 'node:fs';
import pg from 'pg';
export function createPool(databaseUrl: string, max: number): pg.Pool {
const pool = new pg.Pool({
connectionString: databaseUrl,
max,
connectionTimeoutMillis: 2000, // пул исчерпан или БД недоступна → 503, а не зависший запрос
statement_timeout: 5000,
});
// Ошибка простаивающего соединения (например, рестарт PostgreSQL) не должна ронять процесс.
pool.on('error', (err) => console.error('ошибка соединения с БД:', err.message));
return pool;
}
// Применяет src/migrations/*.sql по порядку, каждую в своей транзакции и ровно один раз.
// Advisory lock не даёт двум запускам выполнить DDL одновременно.
export async function migrate(databaseUrl: string): Promise<void> {
const client = new pg.Client({ connectionString: databaseUrl });
await client.connect();
try {
await client.query('SELECT pg_advisory_lock(3003)');
await client.query('CREATE TABLE IF NOT EXISTS schema_migrations (version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())');
const dir = new URL('./migrations/', import.meta.url);
for (const file of readdirSync(dir).filter((f) => f.endsWith('.sql')).sort()) {
const done = await client.query('SELECT 1 FROM schema_migrations WHERE version = $1', [file]);
if (done.rowCount) continue;
await client.query('BEGIN');
try {
await client.query(readFileSync(new URL(file, dir), 'utf8'));
await client.query('INSERT INTO schema_migrations (version) VALUES ($1)', [file]);
await client.query('COMMIT');
} catch (err) {
await client.query('ROLLBACK');
throw err;
}
console.log(`применена миграция ${file}`);
}
console.log('схема актуальна');
} finally {
await client.end();
}
}
+19
View File
@@ -0,0 +1,19 @@
// Общие типы обработчиков: контекст запроса и результат.
import type { IncomingMessage, OutgoingHttpHeaders } from 'node:http';
import type { Pool } from 'pg';
import type { Config } from '../config.ts';
import type { Storage } from '../storage/s3.ts';
export type Ctx = {
req: IncomingMessage;
url: URL;
params: string[]; // группы из шаблона маршрута, например chat_id
db: Pool;
s3: Storage;
config: Config;
};
// [HTTP-статус, JSON-тело или поток байтов, заголовки потока]; без тела — ответ без содержимого (204).
export type Result = [status: number, body?: unknown, headers?: OutgoingHttpHeaders];
export type Handler = (c: Ctx) => Promise<Result>;
+31
View File
@@ -0,0 +1,31 @@
// Ошибки API в формате контракта: {"error":{"code","message","request_id"}}.
export class HttpError extends Error {
status: number;
code: string;
constructor(status: number, code: string, message: string) {
super(message);
this.status = status;
this.code = code;
}
}
export const badRequest = (message: string) => new HttpError(400, 'invalid_request', message);
export const unauthorized = () => new HttpError(401, 'unauthorized', 'Требуется действительная сессия');
// 404 и для отсутствующего, и для чужого объекта: не раскрываем факт существования.
export const notFound = () => new HttpError(404, 'not_found', 'Объект не найден');
export const conflict = (message: string) => new HttpError(409, 'conflict', message);
export const unavailable = (message: string) => new HttpError(503, 'unavailable', message);
export const tooLarge = (message: string) => new HttpError(413, 'payload_too_large', message);
export const unsupported = (message: string) => new HttpError(415, 'unsupported_media_type', message);
// Неизвестную ошибку переводим в ответ без внутренних деталей.
// Ошибка SQL — наш баг (500). Потеря соединения, таймаут пула, рестарт или отмена в PostgreSQL —
// временная недоступность зависимости (503): клиент может повторить запрос.
export function toHttpError(err: unknown, requestId: string): HttpError {
if (err instanceof HttpError) return err;
const { code = '', message = '' } = err as { code?: string; message?: string };
console.error(`запрос ${requestId}: ${code} ${message}`);
const transient = /^(08|53|57)/.test(code) || /^E[A-Z]+$/.test(code) || /connect|terminated|timeout/i.test(message);
return transient ? unavailable('Сервис временно недоступен') : new HttpError(500, 'internal_error', 'Внутренняя ошибка');
}
+44
View File
@@ -0,0 +1,44 @@
// Keyset-пагинация по (created_at, id) по возрастанию.
// Cursor непрозрачен для клиента: base64url("вид|область|created_at|id").
// Область привязывает cursor к конкретному чату (или пользователю для списка чатов): чужой cursor → 400.
import { badRequest } from './errors.ts';
import { UUID } from './request.ts';
const TIMESTAMP = /^\d{4}-\d\d-\d\dT\d\d:\d\d:\d\d\.\d{6}Z$/;
type Keyed = { created_at: string; id: string };
export function limitOf(url: URL): number {
const q = url.searchParams.get('limit');
if (q === null) return 50;
const n = Number(q);
if (!/^\d+$/.test(q) || n < 1 || n > 100) throw badRequest('limit должен быть целым 1–100');
return n;
}
// Позиция, после которой продолжать чтение. Без cursor — начало истории.
export function afterCursor(url: URL, kind: string, scope: string): [createdAt: string, id: string] {
const raw = url.searchParams.get('cursor');
if (raw === null) return ['-infinity', '00000000-0000-0000-0000-000000000000'];
const [k, s, ts, id, ...rest] = Buffer.from(raw, 'base64url').toString().split('|');
if (k !== kind || s !== scope || !isTimestamp(ts) || !UUID.test(id ?? '') || rest.length) {
throw badRequest('Некорректный cursor');
}
return [ts, id];
}
// Форма RFC 3339 и реальная дата: 2026-13-01 или 2026-02-30 иначе дошли бы до PostgreSQL и дали 500.
// Проверка круговым преобразованием: JS-дата без микросекунд должна совпасть с исходной строкой.
function isTimestamp(ts: string | undefined): ts is string {
if (!ts || !TIMESTAMP.test(ts)) return false;
const ms = Date.parse(ts.slice(0, 23) + 'Z');
return !Number.isNaN(ms) && new Date(ms).toISOString().slice(0, 23) === ts.slice(0, 23);
}
// Запрос выбирает limit + 1 строк: лишняя строка означает, что следующая страница есть.
export function page<T extends Keyed>(rows: T[], limit: number, kind: string, scope: string) {
const items = rows.slice(0, limit);
const last = items[limit - 1];
const next = rows.length > limit ? Buffer.from([kind, scope, last.created_at, last.id].join('|')).toString('base64url') : null;
return { items, next_cursor: next };
}
+60
View File
@@ -0,0 +1,60 @@
// Разбор и проверка входных данных запроса.
import type { IncomingMessage } from 'node:http';
import { badRequest, tooLarge, unsupported } from './errors.ts';
const BODY_LIMIT = 1 << 20; // 1 MiB: с запасом для 4000 символов в худшем JSON-экранировании
export const UUID = /^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$/i;
// Тело запроса как JSON: только application/json, строгий UTF-8, ограничение размера.
export async function readJson(req: IncomingMessage): Promise<unknown> {
if (mediaType(req) !== 'application/json') throw unsupported('Ожидается application/json');
const chunks: Buffer[] = [];
let size = 0;
for await (const chunk of req) {
size += chunk.length;
if (size > BODY_LIMIT) throw tooLarge('Слишком большое тело запроса');
chunks.push(chunk);
}
try {
return JSON.parse(new TextDecoder('utf-8', { fatal: true }).decode(Buffer.concat(chunks)));
} catch {
throw badRequest('Некорректный JSON');
}
}
// Тип тела без параметров (charset и т.п.), в нижнем регистре.
export function mediaType(req: IncomingMessage): string {
return (req.headers['content-type'] ?? '').split(';')[0].trim().toLowerCase();
}
// Для эндпоинтов без тела: любое непустое тело — 400, а не молча игнорируется.
export async function requireEmptyBody(req: IncomingMessage): Promise<void> {
let size = 0;
for await (const chunk of req) {
size += chunk.length;
if (size > BODY_LIMIT) break;
}
if (size > 0) throw badRequest('Тело запроса не допускается');
}
// JSON-объект только с разрешёнными ключами: лишние поля по контракту дают 400.
export function jsonObject(value: unknown, keys: string[]): Record<string, unknown> {
if (typeof value !== 'object' || value === null || Array.isArray(value) || Object.keys(value).some((k) => !keys.includes(k))) {
throw badRequest('Ожидается JSON-объект без лишних полей');
}
return value as Record<string, unknown>;
}
// Обязательная строка: не только пробелы, длина в Unicode code points (эмодзи = 1 символ).
export function isText(v: unknown, min: number, max: number): v is string {
if (typeof v !== 'string' || v.trim() === '') return false;
const n = [...v].length;
return n >= min && n <= max;
}
// UUID из пути в каноническом нижнем регистре.
export function uuidParam(c: { params: string[] }, name: string): string {
const value = c.params[0];
if (!UUID.test(value)) throw badRequest(`Некорректный ${name}`);
return value.toLowerCase();
}
+70
View File
@@ -0,0 +1,70 @@
// Точка входа мессенджера (лабораторная 4).
// Реплика не хранит состояния: пользователи, сессии, чаты, сообщения, ключи идемпотентности и метаданные
// вложений — в PostgreSQL, байты вложений — в S3, поэтому любой запрос может обслужить любая реплика.
// node src/main.ts — HTTP-сервер
// node src/main.ts migrate — однократный прогон миграций (сервис migrate)
// node src/main.ts s3-init — идемпотентное создание приватного bucket ключом администратора (сервис s3-init)
// node src/main.ts reconcile — сверка БД ↔ S3, параметры в src/reconcile.ts (сервис reconciler)
import { createServer } from 'node:http';
import { setTimeout as sleep } from 'node:timers/promises';
import { createApp } from './app.ts';
import { envInt, loadConfig, s3Config, secret } from './config.ts';
import { createPool, migrate } from './db.ts';
import { reconcileCommand } from './reconcile.ts';
import { createStorage } from './storage/s3.ts';
async function serve(): Promise<void> {
const config = loadConfig();
const db = createPool(config.databaseUrl, config.dbPoolMax);
const app = createApp(db, createStorage(config.s3), config);
const server = createServer(app.handle);
server.headersTimeout = 5000;
server.requestTimeout = 60000; // 10 MiB на медленном канале; grace reconciler-а (15 мин) заведомо больше
server.keepAliveTimeout = 60000;
server.listen(config.port, config.host, () =>
console.log(`реплика ${config.instanceId} слушает :${config.port}, пул БД ${config.dbPoolMax}`));
// Graceful shutdown: сначала readiness → 503 и пауза drain, пока LB не исключит реплику (fall × inter),
// при этом запросы ещё обслуживаются; затем перестаём принимать соединения и дожидаемся текущих запросов.
const stop = (signal: string) => {
if (!app.state.ready) return;
console.log(`${signal}: readiness=503, drain ${config.shutdownDrainMs} мс`);
app.state.ready = false;
setTimeout(() => {
server.close(async () => {
await db.end();
console.log('остановлена');
process.exit(0);
});
server.closeIdleConnections();
setTimeout(() => process.exit(1), 10000).unref(); // страховка от зависшего запроса
}, config.shutdownDrainMs);
};
process.on('SIGTERM', () => stop('SIGTERM'));
process.on('SIGINT', () => stop('SIGINT'));
}
// S3 может стартовать позже: повторяем до 30 с. Повторный запуск на готовом bucket ничего не меняет.
async function s3Init(): Promise<void> {
const storage = createStorage(s3Config());
for (let attempt = 1; ; attempt++) {
try {
console.log(`bucket ${storage.bucket}: ${await storage.createBucket()}`);
return;
} catch (err) {
if (attempt >= 30) throw err;
await sleep(1000);
}
}
}
const command = process.argv[2];
if (command === 'migrate') {
await migrate(secret('DATABASE_URL'));
} else if (command === 's3-init') {
await s3Init();
} else if (command === 'reconcile') {
await reconcileCommand(process.argv.slice(3), envInt('RECONCILE_GRACE_SECONDS', 900));
} else {
await serve();
}
+57
View File
@@ -0,0 +1,57 @@
-- Начальная схема мессенджера. Источник истины для всех реплик API.
CREATE TABLE users (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
username text NOT NULL UNIQUE,
display_name text NOT NULL,
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
-- Хранится только sha256(токена): дамп БД не содержит рабочих Bearer-токенов.
CREATE TABLE sessions (
token_hash bytea PRIMARY KEY,
user_id uuid NOT NULL REFERENCES users (id),
expires_at timestamptz NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
title text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats (id),
user_id uuid NOT NULL REFERENCES users (id),
position int NOT NULL,
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members (user_id, chat_id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id),
sender_id uuid NOT NULL REFERENCES users (id),
text text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX messages_history_idx ON messages (chat_id, created_at, id);
-- Ключи идемпотентности: область = пользователь + метод + путь + ключ.
-- Строка вставляется тем же SQL-оператором, что и сообщение (атомарно).
-- ponytail: ключи не удаляются (контракт требует >= 24 ч); при росте таблицы добавить периодический DELETE.
CREATE TABLE idempotency_keys (
user_id uuid NOT NULL,
method text NOT NULL,
path text NOT NULL,
key text NOT NULL,
request_hash bytea NOT NULL,
message_id uuid NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (user_id, method, path, key)
);
-- RFC 3339 UTC с микросекундами: формат ответа API и точная позиция keyset-cursor.
CREATE FUNCTION rfc3339(timestamptz) RETURNS text LANGUAGE sql STABLE AS
$$ SELECT to_char($1 AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS.US"Z"') $$;
+38
View File
@@ -0,0 +1,38 @@
-- Вложения (lab4). Только добавление схемы: версия lab3 продолжает работать на этой схеме.
-- Метаданные — здесь, байты — в приватном S3-bucket под ключом object_key, который назначает сервер.
-- pending — запись-намерение: создаётся ДО загрузки байтов, поэтому у любого объекта в S3 сначала есть строка;
-- ready — объект загружен и проверен, метаданные описывают оригинал;
-- lost — reconciler не нашёл объект или он не совпал по размеру/SHA-256: вложение скрыто из API (404),
-- ссылки в сообщениях сохраняются, при возврате правильного объекта reconciler вернёт ready.
CREATE TABLE attachments (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id),
owner_id uuid NOT NULL REFERENCES users (id),
filename text NOT NULL,
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
-- Побайтовая сортировка совпадает с порядком ListObjectsV2: reconciler сливает два отсортированных потока.
object_key text COLLATE "C" NOT NULL UNIQUE,
state text NOT NULL DEFAULT 'pending' CHECK (state IN ('pending', 'ready', 'lost')),
size_bytes integer CHECK (size_bytes > 0),
sha256 text CHECK (sha256 ~ '^[0-9a-f]{64}$'),
width integer,
height integer,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
UNIQUE (chat_id, id), -- цель составного FK из message_attachments
CHECK (state = 'pending' OR (size_bytes IS NOT NULL AND sha256 IS NOT NULL))
);
-- Поиск зависших загрузок reconciler-ом.
CREATE INDEX attachments_pending_idx ON attachments (created_at) WHERE state = 'pending';
-- Вложения сообщения. FK (chat_id, attachment_id) → attachments (chat_id, id): БД не даст прикрепить вложение
-- чужого чата и не даст удалить метаданные вложения, на которое ссылается сообщение (NO ACTION).
CREATE TABLE message_attachments (
message_id uuid NOT NULL REFERENCES messages (id),
chat_id uuid NOT NULL,
attachment_id uuid NOT NULL,
position int NOT NULL,
PRIMARY KEY (message_id, attachment_id),
FOREIGN KEY (chat_id, attachment_id) REFERENCES attachments (chat_id, id)
);
CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachment_id, chat_id);
+148
View File
@@ -0,0 +1,148 @@
// Вложения: потоковая загрузка PNG/JPEG в приватный S3, метаданные в PostgreSQL, скачивание только через API.
//
// Согласованность двух хранилищ без распределённой транзакции:
// 1. INSERT строки pending (запись-намерение с ключом объекта) — COMMIT;
// 2. поток байтов: клиент → проверка формата + SHA-256 → S3 PUT;
// 3. UPDATE pending → ready — только после этого 201.
// Ошибка на шаге 2–3 → компенсация (удалить объект, затем строку). Если процесс умер и компенсации не было,
// остаются pending-строка и, возможно, объект: их удаляет reconciler после grace period (src/reconcile.ts).
// Объект без строки появиться не может: строка всегда создаётся раньше объекта.
import { createHash, randomUUID } from 'node:crypto';
import { Transform } from 'node:stream';
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, notFound, tooLarge, unavailable, unsupported } from '../http/errors.ts';
import { isText, mediaType, uuidParam } from '../http/request.ts';
import { requireMember } from './chats.ts';
import { imageValidator, type Dimensions } from './images.ts';
import type { User } from './model.ts';
import { authenticate } from './sessions.ts';
const FORBIDDEN_IN_FILENAME = /[/\\\p{Cc}]/u; // разделители путей, NUL и управляющие символы C0/C1
const VARIANTS = ['thumbnail', 'crop', 'optimized']; // имена контракта; в lab4 вариантов ещё нет
const columns = `a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes, a.sha256,
rfc3339(a.created_at) AS created_at, rfc3339(a.updated_at) AS updated_at`;
type Row = Record<string, unknown> & { object_key?: string };
// Ключ объекта в S3 наружу не отдаётся. В lab4 через API видны только ready-вложения без вариантов.
const view = ({ object_key: _, ...row }: Row) => ({ ...row, status: 'ready', variants: [], error_code: null });
// POST /api/v1/chats/{chat_id}/attachments?filename=… — сырые байты одного PNG/JPEG.
// Все лимиты проверяются до чтения тела; тело не буферизуется целиком ни в памяти, ни на диске API.
export async function uploadAttachment(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user);
const filename = c.url.searchParams.get('filename');
if (!isText(filename, 1, 255) || FORBIDDEN_IN_FILENAME.test(filename)) {
throw badRequest('filename: 1–255 символов, без / \\ и управляющих символов');
}
const type = mediaType(c.req);
if (type !== 'image/png' && type !== 'image/jpeg') throw unsupported('Ожидается image/png или image/jpeg');
const declared = c.req.headers['content-length'];
if (declared === undefined || !/^\d+$/.test(declared)) throw badRequest('Нужен Content-Length: файл передаётся потоком в S3');
const length = Number(declared);
if (length > c.config.maxUploadBytes) throw tooLarge(`Файл больше ${c.config.maxUploadBytes} байт`);
if (length === 0) throw unsupported('Пустое тело не является изображением');
const id = randomUUID();
const key = `originals/${id}`; // filename только для отображения и в ключ не попадает
await c.db.query(`INSERT INTO attachments (id, chat_id, owner_id, filename, content_type, object_key)
VALUES ($1, $2, $3, $4, $5, $6)`, [id, chatId, user.id, filename, type, key]);
try {
const { sha256, width, height } = await store(c, key, type, length);
const r = await c.db.query(`UPDATE attachments AS a SET state = 'ready', size_bytes = $2, sha256 = $3, width = $4, height = $5,
updated_at = clock_timestamp() WHERE a.id = $1 AND a.state = 'pending' RETURNING ${columns}`, [id, length, sha256, width, height]);
if (!r.rowCount) throw unavailable('Загрузка не завершилась вовремя'); // строку уже убрал reconciler
return [201, view(r.rows[0])];
} catch (err) {
void discard(c, id, key); // в фоне: при зависшем S3 клиент не ждёт ещё и DELETE
throw err;
}
}
// Клиент → проверка + SHA-256 → S3. Обратное давление: пока S3 не принял кусок, следующий не читается из сокета,
// поэтому память на загрузку не зависит от размера файла. Последний кусок уходит в S3 только после полной
// проверки файла: S3 не получит все Content-Length байт невалидного изображения, и объект не создастся.
async function store(c: Ctx, key: string, type: 'image/png' | 'image/jpeg', length: number) {
const check = imageValidator(type, c.config.maxImagePixels);
const hash = createHash('sha256');
const abort = new AbortController();
let received = 0;
let dims: Dimensions | undefined;
let failure: unknown;
const fail = (err: unknown) => {
failure ??= err;
abort.abort();
};
const body = new Transform({
transform(chunk: Buffer, _encoding, done) {
received += chunk.length;
hash.update(chunk);
check.write(chunk)
.then(async () => { if (received === length) dims = await check.end(); })
.then(() => done(null, chunk), done);
},
});
body.on('error', fail);
c.req.on('close', () => { if (!c.req.complete) fail(badRequest('Загрузка прервана клиентом')); });
c.req.pipe(body);
try {
await c.s3.put(key, body, length, type, abort.signal);
if (failure) throw failure;
if (!dims) throw new Error('S3 принял объект до конца проверки');
return { sha256: hash.digest('hex'), ...dims };
} catch (err) {
// Остаток тела читаем и выбрасываем: иначе ответ с ошибкой не дойдёт до клиента, который ещё отправляет файл.
c.req.unpipe(body);
c.req.resume();
body.destroy();
check.close();
throw failure ?? err;
}
}
// Компенсация неудачной загрузки: сначала pending-строка, затем объект. Если строка уже ready (COMMIT прошёл,
// а до API дошла ошибка), объект принадлежит готовому вложению и не удаляется. Сбой здесь не теряет учёт:
// останется pending-строка или объект без строки, их подберёт reconciler.
async function discard(c: Ctx, id: string, key: string): Promise<void> {
try {
const deleted = await c.db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'`, [id]);
if (!deleted.rowCount && (await c.db.query('SELECT 1 FROM attachments WHERE id = $1', [id])).rowCount) return;
await c.s3.remove(key);
} catch (err) {
console.error(`компенсация вложения ${id} не завершена, остаток уберёт reconciler: ${(err as Error).message}`);
}
}
// Вложение доступно только участникам его чата; постороннему — тот же 404, что и для несуществующего.
async function findReady(c: Ctx, user: User): Promise<Row & { object_key: string }> {
const r = await c.db.query(`SELECT ${columns}, a.object_key FROM attachments a
JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2
WHERE a.id = $1 AND a.state = 'ready'`, [uuidParam(c, 'attachment_id'), user.id]);
if (!r.rowCount) throw notFound();
return r.rows[0];
}
// GET /api/v1/attachments/{attachment_id}
export async function getAttachment(c: Ctx): Promise<Result> {
return [200, view(await findReady(c, await authenticate(c)))];
}
// GET /api/v1/attachments/{attachment_id}/content[?variant=original] — байты потоком из S3, без redirect.
export async function downloadAttachment(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const variant = c.url.searchParams.get('variant');
if (variant !== null && variant !== 'original' && !VARIANTS.includes(variant)) throw badRequest('Неизвестный variant');
const row = await findReady(c, user);
if (variant !== null && variant !== 'original') throw notFound(); // вариантов у ready-объекта lab4 нет
const body = await c.s3.get(row.object_key);
if (!body) {
console.error(`объект вложения ${row.id} отсутствует в S3`); // reconciler пометит его lost
throw notFound();
}
return [200, body, {
'Content-Type': row.content_type as string,
'Content-Length': row.size_bytes as number,
'X-Content-Type-Options': 'nosniff',
}];
}
+68
View File
@@ -0,0 +1,68 @@
// Чаты: создание, список чатов пользователя, один чат, проверка членства.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, notFound } from '../http/errors.ts';
import { afterCursor, limitOf, page } from '../http/pagination.ts';
import { UUID, isText, jsonObject, readJson, uuidParam } from '../http/request.ts';
import { authenticate } from './sessions.ts';
import type { User } from './model.ts';
// Чаты, где состоит пользователь $1; member_ids в порядке, заданном при создании.
const chatSelect = `SELECT c.id, c.title, rfc3339(c.created_at) AS created_at,
(SELECT array_agg(m.user_id::text ORDER BY m.position) FROM chat_members m WHERE m.chat_id = c.id) AS member_ids
FROM chats c JOIN chat_members me ON me.chat_id = c.id AND me.user_id = $1 `;
// chat_id из пути, если пользователь — участник. Постороннему тот же 404, что и для несуществующего чата.
export async function requireMember(c: Ctx, user: User): Promise<string> {
const chatId = uuidParam(c, 'chat_id');
const r = await c.db.query({
name: 'member',
text: 'SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2',
values: [chatId, user.id],
});
if (!r.rowCount) throw notFound();
return chatId;
}
// POST /api/v1/chats: участники фиксируются при создании и обязательно включают создателя.
export async function createChat(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const b = jsonObject(await readJson(c.req), ['title', 'member_ids']);
const ids = b.member_ids;
if (!isText(b.title, 1, 100) || !Array.isArray(ids) || ids.length < 1 || ids.length > 100
|| !ids.every((id) => typeof id === 'string' && UUID.test(id))) {
throw badRequest('Неверные title или member_ids');
}
const members = ids.map((id: string) => id.toLowerCase());
if (new Set(members).size !== members.length || !members.includes(user.id)) {
throw badRequest('member_ids должны быть уникальны и включать создателя');
}
try {
// Один оператор = одна транзакция: при неизвестном участнике сработает FK и не создастся ничего.
const r = await c.db.query(`WITH c AS (INSERT INTO chats (title) VALUES ($1) RETURNING id, title, created_at),
m AS (INSERT INTO chat_members (chat_id, user_id, position)
SELECT c.id, t.u::uuid, t.o FROM c, unnest($2::text[]) WITH ORDINALITY AS t(u, o))
SELECT id, title, rfc3339(created_at) AS created_at FROM c`, [b.title, members]);
return [201, { ...r.rows[0], member_ids: members }];
} catch (err) {
if ((err as { code?: string }).code === '23503') throw badRequest('Неизвестный участник'); // foreign_key_violation
throw err;
}
}
// GET /api/v1/chats: только чаты текущего пользователя, cursor привязан к пользователю.
export async function listChats(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const limit = limitOf(c.url);
const [ts, id] = afterCursor(c.url, 'c', user.id);
const r = await c.db.query(chatSelect + 'WHERE (c.created_at, c.id) > ($2, $3::uuid) ORDER BY c.created_at, c.id LIMIT $4',
[user.id, ts, id, limit + 1]);
return [200, page(r.rows, limit, 'c', user.id)];
}
// GET /api/v1/chats/{chat_id}
export async function getChat(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const r = await c.db.query(chatSelect + 'WHERE c.id = $2', [user.id, uuidParam(c, 'chat_id')]);
if (!r.rowCount) throw notFound();
return [200, r.rows[0]];
}
+279
View File
@@ -0,0 +1,279 @@
// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла.
// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу.
// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, поток zlib распаковывается с подсчётом байтов
// (вывод выбрасывается) и сверяется с объёмом, который следует из размеров и формата пикселя.
// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI; энтропийные данные не декодируются.
// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста.
import { finished } from 'node:stream/promises';
import { createInflate, crc32 } from 'node:zlib';
import { tooLarge, unsupported } from '../http/errors.ts';
export type Dimensions = { width: number; height: number };
export type ImageValidator = {
write(chunk: Buffer): Promise<void>;
end(): Promise<Dimensions>; // весь файл получен; бросает 415, если он обрезан
close(): void; // освободить ресурсы при обрыве загрузки
};
const broken = (why: string) => unsupported(`Содержимое не является корректным изображением: ${why}`);
export function imageValidator(type: 'image/png' | 'image/jpeg', maxPixels: number): ImageValidator {
return type === 'image/png' ? png(maxPixels) : jpeg(maxPixels);
}
function checkPixels(width: number, height: number, maxPixels: number): void {
if (width * height > maxPixels) throw tooLarge(`Изображение больше ${maxPixels} пикселей`);
}
const SIGNATURE = Buffer.from([0x89, 0x50, 0x4e, 0x47, 0x0d, 0x0a, 0x1a, 0x0a]);
const CHANNELS: Record<number, number> = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 };
const DEPTHS: Record<number, number[]> = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] };
const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]];
// Объём распакованных данных PNG: в каждой строке байт фильтра + пиксели; при interlace — сумма 7 проходов Adam7.
function rawSize(width: number, height: number, bits: number, interlaced: boolean): number {
const row = (w: number) => 1 + Math.ceil((w * bits) / 8);
if (!interlaced) return height * row(width);
let total = 0;
for (const [x0, y0, dx, dy] of ADAM7) {
const w = Math.ceil((width - x0) / dx);
const h = Math.ceil((height - y0) / dy);
if (w > 0 && h > 0) total += h * row(w);
}
return total;
}
function png(maxPixels: number): ImageValidator {
let carry = Buffer.alloc(0);
let state: 'signature' | 'header' | 'data' | 'crc' | 'done' = 'signature';
let type = '';
let left = 0;
let crc = 0;
let ihdr = Buffer.alloc(0);
let dims: Dimensions | null = null;
let color = 0;
let palette = false;
let idat: 'none' | 'open' | 'closed' = 'none';
let expected = 0;
let inflated = 0;
const inflate = createInflate();
let zerr: Error | null = null;
let wake: (() => void) | null = null;
inflate.on('data', (d: Buffer) => { inflated += d.length; });
// При ошибке zlib callback write не вызывается: будим ожидающего вручную.
inflate.on('error', (e) => { zerr = e; wake?.(); });
const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise<void>((resolve) => {
wake = resolve;
inflate.write(data, () => resolve());
});
function startChunk(len: number) {
if (!/^[A-Za-z]{4}$/.test(type) || len > 0x7fffffff) throw broken('неверный заголовок chunk');
if (!dims && type !== 'IHDR') throw broken('первым должен быть IHDR');
if (dims && type === 'IHDR') throw broken('повторный IHDR');
if (type === 'IHDR' && len !== 13) throw broken('неверная длина IHDR');
// Неизвестный критический chunk (заглавная первая буква) декодер обязан отвергнуть.
if (/^[A-Z]/.test(type) && !['IHDR', 'PLTE', 'IDAT', 'IEND'].includes(type)) throw broken(`неизвестный chunk ${type}`);
if (type === 'IDAT') {
if (idat === 'closed') throw broken('IDAT идут не подряд');
if (color === 3 && !palette) throw broken('нет палитры PLTE');
idat = 'open';
} else if (idat === 'open') {
idat = 'closed';
}
if (type === 'PLTE') palette = true;
if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND');
}
function endChunk() {
if (type === 'IHDR') {
const width = ihdr.readUInt32BE(0);
const height = ihdr.readUInt32BE(4);
const depth = ihdr[8];
color = ihdr[9];
if (!width || !height || width > 0x7fffffff || height > 0x7fffffff) throw broken('неверные размеры');
if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR');
checkPixels(width, height, maxPixels); // до первого байта IDAT
dims = { width, height };
expected = rawSize(width, height, CHANNELS[color] * depth, ihdr[12] === 1);
}
state = type === 'IEND' ? 'done' : 'header';
}
async function write(chunk: Buffer) {
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
let pos = 0;
while (pos < buf.length) {
const avail = buf.length - pos;
if (state === 'signature') {
if (avail < 8) break;
if (!buf.subarray(pos, pos + 8).equals(SIGNATURE)) throw broken('нет сигнатуры PNG');
pos += 8;
state = 'header';
} else if (state === 'header') {
if (avail < 8) break;
left = buf.readUInt32BE(pos);
type = buf.toString('latin1', pos + 4, pos + 8);
startChunk(left);
crc = crc32(buf.subarray(pos + 4, pos + 8));
pos += 8;
state = left ? 'data' : 'crc';
} else if (state === 'data') {
const part = buf.subarray(pos, pos + Math.min(left, avail));
crc = crc32(part, crc);
if (type === 'IHDR') ihdr = Buffer.concat([ihdr, part]);
if (type === 'IDAT') {
await feed(part);
if (zerr) throw broken('повреждён поток zlib');
if (inflated > expected) throw broken('данных больше, чем пикселей');
}
left -= part.length;
pos += part.length;
if (!left) state = 'crc';
} else if (state === 'crc') {
if (avail < 4) break;
if (buf.readUInt32BE(pos) !== crc) throw broken(`неверная CRC chunk ${type}`);
pos += 4;
endChunk();
} else {
throw broken('данные после IEND');
}
}
carry = Buffer.from(buf.subarray(pos));
}
return {
async write(chunk) {
try {
await write(chunk);
} catch (err) {
inflate.destroy();
throw err;
}
},
async end() {
if (state !== 'done') throw broken('файл обрезан');
inflate.end();
try {
await finished(inflate);
} catch {
throw broken('поток zlib не завершён');
}
if (inflated !== expected) throw broken('объём данных не совпадает с размерами');
return dims!;
},
close: () => inflate.destroy(),
};
}
// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра.
const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]);
const SOS = 0xda;
function jpeg(maxPixels: number): ImageValidator {
let carry = Buffer.alloc(0);
let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi';
let marker = 0;
let left = 0;
let head = Buffer.alloc(0); // начало SOF: точность, высота, ширина
let dims: Dimensions | null = null;
let scanned = false;
function write(chunk: Buffer) {
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
let pos = 0;
loop: while (pos < buf.length) {
const avail = buf.length - pos;
switch (state) {
case 'soi':
if (avail < 2) break loop;
if (buf[pos] !== 0xff || buf[pos + 1] !== 0xd8) throw broken('нет сигнатуры JPEG');
pos += 2;
state = 'marker';
break;
case 'marker': {
if (avail < 2) break loop;
if (buf[pos] !== 0xff) throw broken('ожидался маркер');
const code = buf[pos + 1];
if (code === 0xff) { // байты-заполнители 0xFF перед маркером
pos += 1;
break;
}
pos += 2;
if (code === 0xd9) {
if (!scanned) throw broken('EOI до данных изображения');
state = 'done';
} else if (code === 0x00 || code === 0xd8 || (code >= 0xd0 && code <= 0xd7)) {
throw broken('неожиданный маркер');
} else if (code !== 0x01) { // TEM не имеет длины
marker = code;
state = 'length';
}
break;
}
case 'length': {
if (avail < 2) break loop;
left = buf.readUInt16BE(pos) - 2;
pos += 2;
if (left < 0) throw broken('неверная длина сегмента');
if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF');
if (marker === SOS && !dims) throw broken('SOS до SOF');
head = Buffer.alloc(0);
state = 'payload';
break;
}
case 'payload': {
const n = Math.min(left, avail);
if (SOF.has(marker) && head.length < 5) head = Buffer.concat([head, buf.subarray(pos, pos + Math.min(n, 5 - head.length))]);
pos += n;
left -= n;
if (left) break;
if (SOF.has(marker)) {
const height = head.readUInt16BE(1);
const width = head.readUInt16BE(3);
if (!width || !height) throw broken('нулевые размеры');
checkPixels(width, height, maxPixels); // до энтропийных данных
dims = { width, height };
}
scanned ||= marker === SOS;
state = marker === SOS ? 'scan' : 'marker';
break;
}
case 'scan': {
// Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер.
const ff = buf.indexOf(0xff, pos);
if (ff < 0) {
pos = buf.length;
} else if (ff + 1 >= buf.length) {
pos = ff;
break loop;
} else {
const next = buf[ff + 1];
if (next === 0x00 || (next >= 0xd0 && next <= 0xd7)) pos = ff + 2;
else if (next === 0xff) pos = ff + 1;
else {
pos = ff;
state = 'marker';
}
}
break;
}
case 'done': // данные после EOI (MPF, «живые» фото) — нормальная практика камер
pos = buf.length;
break;
}
}
carry = Buffer.from(buf.subarray(pos));
}
return {
write: async (chunk) => write(chunk),
async end() {
if (state !== 'done') throw broken('нет EOI: файл обрезан');
return dims!;
},
close: () => {},
};
}
+102
View File
@@ -0,0 +1,102 @@
// Сообщения: идемпотентная отправка и история чата.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, conflict, notFound } from '../http/errors.ts';
import { afterCursor, limitOf, page } from '../http/pagination.ts';
import { UUID, isText, jsonObject, readJson } from '../http/request.ts';
import { requireMember } from './chats.ts';
import { authenticate, sha256 } from './sessions.ts';
const IDEMPOTENCY_KEY = /^[A-Za-z0-9._:-]{1,128}$/;
// attachment_ids в порядке, заданном отправителем; text[] драйвер pg возвращает как массив строк.
const attachmentIds = (m: string) =>
`ARRAY(SELECT ma.attachment_id::text FROM message_attachments ma WHERE ma.message_id = ${m}.id ORDER BY ma.position) AS attachment_ids`;
const messageColumns = `id, chat_id, sender_id, text, rfc3339(created_at) AS created_at, ${attachmentIds('messages')}`;
// POST /api/v1/chats/{chat_id}/messages с обязательным Idempotency-Key.
// Область ключа: пользователь + метод + путь чата + ключ.
// Ключ и сообщение вставляются ОДНИМ оператором, поэтому фиксируются атомарно: при ошибке БД нет ни того,
// ни другого, и клиент может безопасно повторить запрос с тем же ключом.
// Одновременный дубль (с любой реплики) ждёт на первичном ключе idempotency_keys, пока первая транзакция
// не зафиксируется, затем получает ON CONFLICT DO NOTHING и отдаёт сохранённый результат.
export async function sendMessage(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user); // повтор тоже заново проверяет сессию и доступ
const key = c.req.headers['idempotency-key'];
if (typeof key !== 'string' || !IDEMPOTENCY_KEY.test(key)) throw badRequest('Нужен Idempotency-Key [A-Za-z0-9._:-]{1,128}');
// sender_id в теле не принимается: отправитель — из сессии.
const b = jsonObject(await readJson(c.req), ['text', 'attachment_ids']);
const ids = attachmentList(b.attachment_ids);
const text = b.text;
// С вложениями текст может быть пустым; без вложений — 1–4000 символов, не только пробелы.
if (typeof text !== 'string' || [...text].length > 4000 || (!ids.length && !isText(text, 1, 4000))) {
throw badRequest('text: до 4000 символов; пустой текст допустим только с вложениями');
}
if (ids.length) await requireReadyAttachments(c, chatId, ids);
const path = `/api/v1/chats/${chatId}/messages`;
// Каноническое тело: порядок ключей JSON не важен, отсутствующий attachment_ids = [].
// Без вложений hash тот же, что в lab3 (32 байта); с вложениями 64 байта — с текстовым не совпадёт.
const hash = ids.length ? Buffer.concat([sha256(text), sha256(ids.join(','))]) : sha256(text);
let inserted;
try {
inserted = await c.db.query({
name: 'send',
text: `WITH k AS (
INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, message_id)
VALUES ($1, 'POST', $2, $3, $4, gen_random_uuid()) ON CONFLICT DO NOTHING RETURNING message_id),
m AS (INSERT INTO messages (id, chat_id, sender_id, text) SELECT message_id, $5, $1, $6 FROM k
RETURNING id, chat_id, sender_id, text, rfc3339(created_at) AS created_at),
a AS (INSERT INTO message_attachments (message_id, chat_id, attachment_id, position)
SELECT m.id, m.chat_id, t.id, t.ord FROM m, unnest($7::uuid[]) WITH ORDINALITY AS t(id, ord))
SELECT * FROM m`,
values: [user.id, path, key, hash, chatId, text, ids],
});
} catch (err) {
// Составной FK (chat_id, attachment_id): вложение другого чата не прикрепить даже в обход проверки выше.
if ((err as { code?: string }).code === '23503') throw notFound();
throw err;
}
if (inserted.rowCount) return [201, { ...inserted.rows[0], attachment_ids: ids }];
// Ключ уже использован: тот же body → тот же 201 и то же сообщение, другой body → 409.
const stored = await c.db.query(`SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, rfc3339(m.created_at) AS created_at,
${attachmentIds('m')}
FROM idempotency_keys k JOIN messages m ON m.id = k.message_id
WHERE k.user_id = $1 AND k.method = 'POST' AND k.path = $2 AND k.key = $3`, [user.id, path, key]);
const { request_hash, ...message } = stored.rows[0];
if (!hash.equals(request_hash)) throw conflict('Idempotency-Key уже использован с другим телом');
return [201, message];
}
// GET /api/v1/chats/{chat_id}/messages: история по возрастанию (created_at, id), limit 1–100.
export async function listMessages(c: Ctx): Promise<Result> {
const user = await authenticate(c);
const chatId = await requireMember(c, user);
const limit = limitOf(c.url);
const [ts, id] = afterCursor(c.url, 'm', chatId);
const r = await c.db.query({
name: 'history',
text: `SELECT ${messageColumns} FROM messages WHERE chat_id = $1 AND (created_at, id) > ($2, $3::uuid)
ORDER BY created_at, id LIMIT $4`,
values: [chatId, ts, id, limit + 1],
});
return [200, page(r.rows, limit, 'm', chatId)];
}
// attachment_ids: 0–10 уникальных UUID (в нижнем регистре), по умолчанию [].
function attachmentList(value: unknown): string[] {
if (value === undefined) return [];
if (!Array.isArray(value) || value.length > 10 || !value.every((id) => typeof id === 'string' && UUID.test(id))) {
throw badRequest('attachment_ids: до 10 UUID');
}
const ids = value.map((id: string) => id.toLowerCase());
if (new Set(ids).size !== ids.length) throw badRequest('attachment_ids должны быть уникальны');
return ids;
}
// Все вложения из этого чата и готовы. Чужое или неизвестное — 404, как и чужой чат.
async function requireReadyAttachments(c: Ctx, chatId: string, ids: string[]): Promise<void> {
const r = await c.db.query(`SELECT count(*)::int AS n FROM attachments WHERE id = ANY($1::uuid[]) AND chat_id = $2 AND state = 'ready'`,
[ids, chatId]);
if (r.rows[0].n !== ids.length) throw notFound();
}
+8
View File
@@ -0,0 +1,8 @@
// Общая модель пользователя для модулей users и sessions.
export type User = { id: string; username: string; display_name: string; created_at: string };
export const USERNAME = /^[a-z0-9_]{3,32}$/;
// Время форматирует PostgreSQL: Date в JS потерял бы микросекунды, на которых держится cursor.
export const userColumns = 'u.id, u.username, u.display_name, rfc3339(u.created_at) AS created_at';
+29
View File
@@ -0,0 +1,29 @@
// Хеширование паролей: scrypt из node:crypto (N=2^14, r=8, p=1, 16 MiB на хеш).
// Формат хранения: scrypt$N$r$p$соль$хеш (base64), параметры читаются из записи при проверке.
import { randomBytes, scrypt, timingSafeEqual } from 'node:crypto';
const N = 16384;
const R = 8;
const P = 1;
function scryptKey(password: string, salt: Buffer, n: number, r: number, p: number): Promise<Buffer> {
return new Promise((resolve, reject) =>
scrypt(password, salt, 32, { N: n, r, p, maxmem: 64 << 20 }, (err, key) => (err ? reject(err) : resolve(key))));
}
export async function hashPassword(password: string): Promise<string> {
const salt = randomBytes(16);
const key = await scryptKey(password, salt, N, R, P);
return ['scrypt', N, R, P, salt.toString('base64'), key.toString('base64')].join('$');
}
export async function checkPassword(password: string, encoded: string): Promise<boolean> {
const [alg, n, r, p, salt, hash] = encoded.split('$');
if (alg !== 'scrypt') return false;
const got = await scryptKey(password, Buffer.from(salt, 'base64'), Number(n), Number(r), Number(p));
return timingSafeEqual(got, Buffer.from(hash, 'base64'));
}
// Хеш-пустышка: вход несуществующего пользователя стоит столько же, сколько неверный пароль,
// поэтому по времени ответа нельзя узнать, существует ли username.
export const dummyHash = hashPassword('dummy-password-for-timing');
+62
View File
@@ -0,0 +1,62 @@
// Сессии: вход по Basic, выход, проверка Bearer-токена.
// В БД хранится только sha256(токена): дамп базы не даёт рабочих токенов.
import { createHash, randomBytes } from 'node:crypto';
import type { Ctx, Result } from '../http/context.ts';
import { HttpError, unauthorized } from '../http/errors.ts';
import { isText, requireEmptyBody } from '../http/request.ts';
import { checkPassword, dummyHash } from './passwords.ts';
import { USERNAME, userColumns, type User } from './model.ts';
export const sha256 = (s: string) => createHash('sha256').update(s).digest();
function bearerToken(c: Ctx): string | null {
return /^Bearer +(\S+)$/i.exec(c.req.headers.authorization ?? '')?.[1] ?? null;
}
// Текущий пользователь по Bearer-сессии. Basic и X-User-Id на бизнес-эндпоинтах не аутентифицируют.
// Запрос именованный: pg готовит его один раз на соединение (улучшение из трека 1).
export async function authenticate(c: Ctx): Promise<User> {
const token = bearerToken(c);
if (!token) throw unauthorized();
const r = await c.db.query<User>({
name: 'auth',
text: `SELECT ${userColumns} FROM sessions s JOIN users u ON u.id = s.user_id
WHERE s.token_hash = $1 AND s.expires_at > now()`,
values: [sha256(token)],
});
if (!r.rowCount) throw unauthorized();
return r.rows[0];
}
// POST /api/v1/auth/sessions: Basic username:password → новый Bearer-токен.
export async function createSession(c: Ctx): Promise<Result> {
await requireEmptyBody(c.req); // контракт: только заголовок Basic, без JSON-тела
const deny = new HttpError(401, 'unauthorized', 'Неверные учётные данные'); // одинаковый ответ на любую ошибку входа
const m = /^Basic +([A-Za-z0-9+/]+=*)$/i.exec(c.req.headers.authorization ?? '');
if (!m) throw deny;
const decoded = Buffer.from(m[1], 'base64').toString('utf8');
const colon = decoded.indexOf(':'); // в username двоеточия нет, в пароле может быть
const username = decoded.slice(0, colon);
const password = decoded.slice(colon + 1);
if (colon < 0 || !USERNAME.test(username)) throw deny;
const r = await c.db.query<User & { password_hash: string }>(
`SELECT ${userColumns}, u.password_hash FROM users u WHERE u.username = $1`, [username]);
const row = r.rows[0];
const valid = await checkPassword(password, row?.password_hash ?? await dummyHash);
if (!row || !valid || !isText(password, 12, 128)) throw deny;
const token = randomBytes(32).toString('base64url'); // 256 бит энтропии
const s = await c.db.query(
`INSERT INTO sessions (token_hash, user_id, expires_at) VALUES ($1, $2, now() + make_interval(secs => $3))
RETURNING rfc3339(expires_at) AS expires_at`, [sha256(token), row.id, c.config.sessionTtlSeconds]);
const { password_hash: _, ...user } = row;
return [201, { token, token_type: 'Bearer', expires_at: s.rows[0].expires_at, user }];
}
// DELETE /api/v1/auth/sessions/current: отзыв текущего токена.
export async function deleteSession(c: Ctx): Promise<Result> {
await authenticate(c);
await c.db.query('DELETE FROM sessions WHERE token_hash = $1', [sha256(bearerToken(c)!)]);
return [204];
}
+29
View File
@@ -0,0 +1,29 @@
// Пользователи: регистрация и профиль текущего пользователя.
import type { Ctx, Result } from '../http/context.ts';
import { badRequest, conflict } from '../http/errors.ts';
import { isText, jsonObject, readJson } from '../http/request.ts';
import { hashPassword } from './passwords.ts';
import { USERNAME, userColumns, type User } from './model.ts';
import { authenticate } from './sessions.ts';
// POST /api/v1/users: публичная регистрация. Пароль и его хеш в ответ не попадают.
export async function createUser(c: Ctx): Promise<Result> {
const b = jsonObject(await readJson(c.req), ['username', 'display_name', 'password']);
if (typeof b.username !== 'string' || !USERNAME.test(b.username) || !isText(b.display_name, 1, 100) || !isText(b.password, 12, 128)) {
throw badRequest('Неверные username, display_name или password');
}
try {
const r = await c.db.query<User>(
`INSERT INTO users AS u (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING ${userColumns}`,
[b.username, b.display_name, await hashPassword(b.password)]);
return [201, r.rows[0]];
} catch (err) {
if ((err as { code?: string }).code === '23505') throw conflict('Username уже занят'); // unique_violation
throw err;
}
}
// GET /api/v1/users/me
export async function me(c: Ctx): Promise<Result> {
return [200, await authenticate(c)];
}
+202
View File
@@ -0,0 +1,202 @@
// Сверка PostgreSQL ↔ S3: очистка после сбоев загрузки (уровень 4) и исправление расхождений (трек 2).
// node src/main.ts reconcile — dry-run: только отчёт, ничего не меняет
// ... reconcile --apply — выполнить исправления
// --verify дополнительно скачать ready-объекты и сверить SHA-256 (читает все байты bucket)
// --grace=N pending-строки и объекты без строки моложе N секунд не трогаются (RECONCILE_GRACE_SECONDS, 900)
// --every=N повторять каждые N секунд (так работает сервис reconciler)
//
// Правила. Строки ready/lost не удаляются никогда, используемые сообщениями дополнительно защищены FK.
// stale_pending pending старше grace: запрос загрузки давно завершён (таймаут API 60 с ≪ grace)
// → удалить строку, затем объект (если упадём между ними — останется orphan_object)
// orphan_object объект без строки старше grace → удалить объект. Строка создаётся раньше объекта,
// ключ случайный, поэтому строка для такого объекта уже не появится
// missing_object ready без объекта (повторно проверено HEAD) → lost: скрыть из API, ссылки сохранить
// size_mismatch ready, размер объекта ≠ size_bytes → lost
// checksum_mismatch ready, SHA-256 объекта ≠ sha256 (только --verify) → lost
// restored lost, объект на месте и SHA-256 совпал → снова ready (карантин обратим)
//
// Обход: ListObjectsV2 и строки БД, оба отсортированы по ключу побайтово, сливаются как два потока
// (merge join) — память O(страница), запросов O(N / 1000). Конкурентные загрузки: строки, изменённые после
// начала обхода (updated_at ≥ t0), не проверяются; их объекты моложе grace и тоже не трогаются.
import { createHash } from 'node:crypto';
import type { Readable } from 'node:stream';
import { setTimeout as sleep } from 'node:timers/promises';
import type pg from 'pg';
import { s3Config, secret } from './config.ts';
import { createPool } from './db.ts';
import { createStorage, type Storage } from './storage/s3.ts';
const PREFIX = 'originals/';
const PAGE = 1000;
const PRINT_LIMIT = 20; // находки сверх лимита только считаются
type Options = { apply: boolean; verify: boolean; grace: number };
type Obj = { key: string; size: number; modified: Date };
type Row = { id: string; object_key: string; state: string; size_bytes: number | null; sha256: string | null; settled: boolean };
export async function reconcileCommand(args: string[], defaultGrace: number): Promise<void> {
const flag = (name: string) => args.find((a) => a.startsWith(`--${name}=`))?.split('=')[1];
const opts: Options = { apply: args.includes('--apply'), verify: args.includes('--verify'), grace: Number(flag('grace') ?? defaultGrace) };
const every = Number(flag('every') ?? 0);
if (!Number.isInteger(opts.grace) || opts.grace < 0 || !Number.isInteger(every) || every < 0) throw new Error('--grace/--every: целые секунды');
const db = createPool(secret('DATABASE_URL'), 2);
const s3 = createStorage(s3Config());
process.on('SIGTERM', () => process.exit(0)); // прерванный обход безопасен: каждое действие атомарно
for (;;) {
try {
console.log(JSON.stringify(await reconcile(db, s3, opts)));
} catch (err) {
console.error(`сверка не выполнена: ${(err as Error).message}`);
if (!every) process.exitCode = 1;
}
if (!every) break;
await sleep(every * 1000);
}
await db.end();
}
export async function reconcile(db: pg.Pool, s3: Storage, opts: Options) {
const started = performance.now();
const lock = await db.connect();
try {
// Два reconciler-а одновременно не работают: второй сразу выходит.
if (!(await lock.query('SELECT pg_try_advisory_lock(4004) AS ok')).rows[0].ok) return { skipped: 'другая сверка уже идёт' };
try {
return await run(db, s3, opts, started);
} finally {
await lock.query('SELECT pg_advisory_unlock(4004)');
}
} finally {
lock.release();
}
}
async function run(db: pg.Pool, s3: Storage, { apply, verify, grace }: Options, started: number) {
const stats = { mode: apply ? 'apply' : 'dry-run', verify, grace_seconds: grace, objects: 0, rows: 0, fresh_skipped: 0,
s3_list: 0, s3_head: 0, s3_get_bytes: 0, db_queries: 0, findings: {} as Record<string, number>, applied: 0 };
const t0: Date = (await db.query('SELECT now() AS t0')).rows[0].t0;
stats.db_queries++;
const cutoff = t0.getTime() - grace * 1000;
const found = async (kind: string, detail: Record<string, unknown>, fix: () => Promise<boolean>) => {
const n = stats.findings[kind] = (stats.findings[kind] ?? 0) + 1;
const done = apply && await fix();
if (done) stats.applied++;
if (n <= PRINT_LIMIT) console.log(JSON.stringify({ finding: kind, ...detail, action: apply ? (done ? 'fixed' : 'changed meanwhile, skipped') : 'would fix' }));
};
const setState = async (id: string, from: string, to: string) => {
stats.db_queries++;
return Boolean((await db.query('UPDATE attachments SET state = $3, updated_at = clock_timestamp() WHERE id = $1 AND state = $2',
[id, from, to])).rowCount);
};
const sha256Of = async (key: string) => {
const body = await s3.get(key);
if (!body) return null;
const hash = createHash('sha256');
for await (const chunk of body as Readable) {
hash.update(chunk);
stats.s3_get_bytes += chunk.length;
}
return hash.digest('hex');
};
// 1. Зависшие загрузки. Условие повторяется в DELETE: если строка успела измениться, её не трогаем.
const stale = await db.query(`SELECT id, object_key FROM attachments
WHERE state = 'pending' AND created_at < $1::timestamptz - make_interval(secs => $2)`, [t0, grace]);
stats.db_queries++;
for (const r of stale.rows) {
await found('stale_pending', { id: r.id, key: r.object_key }, async () => {
stats.db_queries++;
const d = await db.query(`DELETE FROM attachments WHERE id = $1 AND state = 'pending'
AND created_at < $2::timestamptz - make_interval(secs => $3)`, [r.id, t0, grace]);
if (!d.rowCount) return false;
await s3.remove(r.object_key);
return true;
});
}
// 2. Слияние отсортированных потоков объектов и строк.
const onlyObject = async (o: Obj) => {
if (o.modified.getTime() > cutoff) {
stats.fresh_skipped++;
return;
}
await found('orphan_object', { key: o.key, size: o.size, modified: o.modified }, async () => {
await s3.remove(o.key);
return true;
});
};
const onlyRow = async (r: Row) => {
// pending — этап 1; lost — уже в карантине; не settled — строка изменилась после начала обхода.
if (r.state !== 'ready' || !r.settled) return;
stats.s3_head++;
if (await s3.exists(r.object_key)) return; // объект не попал в листинг, но существует — не трогаем
await found('missing_object', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
};
const both = async (o: Obj, r: Row) => {
if (r.state === 'pending' || !r.settled) return;
if (o.size !== r.size_bytes) {
if (r.state === 'ready') await found('size_mismatch', { id: r.id, key: r.object_key, expected: r.size_bytes, actual: o.size }, () => setState(r.id, 'ready', 'lost'));
return;
}
if (r.state === 'ready' && !verify) return;
const actual = await sha256Of(o.key);
if (r.state === 'ready' && actual !== r.sha256) {
await found('checksum_mismatch', { id: r.id, key: r.object_key }, () => setState(r.id, 'ready', 'lost'));
} else if (r.state === 'lost' && actual === r.sha256) {
await found('restored', { id: r.id, key: r.object_key }, () => setState(r.id, 'lost', 'ready'));
}
};
const objs = objects(s3, stats);
const rows = dbRows(db, t0, stats);
let o = (await objs.next()).value;
let r = (await rows.next()).value;
while (o || r) {
if (o && (!r || o.key < r.object_key)) {
stats.objects++;
await onlyObject(o);
o = (await objs.next()).value;
} else if (r && (!o || r.object_key < o.key)) {
stats.rows++;
await onlyRow(r);
r = (await rows.next()).value;
} else {
stats.objects++;
stats.rows++;
await both(o!, r!);
o = (await objs.next()).value;
r = (await rows.next()).value;
}
}
return { ...stats, duration_ms: Math.round(performance.now() - started), max_rss_mb: Math.round(process.resourceUsage().maxRSS / 1024) };
}
async function* objects(s3: Storage, stats: { s3_list: number }): AsyncGenerator<Obj, undefined> {
let token: string | undefined;
let last = '';
do {
const page = await s3.list(PREFIX, token);
stats.s3_list++;
for (const item of page.Contents ?? []) {
// Слияние корректно только на отсортированных потоках: иначе остановиться, а не удалить лишнее.
if (item.Key! <= last) throw new Error('S3 вернул ключи не по порядку');
last = item.Key!;
yield { key: item.Key!, size: item.Size ?? 0, modified: item.LastModified! };
}
token = page.IsTruncated ? page.NextContinuationToken : undefined;
} while (token);
return undefined;
}
async function* dbRows(db: pg.Pool, t0: Date, stats: { db_queries: number }): AsyncGenerator<Row, undefined> {
let last = '';
for (;;) {
const r = await db.query<Row>(`SELECT id, object_key, state, size_bytes, sha256, updated_at < $2 AS settled
FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT ${PAGE}`, [last, t0]);
stats.db_queries++;
yield* r.rows;
if (r.rows.length < PAGE) return undefined;
last = r.rows[r.rows.length - 1].object_key;
}
}
+93
View File
@@ -0,0 +1,93 @@
// S3-совместимое хранилище байтов вложений (SeaweedFS). Один приватный bucket, ключи объектов назначает сервер.
// Ошибки переводятся в ответы контракта: недоступность хранилища — 503, ошибка конфигурации/прав — 500.
import {
CreateBucketCommand,
DeleteObjectCommand,
GetObjectCommand,
HeadObjectCommand,
ListObjectsV2Command,
PutObjectCommand,
S3Client,
} from '@aws-sdk/client-s3';
import type { Readable } from 'node:stream';
import type { S3Config } from '../config.ts';
import { HttpError, unavailable } from '../http/errors.ts';
export type Storage = ReturnType<typeof createStorage>;
export function createStorage(cfg: S3Config) {
const client = new S3Client({
endpoint: cfg.endpoint,
region: cfg.region,
forcePathStyle: true,
credentials: { accessKeyId: cfg.accessKeyId, secretAccessKey: cfg.secretAccessKey },
// Тело PUT уходит как есть с Content-Length, без aws-chunked/trailer: SHA-256 считает сам API.
requestChecksumCalculation: 'WHEN_REQUIRED',
responseChecksumValidation: 'WHEN_REQUIRED',
// Потоковое тело PUT нельзя отправить повторно; повтор — решение клиента API (он получит 503).
maxAttempts: 1,
// Недоступный S3 — быстрый отказ (1 с); requestTimeout — простой сокета, а не длительность всей загрузки.
// requestTimeout < timeout server HAProxy (10 с): при зависшем S3 ответит API (503), а не LB (504).
requestHandler: { connectionTimeout: 1000, requestTimeout: 8000, throwOnRequestTimeout: true },
});
const Bucket = cfg.bucket;
const send = async <T>(p: Promise<T>): Promise<T> => {
try {
return await p;
} catch (err) {
throw storageError(err);
}
};
return {
bucket: Bucket,
put: (key: string, body: Readable, length: number, type: string, signal: AbortSignal) =>
send(client.send(new PutObjectCommand({ Bucket, Key: key, Body: body, ContentLength: length, ContentType: type }), { abortSignal: signal })),
// null — объекта нет.
async get(key: string): Promise<Readable | null> {
try {
return (await client.send(new GetObjectCommand({ Bucket, Key: key }))).Body as Readable;
} catch (err) {
if (isMissing(err)) return null;
throw storageError(err);
}
},
async exists(key: string): Promise<boolean> {
try {
await client.send(new HeadObjectCommand({ Bucket, Key: key }));
return true;
} catch (err) {
if (isMissing(err)) return false;
throw storageError(err);
}
},
remove: (key: string) => send(client.send(new DeleteObjectCommand({ Bucket, Key: key }))),
list: (prefix: string, token?: string) =>
send(client.send(new ListObjectsV2Command({ Bucket, Prefix: prefix, ContinuationToken: token, MaxKeys: 1000 }))),
// Идемпотентный bootstrap: существующий bucket этого владельца — не ошибка.
async createBucket(): Promise<'created' | 'exists'> {
try {
await client.send(new CreateBucketCommand({ Bucket }));
return 'created';
} catch (err) {
if ((err as Error).name === 'BucketAlreadyOwnedByYou') return 'exists';
throw err;
}
},
};
}
function isMissing(err: unknown): boolean {
const e = err as { name?: string; $metadata?: { httpStatusCode?: number } };
return e.name === 'NoSuchKey' || e.name === 'NotFound' || e.$metadata?.httpStatusCode === 404;
}
// 4xx от S3 (AccessDenied, неверный bucket) — ошибка конфигурации: 500. Сеть, таймаут, 5xx — 503, клиент может повторить.
function storageError(err: unknown): Error {
if (err instanceof HttpError) return err;
const e = err as { name?: string; message?: string; $metadata?: { httpStatusCode?: number } };
if (e.name === 'AbortError') return err as Error; // загрузку прервал сам API, причину знает вызывающий
console.error(`S3: ${e.name} ${e.message}`);
const status = e.$metadata?.httpStatusCode ?? 0;
return status >= 400 && status < 500 ? new HttpError(500, 'internal_error', 'Внутренняя ошибка') : unavailable('Хранилище файлов недоступно');
}
+192
View File
@@ -0,0 +1,192 @@
#!/usr/bin/env python3
"""Негативные и граничные сценарии вложений (уровень 4) через LB: ни один из них не должен дать 500.
Изображения генерируются кодом (PNG — zlib/struct), JPEG — синтетический fixtures/sample.jpg (sips из sample.png).
Запуск: python3 student-tests/attachments.py --base-url http://localhost:8080"""
import hashlib
import http.client
import os
from pathlib import Path
import struct
import sys
import time
import urllib.parse
import uuid
import zlib
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT, arguments, check, run # noqa: E402
MiB = 1024 * 1024
SAMPLE_PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
SAMPLE_JPG = (Path(__file__).parent / 'fixtures/sample.jpg').read_bytes()
def chunk(kind, data):
return struct.pack('>I', len(data)) + kind + data + struct.pack('>I', zlib.crc32(kind + data))
def png(width, height, raw, depth=8, color=2, level=1):
"""PNG из готовых распакованных строк raw (байт фильтра + пиксели)."""
ihdr = struct.pack('>IIBBBBB', width, height, depth, color, 0, 0, 0)
return b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level)) + chunk(b'IEND', b'')
def noise_png(side):
"""RGB-шум не сжимается: размер файла ≈ side² × 3 байт."""
row = 1 + side * 3
return png(side, side, b''.join(b'\0' + os.urandom(row - 1) for _ in range(side)))
def gray1(width, height):
"""1-битный серый PNG из нулей: 40 Мпикс занимают несколько килобайт файла."""
return png(width, height, bytes(height * (1 + (width + 7) // 8)), depth=1, color=0, level=9)
def jpeg_with_size(data, width, height):
"""Подменить размеры в SOF0 существующего JPEG."""
i = data.index(b'\xff\xc0')
return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:]
def main():
args = arguments('Attachment negative suite')
c = Client(args.base_url, args.ca_file, timeout=30)
alice, bob, eve, chat = c.bootstrap()
other = c.call('POST', '/api/v1/chats', 201, actor=alice, body={'title': 'Другой чат', 'member_ids': [alice['id']]}, schema='Chat')['json']
results = []
def upload(data, expected, ctype='image/png', name='file.png', actor=alice, target=chat, label=None):
path = '/api/v1/chats/' + target['id'] + '/attachments?filename=' + urllib.parse.quote(name, safe='')
r = c.call('POST', path, expected, actor=actor, raw=data, headers={'Content-Type': ctype}, schema='Attachment' if expected == 201 else None)
results.append((label or name, r['status'], (r['json'] or {}).get('error', {}).get('code', ''), round(r['elapsed'] * 1000)))
if expected == 201:
att = r['json']
check(att['sha256'] == hashlib.sha256(data).hexdigest() and att['size_bytes'] == len(data), label + ': checksum/size')
check(att['content_type'] == ctype and att['filename'] == name and att['status'] == 'ready', label + ': metadata')
return att
return r['json']
def download(att, actor=bob, expect=None):
r = c.call('GET', '/api/v1/attachments/' + att['id'] + '/content', actor=actor)
check(r['bytes'] == expect and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'download differs')
check(r['headers'].get_content_type() == att['content_type'], 'download content type')
check(r['headers'].get('X-Content-Type-Options') == 'nosniff', 'missing nosniff')
check(not r['headers'].get('Location'), 'download must not redirect')
# Принимаются реальные PNG/JPEG, граница по размеру и по пикселям.
jpg = upload(SAMPLE_JPG, 201, 'image/jpeg', 'фото 📷 2026.jpg', label='real JPEG + unicode filename')
download(jpg, expect=SAMPLE_JPG)
big = noise_png(1860)
check(9 * MiB < len(big) <= 10 * MiB, 'big fixture size %d' % len(big))
big_att = upload(big, 201, label='PNG %.2f MiB (noise 1860x1860)' % (len(big) / MiB))
download(big_att, expect=big)
upload(gray1(6400, 6250), 201, label='PNG ровно 40 000 000 px')
# Лимиты: до чтения тела (Content-Length) и по заголовку изображения до распаковки.
upload(noise_png(1900), 413, label='PNG 10.33 MiB > 10 MiB')
upload(os.urandom(10 * MiB + 1), 413, label='10 MiB + 1 байт')
upload(gray1(6400, 6251), 413, label='PNG 40 006 400 px')
bomb = gray1(30000, 30000)
upload(bomb, 413, label='pixel-bomb 30000x30000, файл %d КБ' % (len(bomb) // 1024))
upload(jpeg_with_size(SAMPLE_JPG, 10000, 10000), 413, 'image/jpeg', 'bomb.jpg', label='JPEG SOF 10000x10000')
# IHDR обещает 100x100, а IDAT распаковывается в 64 МБ нулей: распаковка останавливается на лишних данных.
upload(png(100, 100, bytes(64 * MiB), level=9), 415, label='zip-bomb в IDAT (64 МБ при 100x100)')
# Повреждённые файлы и подмена типа.
bad_crc = bytearray(SAMPLE_PNG)
bad_crc[1000] ^= 0xFF
upload(bytes(bad_crc), 415, label='PNG: байт IDAT испорчен (CRC)')
upload(png(320, 200, os.urandom(1000)), 415, label='PNG: корректные CRC, мусор в zlib')
upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей')
upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан')
upload(SAMPLE_PNG + b'<html>', 415, label='PNG + данные после IEND')
upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)')
upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg')
upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png')
upload(b'GIF89a' + os.urandom(100), 415, label='GIF под видом image/png')
upload(b'<svg xmlns="http://www.w3.org/2000/svg"/>', 415, label='SVG под видом image/png')
upload(SAMPLE_PNG, 415, 'image/gif', 'x.gif', label='Content-Type image/gif')
upload(SAMPLE_PNG, 415, 'application/octet-stream', 'x.png', label='Content-Type octet-stream')
upload(b'', 415, label='пустое тело')
# Опасные и некорректные filename: 400 до чтения тела.
for name in ['../etc/passwd', 'a/b.png', 'a\\b.png', 'nul\x00.png', 'tab\t.png', 'line\n.png', 'c1\x85.png', '', ' ', 'x' * 256]:
upload(SAMPLE_PNG, 400, name=name, label='filename %r' % name[:20])
r = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments', 400, actor=alice, raw=SAMPLE_PNG, headers={'Content-Type': 'image/png'})
results.append(('без filename', r['status'], r['json']['error']['code'], round(r['elapsed'] * 1000)))
results.append(('chunked без Content-Length',) + chunked_upload(c, alice, chat))
# Доступ: без сессии, посторонний, чужое вложение.
upload(SAMPLE_PNG, 401, actor={'id': '', 'token': 'bad'}, label='без действительной сессии')
upload(SAMPLE_PNG, 404, actor=eve, label='посторонний грузит в чужой чат')
upload(SAMPLE_PNG, 404, target={'id': str(uuid.uuid4())}, label='несуществующий чат')
upload(SAMPLE_PNG, 400, target={'id': 'not-a-uuid'}, label='chat_id не UUID')
own = upload(SAMPLE_PNG, 201, label='обычный PNG')
foreign = upload(SAMPLE_PNG, 201, target=other, label='PNG в другом чате')
for suffix in ('', '/content'):
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 404, actor=eve)
c.call('GET', '/api/v1/attachments/' + foreign['id'] + suffix, 404, actor=bob)
c.call('GET', '/api/v1/attachments/' + str(uuid.uuid4()) + suffix, 404, actor=bob)
c.call('GET', '/api/v1/attachments/xyz' + suffix, 400, actor=bob)
c.call('GET', '/api/v1/attachments/' + own['id'] + suffix, 401)
content = '/api/v1/attachments/' + own['id'] + '/content'
c.call('GET', content + '?variant=thumbnail', 404, actor=bob)
c.call('GET', content + '?variant=bogus', 400, actor=bob)
check(c.call('GET', content + '?variant=original', actor=bob)['bytes'] == SAMPLE_PNG, 'variant=original')
# Привязка к сообщению: только вложения этого чата, 0–10 уникальных UUID.
send = '/api/v1/chats/' + chat['id'] + '/messages'
def post(body, expected, key=None):
return c.call('POST', send, expected, actor=alice, body=body, headers={'Idempotency-Key': key or uuid.uuid4().hex},
schema='Message' if expected == 201 else None)['json']
post({'text': 'чужое', 'attachment_ids': [foreign['id']]}, 404)
post({'text': 'смесь', 'attachment_ids': [own['id'], foreign['id']]}, 404)
post({'text': 'нет такого', 'attachment_ids': [str(uuid.uuid4())]}, 404)
post({'text': 'дубль', 'attachment_ids': [own['id'], own['id'].upper()]}, 400)
post({'text': 'много', 'attachment_ids': [str(uuid.uuid4()) for _ in range(11)]}, 400)
post({'text': 'не uuid', 'attachment_ids': ['x']}, 400)
post({'text': 'не массив', 'attachment_ids': own['id']}, 400)
post({'text': ' '}, 400)
post({'text': '', 'attachment_ids': []}, 400)
c.call('POST', '/api/v1/chats/' + other['id'] + '/messages', 404, actor=bob, body={'text': 'x', 'attachment_ids': [foreign['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex})
key = uuid.uuid4().hex
m = post({'text': '', 'attachment_ids': [own['id'], jpg['id']]}, 201, key)
check(m['attachment_ids'] == [own['id'], jpg['id']] and m['text'] == '', 'attachment order/text')
check(post({'attachment_ids': [own['id'], jpg['id']], 'text': ''}, 201, key) == m, 'replay with attachments differs')
post({'text': '', 'attachment_ids': [jpg['id'], own['id']]}, 409, key)
post({'text': '', 'attachment_ids': [own['id']]}, 409, key)
key = uuid.uuid4().hex
t = post({'text': 'без вложений'}, 201, key)
check(post({'text': 'без вложений', 'attachment_ids': []}, 201, key) == t and t['attachment_ids'] == [], 'missing attachment_ids != []')
history = c.call('GET', send + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
check([x for x in history if x['id'] == m['id']] == [m], 'history lost attachment_ids')
width = max(len(r[0]) for r in results)
for label, status, code, ms in results:
print('%-*s %d %-24s %5d ms' % (width, label, status, code, ms))
check(all(status < 500 for _, status, _, _ in results), 'server error in negative suite')
print('PASS: %d upload cases, ACL and message linking; no 5xx' % len(results))
def chunked_upload(c, actor, chat):
"""Тело без Content-Length (Transfer-Encoding: chunked): потоковая запись в S3 требует длину — 400."""
url = urllib.parse.urlsplit(c.base)
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10)
conn.putrequest('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=c.png')
conn.putheader('Authorization', 'Bearer ' + actor['token'])
conn.putheader('Content-Type', 'image/png')
conn.putheader('Transfer-Encoding', 'chunked')
conn.endheaders()
start = time.monotonic()
conn.send(b'%x\r\n%s\r\n0\r\n\r\n' % (len(SAMPLE_PNG), SAMPLE_PNG))
r = conn.getresponse()
body = r.read()
check(r.status == 400 and b'invalid_request' in body, 'chunked upload: %d' % r.status)
return r.status, 'invalid_request', round((time.monotonic() - start) * 1000)
if __name__ == '__main__':
run(main)
+167
View File
@@ -0,0 +1,167 @@
#!/usr/bin/env python3
"""Отказы вокруг S3 и перезапуск всего стенда (уровни 3–4). Управляет Docker Compose этого каталога:
0. клиент обрывает загрузку на середине тела: компенсация убирает строку, объект не появляется;
1. S3 остановлен: upload/download → 503 быстро, метаданные и текст работают, readiness = 200;
2. S3 «завис» (docker pause): ответ 503 по таймауту API раньше таймаута LB;
3. после возврата S3 всё работает, неудачные загрузки не оставили ни строк, ни объектов; «воскресший» PUT убирает reconciler;
4. docker compose down (без -v) + up: метаданные, оригинал и прежний токен сохранены.
Запуск: python3 student-tests/failures.py --base-url http://localhost:8080"""
import hashlib
import http.client
import json
from pathlib import Path
import subprocess
import sys
import time
import urllib.parse
import uuid
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, ROOT, arguments, check, run # noqa: E402
PNG = (ROOT / 'tests/fixtures/sample.png').read_bytes()
def compose(*args, capture=False):
r = subprocess.run(['docker', 'compose', *args], cwd=ROOT, text=True, capture_output=True)
check(r.returncode == 0, 'docker compose %s: %s' % (args[0], r.stderr.strip().splitlines()[-1:]))
return r.stdout if capture else None
def sql(query):
return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger', '-tAc', query, capture=True).strip()
def reconcile(*flags):
for _ in range(3): # фоновый reconciler держит advisory lock — подождать и повторить
out = compose('run', '--rm', '--no-deps', '-T', 'reconciler', 'node', 'src/main.ts', 'reconcile', *flags, capture=True)
summary = json.loads(out.strip().splitlines()[-1])
if 'skipped' not in summary:
return summary
time.sleep(2)
raise AssertionError('reconciler lock is busy')
def abort_upload(base, token, chat):
"""Отправить заголовки и половину тела, затем закрыть соединение."""
url = urllib.parse.urlsplit(base)
conn = http.client.HTTPConnection(url.hostname, url.port, timeout=10)
conn.putrequest('POST', '/api/v1/chats/' + chat + '/attachments?filename=abort.png')
conn.putheader('Authorization', 'Bearer ' + token)
conn.putheader('Content-Type', 'image/png')
conn.putheader('Content-Length', str(len(PNG)))
conn.endheaders()
conn.send(PNG[:len(PNG) // 2])
time.sleep(0.5) # строка pending и S3 PUT уже начаты
conn.close()
return len(PNG) // 2
def wait_ready(c, seconds=90):
deadline = time.monotonic() + seconds
while time.monotonic() < deadline:
try:
if c.call('GET', '/health/ready', [200, 503])['status'] == 200:
return
except AssertionError:
pass
time.sleep(1)
raise AssertionError('stand not ready')
def recover(c, path, actor, seconds=60):
"""Время до первого успешного скачивания после возврата S3."""
start = time.monotonic()
while c.call('GET', path, [200, 503], actor=actor)['status'] != 200:
check(time.monotonic() - start < seconds, 'S3 path did not recover')
time.sleep(0.5)
return time.monotonic() - start
def main():
args = arguments('S3 outage, S3 hang and full stand restart')
c = Client(args.base_url, args.ca_file, timeout=30)
alice, bob, _, chat = c.bootstrap()
up = '/api/v1/chats/' + chat['id'] + '/attachments?filename=outage.png'
send = '/api/v1/chats/' + chat['id'] + '/messages'
hdr = {'Content-Type': 'image/png'}
att = c.call('POST', up, 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment')['json']
content = '/api/v1/attachments/' + att['id'] + '/content'
pending_before = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'"))
log = []
def step(name, r):
log.append('%-52s %d %5d ms' % (name, r['status'], r['elapsed'] * 1000))
# 0. Обрыв загрузки клиентом. Перед этим --apply с grace 0 (кроме теста никто не пишет): чистая база для сравнения.
reconcile('--grace=0', '--apply')
sent = abort_upload(c.base, alice['token'], chat['id'])
time.sleep(1.5)
left = sql("SELECT count(*) FROM attachments WHERE chat_id = '%s' AND filename = 'abort.png'" % chat['id'])
after = reconcile('--grace=0')
log.append('client abort после %d из %d байт: строк abort.png %s, сверка: %s' % (sent, len(PNG), left, json.dumps(after['findings'])))
check(left == '0' and not after['findings'], 'aborted upload left a row or an object')
# 1. S3 остановлен.
compose('stop', 's3')
try:
step('S3 stopped: /health/ready (S3 не критичен)', c.call('GET', '/health/ready', 200))
for i in range(3):
step('S3 stopped: upload #%d' % (i + 1), c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
step('S3 stopped: download', c.call('GET', content, 503, actor=bob))
step('S3 stopped: metadata (только БД)', c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment'))
step('S3 stopped: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 недоступен'},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
step('S3 stopped: message with ready attachment', c.call('POST', send, 201, actor=alice, body={'text': '', 'attachment_ids': [att['id']]},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
finally:
compose('start', 's3')
# Компенсация сначала удаляет pending-строку (БД доступна), затем объект: S3 недоступен, но объекта и нет — PUT не прошёл.
leftover = int(sql("SELECT count(*) FROM attachments WHERE state = 'pending'")) - pending_before
log.append('pending-строк после 3 неудачных загрузок: %d' % leftover)
check(leftover == 0, 'compensation left pending rows')
log.append('S3 started: download снова 200 через %.1f s' % recover(c, content, bob))
# 2. S3 завис: TCP-соединения не отвечают.
c.call('GET', content, 200, actor=bob) # прогреть keep-alive соединения API → S3
compose('pause', 's3')
try:
step('S3 paused: download (таймаут сокета S3 8 с)', c.call('GET', content, 503, actor=bob))
step('S3 paused: upload', c.call('POST', up, 503, actor=alice, raw=PNG, headers=hdr))
step('S3 paused: text message', c.call('POST', send, 201, actor=alice, body={'text': 'S3 завис'},
headers={'Idempotency-Key': uuid.uuid4().hex}, schema='Message'))
finally:
compose('unpause', 's3')
# 3. S3 вернулся.
log.append('S3 unpaused: download снова 200 через %.1f s' % recover(c, content, bob))
step('S3 back: upload', c.call('POST', up, 201, actor=alice, raw=PNG, headers=hdr, schema='Attachment'))
r = c.call('GET', content, 200, actor=bob)
check(r['bytes'] == PNG, 'original changed')
step('S3 back: download old attachment', r)
# Ожидаемо: пусто или orphan_object — PUT, который S3 буферизовал во время pause и выполнил после того,
# как API сдался и компенсация уже удалила строку и объект (объект «воскрес»).
dry = reconcile('--grace=0')
log.append('reconcile dry-run --grace=0: %s' % json.dumps(dry['findings'], ensure_ascii=False))
check(set(dry['findings']) <= {'orphan_object'}, 'unexpected findings')
fixed = reconcile('--grace=0', '--apply')
again = reconcile('--grace=0')
log.append('reconcile --apply: applied=%d; повтор: %s' % (fixed['applied'], json.dumps(again['findings'])))
check(not again['findings'], 'reconciler left inconsistencies')
# 4. Полный перезапуск стенда с сохранением volumes: down удаляет контейнеры и сети, не volumes.
compose('down')
compose('up', '-d', '--wait')
wait_ready(c)
r = c.call('GET', content, 200, actor=bob) # прежний токен
check(r['bytes'] == PNG and hashlib.sha256(r['bytes']).hexdigest() == att['sha256'], 'original lost after down/up')
step('down + up -d: download with old token', r)
meta = c.call('GET', '/api/v1/attachments/' + att['id'], 200, actor=bob, schema='Attachment')['json']
check(meta == att, 'metadata changed after restart')
print('\n'.join(log))
print('PASS: S3 outage/hang degrade only attachments (503), compensation + reconciler clean up, full restart keeps data')
if __name__ == '__main__':
run(main)
Binary file not shown.

After

Width:  |  Height:  |  Size: 10 KiB

+59
View File
@@ -0,0 +1,59 @@
#!/usr/bin/env python3
"""Один Idempotency-Key, N параллельных запросов через LB (то есть через разные реплики).
Половина запросов с телом A, половина с телом B: должно появиться ровно одно сообщение, каждый 201 возвращает его,
другое тело получает 409. Запуск: python3 student-tests/idempotency_race.py --base-url http://localhost:8080"""
from concurrent.futures import ThreadPoolExecutor
import json
from pathlib import Path
import sys
import threading
import uuid
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
from client import Client, arguments, check, run # noqa: E402
def main():
args = arguments('Parallel same-key POST race', lambda p: p.add_argument('--parallel', type=int, default=32))
c = Client(args.base_url, args.ca_file)
alice, bob, _, chat = c.bootstrap()
path = '/api/v1/chats/' + chat['id'] + '/messages'
key = 'race-' + uuid.uuid4().hex
texts = ['гонка A ' + key, 'гонка B ' + key]
barrier = threading.Barrier(args.parallel)
def send(i):
local = Client(args.base_url, args.ca_file)
barrier.wait()
r = local.call('POST', path, [201, 409], actor=alice, body={'text': texts[i % 2]}, headers={'Idempotency-Key': key}, schema='Message')
return r['status'], r['json'], r['headers']['X-Instance-Id']
with ThreadPoolExecutor(args.parallel) as pool:
results = list(pool.map(send, range(args.parallel)))
created = [body for status, body, _ in results if status == 201]
check(created, 'no request succeeded')
winner = created[0]
check(all(body == winner for body in created), 'replicas returned different messages for one key')
check(all(body['error']['code'] == 'conflict' for status, body, _ in results if status == 409), '409 without conflict code')
statuses = {texts[i % 2]: set() for i in range(2)}
for i, (status, _, _) in enumerate(results):
statuses[texts[i % 2]].add(status)
check(statuses[winner['text']] == {201}, 'winning body must always get 201')
check(statuses[next(t for t in texts if t != winner['text'])] == {409}, 'other body must always get 409')
instances = {inst for _, _, inst in results}
check(len(instances) >= 2, 'race did not reach two replicas')
history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
stored = [m for m in history if key in m['text']]
check(stored == [winner], 'expected exactly one stored message equal to the replayed one')
# Тот же ключ у другого пользователя независим.
other = c.message(bob, chat, texts[0], key=key)['json']
check(other['id'] != winner['id'] and other['sender_id'] == bob['id'], 'key scope leaked across users')
print(json.dumps({'parallel': args.parallel, 'replicas_hit': len(instances), 'created_201': len(created),
'conflict_409': args.parallel - len(created), 'stored_messages': len(stored)}, ensure_ascii=False))
print('PASS: concurrent same-key POSTs through different replicas created exactly one message')
if __name__ == '__main__':
run(main)
+31
View File
@@ -0,0 +1,31 @@
// Проба прав S3 изнутри контейнера сервиса (его же ключами из /run/secrets).
// Запуск: docker compose exec -T api node --input-type=module - <key> < student-tests/s3_probe.mjs
// Печатает по строке «операция: результат»; ключи и секреты не выводятся.
import { readFileSync } from 'node:fs';
import { CreateBucketCommand, GetObjectCommand, ListObjectsV2Command, PutObjectCommand, DeleteObjectCommand, S3Client } from '@aws-sdk/client-s3';
const key = process.argv[2];
const bucket = process.env.S3_BUCKET;
const s3 = new S3Client({
endpoint: process.env.S3_ENDPOINT, region: process.env.S3_REGION, forcePathStyle: true, maxAttempts: 1,
credentials: {
accessKeyId: readFileSync('/run/secrets/s3_access_key_id', 'utf8').trim(),
secretAccessKey: readFileSync('/run/secrets/s3_secret_access_key', 'utf8').trim(),
},
});
const probe = async (name, command) => {
try {
await s3.send(command);
console.log(`${name}: allowed`);
} catch (err) {
console.log(`${name}: denied (${err.$metadata?.httpStatusCode} ${err.name})`);
}
};
const scratch = `probe/${Date.now()}`;
await probe('GetObject own bucket', new GetObjectCommand({ Bucket: bucket, Key: key }));
await probe('ListObjectsV2 own bucket', new ListObjectsV2Command({ Bucket: bucket, MaxKeys: 1 }));
await probe('CreateBucket other', new CreateBucketCommand({ Bucket: `probe-${Date.now()}` }));
await probe('PutObject other bucket', new PutObjectCommand({ Bucket: 'other-bucket', Key: 'x', Body: 'x' }));
await probe('PutObject own bucket', new PutObjectCommand({ Bucket: bucket, Key: scratch, Body: 'x' }));
await probe('DeleteObject own bucket', new DeleteObjectCommand({ Bucket: bucket, Key: scratch }));
s3.destroy(); // keep-alive сокеты иначе держат процесс до idle-таймаута S3
+15
View File
@@ -0,0 +1,15 @@
{
"compilerOptions": {
"target": "esnext",
"module": "nodenext",
"moduleResolution": "nodenext",
"noEmit": true,
"strict": true,
"allowImportingTsExtensions": true,
"erasableSyntaxOnly": true,
"verbatimModuleSyntax": true,
"skipLibCheck": true,
"types": ["node"]
},
"include": ["src"]
}