ЛР 4 — БПИ2303 — Белоусов — на 5 #112
+52
-13
@@ -1,20 +1,59 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
APP_ACCESS_LOG=1
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
|
||||
POSTGRES_USER=messenger
|
||||
POSTGRES_PASSWORD=messenger
|
||||
POSTGRES_DB=messenger
|
||||
|
||||
# Внутри сети Compose. Хосту для student-tests — localhost после проброса портов.
|
||||
DATABASE_URL=postgres://messenger:messenger@postgres:5432/messenger?sslmode=disable
|
||||
REDIS_URL=redis://redis:6379/0
|
||||
SESSION_STORE=redis
|
||||
|
||||
# Число API-реплик за LB. Поднимать: scripts/up.sh или compose --scale api=N
|
||||
API_REPLICAS=2
|
||||
# Лимиты одной API-реплики (суммарный бюджет track1 = replicas * эти значения).
|
||||
API_CPUS=0.50
|
||||
API_MEMORY=256M
|
||||
# Мягкий лимит кучи Go (ниже API_MEMORY): GC работает активнее до OOM-kill.
|
||||
API_GOMEMLIMIT=200MiB
|
||||
# Пул соединений на одну реплику. Суммарно ≈ API_REPLICAS * DB_MAX_CONNS.
|
||||
DB_MAX_CONNS=5
|
||||
|
||||
# ---------------- lab4: S3 (MinIO) ----------------
|
||||
# Root-учётка MinIO: нужна ТОЛЬКО сервисам minio и minio-init. API её не получает.
|
||||
MINIO_ROOT_USER=minio-root
|
||||
MINIO_ROOT_PASSWORD=minio-root-secret-change-me
|
||||
# Пользователь API (создаётся minio-init) с политикой только на bucket ниже. Секрет >= 8 символов.
|
||||
# Эти же значения получают api/migrate/reconcile как S3_ACCESS_KEY / S3_SECRET_KEY.
|
||||
S3_ENDPOINT=http://minio:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
S3_BUCKET=messenger
|
||||
S3_ACCESS_KEY=messenger-api
|
||||
S3_SECRET_KEY=messenger-api-secret-change-me
|
||||
# Path-style адресация (http://minio:9000/bucket/key) — единственный вариант для MinIO в Compose.
|
||||
S3_FORCE_PATH_STYLE=1
|
||||
# Reconciler: объект без строки в БД моложе этого возраста не трогаем (загрузка могла быть «в полёте»).
|
||||
S3_ORPHAN_GRACE_SECONDS=300
|
||||
# Сколько загрузок реплика буферизует в RAM одновременно (пик RAM ≈ значение * 10 MiB).
|
||||
UPLOAD_MAX_CONCURRENCY=4
|
||||
|
||||
# Порты хоста (только 127.0.0.1). Меняйте, если 8080/5432/6379/9000 уже заняты.
|
||||
LB_HOST_PORT=8080
|
||||
POSTGRES_HOST_PORT=5432
|
||||
REDIS_HOST_PORT=6379
|
||||
MINIO_HOST_PORT=9000
|
||||
# Консоль MinIO отключена (MINIO_BROWSER=off) и порт 9001 не публикуется.
|
||||
|
||||
# Образы S3. По умолчанию в compose.yaml — pinned community MinIO + Chainguard mc
|
||||
# (официальные minio/minio и minio/mc с Docker Hub в этой среде недоступны).
|
||||
# Если Docker Hub доступен, можно вернуть официальные теги:
|
||||
# MINIO_IMAGE=minio/minio:RELEASE.2024-12-18T13-15-44Z
|
||||
# MC_IMAGE=minio/mc:RELEASE.2024-11-21T17-21-54Z
|
||||
MINIO_IMAGE=ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z
|
||||
MC_IMAGE=cgr.dev/chainguard/minio-client:latest-dev
|
||||
|
||||
+20
@@ -0,0 +1,20 @@
|
||||
# syntax=docker/dockerfile:1.7
|
||||
FROM golang:1.23.8-bookworm AS build
|
||||
WORKDIR /src
|
||||
COPY go.mod go.sum ./
|
||||
RUN go mod download
|
||||
COPY cmd ./cmd
|
||||
COPY internal ./internal
|
||||
RUN CGO_ENABLED=0 GOOS=linux go build -trimpath -ldflags="-s -w" -o /out/server ./cmd/server
|
||||
|
||||
FROM gcr.io/distroless/static-debian12:nonroot
|
||||
COPY --from=build /out/server /server
|
||||
USER nonroot:nonroot
|
||||
EXPOSE 8080
|
||||
ENV APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080 \
|
||||
APP_ENV=lab \
|
||||
SESSION_TTL_SECONDS=3600
|
||||
HEALTHCHECK --interval=5s --timeout=3s --start-period=15s --retries=5 \
|
||||
CMD ["/server", "-healthcheck"]
|
||||
ENTRYPOINT ["/server"]
|
||||
@@ -4,10 +4,47 @@ CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
# Параметры подключения student-tests к стенду (порты берутся из .env, если он есть).
|
||||
# Значения по умолчанию совпадают с .env.example: postgres/redis/minio на 127.0.0.1.
|
||||
ENV_FILE ?= .env
|
||||
env_val = $(shell grep -E '^$(1)=' $(ENV_FILE) 2>/dev/null | tail -n1 | cut -d= -f2-)
|
||||
PG_PORT := $(or $(call env_val,POSTGRES_HOST_PORT),5432)
|
||||
REDIS_PORT := $(or $(call env_val,REDIS_HOST_PORT),6379)
|
||||
MINIO_PORT := $(or $(call env_val,MINIO_HOST_PORT),9000)
|
||||
PG_USER := $(or $(call env_val,POSTGRES_USER),messenger)
|
||||
PG_PASS := $(or $(call env_val,POSTGRES_PASSWORD),messenger)
|
||||
PG_DB := $(or $(call env_val,POSTGRES_DB),messenger)
|
||||
|
||||
.PHONY: help check validate test load test-persistence test-failover up student-test track2 private-bucket upload-mem
|
||||
|
||||
help:
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
@echo "up: scripts/up.sh; student-test: go-тесты lab2-4 против поднятого стенда; track2: reconciler (evidence/track2)"
|
||||
@echo "private-bucket: проверка приватности bucket; upload-mem: эксперимент пика памяти при >=10 загрузках"
|
||||
|
||||
up:
|
||||
bash scripts/up.sh
|
||||
|
||||
# Собственные тесты студента (включая lab4: вложения, S3 down, компенсация, reconciler).
|
||||
# Нужен поднятый стенд: порты postgres/redis/minio опубликованы на 127.0.0.1.
|
||||
student-test:
|
||||
DATABASE_URL="$${DATABASE_URL:-postgres://$(PG_USER):$(PG_PASS)@127.0.0.1:$(PG_PORT)/$(PG_DB)?sslmode=disable}" \
|
||||
REDIS_URL="$${REDIS_URL:-redis://127.0.0.1:$(REDIS_PORT)/0}" \
|
||||
S3_ENDPOINT="$${S3_ENDPOINT:-http://127.0.0.1:$(MINIO_PORT)}" \
|
||||
S3_ACCESS_KEY="$${S3_ACCESS_KEY:-$(or $(call env_val,S3_ACCESS_KEY),messenger-api)}" \
|
||||
S3_SECRET_KEY="$${S3_SECRET_KEY:-$(or $(call env_val,S3_SECRET_KEY),messenger-api-secret-change-me)}" \
|
||||
S3_BUCKET="$${S3_BUCKET:-$(or $(call env_val,S3_BUCKET),messenger)}" \
|
||||
go test ./student-tests/ -v -count=1 -timeout 300s
|
||||
|
||||
# Трек 2: инъекция orphan/missing, dry-run, реальный запуск, повтор; evidence в evidence/track2/.
|
||||
track2:
|
||||
bash scripts/run_track2.sh
|
||||
|
||||
private-bucket:
|
||||
bash scripts/check_private_bucket.sh | tee evidence/private-bucket.txt
|
||||
|
||||
upload-mem:
|
||||
bash scripts/upload_mem_experiment.sh
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
|
||||
@@ -1,37 +1,94 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Белоусов Анатолий Фахраддинович, БПИ2303
|
||||
- Целевая оценка; выбранный трек 5: **5, трек 2** (согласованность двух хранилищ / reconciler)
|
||||
- Commit/PR: ветка `solution/bpi2303-belousov`
|
||||
- Использованные источники, библиотеки и помощь ИИ: Go `net/http`, `pgx` v5, `go-redis` v9, `aws-sdk-go-v2` (S3), `golang.org/x/crypto/argon2`, `google/uuid`; MinIO community-образ `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z` + клиент `cgr.dev/chainguard/minio-client:latest-dev` (официальные `minio/minio`/`minio/mc` на Docker Hub из стенда недоступны: pull access denied); HAProxy 2.9; публичные `tests/`; Cursor/Composer. База — реализация lab3 (LB, Redis-сессии, Idempotency-Key, failover).
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker, Go 1.23+ (student-tests), Python 3.9+.
|
||||
|
||||
```sh
|
||||
cp .env.example .env
|
||||
bash scripts/up.sh
|
||||
# postgres+redis+minio → minio-init → migrate → API×N → LB :8080
|
||||
make check
|
||||
make test
|
||||
make student-test
|
||||
make private-bucket
|
||||
make upload-mem
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
bash scripts/restore-one.sh # после failover
|
||||
make track2 # трек 5: dry-run → apply → repeat (~1 мин)
|
||||
```
|
||||
|
||||
Остановка без удаления данных: `docker compose --env-file .env stop`.
|
||||
Удаление учебных volumes: `docker compose --env-file .env down -v`.
|
||||
|
||||
Образы: сборка `golang:1.23.8-bookworm`, runtime `gcr.io/distroless/static-debian12:nonroot`, PostgreSQL `postgres:16.6`, Redis `redis:7.4.1` (AOF), HAProxy `haproxy:2.9.14-alpine`, MinIO `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z`, mc `cgr.dev/chainguard/minio-client:latest-dev`. Консоль MinIO не публикуется (`MINIO_BROWSER=off`); S3 API — только `127.0.0.1:9000` для private-bucket и student-tests.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → HAProxy → API×2+ → PostgreSQL (метаданные) + Redis (сессии) + приватный MinIO (байты).
|
||||
|
||||
**Вложение.** Сервер назначает ключ `attachments/{chat_id}/{attachment_id}`; `filename` только в метаданных и не попадает в путь. Порядок записи — **сначала S3 PUT, потом INSERT**; 201 `ready` только после обоих. Ошибка INSERT → немедленный Delete объекта (`compensateOrphan`); если Delete не удался — orphan подберёт reconciler после grace (`S3_ORPHAN_GRACE_SECONDS`, по умолчанию 300).
|
||||
|
||||
**Загрузка.** Тело буферизуется в RAM с лимитом `MaxUploadBytes+1` (`http.MaxBytesReader`) и слотом `UPLOAD_MAX_CONCURRENCY` (пик ≈ concurrency × 10 MiB на реплику). MIME — по содержимому; размеры PNG/JPEG читаются из заголовка до полного декодирования пикселей (`internal/api/imagecheck.go`); структурная проверка CRC/EOI. Download — proxy через API (проверка членства в чате), без редиректа на S3 и без раскрытия `object_key`.
|
||||
|
||||
**S3-клиент.** Тонкая обёртка `internal/objectstore` над `aws-sdk-go-v2` (path-style, статические credentials учётки `messenger-api`). Root-учётка MinIO есть только у сервисов `minio` и `minio-init`.
|
||||
|
||||
**Bootstrap.** `minio-init` идемпотентно: приватный bucket, политика `messenger-api-rw` только на этот bucket (без CreateBucket/admin), пользователь API, самопроверка привязки политики.
|
||||
|
||||
**Reconciler (трек 2).** Режим `/server -reconcile` / `-reconcile-dry-run` / `-reconcile-prune-missing` в том же бинарнике (`internal/reconcile`). Сливает отсортированные потоки ListObjectsV2 и keyset по `attachments.object_key COLLATE "C"`. Удаляет только «созревшие» orphan-объекты схемы `attachments/{uuid}/{uuid}`; чужие ключи не трогает; missing **используемые** — только ALERT (exit 2); stale unused при prune — DELETE строки; свежие (< grace) — skip.
|
||||
|
||||
Перенесено из lab3: LB, Idempotency-Key, `X-Instance-Id`, Redis-сессии, failover hooks (`scripts/stop-one.sh`, `restore-one.sh`, `restart.sh`). Добавлено: миграция `003_attachments.sql`, routes attachments, `objectstore`, `reconcile`, MinIO в compose, `scripts/run_track2.sh`, `check_private_bucket.sh`, `upload_mem_experiment.sh`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Offline contract | `make check` | PASS | `evidence/check.txt` |
|
||||
| Публичный smoke (checksum, ACL) | `make test` | PASS lab4 public API scenario | `evidence/smoke.txt` |
|
||||
| Student-tests вложений/негативы/S3↓/компенсация/reconciler | `make student-test` | PASS (ok student-tests) | `evidence/student-tests.txt` |
|
||||
| Private bucket | `make private-bucket` | anonymous GET/LIST/PUT → 403; API user ограничен bucket; :9001 нет | `evidence/private-bucket.txt` |
|
||||
| Persistence + оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS | `evidence/persistence.txt` |
|
||||
| Failover API + download через другую реплику | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS; 2 instance ids до отказа; recovery ~2.8 s | `evidence/failover.txt` |
|
||||
| ≥10 concurrent uploads + пик RAM | `make upload-mem` | 80×201; peak 172 MiB @ concurrency=64 vs 84 MiB @ 4 | `evidence/upload-memory/` |
|
||||
| Трек 2 reconciler | `make track2` | orphan deleted; missing used kept; stale pruned; fresh skipped; repeat idempotent | `evidence/track2/` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
**Гипотеза (трек 2):** при grace period reconciler безопасно удаляет только «старые» orphan-объекты и нессылаемые missing-строки; повторный apply идемпотентен; свежий orphan и используемое missing не трогаются; чужая схема ключа не трогается.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
Методика: `scripts/run_track2.sh` — инъекция через root-`mc` (orphan_old, bulk 300, foreign key, удаление объекта у used/stale) + sleep grace → fresh violations → dry-run → apply+prune → repeat. Код выхода 2 ожидаем (есть used missing).
|
||||
|
||||
Результаты локального прогона (`evidence/track2/cost.txt`):
|
||||
|
||||
| шаг | s3_objects | delete_calls | duration_ms |
|
||||
| --- | ---: | ---: | ---: |
|
||||
| dry-run | 342 | 0 | 82 |
|
||||
| real | 342 | 301 | 357 |
|
||||
| repeat | 41 | 0 | 17 |
|
||||
|
||||
Инварианты: все PASS (см. `evidence/track2-run.txt`).
|
||||
|
||||
**Пик памяти при ≥10 одновременных загрузках** (`evidence/upload-memory/summary.txt`): файл ~7.3 MiB, 20 клиентов × 4 повтора, 2 реплики × 256M. При `UPLOAD_MAX_CONCURRENCY=64` peak ≈172 MiB/реплика; при `=4` peak ≈80–84 MiB. Лимит слотов ограничивает пик пропорционально concurrency, а не числу клиентов.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| `docker stop` одной API | LB уводит трафик; download с другой реплики | PASS failover | `scripts/restore-one.sh` |
|
||||
| `restart` всех хранилищ+API | сессия и файл на месте | PASS persistence | volumes сохранены |
|
||||
| Anonymous GET MinIO | не 200 | 403 | — |
|
||||
| S3 down (student-test) | ready/upload 503 | PASS | — |
|
||||
| PUT ok + INSERT fail | компенсация Delete | PASS `TestCompensationWhenPostgresFailsAfterPut` | reconciler как страховка |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Официальные образы MinIO/Docker Hub недоступны на стенде; закреплён community-образ coollabsio того же класса RELEASE + Chainguard mc — риск расхождения с upstream. При доступности Hub: `MINIO_IMAGE`/`MC_IMAGE` в `.env`.
|
||||
- Reconciler не восстанавливает referenced missing (нет исходных байтов) — только детектит (exit 2); восстановление из бэкапа S3 вне скоупа.
|
||||
- Presigned direct upload (трек 1) не реализован — выбран трек 2.
|
||||
- Учебные секреты в `.env.example`; в Git не коммитить `.env`.
|
||||
|
||||
Инструкция по сдаче для себя: `SUBMISSION.md`.
|
||||
|
||||
@@ -0,0 +1,58 @@
|
||||
# Как сдать лабораторную 4 (для меня)
|
||||
|
||||
Краткий чеклист перед защитой и после замечаний ревью.
|
||||
|
||||
## Что уже сделано в этом PR
|
||||
|
||||
- База — решение lab3 (HAProxy → API×2+, Redis-сессии, Idempotency-Key, failover).
|
||||
- Lab4: приватный MinIO, метаданные в PostgreSQL, байты в S3; `POST .../attachments` → 201 ready; download через API; `attachment_ids` в сообщениях.
|
||||
- Уровень 4: негативы (размер, MIME, pixels, filename, чужой чат), компенсация S3→PG, лимит concurrency + эксперимент памяти, limited S3 user, private-bucket check.
|
||||
- Оценка **5**, трек **2** (reconciler): `make track2` → `evidence/track2/`.
|
||||
- Публичные проверки: `make test`, `test-persistence`, `test-failover`, `make student-test`, `make private-bucket`.
|
||||
|
||||
## Перед защитой (локально)
|
||||
|
||||
```sh
|
||||
cp .env.example .env
|
||||
bash scripts/up.sh
|
||||
make check
|
||||
make test
|
||||
make student-test
|
||||
make private-bucket
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
bash scripts/restore-one.sh
|
||||
make track2
|
||||
# опционально (пересоздаёт API с разными UPLOAD_MAX_CONCURRENCY):
|
||||
make upload-mem
|
||||
```
|
||||
|
||||
Если Docker Hub недоступен для `minio/minio` — в `.env` уже стоят рабочие `MINIO_IMAGE`/`MC_IMAGE` (coollabsio + Chainguard mc).
|
||||
|
||||
## Что говорить на защиту
|
||||
|
||||
1. Загрузить fixture → message с `attachment_ids` → скачать вторым участником → SHA-256 совпал; третий — 404; anonymous S3 GET — 403.
|
||||
2. Порядок: PUT S3 → INSERT PG → 201; при ошибке INSERT — Delete; иначе reconciler после grace.
|
||||
3. Failover: `stop-one.sh` — download через другую реплику; persistence — оригинал после restart.
|
||||
4. Трек 2: dry-run не меняет данные; real удаляет mature orphan; used missing — ALERT; fresh — skip; repeat — 0 deletes.
|
||||
5. Память: `UPLOAD_MAX_CONCURRENCY=4` режет пик (~80 MiB) vs 64 (~170 MiB) на ~7 MiB файлах.
|
||||
|
||||
## PR
|
||||
|
||||
- Ветка: `solution/bpi2303-belousov`
|
||||
- База PR: `mtusi2026/mtusi2026lab4` → `main`
|
||||
- Заголовок: `ЛР 4 — БПИ2303 — Белоусов — на 5`
|
||||
- Не коммитить `.env`, токены, volumes.
|
||||
- После замечаний — пуш в ту же ветку, тот же PR.
|
||||
|
||||
## Если что-то красное
|
||||
|
||||
| Симптом | Что проверить |
|
||||
| --- | --- |
|
||||
| `pull access denied` для minio/minio | `MINIO_IMAGE`/`MC_IMAGE` в `.env` (см. `.env.example`) |
|
||||
| `less than two API instances` | `bash scripts/restore-one.sh`, `API_REPLICAS=2` |
|
||||
| failover видит остановленную реплику | у `api` `restart: "no"`; `stop-one.sh` делает `docker stop` |
|
||||
| student-test не видит БД/S3 | порты `127.0.0.1:5432/6379/9000` |
|
||||
| track2 падает на `s3sh` | образ `MC_IMAGE` с `/bin/sh` (нужен `latest-dev` у Chainguard) |
|
||||
|
||||
Подробности архитектуры и таблица доказательств — в `REPORT.md`.
|
||||
@@ -0,0 +1,262 @@
|
||||
// Точка входа HTTP API, одноразового мигратора и reconciler (lab4).
|
||||
//
|
||||
// Режимы:
|
||||
//
|
||||
// (по умолчанию) — API-реплика: ждёт Postgres/Redis/S3, слушает порт, миграции НЕ
|
||||
// применяет (их гоняет отдельный сервис migrate, чтобы реплики не гонялись);
|
||||
// -migrate — применить встроенные SQL, проверить наличие bucket, выйти с кодом 0/1;
|
||||
// -healthcheck — локальный probe /health/ready для Docker HEALTHCHECK;
|
||||
// -reconcile — сверка S3 и PostgreSQL: удалить orphan-объекты старше grace,
|
||||
// отчитаться о missing-объектах (трек 2). Печатает JSON-отчёт;
|
||||
// -reconcile-dry-run — то же, но ничего не удаляет (подразумевает -reconcile);
|
||||
// -reconcile-prune-missing — дополнительно удалять СТАРЫЕ НЕИСПОЛЬЗУЕМЫЕ строки без объекта.
|
||||
//
|
||||
// Коды выхода -reconcile: 0 — успех, 1 — ошибка (S3/PG недоступны), 2 — найдены
|
||||
// используемые вложения без объекта (потеря данных, нужен человек).
|
||||
//
|
||||
// SIGTERM: /health/ready → 503 (LB снимает реплику) и Shutdown до 10 секунд.
|
||||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"encoding/json"
|
||||
"flag"
|
||||
"fmt"
|
||||
"io"
|
||||
"log"
|
||||
"net/http"
|
||||
"os"
|
||||
"os/signal"
|
||||
"syscall"
|
||||
"time"
|
||||
|
||||
"mtusi2026lab4/internal/api"
|
||||
"mtusi2026lab4/internal/auth"
|
||||
"mtusi2026lab4/internal/config"
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/reconcile"
|
||||
"mtusi2026lab4/internal/session"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
func main() {
|
||||
healthcheck := flag.Bool("healthcheck", false, "probe local /health/ready and exit")
|
||||
migrateOnly := flag.Bool("migrate", false, "apply SQL migrations, ensure bucket and exit")
|
||||
doReconcile := flag.Bool("reconcile", false, "reconcile S3 objects with PostgreSQL attachments and exit")
|
||||
reconcileDry := flag.Bool("reconcile-dry-run", false, "reconcile without deleting anything (implies -reconcile)")
|
||||
reconcilePrune := flag.Bool("reconcile-prune-missing", false, "reconcile: also delete stale UNUSED rows whose object is missing")
|
||||
flag.Parse()
|
||||
if *healthcheck {
|
||||
os.Exit(runHealthcheck())
|
||||
}
|
||||
|
||||
cfg, err := config.Load()
|
||||
if err != nil {
|
||||
log.Fatalf("config: %v", err)
|
||||
}
|
||||
hasher, err := auth.NewHasher()
|
||||
if err != nil {
|
||||
log.Fatalf("password hasher: %v", err)
|
||||
}
|
||||
|
||||
rootCtx, stop := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT)
|
||||
defer stop()
|
||||
|
||||
st, err := waitPostgres(rootCtx, cfg.DatabaseURL, hasher, cfg.MaxConns)
|
||||
if err != nil {
|
||||
log.Fatalf("postgres: %v", err)
|
||||
}
|
||||
defer st.Close()
|
||||
|
||||
objects, err := objectstore.New(objectstore.Config{
|
||||
Endpoint: cfg.S3Endpoint,
|
||||
Region: cfg.S3Region,
|
||||
Bucket: cfg.S3Bucket,
|
||||
AccessKey: cfg.S3AccessKey,
|
||||
SecretKey: cfg.S3SecretKey,
|
||||
ForcePathStyle: cfg.S3ForcePathStyle,
|
||||
})
|
||||
if err != nil {
|
||||
log.Fatalf("object store: %v", err)
|
||||
}
|
||||
|
||||
if *migrateOnly || cfg.RunMigrations {
|
||||
if err := st.Migrate(rootCtx); err != nil {
|
||||
log.Fatalf("migrate: %v", err)
|
||||
}
|
||||
log.Printf("migrations applied")
|
||||
// Bucket создаёт minio-init (root-учётка). Здесь только идемпотентная проверка:
|
||||
// мигратор падает с понятной причиной, если стенд поднят без minio-init.
|
||||
if err := waitBucket(rootCtx, objects); err != nil {
|
||||
log.Fatalf("bucket: %v", err)
|
||||
}
|
||||
log.Printf("bucket %q is available", objects.Bucket())
|
||||
if *migrateOnly {
|
||||
return
|
||||
}
|
||||
}
|
||||
|
||||
if *doReconcile || *reconcileDry {
|
||||
os.Exit(runReconcile(rootCtx, st, objects, cfg, *reconcileDry, *reconcilePrune))
|
||||
}
|
||||
|
||||
sessions, err := waitRedis(rootCtx, cfg.RedisURL, cfg.SessionTTL)
|
||||
if err != nil {
|
||||
log.Fatalf("redis: %v", err)
|
||||
}
|
||||
defer sessions.Close()
|
||||
|
||||
// API стартует только при доступном S3 и существующем bucket; затем доступность
|
||||
// контролирует /health/ready (недоступный S3 → 503).
|
||||
if err := waitBucket(rootCtx, objects); err != nil {
|
||||
log.Fatalf("bucket: %v", err)
|
||||
}
|
||||
|
||||
srvAPI := api.New(st, sessions, objects, cfg.InstanceID).WithUploadConcurrency(cfg.UploadMaxConcurrency)
|
||||
httpServer := &http.Server{
|
||||
Addr: cfg.Addr(),
|
||||
Handler: srvAPI.Handler(),
|
||||
ReadHeaderTimeout: 5 * time.Second,
|
||||
// 10 MiB загрузка/скачивание по медленному клиенту дольше обычного JSON-запроса.
|
||||
// Лимиты размера и семафор слотов не дают этому стать способом занять RAM.
|
||||
ReadTimeout: 30 * time.Second,
|
||||
WriteTimeout: 30 * time.Second,
|
||||
IdleTimeout: 60 * time.Second,
|
||||
}
|
||||
|
||||
errCh := make(chan error, 1)
|
||||
go func() {
|
||||
log.Printf("listening on %s env=%s instance=%s session_ttl=%s db_max_conns=%d",
|
||||
cfg.Addr(), cfg.Env, cfg.InstanceID, cfg.SessionTTL, cfg.MaxConns)
|
||||
if err := httpServer.ListenAndServe(); err != nil && err != http.ErrServerClosed {
|
||||
errCh <- err
|
||||
}
|
||||
}()
|
||||
|
||||
select {
|
||||
case err := <-errCh:
|
||||
log.Fatalf("listen: %v", err)
|
||||
case <-rootCtx.Done():
|
||||
}
|
||||
log.Printf("shutting down instance=%s", cfg.InstanceID)
|
||||
srvAPI.BeginDrain()
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
|
||||
defer cancel()
|
||||
if err := httpServer.Shutdown(ctx); err != nil {
|
||||
log.Printf("shutdown error: %v", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
log.Printf("shutdown complete")
|
||||
}
|
||||
|
||||
// waitBucket ждёт S3 и идемпотентно проверяет bucket (до 45 с, как и для Postgres/Redis).
|
||||
func waitBucket(ctx context.Context, objects *objectstore.Store) error {
|
||||
deadline := time.Now().Add(45 * time.Second)
|
||||
var last error
|
||||
for {
|
||||
last = objects.EnsureBucket(ctx)
|
||||
if last == nil {
|
||||
return nil
|
||||
}
|
||||
if ctx.Err() != nil || time.Now().After(deadline) {
|
||||
return last
|
||||
}
|
||||
log.Printf("object store not ready, retrying")
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return ctx.Err()
|
||||
case <-time.After(time.Second):
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// runReconcile — режим трека 2. Отчёт JSON — в stdout (годится для evidence), подробности — в лог.
|
||||
func runReconcile(ctx context.Context, st *store.Store, objects *objectstore.Store, cfg config.Config, dry, prune bool) int {
|
||||
rc := &reconcile.Reconciler{
|
||||
DB: st,
|
||||
Objects: objects,
|
||||
Opts: reconcile.Options{
|
||||
DryRun: dry,
|
||||
Grace: cfg.S3OrphanGrace,
|
||||
PruneMissing: prune,
|
||||
Logf: log.Printf,
|
||||
},
|
||||
}
|
||||
log.Printf("reconcile start dry_run=%t grace=%s prune_missing=%t", dry, cfg.S3OrphanGrace, prune)
|
||||
rep, err := rc.Run(ctx)
|
||||
out, _ := json.MarshalIndent(rep, "", " ")
|
||||
fmt.Println(string(out))
|
||||
if err != nil {
|
||||
log.Printf("reconcile failed: %v", err)
|
||||
return 1
|
||||
}
|
||||
if rep.MissingUsed > 0 {
|
||||
log.Printf("reconcile: %d used attachment(s) lost their object, manual action required", rep.MissingUsed)
|
||||
return 2
|
||||
}
|
||||
return 0
|
||||
}
|
||||
|
||||
func waitPostgres(ctx context.Context, dsn string, hasher *auth.Hasher, maxConns int32) (*store.Store, error) {
|
||||
deadline := time.Now().Add(45 * time.Second)
|
||||
var last error
|
||||
for {
|
||||
st, err := store.Open(ctx, dsn, hasher, maxConns)
|
||||
if err == nil {
|
||||
return st, nil
|
||||
}
|
||||
last = err
|
||||
if ctx.Err() != nil || time.Now().After(deadline) {
|
||||
return nil, last
|
||||
}
|
||||
log.Printf("postgres not ready, retrying")
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return nil, ctx.Err()
|
||||
case <-time.After(time.Second):
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func waitRedis(ctx context.Context, redisURL string, ttl time.Duration) (*session.Store, error) {
|
||||
deadline := time.Now().Add(45 * time.Second)
|
||||
var last error
|
||||
for {
|
||||
st, err := session.Open(redisURL, ttl)
|
||||
if err == nil {
|
||||
return st, nil
|
||||
}
|
||||
last = err
|
||||
if ctx.Err() != nil || time.Now().After(deadline) {
|
||||
return nil, last
|
||||
}
|
||||
log.Printf("redis not ready, retrying")
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return nil, ctx.Err()
|
||||
case <-time.After(time.Second):
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func runHealthcheck() int {
|
||||
cfg, err := config.Load()
|
||||
if err != nil {
|
||||
return 1
|
||||
}
|
||||
host := cfg.Host
|
||||
if host == "0.0.0.0" || host == "::" {
|
||||
host = "127.0.0.1"
|
||||
}
|
||||
client := &http.Client{Timeout: 2 * time.Second}
|
||||
resp, err := client.Get(fmt.Sprintf("http://%s:%d/health/ready", host, cfg.Port))
|
||||
if err != nil {
|
||||
return 1
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
_, _ = io.Copy(io.Discard, resp.Body)
|
||||
if resp.StatusCode != http.StatusOK {
|
||||
return 1
|
||||
}
|
||||
return 0
|
||||
}
|
||||
+272
@@ -0,0 +1,272 @@
|
||||
# Локальный стенд lab4: Клиент → HAProxy → API×N → общие PostgreSQL, Redis и приватный S3 (MinIO).
|
||||
# Публикуется только LB (:8080) и S3 API на 127.0.0.1:9000 (нужен лишь для проверки
|
||||
# «приватный bucket недоступен без подписи» и для student-tests с хоста).
|
||||
# Консоль MinIO ОТКЛЮЧЕНА (MINIO_BROWSER=off) и порт 9001 не публикуется вообще.
|
||||
# Порты API наружу не публикуются.
|
||||
# Запуск: bash scripts/up.sh (minio+minio-init → миграции → --scale api=N → lb)
|
||||
# container_name не задаём: иначе --scale одного сервиса невозможен.
|
||||
#
|
||||
# Образы MinIO/mc закреплены точными тегами (через переменные только на случай, если
|
||||
# реестр отдаёт другой образ: см. REPORT). Root-учётка MinIO нужна ТОЛЬКО сервису minio
|
||||
# и одноразовому minio-init. API/migrate/reconcile живут на отдельном пользователе
|
||||
# messenger-api с политикой только на bucket messenger.
|
||||
x-api-env: &api-env
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
APP_ENV: ${APP_ENV:-lab}
|
||||
APP_ACCESS_LOG: ${APP_ACCESS_LOG:-1}
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
DB_MAX_CONNS: ${DB_MAX_CONNS:-5}
|
||||
DATABASE_URL: postgres://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger}@postgres:5432/${POSTGRES_DB:-messenger}?sslmode=disable
|
||||
REDIS_URL: redis://redis:6379/0
|
||||
# --- lab4: S3 (не root-учётка!) ---
|
||||
S3_ENDPOINT: http://minio:9000
|
||||
S3_REGION: ${S3_REGION:-us-east-1}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger}
|
||||
S3_ACCESS_KEY: ${S3_ACCESS_KEY:-messenger-api}
|
||||
S3_SECRET_KEY: ${S3_SECRET_KEY:-messenger-api-secret-change-me}
|
||||
S3_FORCE_PATH_STYLE: ${S3_FORCE_PATH_STYLE:-1}
|
||||
S3_ORPHAN_GRACE_SECONDS: ${S3_ORPHAN_GRACE_SECONDS:-300}
|
||||
UPLOAD_MAX_CONCURRENCY: ${UPLOAD_MAX_CONCURRENCY:-4}
|
||||
# Мягкий лимит кучи Go ниже cgroup-лимита контейнера (API_MEMORY): GC становится агрессивнее
|
||||
# до OOM-kill, а не после него.
|
||||
GOMEMLIMIT: ${API_GOMEMLIMIT:-200MiB}
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.6
|
||||
environment:
|
||||
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger}
|
||||
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
||||
volumes:
|
||||
- pgdata:/var/lib/postgresql/data
|
||||
ports:
|
||||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5432}:5432"
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER:-messenger} -d ${POSTGRES_DB:-messenger}"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 512M
|
||||
|
||||
redis:
|
||||
image: redis:7.4.1
|
||||
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "everysec"]
|
||||
volumes:
|
||||
- redisdata:/data
|
||||
ports:
|
||||
- "127.0.0.1:${REDIS_HOST_PORT:-6379}:6379"
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
# Приватный S3. Данные — в именованном volume mindata (переживает restart и down без -v).
|
||||
minio:
|
||||
# По умолчанию — pinned community-образ (официальный minio/minio на Docker Hub
|
||||
# из этой среды недоступен: pull access denied). Переопределение: MINIO_IMAGE.
|
||||
image: ${MINIO_IMAGE:-ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z}
|
||||
command: ["server", "/data", "--address", ":9000"]
|
||||
environment:
|
||||
# Root-учётка: только для самого сервера и minio-init. API её не получает.
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minio-root}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minio-root-secret-change-me}
|
||||
# Консоль отключена полностью: порт 9001 не слушается и не публикуется.
|
||||
MINIO_BROWSER: "off"
|
||||
volumes:
|
||||
- mindata:/data
|
||||
ports:
|
||||
# Только loopback хоста (для scripts/check_private_bucket.sh и student-tests).
|
||||
- "127.0.0.1:${MINIO_HOST_PORT:-9000}:9000"
|
||||
healthcheck:
|
||||
# coollabsio/minio и официальный образ содержат mc; curl есть не везде —
|
||||
# сначала mc ready, затем HTTP health (если curl доступен).
|
||||
test: ["CMD-SHELL", "mc ready local >/dev/null 2>&1 || curl -fsS http://127.0.0.1:9000/minio/health/ready >/dev/null 2>&1 || wget -q -O /dev/null http://127.0.0.1:9000/minio/health/ready"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
start_period: 5s
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "1.0"
|
||||
memory: 512M
|
||||
|
||||
# Одноразовый bootstrap S3 (идемпотентный, можно запускать сколько угодно раз):
|
||||
# 1) приватный bucket (mb --ignore-existing + anonymous none);
|
||||
# 2) политика messenger-api-rw ТОЛЬКО на этот bucket (без CreateBucket/admin-прав);
|
||||
# 3) пользователь messenger-api с секретом из окружения и привязка политики;
|
||||
# 4) самопроверка: политика действительно привязана, иначе контейнер падает.
|
||||
minio-init:
|
||||
# latest-dev — с /bin/sh (нужен entrypoint-override в up/s3sh). При доступности
|
||||
# Docker Hub можно заменить на minio/mc:RELEASE.2024-11-21T17-21-54Z.
|
||||
image: ${MC_IMAGE:-cgr.dev/chainguard/minio-client:latest-dev}
|
||||
entrypoint: ["/bin/sh", "-c"]
|
||||
environment:
|
||||
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minio-root}
|
||||
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minio-root-secret-change-me}
|
||||
S3_BUCKET: ${S3_BUCKET:-messenger}
|
||||
S3_ACCESS_KEY: ${S3_ACCESS_KEY:-messenger-api}
|
||||
S3_SECRET_KEY: ${S3_SECRET_KEY:-messenger-api-secret-change-me}
|
||||
command:
|
||||
- |
|
||||
set -eu
|
||||
POLICY=messenger-api-rw
|
||||
until mc alias set local http://minio:9000 "$$MINIO_ROOT_USER" "$$MINIO_ROOT_PASSWORD" >/dev/null 2>&1; do
|
||||
echo "minio-init: waiting for minio..."; sleep 1
|
||||
done
|
||||
mc mb --ignore-existing "local/$$S3_BUCKET"
|
||||
mc anonymous set none "local/$$S3_BUCKET"
|
||||
cat > /tmp/policy.json <<EOF
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:ListBucket", "s3:GetBucketLocation"],
|
||||
"Resource": ["arn:aws:s3:::$$S3_BUCKET"]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject",
|
||||
"s3:AbortMultipartUpload", "s3:ListMultipartUploadParts"],
|
||||
"Resource": ["arn:aws:s3:::$$S3_BUCKET/*"]
|
||||
}
|
||||
]
|
||||
}
|
||||
EOF
|
||||
# create у MinIO перезаписывает существующую политику, user add меняет секрет существующего
|
||||
# пользователя: повтор безопасен. Привязка уже привязанной политики даёт ошибку — гасим её
|
||||
# и проверяем итог явно (ниже), чтобы не скрыть настоящий сбой.
|
||||
mc admin policy create local "$$POLICY" /tmp/policy.json
|
||||
mc admin user add local "$$S3_ACCESS_KEY" "$$S3_SECRET_KEY"
|
||||
mc admin policy attach local "$$POLICY" --user "$$S3_ACCESS_KEY" >/dev/null 2>&1 || true
|
||||
mc admin user info local "$$S3_ACCESS_KEY" | grep -q "$$POLICY" \
|
||||
|| { echo "minio-init: policy $$POLICY is not attached to $$S3_ACCESS_KEY" >&2; exit 1; }
|
||||
echo "minio-init: bucket=$$S3_BUCKET user=$$S3_ACCESS_KEY policy=$$POLICY ok"
|
||||
depends_on:
|
||||
minio:
|
||||
condition: service_healthy
|
||||
restart: "no"
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
memory: 128M
|
||||
|
||||
# Одноразовый мигратор. Не в depends_on API: иначе compose спотыкается о restart:no.
|
||||
# Запускается явно из scripts/up.sh: docker compose run --rm migrate
|
||||
# Заодно идемпотентно проверяет, что bucket существует.
|
||||
migrate:
|
||||
build: .
|
||||
command: ["-migrate"]
|
||||
environment:
|
||||
<<: *api-env
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
minio-init:
|
||||
condition: service_completed_successfully
|
||||
restart: "no"
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
# Reconciler трека 2: /server -reconcile [-reconcile-dry-run] [-reconcile-prune-missing].
|
||||
# Запуск по требованию (profile tools, не стартует с up):
|
||||
# docker compose run --rm reconcile -reconcile-dry-run
|
||||
reconcile:
|
||||
build: .
|
||||
command: ["-reconcile"]
|
||||
environment:
|
||||
<<: *api-env
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
minio:
|
||||
condition: service_healthy
|
||||
profiles: ["tools"]
|
||||
restart: "no"
|
||||
healthcheck:
|
||||
disable: true
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 256M
|
||||
|
||||
api:
|
||||
build: .
|
||||
environment:
|
||||
<<: *api-env
|
||||
expose:
|
||||
- "8080"
|
||||
depends_on:
|
||||
redis:
|
||||
condition: service_healthy
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
minio:
|
||||
condition: service_healthy
|
||||
minio-init:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "/server", "-healthcheck"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 10
|
||||
start_period: 15s
|
||||
stop_grace_period: 10s
|
||||
# no: иначе после docker stop в stop-one.sh демон может снова поднять реплику,
|
||||
# и failover-тест увидит TARGET_INSTANCE_ID среди живых ответов.
|
||||
restart: "no"
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: ${API_CPUS:-0.50}
|
||||
memory: ${API_MEMORY:-256M}
|
||||
|
||||
lb:
|
||||
image: haproxy:2.9.14-alpine
|
||||
volumes:
|
||||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
ports:
|
||||
- "127.0.0.1:${LB_HOST_PORT:-8080}:8080"
|
||||
depends_on:
|
||||
api:
|
||||
condition: service_healthy
|
||||
healthcheck:
|
||||
test: ["CMD", "haproxy", "-c", "-f", "/usr/local/etc/haproxy/haproxy.cfg"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 5
|
||||
start_period: 5s
|
||||
stop_grace_period: 10s
|
||||
deploy:
|
||||
resources:
|
||||
limits:
|
||||
cpus: "0.50"
|
||||
memory: 128M
|
||||
|
||||
volumes:
|
||||
pgdata:
|
||||
redisdata:
|
||||
mindata:
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,6 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 1, "first_recovery_seconds": 2.809}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
Container mtusi2026lab4-api-1 Running
|
||||
Container mtusi2026lab4-api-2 Running
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,21 @@
|
||||
== подготовка: загрузить реальное вложение через API и узнать его object_key
|
||||
attachment=eeac261a-a963-44ae-b34d-0638cef7fb30 (ключ в S3 внутренний, в ответах API его нет)
|
||||
== 1. анонимный доступ
|
||||
PASS анонимный GET объекта → 403
|
||||
PASS анонимный листинг bucket → 403
|
||||
PASS анонимный PUT → 403
|
||||
== 2. контроль: подписанный запрос учётки messenger-api
|
||||
PASS GET с подписью messenger-api → 200 (объект существует)
|
||||
== 3. права учётки API ограничены bucket-ом
|
||||
PASS ListBuckets не раскрывает чужие buckets
|
||||
PASS чтение объекта в чужом bucket → 403
|
||||
PASS листинг чужого bucket → 403
|
||||
PASS запись в чужой bucket → 403
|
||||
PASS CreateBucket → 403
|
||||
== 4. консоль MinIO не опубликована
|
||||
PASS 127.0.0.1:9001 не отвечает консолью (000)
|
||||
PASS порт 9001 сервиса minio не опубликован
|
||||
публикуемые порты minio: [{127.0.0.1 9000 9000 tcp}]
|
||||
PASS в Publishers нет 9001
|
||||
PASS S3 API только на 127.0.0.1
|
||||
ИТОГ: bucket приватный
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,9 @@
|
||||
Evidence снят на стенде compose-проекта mtusi2026lab4 (2026-11-12).
|
||||
Образы MinIO: официальные minio/minio и minio/mc на Docker Hub недоступны
|
||||
(pull access denied), поэтому закреплены:
|
||||
MINIO_IMAGE=ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z
|
||||
MC_IMAGE=cgr.dev/chainguard/minio-client:latest-dev
|
||||
Остальные: postgres:16.6, redis:7.4.1, haproxy:2.9.14-alpine, сборка Dockerfile
|
||||
(golang:1.23.8-bookworm → distroless/static-debian12:nonroot).
|
||||
S3 SDK в приложении: aws-sdk-go-v2 (internal/objectstore), не minio-go.
|
||||
Прогоны: make check/test/student-test/private-bucket/test-persistence/test-failover/track2/upload-mem — PASS.
|
||||
@@ -0,0 +1,460 @@
|
||||
DATABASE_URL="${DATABASE_URL:-postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable}" \
|
||||
REDIS_URL="${REDIS_URL:-redis://127.0.0.1:6379/0}" \
|
||||
S3_ENDPOINT="${S3_ENDPOINT:-http://127.0.0.1:9000}" \
|
||||
S3_ACCESS_KEY="${S3_ACCESS_KEY:-messenger-api}" \
|
||||
S3_SECRET_KEY="${S3_SECRET_KEY:-messenger-api-secret-change-me}" \
|
||||
S3_BUCKET="${S3_BUCKET:-messenger}" \
|
||||
go test ./student-tests/ -v -count=1 -timeout 300s
|
||||
=== RUN TestMalformedJSONAndValidation
|
||||
api_test.go:96: → битый JSON, хвост после объекта, лишнее поле, пустой текст, чужой чат
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=400 request_id=fa0e0154-7179-46f6-a79e-40b9f96bc7f6 duration_ms=0
|
||||
api_test.go:99: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"fa0e0154-7179-46f6-a79e-40b9f96bc7f6"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=400 request_id=a8fac635-4393-45c5-86c7-e7590eecfa9d duration_ms=0
|
||||
api_test.go:106: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"a8fac635-4393-45c5-86c7-e7590eecfa9d"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b5966c7b-18bb-4655-bd59-f1ca02ec3d1d duration_ms=33
|
||||
api_test.go:111: создан ok_user_1c171dca id=3003e48f-ecc3-4ca2-97ab-5877b345771c
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=354d5646-2f2f-4e59-a07c-8a03e5e81d5d duration_ms=33
|
||||
api_test.go:112: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats status=201 request_id=911115c9-4961-495f-9b0f-4d3ad5291f5b duration_ms=4
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=bf51256d-0f8c-4c74-911b-dcf466c1cb54 duration_ms=0
|
||||
api_test.go:119: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"bf51256d-0f8c-4c74-911b-dcf466c1cb54"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=6f3a8af4-bd5f-4b94-beb3-21fb6a6bff1a duration_ms=0
|
||||
api_test.go:119: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"6f3a8af4-bd5f-4b94-beb3-21fb6a6bff1a"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=0b63768a-a205-4ec6-98b0-e8095fb0ab41 duration_ms=0
|
||||
api_test.go:126: status=400 body={"error":{"code":"invalid_request","message":"invalid text","request_id":"0b63768a-a205-4ec6-98b0-e8095fb0ab41"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b5a68f91-6e4d-4b4e-a801-92ad3566afea duration_ms=28
|
||||
api_test.go:131: создан outsider_514a1758 id=4461c75b-23a7-4996-b3af-df63e11a4f8e
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=d95a8147-b39b-490e-9c73-8cd507d78bc1 duration_ms=29
|
||||
api_test.go:132: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=404 request_id=b8d0ce6f-ad84-40a4-88dc-789530cddaa2 duration_ms=4
|
||||
api_test.go:134: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"b8d0ce6f-ad84-40a4-88dc-789530cddaa2"}}
|
||||
api_test.go:138: ✓ валидация JSON, хвоста, пустого текста и чужого чата
|
||||
--- PASS: TestMalformedJSONAndValidation (0.14s)
|
||||
=== RUN TestMessageTextPreservedAndLengthOnOriginal
|
||||
api_test.go:144: → пробелы по краям сохраняются; длина считается по исходному тексту
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b527081d-7a58-4600-b524-8c948a217014 duration_ms=29
|
||||
api_test.go:145: создан text_user_9e4c66a9 id=771330ae-06a7-456c-9a94-3e8051cd9d16
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=f476e861-fe56-4870-87d7-059ec9192a9e duration_ms=31
|
||||
api_test.go:146: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats status=201 request_id=49c0699c-e4c2-4026-90d0-f6a52e0fc726 duration_ms=4
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/c73e9300-8849-4189-86b3-13fa74c535c8/messages status=201 request_id=05f3985a-1a41-4f50-bc1b-5db995c288f6 duration_ms=5
|
||||
api_test.go:153: status=201 body={"attachment_ids":[],"chat_id":"c73e9300-8849-4189-86b3-13fa74c535c8","created_at":"2026-11-12T15:20:59.401Z","id":"4e33499f-bdc1-494f-bbf3-f97bff764db2","sender_id":"771330ae-06a7-456c-9a94-3e8051cd9d16","text":" строка\nс пробелами "}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/chats/c73e9300-8849-4189-86b3-13fa74c535c8/messages status=400 request_id=9c79e4f6-94ef-457f-a39b-0679097832cc duration_ms=0
|
||||
api_test.go:165: status=400 body={"error":{"code":"invalid_request","message":"invalid text","request_id":"9c79e4f6-94ef-457f-a39b-0679097832cc"}}
|
||||
api_test.go:169: ✓ текст сохранён целиком, обход лимита через TrimSpace закрыт
|
||||
--- PASS: TestMessageTextPreservedAndLengthOnOriginal (0.07s)
|
||||
=== RUN TestSessionRejectsJSONBody
|
||||
api_test.go:175: → POST /auth/sessions с телом должен быть 400 даже при верном Basic
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b793beaa-8f40-40cf-8260-25ed6b915464 duration_ms=27
|
||||
api_test.go:176: создан body_user_828ebe14 id=675b83d5-dd2f-443d-8714-011b476ba871
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=400 request_id=26dee1ba-82a6-4de2-a4ce-7e9f01f9b5c4 duration_ms=0
|
||||
api_test.go:180: status=400 body={"error":{"code":"invalid_request","message":"session create must not have a body","request_id":"26dee1ba-82a6-4de2-a4ce-7e9f01f9b5c4"}}
|
||||
api_test.go:184: ✓ вход без JSON body
|
||||
--- PASS: TestSessionRejectsJSONBody (0.03s)
|
||||
=== RUN TestWrongPasswordLogoutAndIgnoredUserHeader
|
||||
api_test.go:190: → неверный пароль, Basic на бизнес-методе, X-User-Id, logout
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=1564c2ae-4a37-4258-9903-38a5b832ef72 duration_ms=33
|
||||
api_test.go:191: создан auth_user_bf5d4fc3 id=bfc3f22d-97cf-41a1-8cd5-c6c0f6a274dd
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=2e48e45d-cef8-426a-b782-ce4fb4f6fcec duration_ms=28
|
||||
api_test.go:192: создан auth_other_99f1a3b7 id=f119c141-7566-4b75-8256-f809af4e515e
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=401 request_id=8f67f30b-10aa-4eba-a649-687e79bf0f10 duration_ms=27
|
||||
api_test.go:197: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"8f67f30b-10aa-4eba-a649-687e79bf0f10"}}
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=0ed3a21e-c386-40a3-84a6-788acd837203 duration_ms=28
|
||||
api_test.go:202: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=c7d4e9e6-4dad-4d36-ade5-693584e2da9a duration_ms=0
|
||||
api_test.go:206: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"c7d4e9e6-4dad-4d36-ade5-693584e2da9a"}}
|
||||
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=e5a1a151-d7e9-4784-8e3c-eec0572a29b0 duration_ms=0
|
||||
api_test.go:212: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"e5a1a151-d7e9-4784-8e3c-eec0572a29b0"}}
|
||||
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=200 request_id=1937777f-6431-4846-bc9b-fcca5009074a duration_ms=2
|
||||
api_test.go:221: status=200 body={"created_at":"2026-11-12T15:20:59.468Z","display_name":"Студент","id":"bfc3f22d-97cf-41a1-8cd5-c6c0f6a274dd","username":"auth_user_bf5d4fc3"}
|
||||
2026/11/12 18:20:59 method=DELETE path=/api/v1/auth/sessions/current status=204 request_id=b4bbd138-9c71-4451-ba2b-5b381aa0401d duration_ms=1
|
||||
api_test.go:227: logout status=204
|
||||
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=ac6f2a1e-32bf-41f7-b321-3f2fa8816358 duration_ms=0
|
||||
2026/11/12 18:20:59 method=DELETE path=/api/v1/auth/sessions/current status=401 request_id=e8f2c8bd-0a42-4374-960f-df0ebdc4fcd1 duration_ms=0
|
||||
api_test.go:239: ✓ пароль, заголовки и отзыв сессии
|
||||
--- PASS: TestWrongPasswordLogoutAndIgnoredUserHeader (0.13s)
|
||||
=== RUN TestSessionExpiry
|
||||
api_test.go:245: → SESSION_TTL=2s: тот же токен после паузы должен стать 401, TTL рестартом API не продлевается
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=45a35d1d-103e-4a8b-aca3-59294454b6c3 duration_ms=27
|
||||
api_test.go:246: создан ttl_user_d32ecfcc id=75d6a1f0-24d2-45d3-9dd1-87ab1f0fb879
|
||||
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=02995f15-e546-4f31-a1b0-583446f063f6 duration_ms=31
|
||||
api_test.go:247: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=401 request_id=01385dc3-1b7f-4f73-bf17-2ee106a16744 duration_ms=4
|
||||
api_test.go:250: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"01385dc3-1b7f-4f73-bf17-2ee106a16744"}}
|
||||
api_test.go:254: ✓ истёкшая сессия отклонена
|
||||
--- PASS: TestSessionExpiry (2.57s)
|
||||
=== RUN TestDuplicateUsernameRace
|
||||
api_test.go:261: → 8 параллельных регистраций username=race_8b242d62
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=67cd4204-3850-4742-89f7-cf3dacdc5512 duration_ms=83
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=f6108dc2-aab8-4915-8612-89b3cae46956 duration_ms=84
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=228330cc-a61e-4a87-a277-5c237419e39c duration_ms=85
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=73d04aba-4c41-4753-bcab-5987b01d4394 duration_ms=103
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=d6130b6b-81da-45d1-961f-e4b5f97e8423 duration_ms=103
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=389805da-aa70-414f-a39a-f6a1a50eb52e duration_ms=104
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=d8802c10-b6fa-4d77-ac49-ac9e351b1129 duration_ms=52
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=be270ccf-b860-477c-a3a7-f699e5facac8 duration_ms=107
|
||||
api_test.go:286: created=1 conflict=7
|
||||
api_test.go:290: ✓ UNIQUE username выдержал гонку
|
||||
--- PASS: TestDuplicateUsernameRace (0.12s)
|
||||
=== RUN TestChatCreateRollsBack
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=c7f53e21-7b97-44c1-b26f-f14c0a4eb5cb duration_ms=30
|
||||
api_test.go:296: создан roll_user_029f22dd id=85341e8a-d2d6-4afd-a4dd-492ef3930966
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=e6df8f11-becc-442c-a601-5dab32ec31b6 duration_ms=31
|
||||
api_test.go:297: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
api_test.go:300: → создание чата с несуществующим участником должно откатиться, title=rollback-b3694b1e-4545-4db4-96ce-8dd2ae367339
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=400 request_id=a5786f7e-1195-4a15-b7be-864554368cc4 duration_ms=4
|
||||
api_test.go:303: status=400 body={"error":{"code":"invalid_request","message":"unknown member","request_id":"a5786f7e-1195-4a15-b7be-864554368cc4"}}
|
||||
api_test.go:311: строк chats с этим title после ошибки: 0
|
||||
api_test.go:315: ✓ транзакция создания чата откатилась
|
||||
--- PASS: TestChatCreateRollsBack (0.07s)
|
||||
=== RUN TestPaginationPages
|
||||
api_test.go:321: → три сообщения, две страницы limit=2, затем последняя
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=e25dc219-59af-439f-b2b2-e1795c63495e duration_ms=31
|
||||
api_test.go:322: создан page_user_971473ff id=5b35d54a-baab-4005-82cd-6dd335c6a35b
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=a922dbce-d04d-4422-8f3d-499f3b5dcf7f duration_ms=31
|
||||
api_test.go:323: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=37b3a3ce-06e0-43d2-aff8-3ee62b5e50ef duration_ms=4
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=ee5ce5b8-b173-47ed-acaa-443782e75e1a duration_ms=5
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=30d842ab-2f7d-4e02-bded-ce088b50fd5a duration_ms=2
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=1603f1fc-8f4a-4c79-972d-b64ce2bc50e0 duration_ms=2
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=200 request_id=b53d1590-9c22-444f-b19d-ca10abde871b duration_ms=2
|
||||
api_test.go:333: status=200 body={"items":[{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.399Z","id":"46c8084e-4bbf-4ea4-baaf-cf5ff22015de","sender_id":"5b35d54a-baab-4005-82cd-6dd335c6a35b","text":"раз"},{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.402Z","id":"24b8e53a-4e6e-49d9-b627-aa863532acde","sender_id":"5...
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=200 request_id=28aa665c-685f-4bfa-a5dc-91b24b279648 duration_ms=1
|
||||
api_test.go:341: status=200 body={"items":[{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.405Z","id":"0bc4c157-1db2-45f1-bc8f-c7e2fd251fcb","sender_id":"5b35d54a-baab-4005-82cd-6dd335c6a35b","text":"три"}],"next_cursor":null}
|
||||
api_test.go:347: ✓ keyset обошёл историю без зависания cursor
|
||||
--- PASS: TestPaginationPages (0.08s)
|
||||
=== RUN TestRedisDownIsNotAnonymous
|
||||
api_test.go:351: → закрытый клиент Redis: вход и Bearer дают 503, а не 200 от анонима
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=277a8f32-4f5e-476d-9f83-897759b43fcb duration_ms=27
|
||||
api_test.go:363: создан redis_down_434d965b id=05f8b57e-d9a6-47eb-8eb5-6d6a8b9ce4b4
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=503 request_id=bb6e9374-c7fd-413f-bc34-85a68e668196 duration_ms=32
|
||||
api_test.go:367: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"bb6e9374-c7fd-413f-bc34-85a68e668196"}}
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=503 request_id=6a80272f-2ff0-4c56-bf92-5226321a43b7 duration_ms=0
|
||||
api_test.go:374: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"6a80272f-2ff0-4c56-bf92-5226321a43b7"}}
|
||||
api_test.go:378: ✓ сбой Redis не стал анонимным доступом
|
||||
--- PASS: TestRedisDownIsNotAnonymous (0.06s)
|
||||
=== RUN TestPostgresDownIsNotAnonymous
|
||||
api_test.go:382: → закрытый пул PostgreSQL: ready/me/login дают 503, без тела пользователя
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=9a8e419e-7195-44c0-90f1-e22f68b0c0ed duration_ms=26
|
||||
api_test.go:385: создан pg_down_a45c5163 id=540fb38c-746a-4976-8329-f0fc999d7b43
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=972edcb9-3c0d-4880-bcd8-0872c1843436 duration_ms=28
|
||||
api_test.go:386: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=GET path=/health/ready status=503 request_id=251fd7a0-4c17-4b81-a12d-760a5f385a62 duration_ms=0
|
||||
api_test.go:407: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"251fd7a0-4c17-4b81-a12d-760a5f385a62"}}
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=503 request_id=125676e0-2daa-4c1e-a3ea-0acf0d325f6e duration_ms=0
|
||||
api_test.go:414: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"125676e0-2daa-4c1e-a3ea-0acf0d325f6e"}}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=503 request_id=f70eeb19-072d-4c52-bd73-28a94d22ad25 duration_ms=0
|
||||
api_test.go:421: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"f70eeb19-072d-4c52-bd73-28a94d22ad25"}}
|
||||
api_test.go:425: ✓ сбой PostgreSQL не стал анонимным доступом
|
||||
--- PASS: TestPostgresDownIsNotAnonymous (0.10s)
|
||||
=== RUN TestIdempotencyReplayAndConflict
|
||||
api_test.go:431: → повтор того же Idempotency-Key возвращает то же сообщение; другой body — 409
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=0d4af35c-da66-4ee5-8954-25a22a743eb5 duration_ms=32
|
||||
api_test.go:432: создан idem_user_e3f9d6d2 id=d17c622a-5fce-4359-9c46-1533a11aaf20
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=3d54129e-26ff-4150-b9b0-1e3752cf3891 duration_ms=31
|
||||
api_test.go:433: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=bf767947-ff6a-43ba-86a5-5f4751565635 duration_ms=2
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=201 request_id=6d3afa33-b457-4751-af43-265f66c9f62a duration_ms=3
|
||||
api_test.go:441: status=201 body={"attachment_ids":[],"chat_id":"1544a1e8-ef0a-4aa8-9722-46541cb43c58","created_at":"2026-11-12T15:21:02.647Z","id":"83c4daef-265c-47e8-ad6f-a8a56f76103b","sender_id":"d17c622a-5fce-4359-9c46-1533a11aaf20","text":"один раз"}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=201 request_id=109b5934-6580-43a0-a5e1-6d903509000f duration_ms=3
|
||||
api_test.go:447: status=201 body={"attachment_ids":[],"chat_id":"1544a1e8-ef0a-4aa8-9722-46541cb43c58","created_at":"2026-11-12T15:21:02.647Z","id":"83c4daef-265c-47e8-ad6f-a8a56f76103b","sender_id":"d17c622a-5fce-4359-9c46-1533a11aaf20","text":"один раз"}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=409 request_id=8b39f1a2-1c71-4ca9-82a2-dc904b61567b duration_ms=5
|
||||
api_test.go:456: status=409 body={"error":{"code":"conflict","message":"idempotency key reused with different body","request_id":"8b39f1a2-1c71-4ca9-82a2-dc904b61567b"}}
|
||||
api_test.go:460: ✓ replay и conflict по Idempotency-Key
|
||||
--- PASS: TestIdempotencyReplayAndConflict (0.08s)
|
||||
=== RUN TestIdempotencyKeyRequiredAndConcurrent
|
||||
api_test.go:466: → нет ключа → 400; 8 параллельных POST с одним ключом → ровно одно сообщение
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=780585d1-1fad-4b6b-9c8b-7563c9d3a5d0 duration_ms=27
|
||||
api_test.go:467: создан idem_race_d71b6a08 id=f14cc2a5-5694-4b69-9446-a8f8c25f8982
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=8b357ab5-a2a0-4f93-9736-3d3812141fb3 duration_ms=25
|
||||
api_test.go:468: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=4bf498fa-2472-4f47-8fd1-1b3c472124cd duration_ms=2
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=400 request_id=052440d0-9d02-4892-b948-9b7fa305a505 duration_ms=0
|
||||
api_test.go:486: status=400 body={"error":{"code":"invalid_request","message":"invalid or missing Idempotency-Key","request_id":"052440d0-9d02-4892-b948-9b7fa305a505"}}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=a0ede04f-3b74-40dc-982d-9ff0e207cac4 duration_ms=5
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=187324fd-daf2-4e31-8436-56a8347de10f duration_ms=8
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=afec4ba7-8198-450f-ae46-3938a8a9bffa duration_ms=10
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=38044bb9-cf2f-4b36-9da0-7381d933c008 duration_ms=14
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=8b9ca85f-72d7-4fa8-ae06-aa59513ec3e6 duration_ms=18
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=accb1cb9-d98c-475e-a2ed-6e896e9841ac duration_ms=20
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=4fef2a6e-e58f-4567-9150-e19cd868f6e7 duration_ms=21
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=99e0e4a8-5387-4f9d-82e4-5fd1ef448cf0 duration_ms=22
|
||||
api_test.go:518: unique message ids=1
|
||||
api_test.go:522: ✓ ключ обязателен; конкурентный повтор не плодит дубли
|
||||
--- PASS: TestIdempotencyKeyRequiredAndConcurrent (0.09s)
|
||||
=== RUN TestInstanceIDHeaderPresent
|
||||
api_test.go:528: → каждый ответ содержит непустой X-Instance-Id
|
||||
api_test.go:530: status=200 body={"status":"ok"}
|
||||
api_test.go:534: ✓ X-Instance-Id=test-instance
|
||||
--- PASS: TestInstanceIDHeaderPresent (0.00s)
|
||||
=== RUN TestAttachmentRoundTripAndAccessControl
|
||||
attachments_test.go:203: → PNG и JPEG: 201 ready, sha256/size, download без redirect, доступ только участникам
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=6e4cf788-8399-4032-9159-6d2029d3c612 duration_ms=28
|
||||
attachments_test.go:206: создан att_alice_0369edce id=92d6e1b1-fc12-4766-8054-8eac013c417d
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=7ecee9dd-ef8d-4328-b3f7-6aa143868994 duration_ms=29
|
||||
attachments_test.go:207: создан att_bob_634fd3d1 id=8c427980-01eb-4916-a099-98c4694eed5f
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=72dbeb2f-eae9-4b4b-9b44-afa6a2559ef8 duration_ms=32
|
||||
attachments_test.go:208: создан att_eve_44a9b03a id=c045b1c2-e6ac-4732-8000-7f0c36964fc5
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=602a420d-1655-4496-a09c-d064ebe15692 duration_ms=28
|
||||
attachments_test.go:209: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=ee3b3b0c-ad73-43ba-8505-2005b0ebcd14 duration_ms=26
|
||||
attachments_test.go:210: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=cec3c99a-aab9-4e2a-a208-e17b0dc93324 duration_ms=25
|
||||
attachments_test.go:211: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=a0e3f7dc-bde5-400a-b32d-95a991150b96 duration_ms=2
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=201 request_id=da72f69e-6084-4304-8102-1bae9cda4426 duration_ms=14
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766 status=200 request_id=b3080e14-d0b6-457e-ad6b-ff1a72f9acd7 duration_ms=1
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=200 request_id=b33b54c6-963d-43de-b7ee-956b80a6aa65 duration_ms=3
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=201 request_id=06960154-31d0-4008-8255-760cbaf10f50 duration_ms=6
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766 status=404 request_id=d0d252ae-b286-4bdc-b906-2af551f712b8 duration_ms=0
|
||||
attachments_test.go:259: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"d0d252ae-b286-4bdc-b906-2af551f712b8"}}
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=404 request_id=a0539da8-2730-43ac-b728-490c162068ce duration_ms=0
|
||||
attachments_test.go:259: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"a0539da8-2730-43ac-b728-490c162068ce"}}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=404 request_id=d6aefebd-c85e-4938-b93d-e51f115a7bf6 duration_ms=0
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=401 request_id=1d398754-6ebd-4785-98b5-44fbe48bb372 duration_ms=0
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=404 request_id=6c3e9b82-7f94-4992-998c-7832da849a08 duration_ms=0
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/d255ba11-5aef-4461-8c90-29ca5c4d5a8a status=404 request_id=e0993f8d-f2e1-4fe5-8a9e-afdc3343da36 duration_ms=0
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=201 request_id=3887ce82-79cc-4323-a368-a62c836d88ba duration_ms=6
|
||||
attachments_test.go:288: status=201 body={"attachment_ids":["ba356163-1259-4131-b94d-78015d549baa","71f98842-17c6-4837-9426-ec2951c22766"],"chat_id":"bb480e58-f08e-46ec-addc-89f9f0a3a52f","created_at":"2026-11-12T15:21:02.960Z","id":"7a06e1d0-ba84-4721-81b3-6ca52581484f","sender_id":"92d6e1b1-fc12-4766-8054-8eac013c417d","text":"смотри"}
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=201 request_id=51180a21-9726-4992-9201-5916574ddc1a duration_ms=2
|
||||
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=409 request_id=338693e4-08fd-4919-966d-a298fb02f948 duration_ms=1
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=200 request_id=fe8e7004-cf2f-4632-b7f0-62352052b027 duration_ms=1
|
||||
2026/11/12 18:21:02 method=GET path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=404 request_id=42999fe0-4ec6-49c0-a6d9-49a747b86054 duration_ms=0
|
||||
attachments_test.go:319: ✓ upload/download/доступ/replay работают, внутренние ключи не раскрываются
|
||||
--- PASS: TestAttachmentRoundTripAndAccessControl (0.22s)
|
||||
=== RUN TestAttachmentTooLarge
|
||||
attachments_test.go:324: → ровно 10 MiB проходит лимит размера (дальше 415 как не-картинка), 10 MiB+1 → 413
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=a38c61bf-2bba-43e2-b065-ef44916ec6be duration_ms=28
|
||||
attachments_test.go:325: создан att_big_06b1c5dc id=c4bf6d5c-200b-41df-885f-1ca705dd887d
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=07115aad-600a-4222-877c-70ea59d6cb30 duration_ms=25
|
||||
attachments_test.go:325: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=9732c58f-df62-43bd-ab87-5e20100c4340 duration_ms=2
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=415 request_id=551e1b8f-759f-4caf-942b-4435997f350d duration_ms=3
|
||||
attachments_test.go:330: status=415 body={"error":{"code":"unsupported_media_type","message":"file is not a valid png/jpeg image","request_id":"551e1b8f-759f-4caf-942b-4435997f350d"}}
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=37f1c631-3aad-4523-991c-75db111b3a06 duration_ms=4
|
||||
attachments_test.go:337: status=413 body={"error":{"code":"payload_too_large","message":"file is too large","request_id":"37f1c631-3aad-4523-991c-75db111b3a06"}}
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=e82efd26-b2d8-46b3-b65e-248446bebbbf duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=67fc6b9c-ec45-4119-85a2-ea35c2f60e77 duration_ms=8
|
||||
attachments_test.go:364: ✓ лимит байтов: граница точная, работает и для chunked
|
||||
--- PASS: TestAttachmentTooLarge (0.08s)
|
||||
=== RUN TestAttachmentPixelLimit
|
||||
attachments_test.go:369: → 8000x5000 (=40 млн) принимается, 8000x5001 → 413
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=8b544036-7b74-44fc-ba8b-7341f6a76968 duration_ms=26
|
||||
attachments_test.go:370: создан att_px_74e2479b id=127820d4-2fce-4e84-8e64-7050d620006d
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=a9dd2101-110e-4fff-a5a6-4d4df7c6928e duration_ms=26
|
||||
attachments_test.go:370: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e5fe6311-319a-4386-b011-396b7e349758 duration_ms=2
|
||||
attachments_test.go:373: PNG 8000x5000 занимает 9860 байт на проводе
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ff4de357-c5ea-4edd-8110-c0b21ddc2cda/attachments status=201 request_id=496c7692-87b3-4597-8532-dec4c1970617 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ff4de357-c5ea-4edd-8110-c0b21ddc2cda/attachments status=413 request_id=f4ecc33c-52cf-458a-8d90-5aaffdbceb16 duration_ms=0
|
||||
attachments_test.go:381: status=413 body={"error":{"code":"payload_too_large","message":"image has too many pixels","request_id":"f4ecc33c-52cf-458a-8d90-5aaffdbceb16"}}
|
||||
attachments_test.go:385: ✓ лимит пикселей по заголовку, без полного декода
|
||||
--- PASS: TestAttachmentPixelLimit (0.08s)
|
||||
=== RUN TestAttachmentCorruptAndMimeSpoof
|
||||
attachments_test.go:390: → мусор, усечённые PNG/JPEG, битый CRC, GIF под видом PNG, подмена Content-Type
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=87dc6e69-788e-458c-b29b-408171e7e34c duration_ms=25
|
||||
attachments_test.go:391: создан att_bad_d38447a8 id=becc49c6-2c78-40bc-8e4f-8beb6eb3545b
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=3d12be94-553c-46fa-a049-b69dda676470 duration_ms=26
|
||||
attachments_test.go:391: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=8c9f44ac-33e5-4922-9adb-8a26ea8a5218 duration_ms=3
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=01f41150-69a5-4b67-ba43-90e77a6ad19f duration_ms=1
|
||||
attachments_test.go:419: случайные байты как png → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=beabb3eb-054e-4f84-971a-68461686358e duration_ms=0
|
||||
attachments_test.go:419: пустое тело → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=9bee11e4-c293-4961-ad9a-b67ceb74159d duration_ms=1
|
||||
attachments_test.go:419: усечённый PNG → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=2c339eff-701e-462f-a774-410acebf148d duration_ms=0
|
||||
attachments_test.go:419: усечённый JPEG → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=a6f23d48-1d77-4c7b-86a7-21baf6421fd1 duration_ms=0
|
||||
attachments_test.go:419: PNG с битым CRC → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=e5955056-1e64-4f99-af56-d669b25e55e1 duration_ms=0
|
||||
attachments_test.go:419: GIF под видом PNG → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=507a1420-7016-4afa-a880-4222584deef9 duration_ms=0
|
||||
attachments_test.go:419: PNG под видом JPEG (спуфинг) → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=cbe98dc7-a32e-43d1-b222-c354394326c7 duration_ms=0
|
||||
attachments_test.go:419: JPEG под видом PNG (спуфинг) → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=14149874-3231-474d-970c-62ec7e4b5a07 duration_ms=0
|
||||
attachments_test.go:419: валидный PNG, но Content-Type text/plain → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=3a1e91b0-dbbd-45bb-b027-09231e71bffe duration_ms=0
|
||||
attachments_test.go:419: валидный PNG без Content-Type → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=75feae20-26cf-4610-a15b-2da6db8b3c39 duration_ms=0
|
||||
attachments_test.go:419: валидный PNG, Content-Type image/gif → 415
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=201 request_id=d5ac73a6-35ae-4f0c-a876-377f943ac912 duration_ms=7
|
||||
attachments_test.go:437: ✓ все повреждённые/подменённые файлы → 415, строки в БД не создаются
|
||||
--- PASS: TestAttachmentCorruptAndMimeSpoof (0.08s)
|
||||
=== RUN TestAttachmentFilenameValidation
|
||||
attachments_test.go:441: → filename: '/', '\', NUL, управляющие, пустое, >255 → 400; unicode и пробелы допустимы
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=40d2e58b-dc12-4be0-b2dc-5fc79bcf2d20 duration_ms=27
|
||||
attachments_test.go:442: создан att_name_f56bf6c9 id=23d33717-5ceb-40c1-9dc0-21f0d1c28dda
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=4640a2a0-b172-4090-864f-aba20005ee49 duration_ms=27
|
||||
attachments_test.go:442: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=f5010f50-f611-4f9e-a754-0cbcb7ac23c4 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=4e0d5c3d-1a46-45f2-bdb5-dfa98cc258bb duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=fa331260-0306-4fb9-9b6f-f4a710875c9f duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=93e97dc4-0ab3-47e8-ad88-0849360f9e26 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=488c7efb-3620-4a17-91d5-a7ea99e90bc1 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=72e31491-8750-4d18-8749-50e36593a850 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=3c45fb04-8b0d-4046-a533-34b9ff296d58 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=368ee4ed-4e92-4658-9a8c-bfd9a285a60c duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=6ab9d83f-74ef-4d74-ab1c-a5545cd5a8b1 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=e0449682-ba68-493f-8a32-8fdaf2995b1d duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=fe6a0d4c-d09d-4cc6-99b1-fe5fcb2b703d duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=0782590f-cdc8-4968-bf16-75d50c70fcb0 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=47014ac4-41fa-4b5e-8812-e5252b405605 duration_ms=5
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=a6ae5e5a-312b-4d60-80dd-5b1331351326 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=3db5881c-a069-426f-b45f-ae945c3c132c duration_ms=4
|
||||
attachments_test.go:472: ✓ опасные имена отклоняются, обычные Unicode-имена сохраняются как есть
|
||||
--- PASS: TestAttachmentFilenameValidation (0.09s)
|
||||
=== RUN TestMessageAttachmentRules
|
||||
attachments_test.go:478: → foreign attachment_id, вложение другого чата, неизвестный id, лимиты и пустой текст
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=b9cb6860-4b63-4991-9161-49e712f566ca duration_ms=27
|
||||
attachments_test.go:481: создан rule_alice_c69fdfb5 id=2ed8e71c-b59d-48d2-9270-9f91440088f3
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=7a5bd2e4-218d-4d89-a951-d7729d4d8637 duration_ms=26
|
||||
attachments_test.go:482: создан rule_mal_0875e0ad id=8e4fe916-85e5-49ba-86db-4b834cbb3e38
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=9c3559f0-f5a5-4b3c-8fd8-47464d816dd9 duration_ms=26
|
||||
attachments_test.go:483: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=8a19c95c-354f-4e5e-976c-7ff15b33f111 duration_ms=26
|
||||
attachments_test.go:484: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e11ca7fc-a6df-4be7-b50d-37f7eb82b6f7 duration_ms=2
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=c0527ca6-ba95-4357-9054-7b7876e4ff56 duration_ms=2
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=ecb5246d-77fe-47d6-b3f5-6f62f24f5dce duration_ms=1
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=51b70749-b7eb-44a2-aadb-d32c558455a6 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/f8dff763-c43e-477b-a13c-634840b972c7/attachments status=201 request_id=0ff47167-3a0e-4938-b85c-318c52b94d9c duration_ms=7
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=5b9ed3e5-e43b-4e3e-b587-79a7999c8171 duration_ms=2
|
||||
attachments_test.go:499: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"5b9ed3e5-e43b-4e3e-b587-79a7999c8171"}}
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/7ef09876-6342-45b3-8763-08c9cbedd450/messages status=404 request_id=2b8a18ce-f02d-424f-87ed-0369d2b6c1e0 duration_ms=1
|
||||
attachments_test.go:505: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"2b8a18ce-f02d-424f-87ed-0369d2b6c1e0"}}
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=e1e742db-a87b-4038-9e7c-7eaa6b14a249 duration_ms=2
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=bb593e90-63a4-43fd-92ba-ff7bc9db70a4 duration_ms=2
|
||||
2026/11/12 18:21:03 method=GET path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=200 request_id=addcd400-b6de-41ac-94c0-07118333ecb7 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=8fbfbcbf-b7f5-44ff-9ac4-9ae8d2c0f125 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=8adb91a2-d1b7-4c04-a70a-2220c60d9dbd duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=a4f053ab-614f-43d5-8a5d-8cb709c9ebda duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=422ad727-1d32-49f4-8c32-0e1e4d69adb7 duration_ms=0
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=447bbf49-037b-4fcf-850b-ea704f48af30 duration_ms=3
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=64c91a01-556e-4f05-84b8-060f06ea9b97 duration_ms=7
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=198f124f-93e8-43fe-905c-35804e9e6963 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=89d7ca2a-fdf7-488f-b7bb-33c472bedd07 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=26676c65-1e95-47b1-a1c0-371aff9a3447 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=35039c37-0108-4258-b680-01ba331055d1 duration_ms=5
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=cdcaf7a0-a79a-4529-a92f-ea90dcbde1a1 duration_ms=6
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=959cc0c6-dd65-4176-96c7-b3be0dbf0511 duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=01ca5d27-fa2b-4ec9-b4d9-b7c79aa3853b duration_ms=4
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=eea2e1c9-8160-4dd1-a51c-4f18ce4ec645 duration_ms=3
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=7a5bebc5-f84c-4604-baef-41ee23875067 duration_ms=3
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=e1a3cb5e-2b70-4afa-a39f-5a7c134398dc duration_ms=5
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=de7f1761-1e00-4c1e-b42d-5ac221473cd8 duration_ms=2
|
||||
attachments_test.go:565: ✓ чужое/другой чат/неизвестное → 404, лимиты → 400, пустой текст только с вложением
|
||||
--- PASS: TestMessageAttachmentRules (0.21s)
|
||||
=== RUN TestS3DownGivesLimitedError
|
||||
attachments_test.go:571: → API с недоступным S3: upload/ready → 503, без утечек и полуфабрикатов в БД
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=28474f4e-0a5c-48cb-85d6-a4f8c18931be duration_ms=28
|
||||
attachments_test.go:580: создан att_down_be3d20bc id=7b75f89b-5333-4875-b920-69edf9803751
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=5d95ef5e-f3e5-4c97-89e9-fc2bf8d2de04 duration_ms=33
|
||||
attachments_test.go:580: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e3e3a8ad-bcce-41c6-ae4e-cec583c0ebfc duration_ms=2
|
||||
2026/11/12 18:21:04 request_id=fcb84c10-04bd-4cfe-b0cf-5c546de7cee1 attachment_put_failed err=object store unavailable
|
||||
2026/11/12 18:21:04 method=POST path=/api/v1/chats/67011494-ea93-4cc1-afcf-e6906dc4e560/attachments status=503 request_id=fcb84c10-04bd-4cfe-b0cf-5c546de7cee1 duration_ms=1271
|
||||
attachments_test.go:591: upload при лежащем S3: status=503 за 1.272s body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"fcb84c10-04bd-4cfe-b0cf-5c546de7cee1"}}
|
||||
2026/11/12 18:21:04 method=GET path=/health/ready status=503 request_id=be8ccc50-9756-4656-b12c-2662b55dada1 duration_ms=131
|
||||
attachments_test.go:616: ✓ лежащий S3 → 503 без деталей, ready=503, live=200, БД чиста
|
||||
--- PASS: TestS3DownGivesLimitedError (1.48s)
|
||||
=== RUN TestCompensationWhenPostgresFailsAfterPut
|
||||
attachments_test.go:633: → отказ PG после успешного PUT: объект удаляется компенсацией
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=3f4dfeac-f9bd-40af-8ca0-13391d0ef203 duration_ms=44
|
||||
attachments_test.go:635: создан att_comp_d1d08db2 id=114e5155-1aa2-46b5-9c42-fab4ff3a670d
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=c7902eca-e898-4474-93c7-42733b26f62f duration_ms=39
|
||||
attachments_test.go:635: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=ebf99fd6-6fab-4182-8d46-3a73018c444d duration_ms=5
|
||||
2026/11/12 18:21:05 request_id=a8e660c6-0f0b-4e5f-8286-66dfc16e957c attachment_compensated key=attachments/3fd3ff59-5aab-4036-9021-922ba3677d30/f603c13e-4000-44c9-9eb5-42c6c5e70525 (PG insert не удался, объект удалён)
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3fd3ff59-5aab-4036-9021-922ba3677d30/attachments status=503 request_id=a8e660c6-0f0b-4e5f-8286-66dfc16e957c duration_ms=9
|
||||
attachments_test.go:668: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"a8e660c6-0f0b-4e5f-8286-66dfc16e957c"}}
|
||||
key=attachments/3fd3ff59-5aab-4036-9021-922ba3677d30/f603c13e-4000-44c9-9eb5-42c6c5e70525
|
||||
attachments_test.go:682: ✓ orphan после отказа PG удалён сразу; если бы удаление не удалось — его уберёт reconciler
|
||||
--- PASS: TestCompensationWhenPostgresFailsAfterPut (0.16s)
|
||||
=== RUN TestConcurrentUploads
|
||||
attachments_test.go:687: → 12 параллельных загрузок: все 201, уникальные id, sha256 совпадает
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=fd1ff7b6-038f-41ec-8463-3fd9dbb9b4fe duration_ms=28
|
||||
attachments_test.go:688: создан att_conc_729779e9 id=067c689f-0d1d-4b41-bdea-6eb65ae92fbc
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=423752b8-2326-44f0-b48f-c5ae3e4eacae duration_ms=26
|
||||
attachments_test.go:688: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=e4b1ca4e-d18e-45ce-b60d-b88baa0cace1 duration_ms=3
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=842c0196-6ea1-4bb5-8450-0182451d43bb duration_ms=24
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=91e0e4e9-3367-4a49-b66f-057b300dc7d8 duration_ms=22
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=e9c7d4bf-c4aa-4ae2-8929-f83d6ef5ebd2 duration_ms=23
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=ea3d7a13-607e-484c-85f7-66944202c90b duration_ms=28
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=599764a6-60c2-4601-b010-87306de3308b duration_ms=31
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=7307aa9a-b9b0-42a0-9954-d2c6ac5fc73c duration_ms=34
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=a9fab778-7f4a-42d2-831d-c91b055316dd duration_ms=37
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=56bc0db3-9caf-4ab1-87e3-0b079bb65949 duration_ms=42
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=5bb79162-f7f8-4717-b0c6-cca67420a035 duration_ms=44
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=8f2b880b-faf9-4ebf-acb0-86715b023b8e duration_ms=46
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=b7aec8d5-0748-4f2a-aaac-dcc5ffd924b1 duration_ms=47
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=c6c1d078-1df0-4693-94b4-415c4ec67b61 duration_ms=49
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/7ec3a691-cfca-467b-b0a2-ff4e1f53c949/content status=200 request_id=177f750c-a9d5-4624-aa3a-7515d536e5a1 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/12529cbe-d38a-4fa9-9ae1-a5f93019d1ed/content status=200 request_id=9160b307-b1f8-4042-8ba0-6eba4bd45430 duration_ms=4
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/856c227c-f06e-414a-81e5-562ec4f1c5a8/content status=200 request_id=d2d18836-fc10-4ec4-9183-d33d39f749ea duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/7e980bbe-48a1-40c7-a82a-52459dd20e46/content status=200 request_id=850aeded-fff7-4591-a889-5f3bfecefcb8 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/1fc778ae-90d7-4f91-b268-b18ef96605b6/content status=200 request_id=b176d12b-906b-49c0-bb74-605a323cd5c8 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/886f5134-5ebe-49ae-83da-9edf27026f83/content status=200 request_id=868ee301-cde4-4e17-a7a5-52cf6bbd5547 duration_ms=4
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/43e2cb09-1a68-47a2-b523-be02aea103e3/content status=200 request_id=1f3f748f-8bbb-42e7-8fe3-9a9ad3ebd46f duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/d8a8d773-00b5-4090-9e23-42c7c72b4139/content status=200 request_id=2f7bc742-8fd3-4dec-aa96-983ea818e320 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/761e93f4-4522-45f8-89c8-fdae1343bb29/content status=200 request_id=e1e71780-72d2-4f6e-8228-e47881938f45 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/9dbac555-6be3-4310-83d5-a6c7fc6d949d/content status=200 request_id=22d7fc16-aeaa-4d11-976b-0996cdaae1d1 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/eb4d547a-b80d-44f6-b6c8-5a29190b3e96/content status=200 request_id=91b301eb-81a6-4ad9-a0a5-b4a0f6c9d7d3 duration_ms=3
|
||||
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/c1d2796d-ee2b-462b-8190-c99cd40bf68d/content status=200 request_id=43c98164-f333-43b3-be42-85de3fe36a8d duration_ms=2
|
||||
attachments_test.go:722: ✓ параллельные загрузки целы
|
||||
--- PASS: TestConcurrentUploads (0.17s)
|
||||
=== RUN TestObjectKeyIsServerAssigned
|
||||
attachments_test.go:727: → ключ объекта = attachments/{chat}/{id}; filename в ключ не попадает
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=4b5d980a-bb3a-42b4-9d2d-572ed3a9bc85 duration_ms=28
|
||||
attachments_test.go:728: создан att_key_890af9c3 id=7df2d519-ee05-4b51-9322-6263cc7490c3
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=39ca6337-75c6-4fda-a393-8292baec5db1 duration_ms=27
|
||||
attachments_test.go:728: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=79d3a97e-3cc5-4ae9-81cc-a0698201e9cf duration_ms=3
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats/70b9221c-d96d-415f-9fa6-5625c371595f/attachments status=201 request_id=13642977-9dd9-4b28-b66e-7b2d73c3a8ba duration_ms=4
|
||||
attachments_test.go:742: ✓ ключ серверный: attachments/70b9221c-d96d-415f-9fa6-5625c371595f/eb535487-7035-4e1e-9f56-8af382801a83
|
||||
--- PASS: TestObjectKeyIsServerAssigned (0.07s)
|
||||
=== RUN TestReconcilerOrphanAndMissing
|
||||
reconcile_test.go:25: → orphan/missing: dry-run ничего не меняет; свежие и используемые не удаляются; повтор идемпотентен
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=2e6e9279-44cd-420e-8da9-37754018b14f duration_ms=26
|
||||
reconcile_test.go:29: создан rec_081c44dc id=d3cb5e2e-d253-4d2c-b736-ccd10389a7e9
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=d306f630-fb12-4b39-876e-6419974cdb52 duration_ms=25
|
||||
reconcile_test.go:29: сессия выпущена, длина токена=64 (значение не печатаем)
|
||||
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=2ad9df61-3514-40d4-a630-10572053ee9b duration_ms=2
|
||||
reconcile_test.go:74: смещение часов S3 относительно теста: 436ms
|
||||
reconcile.go:261: SKIP fresh orphan (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
|
||||
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:320: DRY-RUN missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:135: R1 dry-run, now: {DryRun:true GraceSeconds:60 PruneMissing:true S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:108 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:1 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:3 MissingUsed:1 MissingFresh:1 MissingStale:1 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile.go:277: DRY-RUN would delete orphan (age=2m0s, size=14): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
|
||||
reconcile.go:320: DRY-RUN missing object, unused stale row (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:320: DRY-RUN missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:147: R2 dry-run, +120s: {DryRun:true GraceSeconds:60 PruneMissing:true S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:126 Matched:34 OrphansFound:1 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7] MissingFound:3 MissingUsed:1 MissingFresh:0 MissingStale:2 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile.go:285: DELETED orphan (age=2m0s, size=14): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
|
||||
reconcile.go:322: REPORT missing object, unused stale row (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7), prune выключен: attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:322: REPORT missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8), prune выключен: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:156: R3 real, +120s, prune off: {DryRun:false GraceSeconds:60 PruneMissing:false S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:1 DurationMs:99 Matched:34 OrphansFound:1 OrphansDeleted:1 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7] MissingFound:3 MissingUsed:1 MissingFresh:0 MissingStale:2 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:331: PRUNED row without object (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8): attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:171: R4 real, now, prune on: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:37 S3ListCalls:18 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:111 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:3 MissingUsed:1 MissingFresh:1 MissingStale:1 MissingPruned:1 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:183: R5 repeat: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:36 S3ListCalls:18 DBPages:19 HeadCalls:2 DeleteCalls:0 DurationMs:89 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:2 MissingUsed:1 MissingFresh:1 MissingStale:0 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile.go:331: PRUNED row without object (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
|
||||
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
|
||||
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
|
||||
reconcile_test.go:189: R6 real, +120s, prune on: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:36 S3ListCalls:18 DBPages:19 HeadCalls:2 DeleteCalls:0 DurationMs:113 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:2 MissingUsed:1 MissingFresh:0 MissingStale:1 MissingPruned:1 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
|
||||
reconcile_test.go:197: ✓ orphan удалён после grace, чужие ключи/свежие/используемые целы, dry-run и повтор безопасны
|
||||
--- PASS: TestReconcilerOrphanAndMissing (0.75s)
|
||||
PASS
|
||||
ok mtusi2026lab4/student-tests 7.559s
|
||||
@@ -0,0 +1,30 @@
|
||||
bash scripts/run_track2.sh
|
||||
== 1. подготовка данных через API
|
||||
== 2. инъекция сбоев в S3 (root-учётка mc, только для сценария)
|
||||
пачка из 300 orphan-объектов для замера стоимости обхода
|
||||
== 3. ждём 45+2 с: orphan_old/missing_stale «стареют» за grace
|
||||
теперь «свежие» нарушения (моложе grace):
|
||||
== 4. dry-run (ничего не должно измениться)
|
||||
1_dry_run: exit=2 (orphans_found=301 deleted=0 missing_found=3 used=1 pruned=0 duration_ms=82)
|
||||
== 5. реальный запуск
|
||||
2_real: exit=2 (orphans_found=301 deleted=301 missing_found=3 used=1 pruned=1 duration_ms=357)
|
||||
== 6. повторный запуск (идемпотентность)
|
||||
3_repeat: exit=2 (orphans_found=0 deleted=0 missing_found=2 used=1 pruned=0 duration_ms=17)
|
||||
== 7. проверка инвариантов
|
||||
PASS dry-run не менял данные
|
||||
PASS dry-run нашёл orphan-ы, но не удалил (deleted=0)
|
||||
PASS dry-run: missing used/stale/fresh обнаружены
|
||||
PASS real: orphan_old и пачка удалены
|
||||
PASS real: orphan_old действительно исчез из S3
|
||||
PASS real: свежий orphan цел
|
||||
PASS real: объект с чужой схемой ключа цел
|
||||
PASS real: control (строка+объект) цел
|
||||
PASS real: used без объекта НЕ удалён, есть alert
|
||||
PASS real: stale unused без объекта удалена (prune)
|
||||
PASS real: fresh без объекта НЕ удалена
|
||||
PASS repeat: идемпотентность (0 удалений, 0 prune)
|
||||
# Стоимость обхода (из JSON-отчётов)
|
||||
1_dry_run s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=0 duration_ms=82
|
||||
2_real s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=301 duration_ms=357
|
||||
3_repeat s3_objects=41 db_rows=41 s3_list_calls=1 db_pages=2 head_calls=2 delete_calls=0 duration_ms=17
|
||||
ИТОГ track2: все инварианты выполнены (evidence в evidence/track2/)
|
||||
@@ -0,0 +1 @@
|
||||
2
|
||||
@@ -0,0 +1,82 @@
|
||||
{
|
||||
"dry_run": true,
|
||||
"grace_seconds": 45,
|
||||
"prune_missing": true,
|
||||
"s3_objects_scanned": 342,
|
||||
"db_rows_scanned": 42,
|
||||
"s3_list_calls": 1,
|
||||
"db_pages": 2,
|
||||
"s3_head_calls": 3,
|
||||
"s3_delete_calls": 0,
|
||||
"duration_ms": 82,
|
||||
"matched": 39,
|
||||
"orphans_found": 301,
|
||||
"orphans_deleted": 0,
|
||||
"orphans_fresh": 1,
|
||||
"orphans_raced": 0,
|
||||
"unknown_keys": 1,
|
||||
"orphan_sample_keys": [
|
||||
"attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00ad9195-f154-41ec-b8e1-b5bcd007bf70",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00b04295-d403-4a7c-8f0a-b1acf9445b54",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/021b397d-b610-42ff-ba41-1df1eddc0c15",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/039cdcb0-a161-4f3b-bcd2-f023b925056c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/03a9a04a-2de8-4d5a-938d-491b81c17d8a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04765935-ee49-4470-ad20-760e0194e03e",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04dbb0dc-00d6-494f-9cd0-7fc1e14347b7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/058b9e86-cd0d-4c0f-9de5-9f9e65ec5cbf",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0656e05f-6957-4581-bf0b-85076bd1f850",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/06cd38d1-233b-44d0-ab5f-9a0f05c7d3a0",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/070c49a4-be67-45cf-a727-9c535b589ecb",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/07f9b3a5-7f2b-4c09-8ea7-a6e3efbf8e2c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0817d1c4-1341-4255-8e2b-5676797b0be3",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0838a07c-dcae-4076-bcbf-eb53753177a2",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/087ca7b1-0f38-4517-9866-16d9a8ba95b8",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/08a49513-d0d4-43e9-b3e9-8203c291b023",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0963b36c-0375-41e6-b763-6e5c4a5dcd29",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/09fbeba6-4bfb-459a-ac1c-022543a48760",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0ad6ad0c-1e38-4430-a9a9-a3d9937753df",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0b82a572-89b0-4ad5-82bc-d321f09fc05f",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0bba8c5b-cfe9-405b-9c63-9ca75c8800d7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e25074c-fc1d-4a77-a208-bb278f93ea62",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e2b663e-f32d-4550-8a0d-ebefbb02a47c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0f7d1a3e-23eb-4a9f-aeeb-53d0b2f21982",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/104c44f5-5fe3-41e0-b576-afd4d6c342c4",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1057fcab-bfda-47ed-8e0c-31ba7614758c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10945365-d87f-4581-a69c-a520a959a1f5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10ea6156-2bb0-4a75-862c-e8e2af426ea1",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/110e2087-08b8-493b-9c4d-b22220f05d3a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/114a75a8-1211-443c-8bd5-4558a4971104",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/11d0fc7b-e96f-42bf-a6a2-f85102ec038b",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/14b30e10-d80a-4118-b152-0e1a7dd9a06a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/157ebb20-4c70-4938-aa3f-5e8f67464e02",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/182ace2b-7d4f-4b76-94c9-fac65a57a58d",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1998e8d6-4a41-451f-b34e-0aafbd7e17f9",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1b9e2efe-436a-457c-bb0a-b517b7007484",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1bdb7260-923e-49d4-8383-437dcfd6d689",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1c8a308a-37e3-4f78-9f49-2d59d40435e5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1d62b390-7c52-428c-8ff4-8d26c02619e0",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dd3d1c4-f2fc-408c-a769-ca7473c2ed0d",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dfb697b-e9db-44b1-848d-4f0fdbefde1e",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1e1e0483-4532-4402-b523-b88a7fa99fcb",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1ef09544-7b5b-4732-8a10-564fc2f41a26",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1fe30ad6-0fde-47de-9efa-3d38d9a599b5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/226aa095-45db-47b8-ab36-3cb884d4efa4",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/2409cc53-7aaf-4feb-bc76-70f5c4fe0ef5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/26008aac-6963-4ffa-b066-2d2b47313752",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28500936-1e4a-47b4-a239-40c4d6c439b3",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28f82c57-fab8-40f3-8037-a3642a393188"
|
||||
],
|
||||
"missing_found": 3,
|
||||
"missing_used": 1,
|
||||
"missing_fresh": 1,
|
||||
"missing_stale": 1,
|
||||
"missing_pruned": 0,
|
||||
"missing_raced": 0,
|
||||
"missing_sample_keys": [
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f",
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
|
||||
],
|
||||
"errors": 0
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
2
|
||||
@@ -0,0 +1,82 @@
|
||||
{
|
||||
"dry_run": false,
|
||||
"grace_seconds": 45,
|
||||
"prune_missing": true,
|
||||
"s3_objects_scanned": 342,
|
||||
"db_rows_scanned": 42,
|
||||
"s3_list_calls": 1,
|
||||
"db_pages": 2,
|
||||
"s3_head_calls": 3,
|
||||
"s3_delete_calls": 301,
|
||||
"duration_ms": 357,
|
||||
"matched": 39,
|
||||
"orphans_found": 301,
|
||||
"orphans_deleted": 301,
|
||||
"orphans_fresh": 1,
|
||||
"orphans_raced": 0,
|
||||
"unknown_keys": 1,
|
||||
"orphan_sample_keys": [
|
||||
"attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00ad9195-f154-41ec-b8e1-b5bcd007bf70",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00b04295-d403-4a7c-8f0a-b1acf9445b54",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/021b397d-b610-42ff-ba41-1df1eddc0c15",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/039cdcb0-a161-4f3b-bcd2-f023b925056c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/03a9a04a-2de8-4d5a-938d-491b81c17d8a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04765935-ee49-4470-ad20-760e0194e03e",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04dbb0dc-00d6-494f-9cd0-7fc1e14347b7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/058b9e86-cd0d-4c0f-9de5-9f9e65ec5cbf",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0656e05f-6957-4581-bf0b-85076bd1f850",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/06cd38d1-233b-44d0-ab5f-9a0f05c7d3a0",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/070c49a4-be67-45cf-a727-9c535b589ecb",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/07f9b3a5-7f2b-4c09-8ea7-a6e3efbf8e2c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0817d1c4-1341-4255-8e2b-5676797b0be3",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0838a07c-dcae-4076-bcbf-eb53753177a2",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/087ca7b1-0f38-4517-9866-16d9a8ba95b8",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/08a49513-d0d4-43e9-b3e9-8203c291b023",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0963b36c-0375-41e6-b763-6e5c4a5dcd29",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/09fbeba6-4bfb-459a-ac1c-022543a48760",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0ad6ad0c-1e38-4430-a9a9-a3d9937753df",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0b82a572-89b0-4ad5-82bc-d321f09fc05f",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0bba8c5b-cfe9-405b-9c63-9ca75c8800d7",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e25074c-fc1d-4a77-a208-bb278f93ea62",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e2b663e-f32d-4550-8a0d-ebefbb02a47c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0f7d1a3e-23eb-4a9f-aeeb-53d0b2f21982",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/104c44f5-5fe3-41e0-b576-afd4d6c342c4",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1057fcab-bfda-47ed-8e0c-31ba7614758c",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10945365-d87f-4581-a69c-a520a959a1f5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10ea6156-2bb0-4a75-862c-e8e2af426ea1",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/110e2087-08b8-493b-9c4d-b22220f05d3a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/114a75a8-1211-443c-8bd5-4558a4971104",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/11d0fc7b-e96f-42bf-a6a2-f85102ec038b",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/14b30e10-d80a-4118-b152-0e1a7dd9a06a",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/157ebb20-4c70-4938-aa3f-5e8f67464e02",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/182ace2b-7d4f-4b76-94c9-fac65a57a58d",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1998e8d6-4a41-451f-b34e-0aafbd7e17f9",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1b9e2efe-436a-457c-bb0a-b517b7007484",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1bdb7260-923e-49d4-8383-437dcfd6d689",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1c8a308a-37e3-4f78-9f49-2d59d40435e5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1d62b390-7c52-428c-8ff4-8d26c02619e0",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dd3d1c4-f2fc-408c-a769-ca7473c2ed0d",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dfb697b-e9db-44b1-848d-4f0fdbefde1e",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1e1e0483-4532-4402-b523-b88a7fa99fcb",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1ef09544-7b5b-4732-8a10-564fc2f41a26",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1fe30ad6-0fde-47de-9efa-3d38d9a599b5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/226aa095-45db-47b8-ab36-3cb884d4efa4",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/2409cc53-7aaf-4feb-bc76-70f5c4fe0ef5",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/26008aac-6963-4ffa-b066-2d2b47313752",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28500936-1e4a-47b4-a239-40c4d6c439b3",
|
||||
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28f82c57-fab8-40f3-8037-a3642a393188"
|
||||
],
|
||||
"missing_found": 3,
|
||||
"missing_used": 1,
|
||||
"missing_fresh": 1,
|
||||
"missing_stale": 1,
|
||||
"missing_pruned": 1,
|
||||
"missing_raced": 0,
|
||||
"missing_sample_keys": [
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f",
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
|
||||
],
|
||||
"errors": 0
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
2
|
||||
@@ -0,0 +1,29 @@
|
||||
{
|
||||
"dry_run": false,
|
||||
"grace_seconds": 45,
|
||||
"prune_missing": true,
|
||||
"s3_objects_scanned": 41,
|
||||
"db_rows_scanned": 41,
|
||||
"s3_list_calls": 1,
|
||||
"db_pages": 2,
|
||||
"s3_head_calls": 2,
|
||||
"s3_delete_calls": 0,
|
||||
"duration_ms": 17,
|
||||
"matched": 39,
|
||||
"orphans_found": 0,
|
||||
"orphans_deleted": 0,
|
||||
"orphans_fresh": 1,
|
||||
"orphans_raced": 0,
|
||||
"unknown_keys": 1,
|
||||
"missing_found": 2,
|
||||
"missing_used": 1,
|
||||
"missing_fresh": 1,
|
||||
"missing_stale": 0,
|
||||
"missing_pruned": 0,
|
||||
"missing_raced": 0,
|
||||
"missing_sample_keys": [
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
|
||||
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
|
||||
],
|
||||
"errors": 0
|
||||
}
|
||||
@@ -0,0 +1,4 @@
|
||||
# Стоимость обхода (из JSON-отчётов)
|
||||
1_dry_run s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=0 duration_ms=82
|
||||
2_real s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=301 duration_ms=357
|
||||
3_repeat s3_objects=41 db_rows=41 s3_list_calls=1 db_pages=2 head_calls=2 delete_calls=0 duration_ms=17
|
||||
@@ -0,0 +1,4 @@
|
||||
date_utc=2026-11-12T15:21:46Z
|
||||
git_commit=7cbb75c
|
||||
grace_seconds=45 bulk_orphans=300
|
||||
api_replicas=2
|
||||
@@ -0,0 +1,12 @@
|
||||
object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
|
||||
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
|
||||
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
|
||||
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
|
||||
row[control]=1
|
||||
row[used]=1
|
||||
row[stale]=1
|
||||
row[fresh]=1
|
||||
bulk_objects=300
|
||||
@@ -0,0 +1,12 @@
|
||||
NO-object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
|
||||
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
|
||||
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
|
||||
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
|
||||
row[control]=1
|
||||
row[used]=1
|
||||
row[stale]=0
|
||||
row[fresh]=1
|
||||
bulk_objects=0
|
||||
@@ -0,0 +1,12 @@
|
||||
object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
|
||||
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
|
||||
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
|
||||
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
|
||||
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
|
||||
row[control]=1
|
||||
row[used]=1
|
||||
row[stale]=1
|
||||
row[fresh]=1
|
||||
bulk_objects=300
|
||||
@@ -0,0 +1,18 @@
|
||||
bash scripts/upload_mem_experiment.sh
|
||||
== генерация PNG-шума 1600x1600
|
||||
размер файла: 7.33 MiB
|
||||
== случай UPLOAD_MAX_CONCURRENCY=64: пересоздаём API (replicas=2)
|
||||
--- UPLOAD_MAX_CONCURRENCY=64 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=10s)
|
||||
статусы HTTP: 80 201
|
||||
время ответа: min=0.58s p50=1.94s max=4.43s
|
||||
пик памяти реплик, MiB (лимит контейнера 256M):
|
||||
mtusi2026lab4-api-1: idle=25.2 peak=172.0
|
||||
mtusi2026lab4-api-2: idle=25.6 peak=171.7
|
||||
== случай UPLOAD_MAX_CONCURRENCY=4: пересоздаём API (replicas=2)
|
||||
--- UPLOAD_MAX_CONCURRENCY=4 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=7s)
|
||||
статусы HTTP: 80 201
|
||||
время ответа: min=0.41s p50=1.40s max=3.45s
|
||||
пик памяти реплик, MiB (лимит контейнера 256M):
|
||||
mtusi2026lab4-api-1: idle=25.7 peak=78.4
|
||||
mtusi2026lab4-api-2: idle=25.4 peak=83.7
|
||||
готово: evidence/upload-memory/summary.txt
|
||||
@@ -0,0 +1,201 @@
|
||||
[Hmtusi2026lab4-api-1 25.67MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.38MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.67MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.38MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.67MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.38MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.67MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.38MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.39MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.39MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.39MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.39MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.52MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.52MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.52MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.52MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 42.18MiB / 256MiB
|
||||
mtusi2026lab4-api-2 45.74MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 42.18MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 45.74MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 42.18MiB / 256MiB
|
||||
mtusi2026lab4-api-2 45.74MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 42.18MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 45.74MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 59.63MiB / 256MiB
|
||||
mtusi2026lab4-api-2 58.85MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 59.63MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 58.85MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 59.63MiB / 256MiB
|
||||
mtusi2026lab4-api-2 58.85MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 59.63MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 58.85MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 72.73MiB / 256MiB
|
||||
mtusi2026lab4-api-2 75.04MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 72.73MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 75.04MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 72.73MiB / 256MiB
|
||||
mtusi2026lab4-api-2 75.04MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 72.73MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 75.04MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 78.41MiB / 256MiB
|
||||
mtusi2026lab4-api-2 83.72MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 78.41MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 83.72MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 78.41MiB / 256MiB
|
||||
mtusi2026lab4-api-2 83.72MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 78.41MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 83.72MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.77MiB / 256MiB
|
||||
mtusi2026lab4-api-2 78.75MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.77MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 78.75MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.77MiB / 256MiB
|
||||
mtusi2026lab4-api-2 78.75MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.77MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 78.75MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 75.07MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.89MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 75.07MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.89MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 75.07MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.89MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 75.07MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.89MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.92MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.88MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.92MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.88MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.92MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.88MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.92MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.88MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.89MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.89MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.89MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.89MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.9MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.9MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.9MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.9MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 76.9MiB / 256MiB
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 76.9MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 74.65MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J
|
||||
@@ -0,0 +1,416 @@
|
||||
[Hmtusi2026lab4-api-1 25.21MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.61MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.21MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.61MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 25.21MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.61MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 25.21MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.61MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 24.97MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.62MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 24.97MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.62MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 24.97MiB / 256MiB
|
||||
mtusi2026lab4-api-2 25.62MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 24.97MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 25.62MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 79.45MiB / 256MiB
|
||||
mtusi2026lab4-api-2 75.33MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 79.45MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 75.33MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 79.45MiB / 256MiB
|
||||
mtusi2026lab4-api-2 75.33MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 79.45MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 75.33MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 88.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 88.5MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 88.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 88.5MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 88.68MiB / 256MiB
|
||||
mtusi2026lab4-api-2 88.5MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 88.68MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 88.5MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 117.4MiB / 256MiB
|
||||
mtusi2026lab4-api-2 119.8MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 117.4MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 119.8MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 117.4MiB / 256MiB
|
||||
mtusi2026lab4-api-2 119.8MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 117.4MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 119.8MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 118MiB / 256MiB
|
||||
mtusi2026lab4-api-2 128MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 118MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 128MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 118MiB / 256MiB
|
||||
mtusi2026lab4-api-2 128MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 118MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 128MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 134.3MiB / 256MiB
|
||||
mtusi2026lab4-api-2 119.5MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 134.3MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 119.5MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 134.3MiB / 256MiB
|
||||
mtusi2026lab4-api-2 119.5MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 134.3MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 119.5MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 159.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 160.9MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 159.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 160.9MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 159.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 160.9MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 159.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 160.9MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 166.9MiB / 256MiB
|
||||
mtusi2026lab4-api-2 168.1MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 166.9MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 168.1MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 166.9MiB / 256MiB
|
||||
mtusi2026lab4-api-2 168.1MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 166.9MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 168.1MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 172MiB / 256MiB
|
||||
mtusi2026lab4-api-2 167.8MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 172MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 167.8MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 172MiB / 256MiB
|
||||
mtusi2026lab4-api-2 167.8MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 172MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 167.8MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 165.1MiB / 256MiB
|
||||
mtusi2026lab4-api-2 171.7MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 165.1MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 171.7MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 165.1MiB / 256MiB
|
||||
mtusi2026lab4-api-2 171.7MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 165.1MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 171.7MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 158.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 169.3MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 158.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 169.3MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 158.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 169.3MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 158.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 169.3MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 158.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 169.2MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 158.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 169.2MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 158.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 169.2MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 158.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 169.2MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 158.7MiB / 256MiB
|
||||
mtusi2026lab4-api-2 171.1MiB / 256MiB
|
||||
[Hmtusi2026lab4-api-1 158.7MiB / 256MiB [K
|
||||
mtusi2026lab4-api-2 171.1MiB / 256MiB [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J[Hmtusi2026lab4-api-1 -- / --
|
||||
mtusi2026lab4-api-2 -- / --
|
||||
[Hmtusi2026lab4-api-1 -- / -- [K
|
||||
mtusi2026lab4-api-2 -- / -- [K
|
||||
[K
|
||||
[J
|
||||
@@ -0,0 +1,14 @@
|
||||
# Эксперимент пика памяти при одновременных загрузках
|
||||
# дата: 2026-11-12T15:22:53Z, реплик API: 2, commit: 7cbb75c
|
||||
--- UPLOAD_MAX_CONCURRENCY=64 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=10s)
|
||||
статусы HTTP: 80 201
|
||||
время ответа: min=0.58s p50=1.94s max=4.43s
|
||||
пик памяти реплик, MiB (лимит контейнера 256M):
|
||||
mtusi2026lab4-api-1: idle=25.2 peak=172.0
|
||||
mtusi2026lab4-api-2: idle=25.6 peak=171.7
|
||||
--- UPLOAD_MAX_CONCURRENCY=4 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=7s)
|
||||
статусы HTTP: 80 201
|
||||
время ответа: min=0.41s p50=1.40s max=3.45s
|
||||
пик памяти реплик, MiB (лимит контейнера 256M):
|
||||
mtusi2026lab4-api-1: idle=25.7 peak=78.4
|
||||
mtusi2026lab4-api-2: idle=25.4 peak=83.7
|
||||
@@ -0,0 +1,33 @@
|
||||
module mtusi2026lab4
|
||||
|
||||
go 1.23.0
|
||||
|
||||
require (
|
||||
github.com/aws/aws-sdk-go-v2 v1.36.3
|
||||
github.com/aws/aws-sdk-go-v2/credentials v1.17.62
|
||||
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2
|
||||
github.com/aws/smithy-go v1.22.2
|
||||
github.com/google/uuid v1.6.0
|
||||
github.com/jackc/pgx/v5 v5.7.4
|
||||
github.com/redis/go-redis/v9 v9.7.3
|
||||
golang.org/x/crypto v0.36.0
|
||||
)
|
||||
|
||||
require (
|
||||
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15 // indirect
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15 // indirect
|
||||
github.com/cespare/xxhash/v2 v2.2.0 // indirect
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
|
||||
github.com/jackc/pgpassfile v1.0.0 // indirect
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
|
||||
github.com/jackc/puddle/v2 v2.2.2 // indirect
|
||||
golang.org/x/sync v0.12.0 // indirect
|
||||
golang.org/x/sys v0.31.0 // indirect
|
||||
golang.org/x/text v0.23.0 // indirect
|
||||
)
|
||||
@@ -0,0 +1,66 @@
|
||||
github.com/aws/aws-sdk-go-v2 v1.36.3 h1:mJoei2CxPutQVxaATCzDUjcZEjVRdpsiiXi2o38yqWM=
|
||||
github.com/aws/aws-sdk-go-v2 v1.36.3/go.mod h1:LLXuLpgzEbD766Z5ECcRmi8AzSwfZItDtmABVkRLGzg=
|
||||
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10 h1:zAybnyUQXIZ5mok5Jqwlf58/TFE7uvd3IAsa1aF9cXs=
|
||||
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10/go.mod h1:qqvMj6gHLR/EXWZw4ZbqlPbQUyenf4h82UQUlKc+l14=
|
||||
github.com/aws/aws-sdk-go-v2/credentials v1.17.62 h1:fvtQY3zFzYJ9CfixuAQ96IxDrBajbBWGqjNTCa79ocU=
|
||||
github.com/aws/aws-sdk-go-v2/credentials v1.17.62/go.mod h1:ElETBxIQqcxej++Cs8GyPBbgMys5DgQPTwo7cUPDKt8=
|
||||
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34 h1:ZK5jHhnrioRkUNOc+hOgQKlUL5JeC3S6JgLxtQ+Rm0Q=
|
||||
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34/go.mod h1:p4VfIceZokChbA9FzMbRGz5OV+lekcVtHlPKEO0gSZY=
|
||||
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34 h1:SZwFm17ZUNNg5Np0ioo/gq8Mn6u9w19Mri8DnJ15Jf0=
|
||||
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34/go.mod h1:dFZsC0BLo346mvKQLWmoJxT+Sjp+qcVR1tRVHQGOH9Q=
|
||||
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34 h1:ZNTqv4nIdE/DiBfUUfXcLZ/Spcuz+RjeziUtNJackkM=
|
||||
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34/go.mod h1:zf7Vcd1ViW7cPqYWEHLHJkS50X0JS2IKz9Cgaj6ugrs=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3 h1:eAh2A4b5IzM/lum78bZ590jy36+d/aFLgKF/4Vd1xPE=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3/go.mod h1:0yKJC/kb8sAnmlYa6Zs3QVYqaC8ug2AbnNChv5Ox3uA=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0 h1:lguz0bmOoGzozP9XfRJR1QIayEYo+2vP/No3OfLF0pU=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0/go.mod h1:iu6FSzgt+M2/x3Dk8zhycdIcHjEFb36IS8HVUVFoMg0=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15 h1:dM9/92u2F1JbDaGooxTq18wmmFzbJRfXfVfy96/1CXM=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15/go.mod h1:SwFBy2vjtA0vZbjjaFtfN045boopadnoVPhu4Fv66vY=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15 h1:moLQUoVq91LiqT1nbvzDukyqAlCv89ZmwaHw/ZFlFZg=
|
||||
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15/go.mod h1:ZH34PJUc8ApjBIfgQCFvkWcUDBtl/WTD+uiYHjd8igA=
|
||||
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2 h1:jIiopHEV22b4yQP2q36Y0OmwLbsxNWdWwfZRR5QRRO4=
|
||||
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2/go.mod h1:U5SNqwhXB3Xe6F47kXvWihPl/ilGaEDe8HD/50Z9wxc=
|
||||
github.com/aws/smithy-go v1.22.2 h1:6D9hW43xKFrRx/tXXfAlIZc4JI+yQe6snnWcQyxSyLQ=
|
||||
github.com/aws/smithy-go v1.22.2/go.mod h1:irrKGvNn1InZwb2d7fkIRNucdfwR8R+Ts3wxYa/cJHg=
|
||||
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
|
||||
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
|
||||
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
|
||||
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
|
||||
github.com/cespare/xxhash/v2 v2.2.0 h1:DC2CZ1Ep5Y4k3ZQ899DldepgrayRUGE6BBZ/cd9Cj44=
|
||||
github.com/cespare/xxhash/v2 v2.2.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
|
||||
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
|
||||
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
|
||||
github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0=
|
||||
github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
|
||||
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
|
||||
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
|
||||
github.com/jackc/pgx/v5 v5.7.4 h1:9wKznZrhWa2QiHL+NjTSPP6yjl3451BX3imWDnokYlg=
|
||||
github.com/jackc/pgx/v5 v5.7.4/go.mod h1:ncY89UGWxg82EykZUwSpUKEfccBGGYq1xjrOpsbsfGQ=
|
||||
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
|
||||
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
|
||||
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
||||
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
||||
github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM=
|
||||
github.com/redis/go-redis/v9 v9.7.3/go.mod h1:bGUrSggJ9X9GUmZpZNEOQKaANxSGgOEBRltRTZHSvrA=
|
||||
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
|
||||
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
|
||||
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
|
||||
github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk=
|
||||
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
|
||||
golang.org/x/crypto v0.36.0 h1:AnAEvhDddvBdpY+uR+MyHmuZzzNqXSe/GvuDeob5L34=
|
||||
golang.org/x/crypto v0.36.0/go.mod h1:Y4J0ReaxCR1IMaabaSMugxJES1EpwhBHhv2bDHklZvc=
|
||||
golang.org/x/sync v0.12.0 h1:MHc5BpPuC30uJk597Ri8TV3CNZcTLu6B6z4lJy+g6Jw=
|
||||
golang.org/x/sync v0.12.0/go.mod h1:1dzgHSNfp02xaA81J2MS99Qcpr2w7fw1gpm99rleRqA=
|
||||
golang.org/x/sys v0.31.0 h1:ioabZlmFYtWhL+TRYpcnNlLwhyxaM9kWTDEmfnprqik=
|
||||
golang.org/x/sys v0.31.0/go.mod h1:BJP2sWEmIv4KK5OTEluFJCKSidICx8ciO85XgH3Ak8k=
|
||||
golang.org/x/text v0.23.0 h1:D71I7dUrlY+VX0gQShAThNGHFxZ13dGLBHQLVl1mJlY=
|
||||
golang.org/x/text v0.23.0/go.mod h1:/BLNzu4aZCJ1+kcD0DNRotWKage4q2rGVAg4o22unh4=
|
||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
+7
-6
@@ -1,7 +1,8 @@
|
||||
# Инфраструктура студента
|
||||
# Инфраструктура lab4
|
||||
|
||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
||||
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
|
||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
||||
- `haproxy/haproxy.cfg` — LB перед API-репликами (lab3).
|
||||
- MinIO: образ `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z` (официальные
|
||||
`minio/minio` с Docker Hub сняты в 2026; community-сборка того же RELEASE).
|
||||
- Bootstrap bucket/app-user: бинарь `/s3bootstrap` в образе API (minio-go + madmin),
|
||||
без зависимости от снятого `minio/mc`. Политика — только List/Get/Put/Delete на
|
||||
`messenger-attachments`. Консоль MinIO (`:9001`) **не публикуется**.
|
||||
|
||||
@@ -0,0 +1,52 @@
|
||||
# HAProxy — единственная публичная точка входа lab3.
|
||||
#
|
||||
# Backend-адреса берутся из Docker DNS имени сервиса `api` (A-записи всех реплик).
|
||||
# server-template + resolvers перечитывает DNS; option httpchk снимает реплику,
|
||||
# у которой /health/ready != 200 (в т.ч. после BeginDrain на SIGTERM).
|
||||
#
|
||||
# Оценка обнаружения отказа:
|
||||
# inter 1s * fall 2 = ~2s по healthcheck + hold valid 2s у DNS ≈ до ~4s.
|
||||
# Краткие 502/503 в это окно допустимы контрактом failover-теста.
|
||||
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 512
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
option httplog
|
||||
option dontlognull
|
||||
timeout connect 2s
|
||||
timeout client 15s
|
||||
timeout server 15s
|
||||
timeout check 1s
|
||||
timeout http-keep-alive 10s
|
||||
retries 2
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
hold other 2s
|
||||
hold refused 2s
|
||||
hold nx 2s
|
||||
hold timeout 2s
|
||||
hold obsolete 2s
|
||||
|
||||
frontend fe_http
|
||||
bind *:8080
|
||||
default_backend be_api
|
||||
|
||||
backend be_api
|
||||
balance roundrobin
|
||||
option httpchk
|
||||
option redispatch
|
||||
retry-on conn-failure empty-response response-timeout
|
||||
http-check send meth GET uri /health/ready
|
||||
http-check expect status 200
|
||||
# До 8 слотов под --scale api=N. init-addr last,libc,none ждёт DNS при старте.
|
||||
# fall 3: чуть терпимее к краткому DNS-мерцанию при docker stop одной реплики.
|
||||
server-template api 8 api:8080 check inter 1s fall 3 rise 1 resolvers docker resolve-prefer ipv4 init-addr last,libc,none
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Sid": "ListBucket",
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:ListBucket"],
|
||||
"Resource": ["arn:aws:s3:::messenger-attachments"]
|
||||
},
|
||||
{
|
||||
"Sid": "ObjectRW",
|
||||
"Effect": "Allow",
|
||||
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject"],
|
||||
"Resource": ["arn:aws:s3:::messenger-attachments/*"]
|
||||
}
|
||||
]
|
||||
}
|
||||
Executable
+32
@@ -0,0 +1,32 @@
|
||||
#!/bin/sh
|
||||
# Идемпотентный bootstrap приватного bucket и app-пользователя с ограниченной политикой.
|
||||
# Root-ключи только здесь; API работает от S3_ACCESS_KEY_ID / S3_SECRET_ACCESS_KEY.
|
||||
set -eu
|
||||
|
||||
echo "waiting for minio..."
|
||||
i=0
|
||||
until mc alias set local "http://${MINIO_ENDPOINT}" "${MINIO_ROOT_USER}" "${MINIO_ROOT_PASSWORD}" >/dev/null 2>&1; do
|
||||
i=$((i + 1))
|
||||
if [ "$i" -gt 60 ]; then
|
||||
echo "minio not ready" >&2
|
||||
exit 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
|
||||
mc mb -p "local/${S3_BUCKET}" || true
|
||||
mc anonymous set none "local/${S3_BUCKET}"
|
||||
|
||||
# Пользователь приложения: повторный add не обязан быть успешен.
|
||||
if ! mc admin user info local "${S3_ACCESS_KEY_ID}" >/dev/null 2>&1; then
|
||||
mc admin user add local "${S3_ACCESS_KEY_ID}" "${S3_SECRET_ACCESS_KEY}"
|
||||
fi
|
||||
# Политика: create падает, если уже есть — это ок.
|
||||
mc admin policy create local app-attachments /policy.json 2>/dev/null || \
|
||||
mc admin policy add local app-attachments /policy.json 2>/dev/null || true
|
||||
mc admin policy attach local app-attachments --user "${S3_ACCESS_KEY_ID}" 2>/dev/null || \
|
||||
mc admin policy set local app-attachments user="${S3_ACCESS_KEY_ID}" 2>/dev/null || true
|
||||
|
||||
echo "bucket=${S3_BUCKET} private=yes app_user=${S3_ACCESS_KEY_ID}"
|
||||
mc anonymous get "local/${S3_BUCKET}" || true
|
||||
echo "bootstrap done"
|
||||
@@ -0,0 +1,391 @@
|
||||
package api
|
||||
|
||||
// HTTP-слой вложений lab4.
|
||||
//
|
||||
// Модель согласованности двух хранилищ (S3 + PostgreSQL), т.к. общей транзакции у них нет:
|
||||
//
|
||||
// 1. проверяем всё, что можно, ДО записи (доступ, имя, тип, размер, содержимое);
|
||||
// 2. PUT оригинала в S3 по ключу attachments/{chat}/{id};
|
||||
// 3. INSERT метаданных в PostgreSQL;
|
||||
// 4. только после этого — 201 ready.
|
||||
//
|
||||
// Что если процесс/сеть упали между 2 и 3, или INSERT вернул ошибку?
|
||||
// - Остаётся лишний ОБЪЕКТ без строки (orphan). Строки без файла не бывает —
|
||||
// ради этого PUT делается ПЕРВЫМ. Пользователь не увидит «битое» вложение,
|
||||
// а лишний объект безвреден: на него никто не ссылается.
|
||||
// - При ошибке INSERT мы сразу пытаемся удалить объект (компенсация, compensateOrphan).
|
||||
// - Если и удаление не удалось (процесс убит, S3 моргнул) — объект подберёт reconciler
|
||||
// (`/server -reconcile`): он удаляет объекты без строки старше S3_ORPHAN_GRACE_SECONDS.
|
||||
// Grace нужен, чтобы не снести объект, у которого INSERT ещё «в полёте».
|
||||
// - Обрыв соединения клиентом во время передачи тела: до PUT мы ничего не пишем,
|
||||
// а PUT/INSERT привязаны к контексту запроса и отменяются.
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"crypto/sha256"
|
||||
"encoding/hex"
|
||||
"errors"
|
||||
"io"
|
||||
"log"
|
||||
"mime"
|
||||
"net/http"
|
||||
"strconv"
|
||||
"strings"
|
||||
"time"
|
||||
"unicode"
|
||||
"unicode/utf8"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
const (
|
||||
// drainLimit — сколько байт «лишнего» тела дочитываем при раннем отказе (413/415/400).
|
||||
// Если сервер ответил и закрыл соединение, пока клиент ещё пишет, клиент получит
|
||||
// RST вместо читаемого 413. Дочитывание ограничено, чтобы это не стало каналом
|
||||
// для бесплатной траты трафика.
|
||||
drainLimit = 16 << 20
|
||||
// slotWait — сколько загрузка ждёт свободный слот буферизации, прежде чем получить 429.
|
||||
// Меньше таймаутов HAProxy (15 с), чтобы клиент получил осмысленный ответ.
|
||||
slotWait = 8 * time.Second
|
||||
)
|
||||
|
||||
// WithUploadConcurrency задаёт, сколько загрузок реплика обрабатывает одновременно.
|
||||
//
|
||||
// Зачем: тело загрузки целиком буферизуется в RAM (оно нужно для проверки содержимого и
|
||||
// SHA-256 ДО записи в S3, иначе мусор попадал бы в bucket). Без ограничения N клиентов
|
||||
// заняли бы N*10 MiB. Со слотами пик ≈ n*10 MiB (+ декод маленьких картинок),
|
||||
// остальные загрузки ждут в очереди, не читая тело.
|
||||
func (s *Server) WithUploadConcurrency(n int) *Server {
|
||||
if n < 1 {
|
||||
n = 1
|
||||
}
|
||||
s.uploadSlots = make(chan struct{}, n)
|
||||
return s
|
||||
}
|
||||
|
||||
// handleUploadAttachment — POST /api/v1/chats/{chat_id}/attachments?filename=...
|
||||
func (s *Server) handleUploadAttachment(w http.ResponseWriter, r *http.Request) {
|
||||
chatID, err := uuid.Parse(r.PathValue("chat_id"))
|
||||
if err != nil {
|
||||
s.rejectUpload(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
|
||||
return
|
||||
}
|
||||
uid := userFrom(r)
|
||||
|
||||
// 1. Сначала доступ к ресурсу (контракт: аутентификация → доступ → остальное).
|
||||
// Посторонний получает 404 до того, как мы потратим на него RAM и трафик.
|
||||
if err := s.Store.IsChatMember(r.Context(), chatID, uid); err != nil {
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
s.rejectUpload(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
}
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
|
||||
// 2. filename — только для отображения. Опасные символы отклоняем сразу (400):
|
||||
// даже зная, что в путь/ключ он не попадает, не храним то, что опасно показывать.
|
||||
filename, ok := validFilename(r.URL.Query().Get("filename"))
|
||||
if !ok {
|
||||
s.rejectUpload(w, r, http.StatusBadRequest, "invalid_request", "invalid filename")
|
||||
return
|
||||
}
|
||||
|
||||
// 3. Заголовок Content-Type должен быть image/png или image/jpeg. Это лишь заявка
|
||||
// клиента: настоящий тип определяется по содержимому (шаг 6) и должен с ней совпасть.
|
||||
declared, _, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
|
||||
if err != nil || (declared != "image/png" && declared != "image/jpeg") {
|
||||
s.rejectUpload(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "content type must be image/png or image/jpeg")
|
||||
return
|
||||
}
|
||||
|
||||
// 4. Лимит размера до чтения тела: честный Content-Length > 10 MiB отвергаем сразу.
|
||||
if r.ContentLength > maxUploadBytes {
|
||||
s.rejectUpload(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "file is too large")
|
||||
return
|
||||
}
|
||||
|
||||
// 5. Слот буферизации. Ждём не дольше slotWait, иначе 429 (контракт его допускает).
|
||||
release, ok := s.acquireUploadSlot(r.Context())
|
||||
if !ok {
|
||||
if r.Context().Err() != nil {
|
||||
return // клиент ушёл
|
||||
}
|
||||
w.Header().Set("Retry-After", "1")
|
||||
s.rejectUpload(w, r, http.StatusTooManyRequests, "rate_limited", "too many concurrent uploads")
|
||||
return
|
||||
}
|
||||
defer release()
|
||||
|
||||
// 6. Ограниченное чтение тела. MaxBytesReader гарантирует, что и при chunked-запросе
|
||||
// без Content-Length (где честную длину проверить нельзя) мы не прочитаем больше 10 MiB.
|
||||
origBody := r.Body
|
||||
data, err := readLimitedBody(w, r, maxUploadBytes)
|
||||
if err != nil {
|
||||
var tooBig *http.MaxBytesError
|
||||
if errors.As(err, &tooBig) {
|
||||
// Дочитываем (ограниченно) ИСХОДНОЕ тело: обёртка MaxBytesReader после
|
||||
// превышения лимита читать уже не даёт.
|
||||
r.Body = origBody
|
||||
s.rejectUpload(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "file is too large")
|
||||
return
|
||||
}
|
||||
// Обрыв загрузки клиентом/таймаут чтения: ничего ещё не записано ни в S3, ни в БД.
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "upload interrupted")
|
||||
return
|
||||
}
|
||||
|
||||
// 7. Проверка СОДЕРЖИМОГО: формат, пиксели, целостность. Пользовательская ошибка
|
||||
// здесь — всегда 4xx, никогда 500.
|
||||
info, err := inspectImage(data)
|
||||
switch {
|
||||
case errors.Is(err, errTooManyPixels):
|
||||
writeError(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "image has too many pixels")
|
||||
return
|
||||
case err != nil:
|
||||
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "file is not a valid png/jpeg image")
|
||||
return
|
||||
case info.ContentType != declared:
|
||||
// «Подмена MIME»: заголовок говорит jpeg, а внутри png (или наоборот).
|
||||
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "content does not match declared content type")
|
||||
return
|
||||
}
|
||||
|
||||
// 8. SHA-256 и ключ. Ключ полностью серверный: filename в нём не участвует.
|
||||
sum := sha256.Sum256(data)
|
||||
attID := uuid.New()
|
||||
key := store.AttachmentObjectKey(chatID, attID)
|
||||
|
||||
// 9. Оригинал в S3. Ошибка хранилища — 503 без подробностей.
|
||||
if err := s.Objects.Put(r.Context(), key, bytes.NewReader(data), int64(len(data)), info.ContentType); err != nil {
|
||||
log.Printf("request_id=%s attachment_put_failed err=%v", requestID(r), err)
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
// Точка отказа «между S3 и PG» — для тестов компенсации. В проде hook == nil.
|
||||
if s.AfterObjectPut != nil {
|
||||
s.AfterObjectPut(key)
|
||||
}
|
||||
|
||||
// 10. Метаданные в PostgreSQL. Дальше data больше не нужна — освобождаем RAM как можно раньше.
|
||||
att := &store.Attachment{
|
||||
ID: attID,
|
||||
ChatID: chatID,
|
||||
OwnerID: uid,
|
||||
Filename: filename,
|
||||
ContentType: info.ContentType,
|
||||
SizeBytes: int64(len(data)),
|
||||
SHA256: hex.EncodeToString(sum[:]),
|
||||
ObjectKey: key,
|
||||
Status: store.StatusReady,
|
||||
Width: info.Width,
|
||||
Height: info.Height,
|
||||
}
|
||||
data = nil
|
||||
if err := s.Store.CreateAttachment(r.Context(), att); err != nil {
|
||||
// Компенсация: строки нет → объект бесполезен. Удаляем сразу и независимо от
|
||||
// контекста запроса (он мог быть отменён — как раз из-за этого INSERT и упал).
|
||||
s.compensateOrphan(r, key)
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
}
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
|
||||
// 11. Теперь честно: и байты, и метаданные сохранены.
|
||||
writeJSON(w, http.StatusCreated, attachmentDTO(att))
|
||||
}
|
||||
|
||||
// compensateOrphan убирает объект, для которого не удалось записать метаданные.
|
||||
// Контекст новый и короткий. Если удаление не прошло — это не ошибка запроса:
|
||||
// объект станет orphan и будет удалён reconciler'ом после grace-периода.
|
||||
func (s *Server) compensateOrphan(r *http.Request, key string) {
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
|
||||
defer cancel()
|
||||
if err := s.Objects.Delete(ctx, key); err != nil {
|
||||
log.Printf("request_id=%s attachment_compensation_failed key=%s (reconciler удалит orphan после grace) err=%v",
|
||||
requestID(r), key, err)
|
||||
return
|
||||
}
|
||||
log.Printf("request_id=%s attachment_compensated key=%s (PG insert не удался, объект удалён)", requestID(r), key)
|
||||
}
|
||||
|
||||
// handleGetAttachment — GET /api/v1/attachments/{id}: метаданные участнику чата.
|
||||
func (s *Server) handleGetAttachment(w http.ResponseWriter, r *http.Request) {
|
||||
att, ok := s.loadAttachmentForRequest(w, r)
|
||||
if !ok {
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, attachmentDTO(att))
|
||||
}
|
||||
|
||||
// handleDownloadAttachment — GET /api/v1/attachments/{id}/content: байты через API, без redirect.
|
||||
// Прямой доступ к bucket не нужен ни клиенту, ни другой реплике: любая реплика читает
|
||||
// из общего S3, поэтому остановка загрузившей реплики ничего не ломает.
|
||||
func (s *Server) handleDownloadAttachment(w http.ResponseWriter, r *http.Request) {
|
||||
att, ok := s.loadAttachmentForRequest(w, r)
|
||||
if !ok {
|
||||
return
|
||||
}
|
||||
// variant: в lab4 есть только original. Известные имена вариантов lab5+ у ready-объекта
|
||||
// отсутствуют → 404, неизвестное имя → 400.
|
||||
switch v := r.URL.Query().Get("variant"); v {
|
||||
case "", "original":
|
||||
case "thumbnail", "crop", "optimized":
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
default:
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid variant")
|
||||
return
|
||||
}
|
||||
if att.Status != store.StatusReady {
|
||||
writeError(w, r, http.StatusConflict, "conflict", "attachment is not ready")
|
||||
return
|
||||
}
|
||||
|
||||
body, _, err := s.Objects.Get(r.Context(), att.ObjectKey)
|
||||
if err != nil {
|
||||
if errors.Is(err, objectstore.ErrNotFound) {
|
||||
// Строка есть, объекта нет — расхождение БД/S3 (его ловит reconciler).
|
||||
// Это не ошибка пользователя; наружу — общий 500 без деталей.
|
||||
log.Printf("request_id=%s attachment_object_missing attachment_id=%s", requestID(r), att.ID)
|
||||
writeError(w, r, http.StatusInternalServerError, "internal_error", "internal error")
|
||||
return
|
||||
}
|
||||
log.Printf("request_id=%s attachment_get_failed err=%v", requestID(r), err)
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
defer body.Close()
|
||||
|
||||
h := w.Header()
|
||||
// Тип берём из БД (определён по содержимому при загрузке), а не из S3 и не из имени.
|
||||
h.Set("Content-Type", att.ContentType)
|
||||
h.Set("Content-Length", strconv.FormatInt(att.SizeBytes, 10))
|
||||
// nosniff: браузер не должен «угадывать» иной тип у отданных байт.
|
||||
h.Set("X-Content-Type-Options", "nosniff")
|
||||
h.Set("Cache-Control", "private, no-store")
|
||||
h.Set("ETag", `"`+att.SHA256+`"`)
|
||||
// filename показываем только в заголовке, закодированным по RFC 5987 (FormatMediaType).
|
||||
if cd := mime.FormatMediaType("inline", map[string]string{"filename": att.Filename}); cd != "" {
|
||||
h.Set("Content-Disposition", cd)
|
||||
}
|
||||
w.WriteHeader(http.StatusOK)
|
||||
// Потоково: в памяти реплики лежит только буфер копирования, не весь файл.
|
||||
if _, err := io.Copy(w, body); err != nil {
|
||||
// Заголовки уже отправлены, статус не изменить; клиент увидит обрыв.
|
||||
log.Printf("request_id=%s attachment_stream_interrupted", requestID(r))
|
||||
}
|
||||
}
|
||||
|
||||
// loadAttachmentForRequest разбирает {attachment_id} и проверяет доступ участника.
|
||||
// Невалидный UUID — 400; чужое/несуществующее — 404.
|
||||
func (s *Server) loadAttachmentForRequest(w http.ResponseWriter, r *http.Request) (*store.Attachment, bool) {
|
||||
id, err := uuid.Parse(r.PathValue("attachment_id"))
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid attachment id")
|
||||
return nil, false
|
||||
}
|
||||
att, err := s.Store.GetAttachmentForUser(r.Context(), id, userFrom(r))
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return nil, false
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return nil, false
|
||||
}
|
||||
return att, true
|
||||
}
|
||||
|
||||
// attachmentDTO — публичное представление. object_key и bucket НЕ раскрываются.
|
||||
func attachmentDTO(a *store.Attachment) map[string]any {
|
||||
return map[string]any{
|
||||
"id": a.ID.String(),
|
||||
"chat_id": a.ChatID.String(),
|
||||
"owner_id": a.OwnerID.String(),
|
||||
"filename": a.Filename,
|
||||
"content_type": a.ContentType,
|
||||
"size_bytes": a.SizeBytes,
|
||||
"sha256": a.SHA256,
|
||||
"status": a.Status,
|
||||
// lab4: производных вариантов нет (они появятся с воркером в lab5+).
|
||||
"variants": []any{},
|
||||
"error_code": a.ErrorCode,
|
||||
"created_at": formatTime(a.CreatedAt),
|
||||
"updated_at": formatTime(a.UpdatedAt),
|
||||
}
|
||||
}
|
||||
|
||||
// acquireUploadSlot занимает место в очереди буферизации. Возвращает функцию освобождения.
|
||||
func (s *Server) acquireUploadSlot(ctx context.Context) (func(), bool) {
|
||||
timer := time.NewTimer(slotWait)
|
||||
defer timer.Stop()
|
||||
select {
|
||||
case s.uploadSlots <- struct{}{}:
|
||||
return func() { <-s.uploadSlots }, true
|
||||
case <-ctx.Done():
|
||||
return nil, false
|
||||
case <-timer.C:
|
||||
return nil, false
|
||||
}
|
||||
}
|
||||
|
||||
// rejectUpload отвечает ошибкой на запрос с ещё не прочитанным телом.
|
||||
// Перед ответом ограниченно дочитываем тело (см. drainLimit): иначе клиент, который
|
||||
// ещё пишет большой файл, получит сброс соединения вместо понятного статуса.
|
||||
func (s *Server) rejectUpload(w http.ResponseWriter, r *http.Request, status int, code, msg string) {
|
||||
_, _ = io.Copy(io.Discard, io.LimitReader(r.Body, drainLimit))
|
||||
writeError(w, r, status, code, msg)
|
||||
}
|
||||
|
||||
// readLimitedBody читает тело не больше limit байт.
|
||||
//
|
||||
// Если клиент заявил Content-Length, буфер выделяется ОДИН раз нужного размера
|
||||
// (+MinRead, чтобы bytes.Buffer не удваивал ёмкость перед самым EOF и не копировал
|
||||
// 10 MiB в 20 MiB). Для chunked-тела размер неизвестен — буфер растёт, но лимит
|
||||
// MaxBytesReader всё равно ограничивает его сверху.
|
||||
func readLimitedBody(w http.ResponseWriter, r *http.Request, limit int64) ([]byte, error) {
|
||||
r.Body = http.MaxBytesReader(w, r.Body, limit)
|
||||
var buf bytes.Buffer
|
||||
if cl := r.ContentLength; cl > 0 && cl <= limit {
|
||||
buf.Grow(int(cl) + bytes.MinRead)
|
||||
}
|
||||
if _, err := buf.ReadFrom(r.Body); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return buf.Bytes(), nil
|
||||
}
|
||||
|
||||
// validFilename проверяет отображаемое имя: 1–255 code points, валидный UTF-8,
|
||||
// не пустое/не пробельное, без '/', '\', NUL и управляющих символов.
|
||||
// Дополнительно отвергаем разделители строк и bidi-переопределения (U+202A–202E,
|
||||
// U+2066–2069): через них имя «photognp.exe» выглядит иначе, чем записано.
|
||||
func validFilename(raw string) (string, bool) {
|
||||
if raw == "" || !utf8.ValidString(raw) {
|
||||
return "", false
|
||||
}
|
||||
if n := utf8.RuneCountInString(raw); n < 1 || n > 255 {
|
||||
return "", false
|
||||
}
|
||||
if strings.TrimSpace(raw) == "" {
|
||||
return "", false
|
||||
}
|
||||
for _, c := range raw {
|
||||
switch {
|
||||
case c == '/', c == '\\', c == 0, unicode.IsControl(c):
|
||||
return "", false
|
||||
case c == 0x2028, c == 0x2029:
|
||||
return "", false
|
||||
case c >= 0x202A && c <= 0x202E, c >= 0x2066 && c <= 0x2069:
|
||||
return "", false
|
||||
}
|
||||
}
|
||||
return raw, true
|
||||
}
|
||||
@@ -0,0 +1,181 @@
|
||||
package api
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"encoding/binary"
|
||||
"errors"
|
||||
"hash/crc32"
|
||||
"image"
|
||||
_ "image/jpeg" // регистрирует декодер JPEG для image.DecodeConfig / image.Decode
|
||||
_ "image/png" // регистрирует декодер PNG
|
||||
)
|
||||
|
||||
// Лимиты контракта lab4.
|
||||
const (
|
||||
// maxUploadBytes = 10 MiB = 10 485 760 байт. Превышение — 413.
|
||||
maxUploadBytes = 10 << 20
|
||||
// maxImagePixels — 40 млн декодированных пикселей. Превышение — 413.
|
||||
// Проверяется по заголовку (image.DecodeConfig) ДО любой распаковки: PNG размером
|
||||
// в несколько КБ может «раскрыться» в гигабайты (decompression bomb).
|
||||
maxImagePixels = 40_000_000
|
||||
// fullDecodeMaxPixels — до этого размера дополнительно делаем ПОЛНЫЙ декод, чтобы
|
||||
// поймать повреждённые данные внутри потока (битый zlib/Huffman при целых заголовках).
|
||||
// Для больших картинок полный декод стоил бы сотни МБ RAM на одну загрузку
|
||||
// (40 Мпикс * 4–8 байт) — это ровно то, что запрещает требование про ограниченную RAM,
|
||||
// поэтому там остаются дешёвые структурные проверки (CRC всех чанков PNG, маркеры/EOI JPEG).
|
||||
fullDecodeMaxPixels = 2_000_000
|
||||
)
|
||||
|
||||
var (
|
||||
// errNotImage — не PNG/JPEG или файл повреждён → 415.
|
||||
errNotImage = errors.New("not a valid png/jpeg image")
|
||||
// errTooManyPixels — больше 40 млн пикселей → 413.
|
||||
errTooManyPixels = errors.New("too many pixels")
|
||||
)
|
||||
|
||||
// imageInfo — результат проверки содержимого.
|
||||
type imageInfo struct {
|
||||
ContentType string // image/png | image/jpeg — по СОДЕРЖИМОМУ, не по заголовку запроса
|
||||
Width, Height int
|
||||
}
|
||||
|
||||
// inspectImage определяет формат и размеры и отвергает повреждённые файлы.
|
||||
//
|
||||
// Порядок важен:
|
||||
// 1. image.DecodeConfig читает только заголовок: формат + width/height без выделения
|
||||
// пиксельного буфера. Не PNG/JPEG (в т.ч. GIF, WebP, текст, нули) → errNotImage.
|
||||
// 2. Лимит пикселей проверяется сразу и ДО структурной проверки и декода.
|
||||
// 3. Структурная проверка (дёшево, O(n) по байтам, без распаковки).
|
||||
// 4. Полный декод только для небольших изображений (см. fullDecodeMaxPixels).
|
||||
func inspectImage(data []byte) (imageInfo, error) {
|
||||
cfg, format, err := image.DecodeConfig(bytes.NewReader(data))
|
||||
if err != nil || cfg.Width <= 0 || cfg.Height <= 0 {
|
||||
return imageInfo{}, errNotImage
|
||||
}
|
||||
var info imageInfo
|
||||
switch format {
|
||||
case "png":
|
||||
info.ContentType = "image/png"
|
||||
case "jpeg":
|
||||
info.ContentType = "image/jpeg"
|
||||
default:
|
||||
return imageInfo{}, errNotImage
|
||||
}
|
||||
info.Width, info.Height = cfg.Width, cfg.Height
|
||||
|
||||
pixels := int64(cfg.Width) * int64(cfg.Height)
|
||||
if pixels > maxImagePixels {
|
||||
return imageInfo{}, errTooManyPixels
|
||||
}
|
||||
|
||||
switch format {
|
||||
case "png":
|
||||
if !validPNGStructure(data) {
|
||||
return imageInfo{}, errNotImage
|
||||
}
|
||||
case "jpeg":
|
||||
if !validJPEGStructure(data) {
|
||||
return imageInfo{}, errNotImage
|
||||
}
|
||||
}
|
||||
|
||||
if pixels <= fullDecodeMaxPixels {
|
||||
if _, _, err := image.Decode(bytes.NewReader(data)); err != nil {
|
||||
return imageInfo{}, errNotImage
|
||||
}
|
||||
}
|
||||
return info, nil
|
||||
}
|
||||
|
||||
// validPNGStructure обходит чанки PNG, не распаковывая данные:
|
||||
// сигнатура, первым IHDR (13 байт), у каждого чанка верный CRC-32, есть хотя бы один IDAT,
|
||||
// последний чанк — пустой IEND, после него ничего нет. Усечённый или «склеенный»
|
||||
// файл этой проверки не проходит.
|
||||
func validPNGStructure(data []byte) bool {
|
||||
const signature = "\x89PNG\r\n\x1a\n"
|
||||
if len(data) < len(signature)+12 || string(data[:len(signature)]) != signature {
|
||||
return false
|
||||
}
|
||||
pos := len(signature)
|
||||
first, sawIDAT := true, false
|
||||
for {
|
||||
if pos+8 > len(data) {
|
||||
return false // обрыв внутри заголовка чанка
|
||||
}
|
||||
length := int64(binary.BigEndian.Uint32(data[pos:]))
|
||||
if length > 0x7fffffff {
|
||||
return false // по спецификации длина < 2^31
|
||||
}
|
||||
end := int64(pos) + 8 + length + 4 // длина + тип + данные + CRC
|
||||
if end > int64(len(data)) {
|
||||
return false // обрыв внутри данных/CRC
|
||||
}
|
||||
chunkType := string(data[pos+4 : pos+8])
|
||||
// CRC считается по типу и данным, без поля длины.
|
||||
if crc32.ChecksumIEEE(data[pos+4:end-4]) != binary.BigEndian.Uint32(data[end-4:end]) {
|
||||
return false
|
||||
}
|
||||
if first {
|
||||
if chunkType != "IHDR" || length != 13 {
|
||||
return false
|
||||
}
|
||||
first = false
|
||||
}
|
||||
switch chunkType {
|
||||
case "IDAT":
|
||||
sawIDAT = true
|
||||
case "IEND":
|
||||
return sawIDAT && length == 0 && end == int64(len(data))
|
||||
}
|
||||
pos = int(end)
|
||||
}
|
||||
}
|
||||
|
||||
// validJPEGStructure — дешёвая проверка целостности JPEG без декода:
|
||||
// файл начинается с SOI (FFD8), заканчивается EOI (FFD9; нулевой «паддинг» в хвосте
|
||||
// допускается), и до SOS (начало данных скана) все сегменты имеют корректную длину.
|
||||
// Усечённый JPEG (потерян хвост) не проходит из-за отсутствия EOI.
|
||||
func validJPEGStructure(data []byte) bool {
|
||||
if len(data) < 4 || data[0] != 0xFF || data[1] != 0xD8 {
|
||||
return false
|
||||
}
|
||||
end := len(data)
|
||||
for end > 0 && data[end-1] == 0x00 {
|
||||
end--
|
||||
}
|
||||
if end < 2 || data[end-2] != 0xFF || data[end-1] != 0xD9 {
|
||||
return false
|
||||
}
|
||||
i := 2
|
||||
for i < len(data) {
|
||||
if data[i] != 0xFF {
|
||||
return false
|
||||
}
|
||||
for i < len(data) && data[i] == 0xFF { // fill-байты 0xFF перед маркером
|
||||
i++
|
||||
}
|
||||
if i >= len(data) {
|
||||
return false
|
||||
}
|
||||
marker := data[i]
|
||||
i++
|
||||
switch {
|
||||
case marker == 0xDA: // SOS: дальше энтропийно-кодированные данные, маркеры не идут подряд
|
||||
return true
|
||||
case marker == 0xD9: // EOI до SOS — в файле нет изображения
|
||||
return false
|
||||
case marker == 0x01 || (marker >= 0xD0 && marker <= 0xD8): // маркеры без длины
|
||||
continue
|
||||
default:
|
||||
if i+2 > len(data) {
|
||||
return false
|
||||
}
|
||||
segLen := int(binary.BigEndian.Uint16(data[i:]))
|
||||
if segLen < 2 || i+segLen > len(data) {
|
||||
return false
|
||||
}
|
||||
i += segLen
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
@@ -0,0 +1,767 @@
|
||||
// Package api — HTTP-слой lab4 (lab3 + вложения в S3).
|
||||
//
|
||||
// Порядок обработки запроса:
|
||||
// 1. X-Request-Id и X-Instance-Id на каждый ответ, включая ошибки;
|
||||
// 2. журнал method/path/status без текста сообщений и без токена;
|
||||
// 3. маршрут;
|
||||
// 4. для защищённых маршрутов — только Bearer. Basic и X-User-Id доступ не дают.
|
||||
//
|
||||
// /health/live отвечает, пока процесс жив. /health/ready ещё проверяет PostgreSQL, Redis
|
||||
// и S3: без них нельзя честно принять запись, узнать, кто делает запрос, или принять/отдать
|
||||
// вложение (lab4: недоступный S3 → 503, балансировщик снимает реплику).
|
||||
//
|
||||
// POST сообщения требует Idempotency-Key; результат хранится в общей БД, а не в памяти реплики.
|
||||
package api
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"crypto/sha256"
|
||||
"encoding/base64"
|
||||
"encoding/hex"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"fmt"
|
||||
"io"
|
||||
"log"
|
||||
"net/http"
|
||||
"os"
|
||||
"strconv"
|
||||
"strings"
|
||||
"sync/atomic"
|
||||
"time"
|
||||
"unicode/utf8"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/session"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
type ctxKey int
|
||||
|
||||
const (
|
||||
userKey ctxKey = iota
|
||||
tokenKey
|
||||
requestIDKey
|
||||
)
|
||||
|
||||
const (
|
||||
challengeBasic = `Basic realm="messenger", charset="UTF-8"`
|
||||
challengeBearer = `Bearer realm="messenger"`
|
||||
)
|
||||
|
||||
// Server связывает HTTP с PostgreSQL и Redis.
|
||||
type Server struct {
|
||||
Store *store.Store
|
||||
Sessions *session.Store
|
||||
Objects *objectstore.Store // приватный S3-bucket с оригиналами вложений
|
||||
InstanceID string
|
||||
ready atomic.Bool
|
||||
|
||||
// uploadSlots — семафор одновременных загрузок (ограничивает пик RAM, см. attachments.go).
|
||||
uploadSlots chan struct{}
|
||||
|
||||
// AfterObjectPut — тестовый hook: вызывается после успешного PUT в S3 и до INSERT в PG.
|
||||
// Позволяет в тестах смоделировать отказ «между S3 и БД». В проде всегда nil.
|
||||
AfterObjectPut func(key string)
|
||||
}
|
||||
|
||||
// New помечает процесс готовым. Реальная зависимость всё равно проверяется в /health/ready.
|
||||
// instanceID попадает в X-Instance-Id каждого ответа и стабилен на жизнь процесса.
|
||||
func New(st *store.Store, sessions *session.Store, objects *objectstore.Store, instanceID string) *Server {
|
||||
s := &Server{Store: st, Sessions: sessions, Objects: objects, InstanceID: instanceID}
|
||||
s.uploadSlots = make(chan struct{}, 4) // значение по умолчанию; main задаёт UPLOAD_MAX_CONCURRENCY
|
||||
s.ready.Store(true)
|
||||
return s
|
||||
}
|
||||
|
||||
// BeginDrain вызывается на SIGTERM: новые клиенты видят 503 на /health/ready.
|
||||
// HAProxy/Traefik с httpchk на /health/ready перестаёт слать трафик на эту реплику.
|
||||
func (s *Server) BeginDrain() { s.ready.Store(false) }
|
||||
|
||||
// Handler собирает маршруты lab4.
|
||||
func (s *Server) Handler() http.Handler {
|
||||
mux := http.NewServeMux()
|
||||
mux.HandleFunc("GET /health/live", s.handleLive)
|
||||
mux.HandleFunc("GET /health/ready", s.handleReady)
|
||||
mux.HandleFunc("POST /api/v1/users", s.handleCreateUser)
|
||||
mux.HandleFunc("POST /api/v1/auth/sessions", s.handleCreateSession)
|
||||
mux.HandleFunc("DELETE /api/v1/auth/sessions/current", s.requireUser(s.handleRevokeSession))
|
||||
mux.HandleFunc("GET /api/v1/users/me", s.requireUser(s.handleMe))
|
||||
mux.HandleFunc("POST /api/v1/chats", s.requireUser(s.handleCreateChat))
|
||||
mux.HandleFunc("GET /api/v1/chats", s.requireUser(s.handleListChats))
|
||||
mux.HandleFunc("GET /api/v1/chats/{chat_id}", s.requireUser(s.handleGetChat))
|
||||
mux.HandleFunc("POST /api/v1/chats/{chat_id}/messages", s.requireUser(s.handleCreateMessage))
|
||||
mux.HandleFunc("GET /api/v1/chats/{chat_id}/messages", s.requireUser(s.handleListMessages))
|
||||
// lab4: вложения. Загрузка — сырой binary (не multipart), метаданные и байты — через API.
|
||||
mux.HandleFunc("POST /api/v1/chats/{chat_id}/attachments", s.requireUser(s.handleUploadAttachment))
|
||||
mux.HandleFunc("GET /api/v1/attachments/{attachment_id}", s.requireUser(s.handleGetAttachment))
|
||||
mux.HandleFunc("GET /api/v1/attachments/{attachment_id}/content", s.requireUser(s.handleDownloadAttachment))
|
||||
return s.withInstanceID(s.withRequestID(s.withAccessLog(mux)))
|
||||
}
|
||||
|
||||
func (s *Server) handleLive(w http.ResponseWriter, r *http.Request) {
|
||||
writeJSON(w, http.StatusOK, map[string]string{"status": "ok"})
|
||||
}
|
||||
|
||||
func (s *Server) handleReady(w http.ResponseWriter, r *http.Request) {
|
||||
if !s.ready.Load() {
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "service is shutting down")
|
||||
return
|
||||
}
|
||||
// lab4: S3 — критичная зависимость обязательного синхронного пути (загрузка/скачивание).
|
||||
// Недоступное хранилище → 503, чтобы LB не слал трафик на реплику, которая не может
|
||||
// выполнить контракт; сообщения без вложений при этом тоже временно недоступны
|
||||
// (осознанное упрощение: readiness один на реплику, см. REPORT).
|
||||
if err := s.Store.Ping(r.Context()); err != nil || s.Sessions.Ping(r.Context()) != nil || s.Objects.Ping(r.Context()) != nil {
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, map[string]string{"status": "ok"})
|
||||
}
|
||||
|
||||
func (s *Server) handleCreateUser(w http.ResponseWriter, r *http.Request) {
|
||||
var body struct {
|
||||
Username string `json:"username"`
|
||||
DisplayName string `json:"display_name"`
|
||||
Password string `json:"password"`
|
||||
}
|
||||
if err := decodeStrict(r, &body); err != nil {
|
||||
writeDecodeErr(w, r, err)
|
||||
return
|
||||
}
|
||||
if !validUsername(body.Username) {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid username")
|
||||
return
|
||||
}
|
||||
display := strings.TrimSpace(body.DisplayName)
|
||||
if display == "" || utf8.RuneCountInString(display) > 100 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid display_name")
|
||||
return
|
||||
}
|
||||
if n := utf8.RuneCountInString(body.Password); n < 12 || n > 128 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid password")
|
||||
return
|
||||
}
|
||||
u, err := s.Store.CreateUser(r.Context(), body.Username, display, body.Password)
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, http.StatusConflict, "conflict", "username already taken")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusCreated, userDTO(u))
|
||||
}
|
||||
|
||||
func (s *Server) handleCreateSession(w http.ResponseWriter, r *http.Request) {
|
||||
// Контракт: только Basic, без JSON body. Любые байты в теле — 400, не тихий игнор.
|
||||
rawBody, err := io.ReadAll(io.LimitReader(r.Body, 4096))
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid body")
|
||||
return
|
||||
}
|
||||
if len(bytes.TrimSpace(rawBody)) != 0 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "session create must not have a body")
|
||||
return
|
||||
}
|
||||
username, password, ok := parseBasic(r.Header.Get("Authorization"))
|
||||
if !ok || !validUsername(username) {
|
||||
writeAuthError(w, r, challengeBasic)
|
||||
return
|
||||
}
|
||||
if n := utf8.RuneCountInString(password); n < 12 || n > 128 {
|
||||
writeAuthError(w, r, challengeBasic)
|
||||
return
|
||||
}
|
||||
u, err := s.Store.Authenticate(r.Context(), username, password)
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeAuthError(w, r, challengeBasic)
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
token, exp, err := s.Sessions.Issue(r.Context(), u.ID)
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusCreated, map[string]any{
|
||||
"token": token,
|
||||
"token_type": "Bearer",
|
||||
"expires_at": formatTime(exp),
|
||||
"user": userDTO(u),
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Server) handleRevokeSession(w http.ResponseWriter, r *http.Request) {
|
||||
token, _ := r.Context().Value(tokenKey).(string)
|
||||
if err := s.Sessions.Revoke(r.Context(), token); err != nil {
|
||||
if errors.Is(err, session.ErrUnauthorized) {
|
||||
writeAuthError(w, r, challengeBearer)
|
||||
return
|
||||
}
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
w.WriteHeader(http.StatusNoContent)
|
||||
}
|
||||
|
||||
func (s *Server) handleMe(w http.ResponseWriter, r *http.Request) {
|
||||
u, err := s.Store.GetUser(r.Context(), userFrom(r))
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, http.StatusUnauthorized, "unauthorized", "authentication required")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, userDTO(u))
|
||||
}
|
||||
|
||||
func (s *Server) handleCreateChat(w http.ResponseWriter, r *http.Request) {
|
||||
var body struct {
|
||||
Title string `json:"title"`
|
||||
MemberIDs []string `json:"member_ids"`
|
||||
}
|
||||
if err := decodeStrict(r, &body); err != nil {
|
||||
writeDecodeErr(w, r, err)
|
||||
return
|
||||
}
|
||||
title := strings.TrimSpace(body.Title)
|
||||
if title == "" || utf8.RuneCountInString(title) > 100 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid title")
|
||||
return
|
||||
}
|
||||
if len(body.MemberIDs) < 1 || len(body.MemberIDs) > 100 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid member_ids")
|
||||
return
|
||||
}
|
||||
uid := userFrom(r)
|
||||
seen := make(map[uuid.UUID]struct{}, len(body.MemberIDs))
|
||||
ids := make([]uuid.UUID, 0, len(body.MemberIDs))
|
||||
callerPresent := false
|
||||
for _, raw := range body.MemberIDs {
|
||||
id, err := uuid.Parse(raw)
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid member id")
|
||||
return
|
||||
}
|
||||
if _, dup := seen[id]; dup {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "duplicate member id")
|
||||
return
|
||||
}
|
||||
seen[id] = struct{}{}
|
||||
if id == uid {
|
||||
callerPresent = true
|
||||
}
|
||||
ids = append(ids, id)
|
||||
}
|
||||
if !callerPresent {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "caller must be a member")
|
||||
return
|
||||
}
|
||||
chat, err := s.Store.CreateChat(r.Context(), title, ids)
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "unknown member")
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusCreated, chatDTO(chat))
|
||||
}
|
||||
|
||||
func (s *Server) handleListChats(w http.ResponseWriter, r *http.Request) {
|
||||
uid := userFrom(r)
|
||||
limit, after, err := parsePage(r, "chats:"+uid.String())
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", err.Error())
|
||||
return
|
||||
}
|
||||
items, next, err := s.Store.ListChats(r.Context(), uid, limit, after)
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, http.StatusBadRequest, "invalid_request", "invalid cursor")
|
||||
return
|
||||
}
|
||||
out := make([]any, len(items))
|
||||
for i := range items {
|
||||
out[i] = chatDTO(&items[i])
|
||||
}
|
||||
var cursor *store.PageCursor
|
||||
if next != nil {
|
||||
cursor = &store.PageCursor{Scope: "chats:" + uid.String(), CreatedAt: next.CreatedAt, ID: next.ID}
|
||||
}
|
||||
writeJSON(w, http.StatusOK, pageDTO(out, cursor))
|
||||
}
|
||||
|
||||
func (s *Server) handleGetChat(w http.ResponseWriter, r *http.Request) {
|
||||
chatID, err := uuid.Parse(r.PathValue("chat_id"))
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
|
||||
return
|
||||
}
|
||||
chat, err := s.Store.GetChat(r.Context(), chatID, userFrom(r))
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusOK, chatDTO(chat))
|
||||
}
|
||||
|
||||
func (s *Server) handleCreateMessage(w http.ResponseWriter, r *http.Request) {
|
||||
chatID, err := uuid.Parse(r.PathValue("chat_id"))
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
|
||||
return
|
||||
}
|
||||
idemKey := r.Header.Get("Idempotency-Key")
|
||||
if !validIdempotencyKey(idemKey) {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid or missing Idempotency-Key")
|
||||
return
|
||||
}
|
||||
var body struct {
|
||||
Text string `json:"text"`
|
||||
AttachmentIDs []string `json:"attachment_ids"`
|
||||
}
|
||||
if err := decodeStrict(r, &body); err != nil {
|
||||
writeDecodeErr(w, r, err)
|
||||
return
|
||||
}
|
||||
// attachment_ids: 0–10 уникальных UUID, по умолчанию []. Отсутствующий ключ, null и []
|
||||
// равны. UUID нормализуем (нижний регистр, канонический вид): иначе «ABC…» и «abc…»
|
||||
// давали бы разные хэши идемпотентности и дубль в uniqueItems.
|
||||
if len(body.AttachmentIDs) > 10 {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "too many attachment_ids")
|
||||
return
|
||||
}
|
||||
attachmentIDs := make([]uuid.UUID, 0, len(body.AttachmentIDs))
|
||||
canonicalIDs := make([]string, 0, len(body.AttachmentIDs))
|
||||
seenAtt := make(map[uuid.UUID]struct{}, len(body.AttachmentIDs))
|
||||
for _, raw := range body.AttachmentIDs {
|
||||
id, err := uuid.Parse(raw)
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid attachment id")
|
||||
return
|
||||
}
|
||||
if _, dup := seenAtt[id]; dup {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "duplicate attachment id")
|
||||
return
|
||||
}
|
||||
seenAtt[id] = struct{}{}
|
||||
attachmentIDs = append(attachmentIDs, id)
|
||||
canonicalIDs = append(canonicalIDs, id.String())
|
||||
}
|
||||
// Непустота — по TrimSpace; длина и сохранение — по исходному тексту.
|
||||
// Иначе пробелы по краям пропадают, а строка «пробел + 4000 букв» проходит как 4000.
|
||||
// lab4: пустой текст допустим, если есть хотя бы одно вложение (сообщение «только файл»).
|
||||
if utf8.RuneCountInString(body.Text) > 4000 ||
|
||||
(strings.TrimSpace(body.Text) == "" && len(attachmentIDs) == 0) {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid text")
|
||||
return
|
||||
}
|
||||
path := "/api/v1/chats/" + chatID.String() + "/messages"
|
||||
reqHash := idempotencyRequestHash(body.Text, canonicalIDs)
|
||||
result, err := s.Store.CreateMessageIdempotent(
|
||||
r.Context(), chatID, userFrom(r), body.Text, attachmentIDs,
|
||||
http.MethodPost, path, idemKey, reqHash,
|
||||
)
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
}
|
||||
if errors.Is(err, store.ErrIdempotencyConflict) {
|
||||
writeError(w, r, http.StatusConflict, "conflict", "idempotency key reused with different body")
|
||||
return
|
||||
}
|
||||
if errors.Is(err, store.ErrAttachmentNotReady) {
|
||||
writeError(w, r, http.StatusConflict, "conflict", "attachment is not ready")
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, 0, "", "")
|
||||
return
|
||||
}
|
||||
writeJSON(w, http.StatusCreated, messageDTO(result.Message))
|
||||
}
|
||||
|
||||
func (s *Server) handleListMessages(w http.ResponseWriter, r *http.Request) {
|
||||
chatID, err := uuid.Parse(r.PathValue("chat_id"))
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
|
||||
return
|
||||
}
|
||||
scope := "chat:" + chatID.String()
|
||||
limit, after, err := parsePage(r, scope)
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", err.Error())
|
||||
return
|
||||
}
|
||||
items, next, err := s.Store.ListMessages(r.Context(), chatID, userFrom(r), limit, after)
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
s.writeStoreErr(w, r, err, http.StatusBadRequest, "invalid_request", "invalid cursor")
|
||||
return
|
||||
}
|
||||
out := make([]any, len(items))
|
||||
for i := range items {
|
||||
out[i] = messageDTO(&items[i])
|
||||
}
|
||||
var cursor *store.PageCursor
|
||||
if next != nil {
|
||||
cursor = &store.PageCursor{Scope: scope, CreatedAt: next.CreatedAt, ID: next.ID}
|
||||
}
|
||||
writeJSON(w, http.StatusOK, pageDTO(out, cursor))
|
||||
}
|
||||
|
||||
// requireUser принимает только Authorization: Bearer. X-User-Id не читается.
|
||||
// Basic на бизнес-методе — тот же 401, но с Bearer-challenge, не с Basic.
|
||||
func (s *Server) requireUser(next http.HandlerFunc) http.HandlerFunc {
|
||||
return func(w http.ResponseWriter, r *http.Request) {
|
||||
header := r.Header.Get("Authorization")
|
||||
if strings.HasPrefix(strings.ToLower(header), "basic ") {
|
||||
writeAuthError(w, r, challengeBearer)
|
||||
return
|
||||
}
|
||||
token, ok := parseBearer(header)
|
||||
if !ok {
|
||||
writeAuthError(w, r, challengeBearer)
|
||||
return
|
||||
}
|
||||
uid, err := s.Sessions.Lookup(r.Context(), token)
|
||||
if errors.Is(err, session.ErrUnauthorized) {
|
||||
writeAuthError(w, r, challengeBearer)
|
||||
return
|
||||
}
|
||||
if err != nil {
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
return
|
||||
}
|
||||
ctx := context.WithValue(r.Context(), userKey, uid)
|
||||
ctx = context.WithValue(ctx, tokenKey, token)
|
||||
next(w, r.WithContext(ctx))
|
||||
}
|
||||
}
|
||||
|
||||
func userFrom(r *http.Request) uuid.UUID {
|
||||
id, _ := r.Context().Value(userKey).(uuid.UUID)
|
||||
return id
|
||||
}
|
||||
|
||||
func (s *Server) withRequestID(next http.Handler) http.Handler {
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
rid := r.Header.Get("X-Request-Id")
|
||||
if rid == "" {
|
||||
rid = uuid.NewString()
|
||||
}
|
||||
w.Header().Set("X-Request-Id", rid)
|
||||
next.ServeHTTP(w, r.WithContext(context.WithValue(r.Context(), requestIDKey, rid)))
|
||||
})
|
||||
}
|
||||
|
||||
func (s *Server) withInstanceID(next http.Handler) http.Handler {
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("X-Instance-Id", s.InstanceID)
|
||||
next.ServeHTTP(w, r)
|
||||
})
|
||||
}
|
||||
|
||||
// validIdempotencyKey — ASCII [A-Za-z0-9._:-]{1,128}.
|
||||
func validIdempotencyKey(key string) bool {
|
||||
if len(key) < 1 || len(key) > 128 {
|
||||
return false
|
||||
}
|
||||
for i := 0; i < len(key); i++ {
|
||||
c := key[i]
|
||||
switch {
|
||||
case c >= 'A' && c <= 'Z', c >= 'a' && c <= 'z', c >= '0' && c <= '9':
|
||||
case c == '.', c == '_', c == ':', c == '-':
|
||||
default:
|
||||
return false
|
||||
}
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
// idempotencyRequestHash канонизирует тело: порядок ключей JSON не важен,
|
||||
// отсутствующий attachment_ids равен []. Хэш — SHA-256 hex.
|
||||
func idempotencyRequestHash(text string, attachmentIDs []string) string {
|
||||
if attachmentIDs == nil {
|
||||
attachmentIDs = []string{}
|
||||
}
|
||||
payload, _ := json.Marshal(struct {
|
||||
Text string `json:"text"`
|
||||
AttachmentIDs []string `json:"attachment_ids"`
|
||||
}{Text: text, AttachmentIDs: attachmentIDs})
|
||||
sum := sha256.Sum256(payload)
|
||||
return hex.EncodeToString(sum[:])
|
||||
}
|
||||
|
||||
type statusRecorder struct {
|
||||
http.ResponseWriter
|
||||
status int
|
||||
}
|
||||
|
||||
func (s *statusRecorder) WriteHeader(code int) {
|
||||
s.status = code
|
||||
s.ResponseWriter.WriteHeader(code)
|
||||
}
|
||||
|
||||
func (s *Server) withAccessLog(next http.Handler) http.Handler {
|
||||
quiet := strings.EqualFold(os.Getenv("APP_ACCESS_LOG"), "0") || strings.EqualFold(os.Getenv("APP_ACCESS_LOG"), "false")
|
||||
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
start := time.Now()
|
||||
rec := &statusRecorder{ResponseWriter: w, status: http.StatusOK}
|
||||
next.ServeHTTP(rec, r)
|
||||
if quiet && rec.status < 400 {
|
||||
return
|
||||
}
|
||||
if strings.HasPrefix(r.URL.Path, "/health/") && rec.status == http.StatusOK {
|
||||
return
|
||||
}
|
||||
rid, _ := r.Context().Value(requestIDKey).(string)
|
||||
// path без query: в cursor нет секрета, но и текста сообщения в логе быть не должно.
|
||||
log.Printf("method=%s path=%s status=%d request_id=%s duration_ms=%d",
|
||||
r.Method, r.URL.Path, rec.status, rid, time.Since(start).Milliseconds())
|
||||
})
|
||||
}
|
||||
|
||||
func parsePage(r *http.Request, expectedScope string) (int, *store.PageCursor, error) {
|
||||
limit := 50
|
||||
if raw := r.URL.Query().Get("limit"); raw != "" {
|
||||
n, err := strconv.Atoi(raw)
|
||||
if err != nil || n < 1 || n > 100 {
|
||||
return 0, nil, fmt.Errorf("invalid limit")
|
||||
}
|
||||
limit = n
|
||||
}
|
||||
rawCursor := r.URL.Query().Get("cursor")
|
||||
if rawCursor == "" {
|
||||
return limit, nil, nil
|
||||
}
|
||||
cur, err := decodeCursor(rawCursor)
|
||||
if err != nil || cur.Scope != expectedScope {
|
||||
return 0, nil, fmt.Errorf("invalid cursor")
|
||||
}
|
||||
return limit, cur, nil
|
||||
}
|
||||
|
||||
func encodeCursor(c *store.PageCursor) string {
|
||||
payload := fmt.Sprintf("%s|%s|%s", c.Scope, c.CreatedAt.UTC().Format(time.RFC3339Nano), c.ID.String())
|
||||
return base64.RawURLEncoding.EncodeToString([]byte(payload))
|
||||
}
|
||||
|
||||
func decodeCursor(raw string) (*store.PageCursor, error) {
|
||||
b, err := base64.RawURLEncoding.DecodeString(raw)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
parts := strings.SplitN(string(b), "|", 3)
|
||||
if len(parts) != 3 {
|
||||
return nil, fmt.Errorf("bad cursor")
|
||||
}
|
||||
ts, err := time.Parse(time.RFC3339Nano, parts[1])
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
id, err := uuid.Parse(parts[2])
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &store.PageCursor{Scope: parts[0], CreatedAt: ts.UTC(), ID: id}, nil
|
||||
}
|
||||
|
||||
func validUsername(s string) bool {
|
||||
if len(s) < 3 || len(s) > 32 {
|
||||
return false
|
||||
}
|
||||
for _, c := range s {
|
||||
if (c < 'a' || c > 'z') && (c < '0' || c > '9') && c != '_' {
|
||||
return false
|
||||
}
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
func decodeStrict(r *http.Request, dst any) error {
|
||||
ct := r.Header.Get("Content-Type")
|
||||
if ct != "" && !strings.HasPrefix(strings.ToLower(strings.TrimSpace(ct)), "application/json") {
|
||||
return errUnsupported
|
||||
}
|
||||
// Читаем тело целиком: Decoder.More() не ловит хвост вида {"text":"x"}} —
|
||||
// после одного объекта More()=false, а лишняя скобка всё равно остаётся.
|
||||
raw, err := io.ReadAll(io.LimitReader(r.Body, 1<<20))
|
||||
if err != nil {
|
||||
return errMalformed
|
||||
}
|
||||
dec := json.NewDecoder(bytes.NewReader(raw))
|
||||
dec.DisallowUnknownFields()
|
||||
if err := dec.Decode(dst); err != nil {
|
||||
return errMalformed
|
||||
}
|
||||
rest := bytes.TrimSpace(raw[dec.InputOffset():])
|
||||
if len(rest) != 0 {
|
||||
return errMalformed
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
var (
|
||||
errUnsupported = errors.New("unsupported media type")
|
||||
errMalformed = errors.New("malformed json")
|
||||
)
|
||||
|
||||
func writeDecodeErr(w http.ResponseWriter, r *http.Request, err error) {
|
||||
if errors.Is(err, errUnsupported) {
|
||||
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "unsupported media type")
|
||||
return
|
||||
}
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "malformed json")
|
||||
}
|
||||
|
||||
func parseBasic(header string) (string, string, bool) {
|
||||
const prefix = "basic "
|
||||
if len(header) < len(prefix) || strings.ToLower(header[:len(prefix)]) != prefix {
|
||||
return "", "", false
|
||||
}
|
||||
raw, err := base64.StdEncoding.DecodeString(strings.TrimSpace(header[len(prefix):]))
|
||||
if err != nil || !utf8.Valid(raw) {
|
||||
return "", "", false
|
||||
}
|
||||
user, pass, ok := strings.Cut(string(raw), ":")
|
||||
if !ok || user == "" {
|
||||
return "", "", false
|
||||
}
|
||||
return user, pass, true
|
||||
}
|
||||
|
||||
func parseBearer(header string) (string, bool) {
|
||||
const prefix = "bearer "
|
||||
if len(header) < len(prefix) || strings.ToLower(header[:len(prefix)]) != prefix {
|
||||
return "", false
|
||||
}
|
||||
token := strings.TrimSpace(header[len(prefix):])
|
||||
if token == "" || strings.Contains(token, " ") {
|
||||
return "", false
|
||||
}
|
||||
return token, true
|
||||
}
|
||||
|
||||
func userDTO(u *store.User) map[string]any {
|
||||
return map[string]any{
|
||||
"id": u.ID.String(),
|
||||
"username": u.Username,
|
||||
"display_name": u.DisplayName,
|
||||
"created_at": formatTime(u.CreatedAt),
|
||||
}
|
||||
}
|
||||
|
||||
func chatDTO(c *store.Chat) map[string]any {
|
||||
ids := make([]string, len(c.MemberIDs))
|
||||
for i, id := range c.MemberIDs {
|
||||
ids[i] = id.String()
|
||||
}
|
||||
return map[string]any{
|
||||
"id": c.ID.String(),
|
||||
"title": c.Title,
|
||||
"member_ids": ids,
|
||||
"created_at": formatTime(c.CreatedAt),
|
||||
}
|
||||
}
|
||||
|
||||
func messageDTO(m *store.Message) map[string]any {
|
||||
// attachment_ids обязателен в ответе (контракт 1.4.0): всегда массив, не null.
|
||||
ids := make([]string, len(m.AttachmentIDs))
|
||||
for i, id := range m.AttachmentIDs {
|
||||
ids[i] = id.String()
|
||||
}
|
||||
return map[string]any{
|
||||
"id": m.ID.String(),
|
||||
"chat_id": m.ChatID.String(),
|
||||
"sender_id": m.SenderID.String(),
|
||||
"text": m.Text,
|
||||
"created_at": formatTime(m.CreatedAt),
|
||||
"attachment_ids": ids,
|
||||
}
|
||||
}
|
||||
|
||||
func pageDTO(items []any, next *store.PageCursor) map[string]any {
|
||||
var cursor any
|
||||
if next != nil {
|
||||
cursor = encodeCursor(next)
|
||||
}
|
||||
if items == nil {
|
||||
items = []any{}
|
||||
}
|
||||
return map[string]any{"items": items, "next_cursor": cursor}
|
||||
}
|
||||
|
||||
func formatTime(t time.Time) string {
|
||||
return t.UTC().Truncate(time.Millisecond).Format("2006-01-02T15:04:05.000Z")
|
||||
}
|
||||
|
||||
func writeJSON(w http.ResponseWriter, status int, v any) {
|
||||
w.Header().Set("Content-Type", "application/json")
|
||||
w.WriteHeader(status)
|
||||
enc := json.NewEncoder(w)
|
||||
enc.SetEscapeHTML(false)
|
||||
_ = enc.Encode(v)
|
||||
}
|
||||
|
||||
func writeError(w http.ResponseWriter, r *http.Request, status int, code, message string) {
|
||||
rid, _ := r.Context().Value(requestIDKey).(string)
|
||||
if rid == "" {
|
||||
rid = w.Header().Get("X-Request-Id")
|
||||
}
|
||||
writeJSON(w, status, map[string]any{
|
||||
"error": map[string]any{
|
||||
"code": code,
|
||||
"message": message,
|
||||
"request_id": rid,
|
||||
},
|
||||
})
|
||||
}
|
||||
|
||||
func writeAuthError(w http.ResponseWriter, r *http.Request, challenge string) {
|
||||
w.Header().Set("WWW-Authenticate", challenge)
|
||||
writeError(w, r, http.StatusUnauthorized, "unauthorized", "authentication required")
|
||||
}
|
||||
|
||||
// writeStoreErr прячет текст драйвера. fallbackStatus используется для ожидаемой доменной ошибки.
|
||||
func (s *Server) writeStoreErr(w http.ResponseWriter, r *http.Request, err error, fallbackStatus int, fallbackCode, fallbackMessage string) {
|
||||
switch {
|
||||
case errors.Is(err, store.ErrUnavailable):
|
||||
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
|
||||
case errors.Is(err, store.ErrIdempotencyConflict):
|
||||
writeError(w, r, http.StatusConflict, "conflict", "idempotency key reused with different body")
|
||||
case errors.Is(err, store.ErrConflict) && fallbackStatus != 0:
|
||||
writeError(w, r, fallbackStatus, fallbackCode, fallbackMessage)
|
||||
case errors.Is(err, store.ErrNotFound) && fallbackStatus != 0:
|
||||
if fallbackCode == "unauthorized" {
|
||||
writeAuthError(w, r, challengeBearer)
|
||||
return
|
||||
}
|
||||
writeError(w, r, fallbackStatus, fallbackCode, fallbackMessage)
|
||||
case errors.Is(err, store.ErrInvalidCursor):
|
||||
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid cursor")
|
||||
default:
|
||||
if errors.Is(err, store.ErrConflict) {
|
||||
writeError(w, r, http.StatusConflict, "conflict", "username already taken")
|
||||
return
|
||||
}
|
||||
// В лог — только тип, без SQL и без текста, который драйвер мог вложить в ошибку.
|
||||
log.Printf("request_id=%s store_error_type=%T", requestID(r), err)
|
||||
writeError(w, r, http.StatusInternalServerError, "internal_error", "internal error")
|
||||
}
|
||||
}
|
||||
|
||||
func requestID(r *http.Request) string {
|
||||
rid, _ := r.Context().Value(requestIDKey).(string)
|
||||
return rid
|
||||
}
|
||||
@@ -0,0 +1,110 @@
|
||||
// Package auth хранит пароли через Argon2id.
|
||||
//
|
||||
// bcrypt отвергнут: библиотека молча режет пароль на 72 байта, а контракт
|
||||
// разрешает до 128 Unicode code points, включая символы вне ASCII.
|
||||
// Argon2id принимает пароль целиком. Параметры — интерактивные, не «серверные»
|
||||
// на сотни миллисекунд: smoke создаёт несколько пользователей подряд.
|
||||
package auth
|
||||
|
||||
import (
|
||||
"crypto/rand"
|
||||
"crypto/subtle"
|
||||
"encoding/base64"
|
||||
"fmt"
|
||||
"strings"
|
||||
|
||||
"golang.org/x/crypto/argon2"
|
||||
)
|
||||
|
||||
const (
|
||||
argonTime = 2
|
||||
argonMemory = 19 * 1024 // KiB, около 19 MiB
|
||||
argonThreads = 1
|
||||
argonKeyLen = 32
|
||||
argonSaltLen = 16
|
||||
)
|
||||
|
||||
// Hasher умеет хешировать и проверять. dummy — хеш случайного пароля,
|
||||
// чтобы отсутствующий username занимал примерно столько же CPU, сколько неверный пароль.
|
||||
type Hasher struct {
|
||||
dummy string
|
||||
}
|
||||
|
||||
// NewHasher готовит dummy-хеш один раз на процесс.
|
||||
func NewHasher() (*Hasher, error) {
|
||||
dummy, err := Hash(randomPassword())
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &Hasher{dummy: dummy}, nil
|
||||
}
|
||||
|
||||
// Hash возвращает PHC-строку. Её пишем в users.password_hash.
|
||||
func Hash(password string) (string, error) {
|
||||
salt := make([]byte, argonSaltLen)
|
||||
if _, err := rand.Read(salt); err != nil {
|
||||
return "", err
|
||||
}
|
||||
sum := argon2.IDKey([]byte(password), salt, argonTime, argonMemory, argonThreads, argonKeyLen)
|
||||
return fmt.Sprintf("$argon2id$v=19$m=%d,t=%d,p=%d$%s$%s",
|
||||
argonMemory, argonTime, argonThreads,
|
||||
base64.RawStdEncoding.EncodeToString(salt),
|
||||
base64.RawStdEncoding.EncodeToString(sum),
|
||||
), nil
|
||||
}
|
||||
|
||||
// Verify сравнивает пароль с PHC-строкой. При битой строке возвращает false, не панику.
|
||||
func (h *Hasher) Verify(encoded, password string) bool {
|
||||
if encoded == "" {
|
||||
encoded = h.dummy
|
||||
}
|
||||
ok, err := verify(encoded, password)
|
||||
if err != nil {
|
||||
// Всё равно тратим время dummy-проверки, чтобы ветка ошибки не была мгновенной.
|
||||
_, _ = verify(h.dummy, password)
|
||||
return false
|
||||
}
|
||||
return ok
|
||||
}
|
||||
|
||||
// Burn тратит время проверки, когда пользователя нет. Результат всегда false.
|
||||
func (h *Hasher) Burn(password string) {
|
||||
_, _ = verify(h.dummy, password)
|
||||
}
|
||||
|
||||
func verify(encoded, password string) (bool, error) {
|
||||
parts := strings.Split(encoded, "$")
|
||||
// ["", "argon2id", "v=19", "m=..,t=..,p=..", salt, hash]
|
||||
if len(parts) != 6 || parts[1] != "argon2id" || parts[2] != "v=19" {
|
||||
return false, fmt.Errorf("bad hash")
|
||||
}
|
||||
var memory uint32
|
||||
var timeCost uint32
|
||||
var threads uint8
|
||||
if _, err := fmt.Sscanf(parts[3], "m=%d,t=%d,p=%d", &memory, &timeCost, &threads); err != nil {
|
||||
return false, err
|
||||
}
|
||||
if memory != argonMemory || timeCost != argonTime || threads != argonThreads {
|
||||
return false, fmt.Errorf("unexpected argon2 parameters")
|
||||
}
|
||||
salt, err := base64.RawStdEncoding.DecodeString(parts[4])
|
||||
if err != nil {
|
||||
return false, err
|
||||
}
|
||||
want, err := base64.RawStdEncoding.DecodeString(parts[5])
|
||||
if err != nil {
|
||||
return false, err
|
||||
}
|
||||
got := argon2.IDKey([]byte(password), salt, timeCost, memory, threads, uint32(len(want)))
|
||||
// ConstantTimeCompare не даёт выйти на первом несовпавшем байте.
|
||||
if subtle.ConstantTimeCompare(got, want) != 1 {
|
||||
return false, nil
|
||||
}
|
||||
return true, nil
|
||||
}
|
||||
|
||||
func randomPassword() string {
|
||||
buf := make([]byte, 24)
|
||||
_, _ = rand.Read(buf)
|
||||
return base64.RawStdEncoding.EncodeToString(buf)
|
||||
}
|
||||
@@ -0,0 +1,188 @@
|
||||
// Package config читает настройки процесса из окружения.
|
||||
//
|
||||
// Прямые URL (DATABASE_URL, REDIS_URL) удобны в Compose.
|
||||
// Вариант *_FILE из .env.example нужен, если секрет смонтирован файлом:
|
||||
// тогда в переменной лежит путь, а не сам секрет.
|
||||
package config
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"os"
|
||||
"strconv"
|
||||
"strings"
|
||||
"time"
|
||||
)
|
||||
|
||||
// Config — всё, что процесс обязан знать до открытия соединений.
|
||||
type Config struct {
|
||||
Host string
|
||||
Port int
|
||||
Env string
|
||||
DatabaseURL string
|
||||
RedisURL string
|
||||
SessionTTL time.Duration
|
||||
InstanceID string
|
||||
MaxConns int32
|
||||
RunMigrations bool
|
||||
IdempotencyTTL time.Duration
|
||||
|
||||
// --- lab4: объектное хранилище (S3-совместимое, MinIO) ---
|
||||
|
||||
// S3Endpoint — URL S3 API внутри сети Compose (http://minio:9000).
|
||||
S3Endpoint string
|
||||
// S3Region — для SigV4 нужен любой регион; у MinIO по умолчанию us-east-1.
|
||||
S3Region string
|
||||
// S3Bucket — приватный bucket с оригиналами вложений.
|
||||
S3Bucket string
|
||||
// S3AccessKey/S3SecretKey — НЕ root MinIO, а отдельный пользователь messenger-api
|
||||
// с политикой только на этот bucket (создаётся сервисом minio-init).
|
||||
S3AccessKey string
|
||||
S3SecretKey string
|
||||
// S3ForcePathStyle — path-style адресация (http://minio:9000/bucket/key).
|
||||
// У MinIO в Compose нет wildcard-DNS для bucket.minio, поэтому virtual-hosted не работает.
|
||||
S3ForcePathStyle bool
|
||||
// S3OrphanGrace — «льготный период» reconciler: объект без строки в БД младше этого
|
||||
// возраста считается ещё загружаемым (PUT уже был, INSERT ещё не успел) и не трогается.
|
||||
S3OrphanGrace time.Duration
|
||||
// UploadMaxConcurrency — сколько загрузок одна реплика буферизует в RAM одновременно.
|
||||
// Остальные ждут в очереди (см. api.Server.uploadSlots), поэтому пик памяти ограничен
|
||||
// сверху UploadMaxConcurrency * 10 MiB, а не числом клиентов.
|
||||
UploadMaxConcurrency int
|
||||
}
|
||||
|
||||
// Load собирает Config. Пустой URL без файла — ошибка запуска, а не тихий дефолт на чужой хост.
|
||||
func Load() (Config, error) {
|
||||
cfg := Config{
|
||||
Host: getenv("APP_HOST", "0.0.0.0"),
|
||||
Env: getenv("APP_ENV", "lab"),
|
||||
}
|
||||
port, err := strconv.Atoi(getenv("APP_PORT", "8080"))
|
||||
if err != nil || port < 1 || port > 65535 {
|
||||
return cfg, fmt.Errorf("invalid APP_PORT")
|
||||
}
|
||||
cfg.Port = port
|
||||
|
||||
ttlSec, err := strconv.Atoi(getenv("SESSION_TTL_SECONDS", "3600"))
|
||||
if err != nil || ttlSec < 1 || ttlSec > 7*24*3600 {
|
||||
return cfg, fmt.Errorf("invalid SESSION_TTL_SECONDS")
|
||||
}
|
||||
cfg.SessionTTL = time.Duration(ttlSec) * time.Second
|
||||
|
||||
idemTTL, err := strconv.Atoi(getenv("IDEMPOTENCY_TTL_SECONDS", "86400"))
|
||||
if err != nil || idemTTL < 60 || idemTTL > 7*24*3600 {
|
||||
return cfg, fmt.Errorf("invalid IDEMPOTENCY_TTL_SECONDS")
|
||||
}
|
||||
cfg.IdempotencyTTL = time.Duration(idemTTL) * time.Second
|
||||
|
||||
maxConns, err := strconv.Atoi(getenv("DB_MAX_CONNS", "5"))
|
||||
if err != nil || maxConns < 1 || maxConns > 50 {
|
||||
return cfg, fmt.Errorf("invalid DB_MAX_CONNS")
|
||||
}
|
||||
cfg.MaxConns = int32(maxConns)
|
||||
|
||||
cfg.DatabaseURL, err = getenvOrFile("DATABASE_URL", "DATABASE_URL_FILE")
|
||||
if err != nil {
|
||||
return cfg, err
|
||||
}
|
||||
cfg.RedisURL, err = getenvOrFile("REDIS_URL", "CACHE_URL_FILE")
|
||||
if err != nil {
|
||||
return cfg, err
|
||||
}
|
||||
|
||||
if err := loadS3(&cfg); err != nil {
|
||||
return cfg, err
|
||||
}
|
||||
|
||||
// X-Instance-Id стабилен на жизнь процесса. В Compose hostname = id контейнера,
|
||||
// поэтому stop-one.sh сопоставляет TARGET_INSTANCE_ID с Config.Hostname.
|
||||
cfg.InstanceID = strings.TrimSpace(os.Getenv("INSTANCE_ID"))
|
||||
if cfg.InstanceID == "" {
|
||||
host, herr := os.Hostname()
|
||||
if herr != nil || strings.TrimSpace(host) == "" {
|
||||
return cfg, fmt.Errorf("set INSTANCE_ID or ensure hostname is available")
|
||||
}
|
||||
cfg.InstanceID = host
|
||||
}
|
||||
|
||||
// Миграции по умолчанию выключены у API-реплик: их гоняет одноразовый сервис migrate.
|
||||
// Для локальных тестов и -migrate флага включается явно.
|
||||
cfg.RunMigrations = truthy(os.Getenv("RUN_MIGRATIONS"))
|
||||
return cfg, nil
|
||||
}
|
||||
|
||||
// loadS3 читает S3_* переменные. Ключи, как и DATABASE_URL, можно передать файлом
|
||||
// (S3_ACCESS_KEY_FILE / S3_SECRET_KEY_FILE): так секрет не попадает в `docker inspect`.
|
||||
// Пустой endpoint/ключ — ошибка запуска: тихий дефолт на «какой-нибудь» S3 опаснее падения.
|
||||
func loadS3(cfg *Config) error {
|
||||
var err error
|
||||
cfg.S3Endpoint = strings.TrimSpace(os.Getenv("S3_ENDPOINT"))
|
||||
if cfg.S3Endpoint == "" {
|
||||
return fmt.Errorf("set S3_ENDPOINT")
|
||||
}
|
||||
cfg.S3Region = getenv("S3_REGION", "us-east-1")
|
||||
cfg.S3Bucket = getenv("S3_BUCKET", "messenger")
|
||||
cfg.S3AccessKey, err = getenvOrFile("S3_ACCESS_KEY", "S3_ACCESS_KEY_FILE")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
cfg.S3SecretKey, err = getenvOrFile("S3_SECRET_KEY", "S3_SECRET_KEY_FILE")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
// По умолчанию path-style включён: для MinIO в Compose это единственный рабочий вариант.
|
||||
cfg.S3ForcePathStyle = truthy(getenv("S3_FORCE_PATH_STYLE", "1"))
|
||||
|
||||
// Grace по умолчанию 300 с: с запасом больше любой реальной загрузки (таймаут PUT 10 с)
|
||||
// и задержки между PUT и COMMIT. 0 допустим (удалять сразу) — нужен только тестам.
|
||||
graceSec, err := strconv.Atoi(getenv("S3_ORPHAN_GRACE_SECONDS", "300"))
|
||||
if err != nil || graceSec < 0 || graceSec > 7*24*3600 {
|
||||
return fmt.Errorf("invalid S3_ORPHAN_GRACE_SECONDS")
|
||||
}
|
||||
cfg.S3OrphanGrace = time.Duration(graceSec) * time.Second
|
||||
|
||||
cfg.UploadMaxConcurrency, err = strconv.Atoi(getenv("UPLOAD_MAX_CONCURRENCY", "4"))
|
||||
if err != nil || cfg.UploadMaxConcurrency < 1 || cfg.UploadMaxConcurrency > 64 {
|
||||
return fmt.Errorf("invalid UPLOAD_MAX_CONCURRENCY")
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Addr — адрес Listen, обычно 0.0.0.0:8080 внутри контейнера.
|
||||
func (c Config) Addr() string {
|
||||
return fmt.Sprintf("%s:%d", c.Host, c.Port)
|
||||
}
|
||||
|
||||
func getenv(key, fallback string) string {
|
||||
if v := strings.TrimSpace(os.Getenv(key)); v != "" {
|
||||
return v
|
||||
}
|
||||
return fallback
|
||||
}
|
||||
|
||||
func getenvOrFile(directKey, fileKey string) (string, error) {
|
||||
if v := strings.TrimSpace(os.Getenv(directKey)); v != "" {
|
||||
return v, nil
|
||||
}
|
||||
path := strings.TrimSpace(os.Getenv(fileKey))
|
||||
if path == "" {
|
||||
return "", fmt.Errorf("set %s or %s", directKey, fileKey)
|
||||
}
|
||||
b, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("read %s: %w", fileKey, err)
|
||||
}
|
||||
v := strings.TrimSpace(string(b))
|
||||
if v == "" {
|
||||
return "", fmt.Errorf("%s is empty", fileKey)
|
||||
}
|
||||
return v, nil
|
||||
}
|
||||
|
||||
func truthy(v string) bool {
|
||||
switch strings.ToLower(strings.TrimSpace(v)) {
|
||||
case "1", "true", "yes", "on":
|
||||
return true
|
||||
default:
|
||||
return false
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,304 @@
|
||||
// Package objectstore — тонкая обёртка над aws-sdk-go-v2 для приватного S3-bucket (MinIO).
|
||||
//
|
||||
// Зачем отдельный пакет:
|
||||
// - HTTP-слой и reconciler работают с узким набором операций (Put/Get/Delete/Head/List/
|
||||
// EnsureBucket/Ping) и с двумя доменными ошибками, а не с типами SDK;
|
||||
// - все таймауты и настройки «совместимости с MinIO» собраны в одном месте;
|
||||
// - наружу (в ответ клиенту, в лог) не уходят тексты ошибок SDK: в них бывают
|
||||
// endpoint, имя bucket и фрагменты запроса.
|
||||
//
|
||||
// Байты вложений живут ТОЛЬКО здесь. Ни локальный диск API-реплики, ни PostgreSQL
|
||||
// оригиналов не хранят: любая реплика после остановки соседней отдаёт тот же файл.
|
||||
package objectstore
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
"io"
|
||||
"net"
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
"github.com/aws/aws-sdk-go-v2/aws"
|
||||
awshttp "github.com/aws/aws-sdk-go-v2/aws/transport/http"
|
||||
"github.com/aws/aws-sdk-go-v2/credentials"
|
||||
"github.com/aws/aws-sdk-go-v2/service/s3"
|
||||
"github.com/aws/aws-sdk-go-v2/service/s3/types"
|
||||
"github.com/aws/smithy-go"
|
||||
)
|
||||
|
||||
// Доменные ошибки. HTTP-слой различает «нет объекта» и «хранилище недоступно».
|
||||
var (
|
||||
// ErrNotFound — объекта (или bucket) нет.
|
||||
ErrNotFound = errors.New("object not found")
|
||||
// ErrUnavailable — S3 недоступен, таймаут, отказ в доступе или любая иная ошибка
|
||||
// транспорта. Клиенту это всегда 503: он не должен видеть подробности.
|
||||
ErrUnavailable = errors.New("object store unavailable")
|
||||
)
|
||||
|
||||
// Таймауты операций. Подобраны под HAProxy (timeout server 15s): S3-запрос обязан
|
||||
// закончиться раньше, чем балансировщик оборвёт клиента, иначе получим 504 вместо
|
||||
// управляемого 503.
|
||||
const (
|
||||
pingTimeout = 700 * time.Millisecond // /health/ready опрашивается раз в секунду
|
||||
putTimeout = 10 * time.Second // до 10 MiB по локальной сети
|
||||
smallOpTimeout = 3 * time.Second // Head/Delete
|
||||
listTimeout = 10 * time.Second // страница List до 1000 ключей
|
||||
)
|
||||
|
||||
// Config — параметры подключения. Секреты приходят из окружения, в лог не пишутся.
|
||||
type Config struct {
|
||||
Endpoint string
|
||||
Region string
|
||||
Bucket string
|
||||
AccessKey string
|
||||
SecretKey string
|
||||
ForcePathStyle bool
|
||||
}
|
||||
|
||||
// Store — клиент одного bucket. Безопасен для конкурентного использования.
|
||||
type Store struct {
|
||||
client *s3.Client
|
||||
bucket string
|
||||
}
|
||||
|
||||
// ObjectInfo — метаданные объекта (из Head или List).
|
||||
type ObjectInfo struct {
|
||||
Key string
|
||||
Size int64
|
||||
ContentType string // пусто для List: он тип не возвращает
|
||||
LastModified time.Time
|
||||
ETag string
|
||||
}
|
||||
|
||||
// ListPage — одна страница List. NextToken пуст, когда страниц больше нет.
|
||||
type ListPage struct {
|
||||
Objects []ObjectInfo
|
||||
NextToken string
|
||||
}
|
||||
|
||||
// New создаёт клиента. Сетевых вызовов не делает: доступность проверяют Ping/EnsureBucket.
|
||||
func New(cfg Config) (*Store, error) {
|
||||
if cfg.Endpoint == "" || cfg.Bucket == "" || cfg.AccessKey == "" || cfg.SecretKey == "" {
|
||||
return nil, fmt.Errorf("objectstore: endpoint, bucket and credentials are required")
|
||||
}
|
||||
region := cfg.Region
|
||||
if region == "" {
|
||||
region = "us-east-1"
|
||||
}
|
||||
|
||||
// Собственный HTTP-клиент: короткий dial-таймаут нужен, чтобы остановленный MinIO
|
||||
// давал отказ за ~2 с, а не за системные минуты. ResponseHeaderTimeout защищает от
|
||||
// «подвисшего» сервера, который принял соединение, но не отвечает.
|
||||
httpClient := awshttp.NewBuildableClient().
|
||||
WithDialerOptions(func(d *net.Dialer) {
|
||||
d.Timeout = 2 * time.Second
|
||||
d.KeepAlive = 30 * time.Second
|
||||
}).
|
||||
WithTransportOptions(func(tr *http.Transport) {
|
||||
tr.ResponseHeaderTimeout = 8 * time.Second
|
||||
tr.MaxIdleConnsPerHost = 16
|
||||
tr.IdleConnTimeout = 60 * time.Second
|
||||
})
|
||||
|
||||
awsCfg := aws.Config{
|
||||
Region: region,
|
||||
Credentials: credentials.NewStaticCredentialsProvider(cfg.AccessKey, cfg.SecretKey, ""),
|
||||
HTTPClient: httpClient,
|
||||
// Две попытки вместо трёх по умолчанию: повтор нужен для редких обрывов,
|
||||
// но при лежащем S3 мы хотим быстро ответить 503, а не копить backoff.
|
||||
RetryMaxAttempts: 2,
|
||||
}
|
||||
client := s3.NewFromConfig(awsCfg, func(o *s3.Options) {
|
||||
o.BaseEndpoint = aws.String(cfg.Endpoint)
|
||||
// MinIO в Compose доступен только по имени хоста minio — bucket в имени хоста
|
||||
// (virtual-hosted) невозможен, поэтому path-style.
|
||||
o.UsePathStyle = cfg.ForcePathStyle
|
||||
// Свежие версии SDK по умолчанию добавляют CRC32-trailer ко всем PUT. Для
|
||||
// не-AWS бэкендов это источник несовместимостей; нам достаточно обычной SigV4
|
||||
// подписи полезной нагрузки (тело — seekable bytes.Reader).
|
||||
o.RequestChecksumCalculation = aws.RequestChecksumCalculationWhenRequired
|
||||
o.ResponseChecksumValidation = aws.ResponseChecksumValidationWhenRequired
|
||||
})
|
||||
return &Store{client: client, bucket: cfg.Bucket}, nil
|
||||
}
|
||||
|
||||
// Bucket возвращает имя bucket (для логов bootstrap; клиенту не отдаётся).
|
||||
func (s *Store) Bucket() string { return s.bucket }
|
||||
|
||||
// Ping — проверка для /health/ready: HeadBucket. Требует s3:ListBucket, которое
|
||||
// есть в политике messenger-api. Короткий таймаут: readiness не должен висеть.
|
||||
func (s *Store) Ping(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, pingTimeout)
|
||||
defer cancel()
|
||||
if _, err := s.client.HeadBucket(ctx, &s3.HeadBucketInput{Bucket: aws.String(s.bucket)}); err != nil {
|
||||
return ErrUnavailable
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// EnsureBucket идемпотентно гарантирует существование bucket.
|
||||
//
|
||||
// Основной путь создания — сервис minio-init (root-учётка). API-пользователь по политике
|
||||
// НЕ может создавать buckets, поэтому здесь: HeadBucket → если нет, пробуем CreateBucket
|
||||
// (сработает на S3-бэкендах с более широкими правами, например в локальном dev) и
|
||||
// «уже существует/уже наш» считаем успехом. Повторный вызов безопасен.
|
||||
func (s *Store) EnsureBucket(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
|
||||
defer cancel()
|
||||
_, err := s.client.HeadBucket(ctx, &s3.HeadBucketInput{Bucket: aws.String(s.bucket)})
|
||||
if err == nil {
|
||||
return nil
|
||||
}
|
||||
if !isNotFound(err) {
|
||||
return fmt.Errorf("head bucket: %w", classify(err))
|
||||
}
|
||||
_, err = s.client.CreateBucket(ctx, &s3.CreateBucketInput{Bucket: aws.String(s.bucket)})
|
||||
if err != nil {
|
||||
var owned *types.BucketAlreadyOwnedByYou
|
||||
var exists *types.BucketAlreadyExists
|
||||
if errors.As(err, &owned) || errors.As(err, &exists) {
|
||||
return nil // гонка с другой репликой/minio-init: bucket уже есть
|
||||
}
|
||||
return fmt.Errorf("create bucket (запустите minio-init): %w", classify(err))
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Put кладёт объект целиком. body должен быть seekable (bytes.Reader): SDK тогда сам
|
||||
// считает хеш полезной нагрузки для SigV4 и умеет перечитать тело при retry.
|
||||
// Объект без ACL: bucket приватный, анонимный доступ запрещён политикой.
|
||||
func (s *Store) Put(ctx context.Context, key string, body io.ReadSeeker, size int64, contentType string) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, putTimeout)
|
||||
defer cancel()
|
||||
_, err := s.client.PutObject(ctx, &s3.PutObjectInput{
|
||||
Bucket: aws.String(s.bucket),
|
||||
Key: aws.String(key),
|
||||
Body: body,
|
||||
ContentLength: aws.Int64(size),
|
||||
ContentType: aws.String(contentType),
|
||||
})
|
||||
return classify(err)
|
||||
}
|
||||
|
||||
// Get открывает поток объекта. Вызывающий ОБЯЗАН закрыть ReadCloser.
|
||||
// Таймаут здесь не навешиваем: контекст живёт, пока тело стримится клиенту
|
||||
// (его ограничивает ctx запроса и WriteTimeout HTTP-сервера).
|
||||
func (s *Store) Get(ctx context.Context, key string) (io.ReadCloser, ObjectInfo, error) {
|
||||
out, err := s.client.GetObject(ctx, &s3.GetObjectInput{
|
||||
Bucket: aws.String(s.bucket),
|
||||
Key: aws.String(key),
|
||||
})
|
||||
if err != nil {
|
||||
return nil, ObjectInfo{}, classify(err)
|
||||
}
|
||||
info := ObjectInfo{
|
||||
Key: key,
|
||||
Size: aws.ToInt64(out.ContentLength),
|
||||
ContentType: aws.ToString(out.ContentType),
|
||||
LastModified: aws.ToTime(out.LastModified),
|
||||
ETag: aws.ToString(out.ETag),
|
||||
}
|
||||
return out.Body, info, nil
|
||||
}
|
||||
|
||||
// Head возвращает метаданные без тела. ErrNotFound — объекта нет.
|
||||
func (s *Store) Head(ctx context.Context, key string) (ObjectInfo, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
|
||||
defer cancel()
|
||||
out, err := s.client.HeadObject(ctx, &s3.HeadObjectInput{
|
||||
Bucket: aws.String(s.bucket),
|
||||
Key: aws.String(key),
|
||||
})
|
||||
if err != nil {
|
||||
return ObjectInfo{}, classify(err)
|
||||
}
|
||||
return ObjectInfo{
|
||||
Key: key,
|
||||
Size: aws.ToInt64(out.ContentLength),
|
||||
ContentType: aws.ToString(out.ContentType),
|
||||
LastModified: aws.ToTime(out.LastModified),
|
||||
ETag: aws.ToString(out.ETag),
|
||||
}, nil
|
||||
}
|
||||
|
||||
// Delete удаляет объект. Отсутствующий объект — не ошибка (S3 DeleteObject идемпотентен),
|
||||
// что важно и для компенсации после сбоя PG, и для повторных запусков reconciler.
|
||||
func (s *Store) Delete(ctx context.Context, key string) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
|
||||
defer cancel()
|
||||
_, err := s.client.DeleteObject(ctx, &s3.DeleteObjectInput{
|
||||
Bucket: aws.String(s.bucket),
|
||||
Key: aws.String(key),
|
||||
})
|
||||
if err != nil && isNotFound(err) {
|
||||
return nil
|
||||
}
|
||||
return classify(err)
|
||||
}
|
||||
|
||||
// List возвращает одну страницу ключей с префиксом prefix в лексикографическом порядке
|
||||
// (так S3 отдаёт ListObjectsV2). token — из предыдущей страницы, пустой для первой.
|
||||
// Именно порядок позволяет reconciler сливать листинг с отсортированной выборкой из БД
|
||||
// (merge-join) без загрузки всех ключей в память.
|
||||
func (s *Store) List(ctx context.Context, prefix, token string, maxKeys int32) (ListPage, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, listTimeout)
|
||||
defer cancel()
|
||||
in := &s3.ListObjectsV2Input{
|
||||
Bucket: aws.String(s.bucket),
|
||||
Prefix: aws.String(prefix),
|
||||
MaxKeys: aws.Int32(maxKeys),
|
||||
}
|
||||
if token != "" {
|
||||
in.ContinuationToken = aws.String(token)
|
||||
}
|
||||
out, err := s.client.ListObjectsV2(ctx, in)
|
||||
if err != nil {
|
||||
return ListPage{}, classify(err)
|
||||
}
|
||||
page := ListPage{Objects: make([]ObjectInfo, 0, len(out.Contents))}
|
||||
for _, o := range out.Contents {
|
||||
page.Objects = append(page.Objects, ObjectInfo{
|
||||
Key: aws.ToString(o.Key),
|
||||
Size: aws.ToInt64(o.Size),
|
||||
LastModified: aws.ToTime(o.LastModified),
|
||||
ETag: aws.ToString(o.ETag),
|
||||
})
|
||||
}
|
||||
if aws.ToBool(out.IsTruncated) {
|
||||
page.NextToken = aws.ToString(out.NextContinuationToken)
|
||||
}
|
||||
return page, nil
|
||||
}
|
||||
|
||||
// classify сводит ошибки SDK к двум доменным. Исходный текст не пробрасываем.
|
||||
func classify(err error) error {
|
||||
switch {
|
||||
case err == nil:
|
||||
return nil
|
||||
case isNotFound(err):
|
||||
return ErrNotFound
|
||||
default:
|
||||
return ErrUnavailable
|
||||
}
|
||||
}
|
||||
|
||||
// isNotFound распознаёт «нет объекта/bucket» по типам и кодам ответа S3.
|
||||
// HeadObject отдаёт безымянный 404 (types.NotFound), GetObject — NoSuchKey.
|
||||
func isNotFound(err error) bool {
|
||||
var noKey *types.NoSuchKey
|
||||
var notFound *types.NotFound
|
||||
var noBucket *types.NoSuchBucket
|
||||
if errors.As(err, &noKey) || errors.As(err, ¬Found) || errors.As(err, &noBucket) {
|
||||
return true
|
||||
}
|
||||
var apiErr smithy.APIError
|
||||
if errors.As(err, &apiErr) {
|
||||
switch apiErr.ErrorCode() {
|
||||
case "NoSuchKey", "NotFound", "NoSuchBucket":
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
@@ -0,0 +1,377 @@
|
||||
// Package reconcile — сверка двух хранилищ вложений: S3 (байты) и PostgreSQL (метаданные).
|
||||
//
|
||||
// Почему сверка нужна вообще. Общей транзакции у S3 и PostgreSQL нет. Загрузка делает
|
||||
// PUT в S3, затем INSERT в БД (см. internal/api/attachments.go). Между шагами процесс может
|
||||
// умереть, а компенсирующее удаление — не сработать. Получаются два вида расхождений:
|
||||
//
|
||||
// orphan — объект в S3 есть, строки в БД нет. Безвредно для пользователя, но это вечный
|
||||
// мусор и расход места. Лечение: удалить объект, НО только старше grace-периода
|
||||
// (иначе можно снести объект, у которого INSERT ещё «в полёте»).
|
||||
// missing — строка в БД есть, объекта в S3 нет (удалён руками, потерян, сбой диска).
|
||||
// Пользователь получит ошибку при скачивании. Автоматически данные не вернуть,
|
||||
// поэтому по умолчанию только ОТЧЁТ. Опционально (PruneMissing) удаляется строка,
|
||||
// которая одновременно старая И неиспользуемая; «свежие» и «используемые»
|
||||
// сообщениями вложения не удаляются никогда.
|
||||
//
|
||||
// Алгоритм — merge-join двух ОТСОРТИРОВАННЫХ потоков (ключи S3 в лексикографическом порядке
|
||||
// и attachments.object_key COLLATE "C" в БД). Обе стороны читаются страницами, поэтому память
|
||||
// O(размер страницы), а не O(число объектов), а стоимость — O(n) по числу объектов
|
||||
// плюс HEAD только для редких кандидатов в missing.
|
||||
//
|
||||
// Безопасность:
|
||||
// - dry-run (DryRun) ничего не удаляет и не изменяет: только лог и отчёт;
|
||||
// - повторный запуск идемпотентен (после исправления расхождений находит 0);
|
||||
// - ключи вне схемы attachments/{uuid}/{uuid} никогда не удаляются;
|
||||
// - перед удалением orphan — повторная проверка строки в БД (сужает окно гонки);
|
||||
// - строки, на которые ссылаются сообщения, защищены ещё и внешним ключом PostgreSQL.
|
||||
package reconcile
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"fmt"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
// KeyPrefix — единственный префикс, который обходит reconciler.
|
||||
const KeyPrefix = "attachments/"
|
||||
|
||||
// pageSize — размер страницы и для S3 (максимум ListObjectsV2 — 1000), и для БД.
|
||||
const defaultPageSize = 1000
|
||||
|
||||
// maxSamples ограничивает число ключей-примеров в отчёте, чтобы вывод не разрастался.
|
||||
const maxSamples = 50
|
||||
|
||||
// Options — параметры запуска.
|
||||
type Options struct {
|
||||
// DryRun — ничего не менять, только сообщить, что было бы сделано.
|
||||
DryRun bool
|
||||
// Grace — минимальный возраст orphan-объекта (по LastModified в S3) и «неиспользуемой»
|
||||
// строки (по created_at), после которого их можно трогать. Берётся из S3_ORPHAN_GRACE_SECONDS.
|
||||
Grace time.Duration
|
||||
// PruneMissing — удалять строки без объекта, если они старше Grace и не прикреплены
|
||||
// ни к одному сообщению. Без флага missing только отчётность.
|
||||
PruneMissing bool
|
||||
// PageSize — для тестов; по умолчанию 1000.
|
||||
PageSize int
|
||||
// Now — для тестов; по умолчанию time.Now.
|
||||
Now func() time.Time
|
||||
// Logf — построчный лог (по умолчанию молчит). В main — log.Printf.
|
||||
Logf func(format string, args ...any)
|
||||
}
|
||||
|
||||
// Report — итог запуска. Печатается в JSON и годится как evidence.
|
||||
type Report struct {
|
||||
DryRun bool `json:"dry_run"`
|
||||
GraceSeconds float64 `json:"grace_seconds"`
|
||||
PruneMissing bool `json:"prune_missing"`
|
||||
|
||||
// Стоимость обхода.
|
||||
S3ObjectsScanned int `json:"s3_objects_scanned"`
|
||||
DBRowsScanned int `json:"db_rows_scanned"`
|
||||
S3ListCalls int `json:"s3_list_calls"`
|
||||
DBPages int `json:"db_pages"`
|
||||
HeadCalls int `json:"s3_head_calls"`
|
||||
DeleteCalls int `json:"s3_delete_calls"`
|
||||
DurationMs int64 `json:"duration_ms"`
|
||||
|
||||
Matched int `json:"matched"` // и объект, и строка
|
||||
|
||||
// Orphan: объект без строки.
|
||||
OrphansFound int `json:"orphans_found"` // старше grace, подлежат удалению
|
||||
OrphansDeleted int `json:"orphans_deleted"` // реально удалено (0 в dry-run)
|
||||
OrphansFresh int `json:"orphans_fresh"` // моложе grace — не тронуты
|
||||
OrphansRaced int `json:"orphans_raced"` // перед удалением строка появилась — не тронуты
|
||||
UnknownKeys int `json:"unknown_keys"` // ключ вне схемы attachments/{uuid}/{uuid} — не тронуты
|
||||
OrphanSampleKey []string `json:"orphan_sample_keys,omitempty"`
|
||||
|
||||
// Missing: строка без объекта.
|
||||
MissingFound int `json:"missing_found"` // подтверждено HEAD
|
||||
MissingUsed int `json:"missing_used"` // прикреплено к сообщению — ТРЕБУЕТ внимания, не удаляется
|
||||
MissingFresh int `json:"missing_fresh"` // моложе grace — не тронуты
|
||||
MissingStale int `json:"missing_stale"` // старые и неиспользуемые — кандидаты на prune
|
||||
MissingPruned int `json:"missing_pruned"` // строк удалено (0 в dry-run и без PruneMissing)
|
||||
MissingRaced int `json:"missing_raced"` // HEAD нашёл объект — ложная тревога из-за гонки
|
||||
MissingSample []string `json:"missing_sample_keys,omitempty"`
|
||||
|
||||
Errors int `json:"errors"`
|
||||
}
|
||||
|
||||
// Reconciler — зависимости.
|
||||
type Reconciler struct {
|
||||
DB *store.Store
|
||||
Objects *objectstore.Store
|
||||
Opts Options
|
||||
}
|
||||
|
||||
// Run выполняет один проход. Ошибка хранилища (S3/PG недоступны) прерывает проход:
|
||||
// частичный результат без явной причины хуже честной остановки; отчёт возвращается всегда.
|
||||
func (rc *Reconciler) Run(ctx context.Context) (*Report, error) {
|
||||
opts := rc.Opts
|
||||
if opts.PageSize <= 0 || opts.PageSize > defaultPageSize {
|
||||
opts.PageSize = defaultPageSize
|
||||
}
|
||||
if opts.Now == nil {
|
||||
opts.Now = time.Now
|
||||
}
|
||||
if opts.Logf == nil {
|
||||
opts.Logf = func(string, ...any) {}
|
||||
}
|
||||
rep := &Report{
|
||||
DryRun: opts.DryRun,
|
||||
GraceSeconds: opts.Grace.Seconds(),
|
||||
PruneMissing: opts.PruneMissing,
|
||||
}
|
||||
start := time.Now()
|
||||
defer func() { rep.DurationMs = time.Since(start).Milliseconds() }()
|
||||
|
||||
run := &run{rc: rc, opts: opts, rep: rep}
|
||||
err := run.mergeJoin(ctx)
|
||||
return rep, err
|
||||
}
|
||||
|
||||
type run struct {
|
||||
rc *Reconciler
|
||||
opts Options
|
||||
rep *Report
|
||||
}
|
||||
|
||||
// s3Cursor / dbCursor — «ленивые» итераторы по страницам с peek/advance.
|
||||
type s3Cursor struct {
|
||||
page []objectstore.ObjectInfo
|
||||
idx int
|
||||
token string
|
||||
begun bool
|
||||
done bool
|
||||
}
|
||||
|
||||
type dbCursor struct {
|
||||
page []store.AttachmentRef
|
||||
idx int
|
||||
after string
|
||||
done bool
|
||||
}
|
||||
|
||||
func (r *run) peekS3(ctx context.Context, c *s3Cursor) (*objectstore.ObjectInfo, error) {
|
||||
for c.idx >= len(c.page) {
|
||||
if c.done {
|
||||
return nil, nil
|
||||
}
|
||||
if c.begun && c.token == "" {
|
||||
c.done = true
|
||||
return nil, nil
|
||||
}
|
||||
p, err := r.rc.Objects.List(ctx, KeyPrefix, c.token, int32(r.opts.PageSize))
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("list s3: %w", err)
|
||||
}
|
||||
r.rep.S3ListCalls++
|
||||
c.begun, c.page, c.idx, c.token = true, p.Objects, 0, p.NextToken
|
||||
if len(p.Objects) == 0 && p.NextToken == "" {
|
||||
c.done = true
|
||||
return nil, nil
|
||||
}
|
||||
}
|
||||
return &c.page[c.idx], nil
|
||||
}
|
||||
|
||||
func (r *run) peekDB(ctx context.Context, c *dbCursor) (*store.AttachmentRef, error) {
|
||||
for c.idx >= len(c.page) {
|
||||
if c.done {
|
||||
return nil, nil
|
||||
}
|
||||
rows, err := r.rc.DB.ListAttachmentRefsAfter(ctx, c.after, r.opts.PageSize)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("list db: %w", err)
|
||||
}
|
||||
r.rep.DBPages++
|
||||
if len(rows) == 0 {
|
||||
c.done = true
|
||||
return nil, nil
|
||||
}
|
||||
c.page, c.idx = rows, 0
|
||||
c.after = rows[len(rows)-1].ObjectKey
|
||||
}
|
||||
return &c.page[c.idx], nil
|
||||
}
|
||||
|
||||
func (r *run) mergeJoin(ctx context.Context) error {
|
||||
s3c, dbc := &s3Cursor{}, &dbCursor{}
|
||||
for {
|
||||
if err := ctx.Err(); err != nil {
|
||||
return err
|
||||
}
|
||||
o, err := r.peekS3(ctx, s3c)
|
||||
if err != nil {
|
||||
r.rep.Errors++
|
||||
return err
|
||||
}
|
||||
d, err := r.peekDB(ctx, dbc)
|
||||
if err != nil {
|
||||
r.rep.Errors++
|
||||
return err
|
||||
}
|
||||
if o == nil && d == nil {
|
||||
return nil
|
||||
}
|
||||
switch {
|
||||
case d == nil || (o != nil && o.Key < d.ObjectKey):
|
||||
// Ключ есть в S3, а в БД его нет → кандидат в orphan.
|
||||
r.rep.S3ObjectsScanned++
|
||||
if err := r.handleOrphanCandidate(ctx, *o); err != nil {
|
||||
r.rep.Errors++
|
||||
return err
|
||||
}
|
||||
s3c.idx++
|
||||
case o == nil || d.ObjectKey < o.Key:
|
||||
// Строка есть, объекта нет → кандидат в missing.
|
||||
r.rep.DBRowsScanned++
|
||||
if err := r.handleMissingCandidate(ctx, *d); err != nil {
|
||||
r.rep.Errors++
|
||||
return err
|
||||
}
|
||||
dbc.idx++
|
||||
default:
|
||||
// Ключи равны: всё согласовано.
|
||||
r.rep.S3ObjectsScanned++
|
||||
r.rep.DBRowsScanned++
|
||||
r.rep.Matched++
|
||||
s3c.idx++
|
||||
dbc.idx++
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func (r *run) handleOrphanCandidate(ctx context.Context, o objectstore.ObjectInfo) error {
|
||||
// Чужие/неожиданные ключи не трогаем вообще: reconciler знает только свою схему ключей.
|
||||
if !validAttachmentKey(o.Key) {
|
||||
r.rep.UnknownKeys++
|
||||
r.opts.Logf("SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): %s", o.Key)
|
||||
return nil
|
||||
}
|
||||
age := r.opts.Now().Sub(o.LastModified)
|
||||
if age < r.opts.Grace {
|
||||
// PUT был недавно: INSERT мог ещё не закоммититься. Не трогаем.
|
||||
r.rep.OrphansFresh++
|
||||
r.opts.Logf("SKIP fresh orphan (age=%s < grace=%s): %s", age.Round(time.Second), r.opts.Grace, o.Key)
|
||||
return nil
|
||||
}
|
||||
// Повторная проверка непосредственно перед удалением: за время прохода строка
|
||||
// могла появиться (долгая загрузка, медленный INSERT).
|
||||
exists, err := r.rc.DB.AttachmentKeyExists(ctx, o.Key)
|
||||
if err != nil {
|
||||
return fmt.Errorf("recheck db: %w", err)
|
||||
}
|
||||
if exists {
|
||||
r.rep.OrphansRaced++
|
||||
return nil
|
||||
}
|
||||
r.rep.OrphansFound++
|
||||
r.sample(&r.rep.OrphanSampleKey, o.Key)
|
||||
if r.opts.DryRun {
|
||||
r.opts.Logf("DRY-RUN would delete orphan (age=%s, size=%d): %s", age.Round(time.Second), o.Size, o.Key)
|
||||
return nil
|
||||
}
|
||||
r.rep.DeleteCalls++
|
||||
if err := r.rc.Objects.Delete(ctx, o.Key); err != nil {
|
||||
return fmt.Errorf("delete orphan: %w", err)
|
||||
}
|
||||
r.rep.OrphansDeleted++
|
||||
r.opts.Logf("DELETED orphan (age=%s, size=%d): %s", age.Round(time.Second), o.Size, o.Key)
|
||||
return nil
|
||||
}
|
||||
|
||||
func (r *run) handleMissingCandidate(ctx context.Context, d store.AttachmentRef) error {
|
||||
// Подтверждаем HEAD: листинг S3 и страница БД читались в разные моменты, поэтому
|
||||
// «нет в листинге» ещё не значит «нет в S3» (загрузка могла завершиться между ними).
|
||||
r.rep.HeadCalls++
|
||||
_, err := r.rc.Objects.Head(ctx, d.ObjectKey)
|
||||
switch {
|
||||
case err == nil:
|
||||
r.rep.MissingRaced++
|
||||
return nil
|
||||
case errors.Is(err, objectstore.ErrNotFound):
|
||||
// действительно отсутствует — идём дальше
|
||||
default:
|
||||
return fmt.Errorf("head: %w", err)
|
||||
}
|
||||
|
||||
r.rep.MissingFound++
|
||||
r.sample(&r.rep.MissingSample, d.ObjectKey)
|
||||
age := r.opts.Now().Sub(d.CreatedAt)
|
||||
switch {
|
||||
case d.Used:
|
||||
// Вложение прикреплено к сообщению, а байт нет: потеря данных. Автоматически не чиним
|
||||
// и не удаляем строку (иначе сообщение осталось бы со ссылкой в никуда).
|
||||
r.rep.MissingUsed++
|
||||
r.opts.Logf("ALERT used attachment lost its object (id=%s, не удаляется): %s", d.ID, d.ObjectKey)
|
||||
case age < r.opts.Grace:
|
||||
r.rep.MissingFresh++
|
||||
r.opts.Logf("SKIP fresh missing (age=%s < grace=%s): %s", age.Round(time.Second), r.opts.Grace, d.ObjectKey)
|
||||
default:
|
||||
r.rep.MissingStale++
|
||||
switch {
|
||||
case r.opts.DryRun:
|
||||
r.opts.Logf("DRY-RUN missing object, unused stale row (id=%s)%s: %s", d.ID, pruneHint(r.opts.PruneMissing), d.ObjectKey)
|
||||
case !r.opts.PruneMissing:
|
||||
r.opts.Logf("REPORT missing object, unused stale row (id=%s), prune выключен: %s", d.ID, d.ObjectKey)
|
||||
default:
|
||||
// Удаление защищено условиями created_at < cutoff и NOT EXISTS ссылок в SQL.
|
||||
deleted, err := r.rc.DB.DeleteUnusedAttachment(ctx, d.ID, r.opts.Now().Add(-r.opts.Grace))
|
||||
if err != nil {
|
||||
return fmt.Errorf("prune row: %w", err)
|
||||
}
|
||||
if deleted {
|
||||
r.rep.MissingPruned++
|
||||
r.opts.Logf("PRUNED row without object (id=%s): %s", d.ID, d.ObjectKey)
|
||||
}
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func pruneHint(prune bool) string {
|
||||
if prune {
|
||||
return " would be pruned"
|
||||
}
|
||||
return " (prune off, report only)"
|
||||
}
|
||||
|
||||
func (r *run) sample(dst *[]string, key string) {
|
||||
if len(*dst) < maxSamples {
|
||||
*dst = append(*dst, key)
|
||||
}
|
||||
}
|
||||
|
||||
// validAttachmentKey — ключ строго вида attachments/{uuid}/{uuid} в каноническом написании.
|
||||
func validAttachmentKey(key string) bool {
|
||||
rest, ok := cutPrefix(key, KeyPrefix)
|
||||
if !ok {
|
||||
return false
|
||||
}
|
||||
var chat, att string
|
||||
for i := 0; i < len(rest); i++ {
|
||||
if rest[i] == '/' {
|
||||
chat, att = rest[:i], rest[i+1:]
|
||||
break
|
||||
}
|
||||
}
|
||||
if chat == "" || att == "" {
|
||||
return false
|
||||
}
|
||||
c, err1 := uuid.Parse(chat)
|
||||
a, err2 := uuid.Parse(att)
|
||||
return err1 == nil && err2 == nil && c.String() == chat && a.String() == att
|
||||
}
|
||||
|
||||
func cutPrefix(s, prefix string) (string, bool) {
|
||||
if len(s) >= len(prefix) && s[:len(prefix)] == prefix {
|
||||
return s[len(prefix):], true
|
||||
}
|
||||
return s, false
|
||||
}
|
||||
@@ -0,0 +1,135 @@
|
||||
// Package session хранит opaque Bearer-сессии в Redis.
|
||||
//
|
||||
// PostgreSQL остаётся источником истины для пользователей и сообщений.
|
||||
// Сессия — отдельная роль: случайный токен, срок жизни SESSION_TTL_SECONDS и отзыв.
|
||||
// В Redis лежит не сам токен, а его SHA-256: дамп AOF не содержит значение,
|
||||
// которое клиент предъявляет в Authorization.
|
||||
//
|
||||
// TTL ключа равен оставшемуся сроку сессии. Рестарт API его не продлевает.
|
||||
// Рестарт Redis сессию сохраняет только потому, что включён AOF на volume.
|
||||
package session
|
||||
|
||||
import (
|
||||
"context"
|
||||
"crypto/rand"
|
||||
"crypto/sha256"
|
||||
"encoding/hex"
|
||||
"errors"
|
||||
"fmt"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
"github.com/redis/go-redis/v9"
|
||||
)
|
||||
|
||||
var (
|
||||
ErrUnauthorized = errors.New("unauthorized")
|
||||
ErrUnavailable = errors.New("unavailable")
|
||||
)
|
||||
|
||||
// Store — клиент Redis с короткими таймаутами.
|
||||
type Store struct {
|
||||
client *redis.Client
|
||||
ttl time.Duration
|
||||
}
|
||||
|
||||
// Open разбирает redis:// URL. Пароль в лог не пишется.
|
||||
func Open(redisURL string, ttl time.Duration) (*Store, error) {
|
||||
opt, err := redis.ParseURL(redisURL)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("parse redis url: %w", err)
|
||||
}
|
||||
opt.DialTimeout = 500 * time.Millisecond
|
||||
opt.ReadTimeout = 500 * time.Millisecond
|
||||
opt.WriteTimeout = 500 * time.Millisecond
|
||||
opt.PoolSize = 20
|
||||
client := redis.NewClient(opt)
|
||||
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
|
||||
defer cancel()
|
||||
if err := client.Ping(ctx).Err(); err != nil {
|
||||
_ = client.Close()
|
||||
return nil, err
|
||||
}
|
||||
return &Store{client: client, ttl: ttl}, nil
|
||||
}
|
||||
|
||||
// Close закрывает пул при остановке процесса.
|
||||
func (s *Store) Close() error {
|
||||
return s.client.Close()
|
||||
}
|
||||
|
||||
// Ping — готовность кэша сессий. Недоступный Redis не означает «анонимный доступ».
|
||||
func (s *Store) Ping(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, 300*time.Millisecond)
|
||||
defer cancel()
|
||||
if err := s.client.Ping(ctx).Err(); err != nil {
|
||||
return ErrUnavailable
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Issue выпускает 256 бит случайности (32 байта) и кладёт сессию с TTL.
|
||||
// Наружу уходит hex (64 символа). В Redis — только хеш.
|
||||
func (s *Store) Issue(ctx context.Context, userID uuid.UUID) (token string, expiresAt time.Time, err error) {
|
||||
buf := make([]byte, 32)
|
||||
if _, err = rand.Read(buf); err != nil {
|
||||
return "", time.Time{}, err
|
||||
}
|
||||
token = hex.EncodeToString(buf)
|
||||
expiresAt = time.Now().UTC().Add(s.ttl).Truncate(time.Millisecond)
|
||||
value := userID.String() + "|" + expiresAt.Format(time.RFC3339Nano)
|
||||
ctx, cancel := context.WithTimeout(ctx, time.Second)
|
||||
defer cancel()
|
||||
if err = s.client.Set(ctx, key(token), value, time.Until(expiresAt)).Err(); err != nil {
|
||||
return "", time.Time{}, ErrUnavailable
|
||||
}
|
||||
return token, expiresAt, nil
|
||||
}
|
||||
|
||||
// Lookup возвращает владельца живой сессии.
|
||||
// Промах и истёкший срок — ErrUnauthorized. Сбой Redis — ErrUnavailable (HTTP 503).
|
||||
func (s *Store) Lookup(ctx context.Context, token string) (uuid.UUID, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, time.Second)
|
||||
defer cancel()
|
||||
raw, err := s.client.Get(ctx, key(token)).Result()
|
||||
if errors.Is(err, redis.Nil) {
|
||||
return uuid.Nil, ErrUnauthorized
|
||||
}
|
||||
if err != nil {
|
||||
return uuid.Nil, ErrUnavailable
|
||||
}
|
||||
userPart, expPart, ok := strings.Cut(raw, "|")
|
||||
if !ok {
|
||||
return uuid.Nil, ErrUnauthorized
|
||||
}
|
||||
exp, err := time.Parse(time.RFC3339Nano, expPart)
|
||||
if err != nil || !exp.After(time.Now()) {
|
||||
_ = s.client.Del(ctx, key(token)).Err()
|
||||
return uuid.Nil, ErrUnauthorized
|
||||
}
|
||||
id, err := uuid.Parse(userPart)
|
||||
if err != nil {
|
||||
return uuid.Nil, ErrUnauthorized
|
||||
}
|
||||
return id, nil
|
||||
}
|
||||
|
||||
// Revoke удаляет текущую сессию. Повторный отзыв — это уже отсутствие ключа.
|
||||
func (s *Store) Revoke(ctx context.Context, token string) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, time.Second)
|
||||
defer cancel()
|
||||
n, err := s.client.Del(ctx, key(token)).Result()
|
||||
if err != nil {
|
||||
return ErrUnavailable
|
||||
}
|
||||
if n == 0 {
|
||||
return ErrUnauthorized
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func key(token string) string {
|
||||
sum := sha256.Sum256([]byte(token))
|
||||
return "sess:" + hex.EncodeToString(sum[:])
|
||||
}
|
||||
@@ -0,0 +1,301 @@
|
||||
// Метаданные вложений (lab4): таблицы attachments и message_attachments.
|
||||
//
|
||||
// Разделение ответственности:
|
||||
// - байты оригинала лежат в приватном S3-bucket по ключу attachments/{chat}/{id};
|
||||
// - здесь — всё остальное: чат, владелец, имя для показа, тип, размер, sha256, ключ.
|
||||
//
|
||||
// Порядок «PUT в S3, потом INSERT здесь» выбран намеренно (см. api/attachments.go):
|
||||
// при сбое между шагами остаётся лишний ОБЪЕКТ (его безопасно убирает reconciler),
|
||||
// а не строка без файла (она бы отдавала пользователю ошибку при скачивании).
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
"github.com/jackc/pgx/v5"
|
||||
)
|
||||
|
||||
// StatusReady — единственный статус lab4: 201 возвращается только после сохранения
|
||||
// и оригинала в S3, и метаданных в PostgreSQL.
|
||||
const StatusReady = "ready"
|
||||
|
||||
// Attachment — строка таблицы attachments.
|
||||
type Attachment struct {
|
||||
ID uuid.UUID
|
||||
ChatID uuid.UUID
|
||||
OwnerID uuid.UUID
|
||||
Filename string
|
||||
ContentType string // image/png | image/jpeg, определён по содержимому
|
||||
SizeBytes int64
|
||||
SHA256 string // lowercase hex
|
||||
ObjectKey string // внутренний, клиенту не отдаётся
|
||||
Status string
|
||||
ErrorCode *string
|
||||
Width int
|
||||
Height int
|
||||
CreatedAt time.Time
|
||||
UpdatedAt time.Time
|
||||
}
|
||||
|
||||
// AttachmentObjectKey строит ключ объекта. Ключ целиком определяется сервером:
|
||||
// имя файла клиента в нём не участвует (нет path traversal и коллизий имён),
|
||||
// а префикс chat-id группирует объекты чата для будущей очистки.
|
||||
func AttachmentObjectKey(chatID, attachmentID uuid.UUID) string {
|
||||
return "attachments/" + chatID.String() + "/" + attachmentID.String()
|
||||
}
|
||||
|
||||
// CreateAttachment вставляет метаданные уже загруженного в S3 объекта.
|
||||
//
|
||||
// INSERT ... SELECT ... WHERE EXISTS проверяет членство атомарно с вставкой:
|
||||
// между «проверили участие» в HTTP-слое и записью строки состав чата мог бы измениться,
|
||||
// а так условие и запись — один оператор. 0 строк → ErrNotFound (404).
|
||||
func (s *Store) CreateAttachment(ctx context.Context, a *Attachment) error {
|
||||
if a.CreatedAt.IsZero() {
|
||||
// Миллисекундная точность — та же, что печатается в JSON.
|
||||
a.CreatedAt = nowUTC()
|
||||
}
|
||||
if a.Status == "" {
|
||||
a.Status = StatusReady
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
tag, err := s.pool.Exec(ctx, `
|
||||
INSERT INTO attachments (
|
||||
id, chat_id, owner_id, filename, content_type, size_bytes, sha256,
|
||||
object_key, status, error_code, width, height, created_at, updated_at)
|
||||
SELECT $1, $2, $3, $4, $5, $6, $7, $8, $9, NULL, $10, $11, $12, $12
|
||||
WHERE EXISTS (SELECT 1 FROM chat_members WHERE chat_id = $2 AND user_id = $3)`,
|
||||
a.ID, a.ChatID, a.OwnerID, a.Filename, a.ContentType, a.SizeBytes, a.SHA256,
|
||||
a.ObjectKey, a.Status, a.Width, a.Height, a.CreatedAt)
|
||||
if err != nil {
|
||||
return mapWriteErr(err)
|
||||
}
|
||||
if tag.RowsAffected() != 1 {
|
||||
return ErrNotFound
|
||||
}
|
||||
a.UpdatedAt = a.CreatedAt
|
||||
return nil
|
||||
}
|
||||
|
||||
// GetAttachmentForUser возвращает вложение ТОЛЬКО участнику его чата.
|
||||
// Чужое и несуществующее неразличимы (ErrNotFound → 404, не 403): иначе можно было
|
||||
// бы по коду ответа проверять, существует ли чужой файл.
|
||||
func (s *Store) GetAttachmentForUser(ctx context.Context, id, userID uuid.UUID) (*Attachment, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var a Attachment
|
||||
err := s.pool.QueryRow(ctx, `
|
||||
SELECT a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes,
|
||||
a.sha256, a.object_key, a.status, a.error_code, a.width, a.height,
|
||||
a.created_at, a.updated_at
|
||||
FROM attachments a
|
||||
JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2
|
||||
WHERE a.id = $1`, id, userID).Scan(
|
||||
&a.ID, &a.ChatID, &a.OwnerID, &a.Filename, &a.ContentType, &a.SizeBytes,
|
||||
&a.SHA256, &a.ObjectKey, &a.Status, &a.ErrorCode, &a.Width, &a.Height,
|
||||
&a.CreatedAt, &a.UpdatedAt)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return &a, nil
|
||||
}
|
||||
|
||||
// CountAttachmentsInChat нужен тестам: после отказа S3/PG в чате не должно оставаться
|
||||
// «полуфабрикатов» (строк метаданных без успешной загрузки).
|
||||
func (s *Store) CountAttachmentsInChat(ctx context.Context, chatID uuid.UUID) (int, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var n int
|
||||
if err := s.pool.QueryRow(ctx, `SELECT count(*) FROM attachments WHERE chat_id = $1`, chatID).Scan(&n); err != nil {
|
||||
return 0, mapWriteErr(err)
|
||||
}
|
||||
return n, nil
|
||||
}
|
||||
|
||||
// querier — общая часть pgx.Tx и pgxpool.Pool: так одни и те же функции читают
|
||||
// связи сообщений и внутри транзакции (идемпотентный replay), и вне её (история).
|
||||
type querier interface {
|
||||
Query(ctx context.Context, sql string, args ...any) (pgx.Rows, error)
|
||||
}
|
||||
|
||||
// lockMessageAttachments проверяет вложения будущего сообщения внутри его транзакции.
|
||||
//
|
||||
// - WHERE id = ANY($1) AND chat_id = $2: вложение другого чата и несуществующее
|
||||
// одинаково «не находятся» → ErrNotFound (404). Это и есть привязка файла к чату.
|
||||
// - FOR SHARE блокирует найденные строки до COMMIT: параллельное удаление
|
||||
// (reconciler) подождёт и затем упрётся в внешний ключ message_attachments.
|
||||
// - Если нашлось меньше строк, чем запрошено, — хотя бы одно чужое/неизвестное.
|
||||
// - Любой статус, кроме ready, → ErrAttachmentNotReady (409).
|
||||
//
|
||||
// ids уже проверены HTTP-слоем на уникальность и количество (≤10).
|
||||
func lockMessageAttachments(ctx context.Context, tx pgx.Tx, chatID uuid.UUID, ids []uuid.UUID) error {
|
||||
if len(ids) == 0 {
|
||||
return nil
|
||||
}
|
||||
rows, err := tx.Query(ctx, `
|
||||
SELECT id, status FROM attachments
|
||||
WHERE id = ANY($1) AND chat_id = $2
|
||||
ORDER BY id
|
||||
FOR SHARE`, ids, chatID)
|
||||
if err != nil {
|
||||
return mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
found, notReady := 0, false
|
||||
for rows.Next() {
|
||||
var id uuid.UUID
|
||||
var status string
|
||||
if err := rows.Scan(&id, &status); err != nil {
|
||||
return mapWriteErr(err)
|
||||
}
|
||||
found++
|
||||
if status != StatusReady {
|
||||
notReady = true
|
||||
}
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return mapWriteErr(err)
|
||||
}
|
||||
rows.Close()
|
||||
if found != len(ids) {
|
||||
return ErrNotFound
|
||||
}
|
||||
if notReady {
|
||||
return ErrAttachmentNotReady
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// loadMessageAttachmentIDs — вложения одного сообщения в исходном порядке (position).
|
||||
// Никогда не возвращает nil: пустой срез сериализуется в [], а не в null.
|
||||
func loadMessageAttachmentIDs(ctx context.Context, q querier, messageID uuid.UUID) ([]uuid.UUID, error) {
|
||||
byMsg, err := attachmentIDsByMessage(ctx, q, []uuid.UUID{messageID})
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return byMsg[messageID], nil
|
||||
}
|
||||
|
||||
// attachmentIDsByMessage одним запросом читает связи для набора сообщений.
|
||||
// Для сообщений без вложений вернётся пустой (не nil) срез.
|
||||
func attachmentIDsByMessage(ctx context.Context, q querier, messageIDs []uuid.UUID) (map[uuid.UUID][]uuid.UUID, error) {
|
||||
out := make(map[uuid.UUID][]uuid.UUID, len(messageIDs))
|
||||
for _, id := range messageIDs {
|
||||
out[id] = []uuid.UUID{}
|
||||
}
|
||||
if len(messageIDs) == 0 {
|
||||
return out, nil
|
||||
}
|
||||
rows, err := q.Query(ctx, `
|
||||
SELECT message_id, attachment_id
|
||||
FROM message_attachments
|
||||
WHERE message_id = ANY($1)
|
||||
ORDER BY message_id, position`, messageIDs)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
for rows.Next() {
|
||||
var mid, aid uuid.UUID
|
||||
if err := rows.Scan(&mid, &aid); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
out[mid] = append(out[mid], aid)
|
||||
}
|
||||
return out, mapWriteErr(rows.Err())
|
||||
}
|
||||
|
||||
// attachMessageAttachments дозаполняет AttachmentIDs у страницы сообщений (ListMessages).
|
||||
func (s *Store) attachMessageAttachments(ctx context.Context, items []Message) error {
|
||||
if len(items) == 0 {
|
||||
return nil
|
||||
}
|
||||
ids := make([]uuid.UUID, len(items))
|
||||
for i := range items {
|
||||
ids[i] = items[i].ID
|
||||
}
|
||||
byMsg, err := attachmentIDsByMessage(ctx, s.pool, ids)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
for i := range items {
|
||||
items[i].AttachmentIDs = byMsg[items[i].ID]
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// ---------------------------------------------------------------------------
|
||||
// Методы для reconciler (internal/reconcile). Они здесь, а не в reconcile, потому
|
||||
// что SQL и работа с пулом принадлежат пакету store.
|
||||
// ---------------------------------------------------------------------------
|
||||
|
||||
// AttachmentRef — минимальная информация о строке для сверки с S3.
|
||||
type AttachmentRef struct {
|
||||
ID uuid.UUID
|
||||
ObjectKey string
|
||||
CreatedAt time.Time
|
||||
// Used — на вложение ссылается хотя бы одно сообщение. Такое вложение удалять нельзя.
|
||||
Used bool
|
||||
}
|
||||
|
||||
// ListAttachmentRefsAfter — keyset-страница строк в байтовом порядке object_key
|
||||
// (колонка COLLATE "C" — порядок совпадает с листингом S3). afterKey="" — с начала.
|
||||
func (s *Store) ListAttachmentRefsAfter(ctx context.Context, afterKey string, limit int) ([]AttachmentRef, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
rows, err := s.pool.Query(ctx, `
|
||||
SELECT a.id, a.object_key, a.created_at,
|
||||
EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id)
|
||||
FROM attachments a
|
||||
WHERE a.object_key > $1
|
||||
ORDER BY a.object_key
|
||||
LIMIT $2`, afterKey, limit)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
var out []AttachmentRef
|
||||
for rows.Next() {
|
||||
var r AttachmentRef
|
||||
if err := rows.Scan(&r.ID, &r.ObjectKey, &r.CreatedAt, &r.Used); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
out = append(out, r)
|
||||
}
|
||||
return out, mapWriteErr(rows.Err())
|
||||
}
|
||||
|
||||
// AttachmentKeyExists — повторная проверка непосредственно перед удалением orphan-объекта:
|
||||
// сужает окно гонки «reconciler решил, что строки нет, а загрузка как раз сделала INSERT».
|
||||
func (s *Store) AttachmentKeyExists(ctx context.Context, key string) (bool, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var ok bool
|
||||
err := s.pool.QueryRow(ctx, `SELECT EXISTS (SELECT 1 FROM attachments WHERE object_key = $1)`, key).Scan(&ok)
|
||||
return ok, mapWriteErr(err)
|
||||
}
|
||||
|
||||
// DeleteUnusedAttachment удаляет строку вложения, только если выполнены ОБА условия:
|
||||
// она старше olderThan (не «свежая») и на неё нет ссылок из сообщений (не «используемая»).
|
||||
// Возвращает true, если строка удалена. Внешний ключ message_attachments страхует
|
||||
// от гонки с параллельной отправкой сообщения: такой DELETE упадёт, а не потеряет данные.
|
||||
func (s *Store) DeleteUnusedAttachment(ctx context.Context, id uuid.UUID, olderThan time.Time) (bool, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
tag, err := s.pool.Exec(ctx, `
|
||||
DELETE FROM attachments a
|
||||
WHERE a.id = $1
|
||||
AND a.created_at < $2
|
||||
AND NOT EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id)`,
|
||||
id, olderThan)
|
||||
if err != nil {
|
||||
return false, mapWriteErr(err)
|
||||
}
|
||||
return tag.RowsAffected() == 1, nil
|
||||
}
|
||||
@@ -0,0 +1,84 @@
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"embed"
|
||||
"fmt"
|
||||
"sort"
|
||||
"strings"
|
||||
"time"
|
||||
)
|
||||
|
||||
//go:embed migrations/*.sql
|
||||
var migrationFS embed.FS
|
||||
|
||||
// Migrate применяет встроенные SQL-файлы по одному разу.
|
||||
// Повторный старт процесса не создаёт вторую копию строк: версия пишется в schema_migrations.
|
||||
func (s *Store) Migrate(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, 30*time.Second)
|
||||
defer cancel()
|
||||
if _, err := s.pool.Exec(ctx, `
|
||||
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||
version text PRIMARY KEY,
|
||||
applied_at timestamptz NOT NULL DEFAULT now()
|
||||
)`); err != nil {
|
||||
return fmt.Errorf("schema_migrations: %w", err)
|
||||
}
|
||||
entries, err := migrationFS.ReadDir("migrations")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
names := make([]string, 0, len(entries))
|
||||
for _, e := range entries {
|
||||
if !e.IsDir() && strings.HasSuffix(e.Name(), ".sql") {
|
||||
names = append(names, e.Name())
|
||||
}
|
||||
}
|
||||
sort.Strings(names)
|
||||
for _, name := range names {
|
||||
var exists bool
|
||||
if err := s.pool.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version = $1)`, name).Scan(&exists); err != nil {
|
||||
return err
|
||||
}
|
||||
if exists {
|
||||
continue
|
||||
}
|
||||
body, err := migrationFS.ReadFile("migrations/" + name)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
// pgx в extended protocol не выполняет несколько команд одним Exec.
|
||||
for _, stmt := range splitSQL(string(body)) {
|
||||
if _, err := tx.Exec(ctx, stmt); err != nil {
|
||||
_ = tx.Rollback(ctx)
|
||||
return fmt.Errorf("migrate %s: %w", name, err)
|
||||
}
|
||||
}
|
||||
if _, err := tx.Exec(ctx, `INSERT INTO schema_migrations (version) VALUES ($1)`, name); err != nil {
|
||||
_ = tx.Rollback(ctx)
|
||||
return err
|
||||
}
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// splitSQL делит файл миграции по ';'. В этих файлах нет строк с точкой с запятой внутри литералов.
|
||||
func splitSQL(body string) []string {
|
||||
parts := strings.Split(body, ";")
|
||||
out := make([]string, 0, len(parts))
|
||||
for _, part := range parts {
|
||||
stmt := strings.TrimSpace(part)
|
||||
if stmt == "" {
|
||||
continue
|
||||
}
|
||||
out = append(out, stmt)
|
||||
}
|
||||
return out
|
||||
}
|
||||
@@ -0,0 +1,49 @@
|
||||
-- Схема lab2. PostgreSQL — источник истины для пользователей, чатов и сообщений.
|
||||
-- Сессии здесь намеренно нет: их держит Redis с AOF, TTL не продлевается рестартом API.
|
||||
-- Повторный запуск безопасен: все объекты создаются через IF NOT EXISTS.
|
||||
|
||||
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||
version text PRIMARY KEY,
|
||||
applied_at timestamptz NOT NULL DEFAULT now()
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id uuid PRIMARY KEY,
|
||||
username text NOT NULL,
|
||||
display_name text NOT NULL,
|
||||
-- Argon2id PHC-строка. Не SHA-256 и не plaintext. Наружу не отдаётся.
|
||||
password_hash text NOT NULL,
|
||||
created_at timestamptz NOT NULL,
|
||||
CONSTRAINT users_username_unique UNIQUE (username)
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS chats (
|
||||
id uuid PRIMARY KEY,
|
||||
title text NOT NULL,
|
||||
created_at timestamptz NOT NULL
|
||||
);
|
||||
|
||||
-- Составной первичный ключ не даёт вставить участника дважды.
|
||||
-- Внешние ключи не дают сослаться на несуществующего пользователя или чат.
|
||||
CREATE TABLE IF NOT EXISTS chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
|
||||
-- Список чатов пользователя начинается с фильтра «где я участник».
|
||||
CREATE INDEX IF NOT EXISTS chat_members_user_idx ON chat_members (user_id);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS messages (
|
||||
id uuid PRIMARY KEY,
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
sender_id uuid NOT NULL REFERENCES users (id),
|
||||
text text NOT NULL,
|
||||
created_at timestamptz NOT NULL
|
||||
);
|
||||
|
||||
-- Keyset истории: WHERE chat_id = ? AND (created_at, id) > (?, ?) ORDER BY created_at, id.
|
||||
-- Составной индекс покрывает и фильтр, и порядок. Слабый индекс только по chat_id
|
||||
-- заставил бы сортировать историю чата. Его нет в продовой схеме, он появляется
|
||||
-- лишь на время эксперимента трека 2.
|
||||
CREATE INDEX IF NOT EXISTS messages_history_idx ON messages (chat_id, created_at, id);
|
||||
@@ -0,0 +1,23 @@
|
||||
-- Идемпотентность POST сообщения (lab3).
|
||||
-- Область ключа: (user_id, method, path, key).
|
||||
-- Разные пользователи и чаты могут независимо использовать одну строку Idempotency-Key.
|
||||
-- request_hash — SHA-256 канонического тела.
|
||||
-- Другой body при том же ключе даёт HTTP 409.
|
||||
-- response_* фиксируются только для успешного 201 в той же транзакции, что и INSERT messages.
|
||||
-- Транзиентный 5xx не сохраняется как окончательный результат.
|
||||
|
||||
CREATE TABLE IF NOT EXISTS idempotency_keys (
|
||||
user_id uuid NOT NULL REFERENCES users (id),
|
||||
method text NOT NULL,
|
||||
path text NOT NULL,
|
||||
key text NOT NULL,
|
||||
request_hash text NOT NULL,
|
||||
response_status integer NOT NULL,
|
||||
response_body jsonb NOT NULL,
|
||||
message_id uuid NOT NULL REFERENCES messages (id),
|
||||
created_at timestamptz NOT NULL,
|
||||
PRIMARY KEY (user_id, method, path, key)
|
||||
);
|
||||
|
||||
-- Индекс по времени — для будущей очистки хвоста старше 24 часов.
|
||||
CREATE INDEX IF NOT EXISTS idempotency_keys_created_idx ON idempotency_keys (created_at);
|
||||
@@ -0,0 +1,47 @@
|
||||
-- Вложения lab4. Метаданные - в PostgreSQL, байты - в приватном S3-bucket (MinIO).
|
||||
-- Ключ объекта назначает сервер: attachments/{chat_id}/{attachment_id}.
|
||||
-- filename - только отображаемое имя, в ключ и в путь не попадает.
|
||||
--
|
||||
-- ВНИМАНИЕ: файл режется по символу точки с запятой (см. splitSQL в migrate.go),
|
||||
-- поэтому в комментариях и литералах здесь нет этого символа.
|
||||
|
||||
CREATE TABLE IF NOT EXISTS attachments (
|
||||
id uuid PRIMARY KEY,
|
||||
-- Файл заранее привязан к чату: доступ к нему определяется членством в этом чате.
|
||||
chat_id uuid NOT NULL REFERENCES chats (id),
|
||||
owner_id uuid NOT NULL REFERENCES users (id),
|
||||
filename text NOT NULL,
|
||||
-- Тип определён по СОДЕРЖИМОМУ файла, а не по заголовку запроса.
|
||||
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
|
||||
size_bytes bigint NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||
-- lowercase hex SHA-256 оригинала.
|
||||
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
|
||||
-- COLLATE "C": байтовый порядок совпадает с лексикографическим порядком ListObjectsV2.
|
||||
-- Reconciler сливает два отсортированных потока (S3 и эта колонка) без загрузки в память.
|
||||
object_key text COLLATE "C" NOT NULL,
|
||||
-- lab4 знает только ready (201 после сохранения байтов и метаданных).
|
||||
-- Состояния queued/processing/failed появятся в lab5+ расширением CHECK.
|
||||
status text NOT NULL DEFAULT 'ready' CHECK (status IN ('ready')),
|
||||
error_code text,
|
||||
width integer NOT NULL CHECK (width > 0),
|
||||
height integer NOT NULL CHECK (height > 0),
|
||||
created_at timestamptz NOT NULL,
|
||||
updated_at timestamptz NOT NULL,
|
||||
CONSTRAINT attachments_object_key_unique UNIQUE (object_key)
|
||||
);
|
||||
|
||||
-- Проверка вложений сообщения идёт по PK, индекс по чату нужен списку и будущей очистке.
|
||||
CREATE INDEX IF NOT EXISTS attachments_chat_idx ON attachments (chat_id);
|
||||
|
||||
-- Связь сообщение - вложение. position хранит порядок attachment_ids из запроса.
|
||||
-- Одно вложение можно прикрепить к нескольким сообщениям своего чата (контракт не запрещает).
|
||||
-- Внешние ключи не дают удалить вложение, на которое ссылается сообщение: reconciler
|
||||
-- физически не может снести «используемое» вложение даже при ошибке в его логике.
|
||||
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||
message_id uuid NOT NULL REFERENCES messages (id),
|
||||
attachment_id uuid NOT NULL REFERENCES attachments (id),
|
||||
position smallint NOT NULL CHECK (position >= 0),
|
||||
PRIMARY KEY (message_id, attachment_id)
|
||||
);
|
||||
|
||||
CREATE INDEX IF NOT EXISTS message_attachments_attachment_idx ON message_attachments (attachment_id)
|
||||
@@ -0,0 +1,693 @@
|
||||
// Package store — пользователи, чаты, сообщения и ключи идемпотентности в PostgreSQL.
|
||||
//
|
||||
// Источник истины — только эти таблицы. Память процесса после рестарта пуста,
|
||||
// поэтому ни одного map с данными здесь нет. Каждый запрос параметризован ($1, $2):
|
||||
// текст сообщения не склеивается в SQL.
|
||||
//
|
||||
// Создание чата — одна транзакция: строка чата и все участники фиксируются вместе
|
||||
// либо не фиксируются вообще. Уникальность username обеспечивает UNIQUE, а не проверка
|
||||
// «сначала SELECT, потом INSERT» (та проверка проигрывает гонке).
|
||||
//
|
||||
// Идемпотентность сообщения тоже живёт в PostgreSQL, а не в памяти реплики:
|
||||
// два параллельных POST с одним ключом через разные API-контейнеры видят один PK.
|
||||
package store
|
||||
|
||||
import (
|
||||
"context"
|
||||
"crypto/sha256"
|
||||
"encoding/binary"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"fmt"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
"github.com/jackc/pgx/v5"
|
||||
"github.com/jackc/pgx/v5/pgconn"
|
||||
"github.com/jackc/pgx/v5/pgxpool"
|
||||
|
||||
"mtusi2026lab4/internal/auth"
|
||||
)
|
||||
|
||||
const queryTimeout = 3 * time.Second
|
||||
|
||||
// Ошибки домена. HTTP-слой переводит их в коды контракта и не показывает SQL.
|
||||
var (
|
||||
ErrConflict = errors.New("conflict")
|
||||
ErrNotFound = errors.New("not found")
|
||||
ErrInvalidCursor = errors.New("invalid cursor")
|
||||
ErrUnavailable = errors.New("unavailable")
|
||||
// ErrIdempotencyConflict — тот же ключ, но другое тело запроса.
|
||||
ErrIdempotencyConflict = errors.New("idempotency conflict")
|
||||
// ErrAttachmentNotReady — вложение существует, но ещё не ready (409 по контракту).
|
||||
// В lab4 все вложения создаются сразу ready; проверка нужна для lab5+ и защищает
|
||||
// от прикрепления недообработанного файла.
|
||||
ErrAttachmentNotReady = errors.New("attachment not ready")
|
||||
)
|
||||
|
||||
// User — публичные поля пользователя. Hash пароля в эту структуру не попадает.
|
||||
type User struct {
|
||||
ID uuid.UUID
|
||||
Username string
|
||||
DisplayName string
|
||||
CreatedAt time.Time
|
||||
}
|
||||
|
||||
// Chat — чат и явный состав участников.
|
||||
type Chat struct {
|
||||
ID uuid.UUID
|
||||
Title string
|
||||
MemberIDs []uuid.UUID
|
||||
CreatedAt time.Time
|
||||
}
|
||||
|
||||
// Message — одно подтверждённое сообщение. sender_id назначает сервер.
|
||||
type Message struct {
|
||||
ID uuid.UUID
|
||||
ChatID uuid.UUID
|
||||
SenderID uuid.UUID
|
||||
Text string
|
||||
CreatedAt time.Time
|
||||
// AttachmentIDs — вложения в порядке, заданном клиентом. Никогда nil в ответах API
|
||||
// (контракт: attachment_ids обязателен, по умолчанию []).
|
||||
AttachmentIDs []uuid.UUID
|
||||
}
|
||||
|
||||
// PageCursor — позиция keyset. Клиент видит только opaque-строку в пакете api.
|
||||
type PageCursor struct {
|
||||
CreatedAt time.Time
|
||||
ID uuid.UUID
|
||||
Scope string
|
||||
}
|
||||
|
||||
// Store — пул соединений. Пул ограничен, у каждого запроса свой таймаут.
|
||||
type Store struct {
|
||||
pool *pgxpool.Pool
|
||||
hasher *auth.Hasher
|
||||
}
|
||||
|
||||
// Open поднимает пул. ConnectTimeout короткий, чтобы недоступная БД быстро стала 503,
|
||||
// а не висела до клиентского таймаута теста.
|
||||
// maxConns — на одну реплику; при N репликах суммарный пул ≈ N*maxConns.
|
||||
func Open(ctx context.Context, databaseURL string, hasher *auth.Hasher, maxConns int32) (*Store, error) {
|
||||
if maxConns < 1 {
|
||||
maxConns = 5
|
||||
}
|
||||
cfg, err := pgxpool.ParseConfig(databaseURL)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("parse database url: %w", err)
|
||||
}
|
||||
cfg.MaxConns = maxConns
|
||||
cfg.MinConns = 1
|
||||
cfg.MaxConnLifetime = 30 * time.Minute
|
||||
cfg.MaxConnIdleTime = 5 * time.Minute
|
||||
cfg.HealthCheckPeriod = 30 * time.Second
|
||||
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
|
||||
cfg.AfterConnect = func(ctx context.Context, conn *pgx.Conn) error {
|
||||
// UTC, чтобы timestamptz читался так же, как мы его записали.
|
||||
// statement_timeout обрывает запрос, который внезапно решил сканировать всё.
|
||||
_, err := conn.Exec(ctx, `SET TIME ZONE 'UTC'; SET statement_timeout = '3s'`)
|
||||
return err
|
||||
}
|
||||
pool, err := pgxpool.NewWithConfig(ctx, cfg)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
pingCtx, cancel := context.WithTimeout(ctx, 3*time.Second)
|
||||
defer cancel()
|
||||
if err := pool.Ping(pingCtx); err != nil {
|
||||
pool.Close()
|
||||
return nil, err
|
||||
}
|
||||
return &Store{pool: pool, hasher: hasher}, nil
|
||||
}
|
||||
|
||||
// Close освобождает соединения при остановке процесса.
|
||||
func (s *Store) Close() {
|
||||
s.pool.Close()
|
||||
}
|
||||
|
||||
// Ping — проверка для /health/ready. Ошибка здесь значит «не готов», не «жив».
|
||||
func (s *Store) Ping(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, 300*time.Millisecond)
|
||||
defer cancel()
|
||||
if err := s.pool.Ping(ctx); err != nil {
|
||||
return ErrUnavailable
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// CreateUser пишет пользователя. Повтор username → ErrConflict благодаря UNIQUE.
|
||||
func (s *Store) CreateUser(ctx context.Context, username, displayName, password string) (*User, error) {
|
||||
hash, err := auth.Hash(password)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
u := &User{
|
||||
ID: uuid.New(),
|
||||
Username: username,
|
||||
DisplayName: displayName,
|
||||
CreatedAt: nowUTC(),
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
_, err = s.pool.Exec(ctx, `
|
||||
INSERT INTO users (id, username, display_name, password_hash, created_at)
|
||||
VALUES ($1, $2, $3, $4, $5)`,
|
||||
u.ID, u.Username, u.DisplayName, hash, u.CreatedAt)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return u, nil
|
||||
}
|
||||
|
||||
// Authenticate проверяет Basic-логин. Нет пользователя и неверный пароль
|
||||
// выглядят одинаково: оба дают false без отдельной ошибки «такого логина нет».
|
||||
func (s *Store) Authenticate(ctx context.Context, username, password string) (*User, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var u User
|
||||
var hash string
|
||||
err := s.pool.QueryRow(ctx, `
|
||||
SELECT id, username, display_name, created_at, password_hash
|
||||
FROM users WHERE username = $1`, username).Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt, &hash)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
s.hasher.Burn(password)
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
if !s.hasher.Verify(hash, password) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
return &u, nil
|
||||
}
|
||||
|
||||
// GetUser нужен, чтобы ответ /users/me совпал с объектом из регистрации.
|
||||
func (s *Store) GetUser(ctx context.Context, id uuid.UUID) (*User, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var u User
|
||||
err := s.pool.QueryRow(ctx, `
|
||||
SELECT id, username, display_name, created_at FROM users WHERE id = $1`, id).
|
||||
Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return &u, nil
|
||||
}
|
||||
|
||||
// CreateChat атомарно создаёт чат и состав. Неизвестный участник откатывает всё:
|
||||
// в таблице chats не остаётся «пустой» строки без полного состава.
|
||||
func (s *Store) CreateChat(ctx context.Context, title string, memberIDs []uuid.UUID) (*Chat, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
defer func() { _ = tx.Rollback(ctx) }()
|
||||
|
||||
chat := &Chat{
|
||||
ID: uuid.New(),
|
||||
Title: title,
|
||||
MemberIDs: append([]uuid.UUID(nil), memberIDs...),
|
||||
CreatedAt: nowUTC(),
|
||||
}
|
||||
if _, err := tx.Exec(ctx, `INSERT INTO chats (id, title, created_at) VALUES ($1, $2, $3)`,
|
||||
chat.ID, chat.Title, chat.CreatedAt); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
for _, uid := range memberIDs {
|
||||
// INSERT ... SELECT вставит 0 строк, если пользователя нет, и не нарушит FK.
|
||||
tag, err := tx.Exec(ctx, `
|
||||
INSERT INTO chat_members (chat_id, user_id)
|
||||
SELECT $1, id FROM users WHERE id = $2`, chat.ID, uid)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
if tag.RowsAffected() != 1 {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
}
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return chat, nil
|
||||
}
|
||||
|
||||
// GetChat возвращает чат только участнику. Чужому — ErrNotFound (HTTP 404, не 403).
|
||||
func (s *Store) GetChat(ctx context.Context, chatID, userID uuid.UUID) (*Chat, error) {
|
||||
if err := s.ensureMember(ctx, chatID, userID); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return s.loadChat(ctx, chatID)
|
||||
}
|
||||
|
||||
// ListChats — keyset по (created_at, id) только среди чатов этого пользователя.
|
||||
func (s *Store) ListChats(ctx context.Context, userID uuid.UUID, limit int, after *PageCursor) ([]Chat, *PageCursor, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var (
|
||||
rows pgx.Rows
|
||||
err error
|
||||
)
|
||||
if after == nil {
|
||||
rows, err = s.pool.Query(ctx, `
|
||||
SELECT c.id, c.title, c.created_at
|
||||
FROM chats c
|
||||
JOIN chat_members m ON m.chat_id = c.id
|
||||
WHERE m.user_id = $1
|
||||
ORDER BY c.created_at, c.id
|
||||
LIMIT $2`, userID, limit+1)
|
||||
} else {
|
||||
rows, err = s.pool.Query(ctx, `
|
||||
SELECT c.id, c.title, c.created_at
|
||||
FROM chats c
|
||||
JOIN chat_members m ON m.chat_id = c.id
|
||||
WHERE m.user_id = $1
|
||||
AND (c.created_at, c.id) > ($2, $3)
|
||||
ORDER BY c.created_at, c.id
|
||||
LIMIT $4`, userID, after.CreatedAt, after.ID, limit+1)
|
||||
}
|
||||
if err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
|
||||
var items []Chat
|
||||
for rows.Next() {
|
||||
var c Chat
|
||||
if err := rows.Scan(&c.ID, &c.Title, &c.CreatedAt); err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
items = append(items, c)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
next, items := trimPage(items, limit, func(c Chat) (time.Time, uuid.UUID) {
|
||||
return c.CreatedAt, c.ID
|
||||
})
|
||||
for i := range items {
|
||||
members, err := s.memberIDs(ctx, items[i].ID)
|
||||
if err != nil {
|
||||
return nil, nil, err
|
||||
}
|
||||
items[i].MemberIDs = members
|
||||
}
|
||||
var cursor *PageCursor
|
||||
if next {
|
||||
last := items[len(items)-1]
|
||||
cursor = &PageCursor{CreatedAt: last.CreatedAt, ID: last.ID}
|
||||
}
|
||||
return items, cursor, nil
|
||||
}
|
||||
|
||||
// CreateMessage пишет сообщение только если отправитель состоит в чате.
|
||||
// Подтверждение — это COMMIT строки. Следующее чтение видит её без кэша истории.
|
||||
// Без идемпотентности — только для внутренних/тестовых случаев; HTTP использует CreateMessageIdempotent.
|
||||
func (s *Store) CreateMessage(ctx context.Context, chatID, senderID uuid.UUID, text string) (*Message, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
msg := &Message{
|
||||
ID: uuid.New(),
|
||||
ChatID: chatID,
|
||||
SenderID: senderID,
|
||||
Text: text,
|
||||
CreatedAt: nowUTC(),
|
||||
// Внутренний путь без вложений; поле не nil, чтобы JSON дал [], а не null.
|
||||
AttachmentIDs: []uuid.UUID{},
|
||||
}
|
||||
tag, err := s.pool.Exec(ctx, `
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
SELECT $1, $2, $3, $4, $5
|
||||
WHERE EXISTS (
|
||||
SELECT 1 FROM chat_members WHERE chat_id = $2 AND user_id = $3
|
||||
)`, msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
if tag.RowsAffected() != 1 {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
return msg, nil
|
||||
}
|
||||
|
||||
// IdempotentMessage — либо только что созданное, либо ранее сохранённое по ключу сообщение.
|
||||
type IdempotentMessage struct {
|
||||
Message *Message
|
||||
Replayed bool
|
||||
}
|
||||
|
||||
// CreateMessageIdempotent атомарно создаёт сообщение и запоминает ответ по ключу.
|
||||
//
|
||||
// Алгоритм (общая БД, любые реплики):
|
||||
// 1. BEGIN;
|
||||
// 2. pg_advisory_xact_lock по хешу (user, method, path, key) — сериализует конкурентов
|
||||
// ещё до INSERT messages, иначе два победителя гонки успели бы создать два сообщения;
|
||||
// 3. SELECT сохранённого ключа — если есть, сравнить hash и вернуть Message;
|
||||
// 4. иначе проверить членство, затем вложения (lab4): все принадлежат ЭТОМУ чату и ready,
|
||||
// строки блокируются FOR SHARE, чтобы удаление (reconciler) не вклинилось до COMMIT;
|
||||
// 5. INSERT message + INSERT message_attachments + INSERT idempotency_keys в той же
|
||||
// транзакции: сообщение либо видно целиком вместе со ссылками на вложения, либо нет;
|
||||
// 6. COMMIT (advisory lock снимается вместе с транзакцией).
|
||||
//
|
||||
// Чужое и неизвестное вложение (в т.ч. из другого чата) неразличимы: оба дают ErrNotFound
|
||||
// (HTTP 404), чтобы нельзя было перебором выяснить, существует ли чужой файл.
|
||||
//
|
||||
// Другой request_hash → ErrIdempotencyConflict. Транзиентный 5xx сюда не попадает:
|
||||
// запись ключа только после успешной подготовки 201.
|
||||
func (s *Store) CreateMessageIdempotent(
|
||||
ctx context.Context,
|
||||
chatID, senderID uuid.UUID,
|
||||
text string,
|
||||
attachmentIDs []uuid.UUID,
|
||||
method, path, idemKey, requestHash string,
|
||||
) (*IdempotentMessage, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
defer func() { _ = tx.Rollback(ctx) }()
|
||||
|
||||
lockKey := idempotencyLockKey(senderID, method, path, idemKey)
|
||||
if _, err := tx.Exec(ctx, `SELECT pg_advisory_xact_lock($1)`, lockKey); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
|
||||
var (
|
||||
storedHash string
|
||||
msgID uuid.UUID
|
||||
msgChat uuid.UUID
|
||||
msgSender uuid.UUID
|
||||
msgText string
|
||||
msgCreated time.Time
|
||||
)
|
||||
err = tx.QueryRow(ctx, `
|
||||
SELECT i.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at
|
||||
FROM idempotency_keys i
|
||||
JOIN messages m ON m.id = i.message_id
|
||||
WHERE i.user_id = $1 AND i.method = $2 AND i.path = $3 AND i.key = $4`,
|
||||
senderID, method, path, idemKey,
|
||||
).Scan(&storedHash, &msgID, &msgChat, &msgSender, &msgText, &msgCreated)
|
||||
if err == nil {
|
||||
if storedHash != requestHash {
|
||||
return nil, ErrIdempotencyConflict
|
||||
}
|
||||
// Replay обязан вернуть ТОТ ЖЕ набор вложений, что и первый ответ.
|
||||
replayIDs, err := loadMessageAttachmentIDs(ctx, tx, msgID)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return &IdempotentMessage{
|
||||
Message: &Message{
|
||||
ID: msgID,
|
||||
ChatID: msgChat,
|
||||
SenderID: msgSender,
|
||||
Text: msgText,
|
||||
CreatedAt: msgCreated,
|
||||
AttachmentIDs: replayIDs,
|
||||
},
|
||||
Replayed: true,
|
||||
}, nil
|
||||
}
|
||||
if !errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
|
||||
var member int
|
||||
if err := tx.QueryRow(ctx, `
|
||||
SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2`, chatID, senderID).Scan(&member); err != nil {
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
|
||||
// Вложения проверяем ПОСЛЕ членства: посторонний в чат получает 404 по чату,
|
||||
// а не информацию о существовании файлов.
|
||||
if err := lockMessageAttachments(ctx, tx, chatID, attachmentIDs); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
msg := &Message{
|
||||
ID: uuid.New(),
|
||||
ChatID: chatID,
|
||||
SenderID: senderID,
|
||||
Text: text,
|
||||
CreatedAt: nowUTC(),
|
||||
AttachmentIDs: append([]uuid.UUID{}, attachmentIDs...),
|
||||
}
|
||||
if _, err := tx.Exec(ctx, `
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
VALUES ($1, $2, $3, $4, $5)`,
|
||||
msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
// Порядок attachment_ids клиента сохраняется в position.
|
||||
for i, aid := range attachmentIDs {
|
||||
if _, err := tx.Exec(ctx, `
|
||||
INSERT INTO message_attachments (message_id, attachment_id, position)
|
||||
VALUES ($1, $2, $3)`, msg.ID, aid, i); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
}
|
||||
|
||||
// response_body заполняем каноническим Message JSON уже здесь, чтобы replay
|
||||
// не зависел от повторной сериализации в HTTP-слое с другим порядком полей.
|
||||
attachmentStrs := make([]string, len(msg.AttachmentIDs))
|
||||
for i, aid := range msg.AttachmentIDs {
|
||||
attachmentStrs[i] = aid.String()
|
||||
}
|
||||
bodyJSON, err := json.Marshal(map[string]any{
|
||||
"id": msg.ID.String(),
|
||||
"chat_id": msg.ChatID.String(),
|
||||
"sender_id": msg.SenderID.String(),
|
||||
"text": msg.Text,
|
||||
"created_at": msg.CreatedAt.UTC().Truncate(time.Millisecond).Format("2006-01-02T15:04:05.000Z"),
|
||||
"attachment_ids": attachmentStrs,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
if _, err = tx.Exec(ctx, `
|
||||
INSERT INTO idempotency_keys (
|
||||
user_id, method, path, key, request_hash,
|
||||
response_status, response_body, message_id, created_at
|
||||
) VALUES ($1,$2,$3,$4,$5,$6,$7,$8,$9)`,
|
||||
senderID, method, path, idemKey, requestHash,
|
||||
201, bodyJSON, msg.ID, msg.CreatedAt); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
return &IdempotentMessage{Message: msg, Replayed: false}, nil
|
||||
}
|
||||
|
||||
// idempotencyLockKey — стабильный int64 для pg_advisory_xact_lock из области ключа.
|
||||
func idempotencyLockKey(userID uuid.UUID, method, path, key string) int64 {
|
||||
sum := sha256.Sum256([]byte(userID.String() + "|" + method + "|" + path + "|" + key))
|
||||
return int64(binary.BigEndian.Uint64(sum[:8]))
|
||||
}
|
||||
|
||||
// ListMessages — keyset по индексу messages_history_idx. Берём limit+1 строку,
|
||||
// чтобы next_cursor был null, когда следующей записи уже нет.
|
||||
func (s *Store) ListMessages(ctx context.Context, chatID, userID uuid.UUID, limit int, after *PageCursor) ([]Message, *PageCursor, error) {
|
||||
if err := s.ensureMember(ctx, chatID, userID); err != nil {
|
||||
return nil, nil, err
|
||||
}
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var (
|
||||
rows pgx.Rows
|
||||
err error
|
||||
)
|
||||
if after == nil {
|
||||
rows, err = s.pool.Query(ctx, `
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = $1
|
||||
ORDER BY created_at, id
|
||||
LIMIT $2`, chatID, limit+1)
|
||||
} else {
|
||||
rows, err = s.pool.Query(ctx, `
|
||||
SELECT id, chat_id, sender_id, text, created_at
|
||||
FROM messages
|
||||
WHERE chat_id = $1
|
||||
AND (created_at, id) > ($2, $3)
|
||||
ORDER BY created_at, id
|
||||
LIMIT $4`, chatID, after.CreatedAt, after.ID, limit+1)
|
||||
}
|
||||
if err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
var items []Message
|
||||
for rows.Next() {
|
||||
var m Message
|
||||
if err := rows.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &m.CreatedAt); err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
items = append(items, m)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, nil, mapWriteErr(err)
|
||||
}
|
||||
hasNext, items := trimPage(items, limit, func(m Message) (time.Time, uuid.UUID) {
|
||||
return m.CreatedAt, m.ID
|
||||
})
|
||||
// Вложения страницы одним запросом (а не N+1): WHERE message_id = ANY(id страницы).
|
||||
if err := s.attachMessageAttachments(ctx, items); err != nil {
|
||||
return nil, nil, err
|
||||
}
|
||||
var cursor *PageCursor
|
||||
if hasNext {
|
||||
last := items[len(items)-1]
|
||||
cursor = &PageCursor{CreatedAt: last.CreatedAt, ID: last.ID}
|
||||
}
|
||||
return items, cursor, nil
|
||||
}
|
||||
|
||||
// ChatExistsForTitle помогает тесту отката: после ошибки создания чата строки нет.
|
||||
func (s *Store) CountChatsByTitle(ctx context.Context, title string) (int, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var n int
|
||||
err := s.pool.QueryRow(ctx, `SELECT count(*) FROM chats WHERE title = $1`, title).Scan(&n)
|
||||
if err != nil {
|
||||
return 0, mapWriteErr(err)
|
||||
}
|
||||
return n, nil
|
||||
}
|
||||
|
||||
// IsChatMember — проверка членства для HTTP-слоя (например, до чтения тела загрузки:
|
||||
// постороннему не нужно тратить на себя RAM и трафик). ErrNotFound — не участник.
|
||||
func (s *Store) IsChatMember(ctx context.Context, chatID, userID uuid.UUID) error {
|
||||
return s.ensureMember(ctx, chatID, userID)
|
||||
}
|
||||
|
||||
func (s *Store) ensureMember(ctx context.Context, chatID, userID uuid.UUID) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var one int
|
||||
err := s.pool.QueryRow(ctx, `
|
||||
SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2`, chatID, userID).Scan(&one)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return mapWriteErr(err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
func (s *Store) loadChat(ctx context.Context, chatID uuid.UUID) (*Chat, error) {
|
||||
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
|
||||
defer cancel()
|
||||
var c Chat
|
||||
err := s.pool.QueryRow(ctx, `SELECT id, title, created_at FROM chats WHERE id = $1`, chatID).
|
||||
Scan(&c.ID, &c.Title, &c.CreatedAt)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, ErrNotFound
|
||||
}
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
c.MemberIDs, err = s.memberIDs(ctx, chatID)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return &c, nil
|
||||
}
|
||||
|
||||
func (s *Store) memberIDs(ctx context.Context, chatID uuid.UUID) ([]uuid.UUID, error) {
|
||||
rows, err := s.pool.Query(ctx, `
|
||||
SELECT user_id FROM chat_members WHERE chat_id = $1 ORDER BY user_id`, chatID)
|
||||
if err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
defer rows.Close()
|
||||
var ids []uuid.UUID
|
||||
for rows.Next() {
|
||||
var id uuid.UUID
|
||||
if err := rows.Scan(&id); err != nil {
|
||||
return nil, mapWriteErr(err)
|
||||
}
|
||||
ids = append(ids, id)
|
||||
}
|
||||
return ids, mapWriteErr(rows.Err())
|
||||
}
|
||||
|
||||
func trimPage[T any](items []T, limit int, _ func(T) (time.Time, uuid.UUID)) (bool, []T) {
|
||||
if len(items) > limit {
|
||||
return true, items[:limit]
|
||||
}
|
||||
return false, items
|
||||
}
|
||||
|
||||
func nowUTC() time.Time {
|
||||
// Миллисекунда — точность, которую мы же и печатаем в JSON.
|
||||
return time.Now().UTC().Truncate(time.Millisecond)
|
||||
}
|
||||
|
||||
func mapWriteErr(err error) error {
|
||||
if err == nil {
|
||||
return nil
|
||||
}
|
||||
var pgErr *pgconn.PgError
|
||||
if errors.As(err, &pgErr) && pgErr.Code == "23505" {
|
||||
return ErrConflict
|
||||
}
|
||||
if errors.Is(err, context.DeadlineExceeded) || isConn(err) {
|
||||
return ErrUnavailable
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
func isConn(err error) bool {
|
||||
msg := err.Error()
|
||||
// Не логируем и не возвращаем клиенту эту строку. Здесь только классификация.
|
||||
switch {
|
||||
case errors.Is(err, pgx.ErrNoRows):
|
||||
return false
|
||||
default:
|
||||
if stringsContains(msg, "connection refused") ||
|
||||
stringsContains(msg, "failed to connect") ||
|
||||
stringsContains(msg, "conn closed") ||
|
||||
stringsContains(msg, "closed pool") ||
|
||||
stringsContains(msg, "broken pipe") ||
|
||||
stringsContains(msg, "connection reset") ||
|
||||
stringsContains(msg, "SQLSTATE 57P01") ||
|
||||
stringsContains(msg, "SQLSTATE 08006") ||
|
||||
stringsContains(msg, "SQLSTATE 08001") {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
func stringsContains(s, sub string) bool {
|
||||
return len(s) >= len(sub) && (s == sub || len(sub) == 0 ||
|
||||
(func() bool { return contains(s, sub) })())
|
||||
}
|
||||
|
||||
func contains(s, sub string) bool {
|
||||
for i := 0; i+len(sub) <= len(s); i++ {
|
||||
if s[i:i+len(sub)] == sub {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
Executable
+53
@@ -0,0 +1,53 @@
|
||||
# Общие функции для скриптов lab4 (подключается через `. scripts/_lib.sh`, не запускается сам).
|
||||
# Предполагает, что ROOT уже вычислен и текущий каталог — корень репозитория.
|
||||
|
||||
# Значение KEY из .env (или значение по умолчанию). Секреты скрипты не печатают.
|
||||
env_get() {
|
||||
v=$(grep -E "^$1=" .env 2>/dev/null | tail -n1 | cut -d= -f2- || true)
|
||||
if [ -n "$v" ]; then printf '%s' "$v"; else printf '%s' "$2"; fi
|
||||
}
|
||||
|
||||
DC="docker compose --env-file .env"
|
||||
LB_PORT=$(env_get LB_HOST_PORT 8080)
|
||||
MINIO_PORT=$(env_get MINIO_HOST_PORT 9000)
|
||||
S3_BUCKET=$(env_get S3_BUCKET messenger)
|
||||
BASE_URL=${BASE_URL:-http://127.0.0.1:${LB_PORT}}
|
||||
|
||||
# JSON-поле верхнего уровня (python3 есть на машине студента; jq не требуем).
|
||||
json_get() { python3 -c 'import json,sys; print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
|
||||
|
||||
# register_and_login → печатает "TOKEN USER_ID". Каждый вызов создаёт нового пользователя.
|
||||
register_and_login() {
|
||||
name="u$(date +%s)$$$(awk 'BEGIN{srand(); printf "%05d", rand()*99999}')"
|
||||
pw="correct-horse-1"
|
||||
uid=$(curl -fsS -X POST "$BASE_URL/api/v1/users" -H 'Content-Type: application/json' \
|
||||
-d "{\"username\":\"$name\",\"display_name\":\"Script\",\"password\":\"$pw\"}" | json_get id)
|
||||
tok=$(curl -fsS -X POST "$BASE_URL/api/v1/auth/sessions" -u "$name:$pw" | json_get token)
|
||||
printf '%s %s' "$tok" "$uid"
|
||||
}
|
||||
|
||||
# create_chat TOKEN USER_ID → chat_id
|
||||
create_chat() {
|
||||
curl -fsS -X POST "$BASE_URL/api/v1/chats" -H "Authorization: Bearer $1" -H 'Content-Type: application/json' \
|
||||
-d "{\"title\":\"script\",\"member_ids\":[\"$2\"]}" | json_get id
|
||||
}
|
||||
|
||||
# upload_file TOKEN CHAT FILE [CONTENT_TYPE] → JSON вложения
|
||||
upload_file() {
|
||||
curl -fsS -X POST "$BASE_URL/api/v1/chats/$2/attachments?filename=$(basename "$3")" \
|
||||
-H "Authorization: Bearer $1" -H "Content-Type: ${4:-image/png}" --data-binary "@$3"
|
||||
}
|
||||
|
||||
# psql_q SQL → результат без выравнивания (для чтения object_key и счётчиков)
|
||||
psql_q() {
|
||||
$DC exec -T postgres sh -c 'psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -Atc "$1"' _ "$1"
|
||||
}
|
||||
|
||||
# s3sh 'КОМАНДЫ mc' — выполнить в одноразовом контейнере mc с ROOT-учёткой (только для
|
||||
# диагностики и инъекции сбоев в скриптах: API root-ключей не получает).
|
||||
s3sh() {
|
||||
$DC run --rm -T --no-deps --entrypoint /bin/sh minio-init -c \
|
||||
"mc alias set local http://minio:9000 \"\$MINIO_ROOT_USER\" \"\$MINIO_ROOT_PASSWORD\" >/dev/null && $1"
|
||||
}
|
||||
|
||||
uuid() { python3 -c 'import uuid; print(uuid.uuid4())'; }
|
||||
Executable
+73
@@ -0,0 +1,73 @@
|
||||
#!/bin/sh
|
||||
# Проверка «приватный bucket вне API» (критерий уровня 4):
|
||||
# 1) анонимный GET объекта → 403, анонимный листинг и PUT → отказ;
|
||||
# 2) контроль: тот же объект с SigV4-подписью учётки messenger-api читается (значит
|
||||
# отказ в п.1 — из-за приватности, а не из-за отсутствия файла);
|
||||
# 3) учётка API ограничена bucket-ом: ListBuckets и другой bucket запрещены;
|
||||
# 4) консоль MinIO наружу не опубликована (порт 9001 не слушает на хосте).
|
||||
# Требует поднятого стенда (scripts/up.sh), curl >= 7.75 (--aws-sigv4), python3.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
. scripts/_lib.sh
|
||||
|
||||
S3_URL="http://127.0.0.1:${MINIO_PORT}"
|
||||
AK=$(env_get S3_ACCESS_KEY messenger-api)
|
||||
SK=$(env_get S3_SECRET_KEY messenger-api-secret-change-me)
|
||||
REGION=$(env_get S3_REGION us-east-1)
|
||||
fail=0
|
||||
pass() { echo "PASS $*"; }
|
||||
bad() { echo "FAIL $*"; fail=1; }
|
||||
|
||||
# code URL [curl args...] → HTTP-код (000 при отказе соединения)
|
||||
code() { u=$1; shift; curl -s -o /dev/null -w '%{http_code}' --max-time 5 "$@" "$u" || true; }
|
||||
|
||||
echo "== подготовка: загрузить реальное вложение через API и узнать его object_key"
|
||||
set -- $(register_and_login); TOK=$1; UID_=$2
|
||||
CHAT=$(create_chat "$TOK" "$UID_")
|
||||
SAMPLE=tests/fixtures/sample.png
|
||||
ATT=$(upload_file "$TOK" "$CHAT" "$SAMPLE" | json_get id)
|
||||
KEY=$(psql_q "SELECT object_key FROM attachments WHERE id='$ATT'")
|
||||
[ -n "$KEY" ] || { echo "не нашли object_key в БД" >&2; exit 2; }
|
||||
echo "attachment=$ATT (ключ в S3 внутренний, в ответах API его нет)"
|
||||
|
||||
echo "== 1. анонимный доступ"
|
||||
c=$(code "$S3_URL/$S3_BUCKET/$KEY"); [ "$c" = 403 ] && pass "анонимный GET объекта → $c" || bad "анонимный GET объекта → $c (ждали 403)"
|
||||
c=$(code "$S3_URL/$S3_BUCKET/"); [ "$c" = 403 ] && pass "анонимный листинг bucket → $c" || bad "анонимный листинг bucket → $c (ждали 403)"
|
||||
c=$(code "$S3_URL/$S3_BUCKET/anon-probe.txt" -X PUT --data x); [ "$c" = 403 ] && pass "анонимный PUT → $c" || bad "анонимный PUT → $c (ждали 403)"
|
||||
|
||||
echo "== 2. контроль: подписанный запрос учётки messenger-api"
|
||||
c=$(code "$S3_URL/$S3_BUCKET/$KEY" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
|
||||
[ "$c" = 200 ] && pass "GET с подписью messenger-api → $c (объект существует)" || bad "GET с подписью → $c (ждали 200; нужен curl >= 7.75)"
|
||||
|
||||
echo "== 3. права учётки API ограничены bucket-ом"
|
||||
# Второй bucket создаёт root (только для проверки). MinIO отвечает на ListBuckets 200 любому
|
||||
# аутентифицированному пользователю, но показывает лишь доступные ему buckets.
|
||||
OTHER="other-probe-$(date +%s)"
|
||||
s3sh "mc mb --ignore-existing local/$OTHER >/dev/null && echo secret | mc pipe local/$OTHER/x >/dev/null"
|
||||
cleanup_other() { s3sh "mc rb --force local/$OTHER >/dev/null 2>&1" >/dev/null 2>&1 || true; }
|
||||
trap cleanup_other EXIT
|
||||
list=$(curl -s --max-time 5 --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3" "$S3_URL/" || true)
|
||||
case "$list" in
|
||||
*"<Name>$OTHER</Name>"*) bad "ListBuckets показывает чужой bucket $OTHER";;
|
||||
*) pass "ListBuckets не раскрывает чужие buckets";;
|
||||
esac
|
||||
c=$(code "$S3_URL/$OTHER/x" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
|
||||
[ "$c" = 403 ] && pass "чтение объекта в чужом bucket → $c" || bad "чтение объекта в чужом bucket → $c (ждали 403)"
|
||||
c=$(code "$S3_URL/$OTHER/" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
|
||||
[ "$c" = 403 ] && pass "листинг чужого bucket → $c" || bad "листинг чужого bucket → $c (ждали 403)"
|
||||
c=$(code "$S3_URL/$OTHER/y" -X PUT --data x --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
|
||||
[ "$c" = 403 ] && pass "запись в чужой bucket → $c" || bad "запись в чужой bucket → $c (ждали 403)"
|
||||
c=$(code "$S3_URL/new-bucket-probe-$(date +%s)" -X PUT --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
|
||||
[ "$c" = 403 ] && pass "CreateBucket → $c" || bad "CreateBucket → $c (ждали 403)"
|
||||
|
||||
echo "== 4. консоль MinIO не опубликована"
|
||||
c=$(code "http://127.0.0.1:9001/")
|
||||
{ [ "$c" = 000 ] || [ "$c" = 404 ]; } && pass "127.0.0.1:9001 не отвечает консолью ($c)" || bad "127.0.0.1:9001 отвечает: $c"
|
||||
if $DC port minio 9001 2>/dev/null | grep -q .; then bad "docker compose port minio 9001 → опубликован"; else pass "порт 9001 сервиса minio не опубликован"; fi
|
||||
pub=$($DC ps minio --format '{{.Publishers}}' 2>/dev/null || true)
|
||||
echo "публикуемые порты minio: $pub"
|
||||
case "$pub" in *9001*) bad "в Publishers есть 9001";; *) pass "в Publishers нет 9001";; esac
|
||||
case "$pub" in *0.0.0.0:9000*|*"[::]:9000"*) bad "S3 API опубликован на все интерфейсы";; *) pass "S3 API только на 127.0.0.1";; esac
|
||||
|
||||
[ "$fail" = 0 ] && echo "ИТОГ: bucket приватный" || { echo "ИТОГ: ЕСТЬ ОШИБКИ"; exit 1; }
|
||||
Executable
+8
@@ -0,0 +1,8 @@
|
||||
#!/bin/sh
|
||||
# Перезапуск API (всех реплик), LB и ВСЕХ хранилищ (postgres, redis, minio) без удаления volumes.
|
||||
# Важно: именно restart, а не up -d — иначе PID/StartedAt у живых контейнеров не меняются.
|
||||
# Данные вложений лежат в volume mindata, метаданные — в pgdata: оба переживают restart.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
docker compose --env-file .env restart postgres redis minio api lb
|
||||
Executable
+42
@@ -0,0 +1,42 @@
|
||||
#!/bin/sh
|
||||
# Поднимает недостающие / остановленные API-реплики до API_REPLICAS после stop-one.
|
||||
# Не трогает volumes и не делает down -v. Миграции уже применены — не пересоздаём migrate.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env 2>/dev/null | cut -d= -f2- || true)
|
||||
API_REPLICAS=${API_REPLICAS:-2}
|
||||
|
||||
# Стартуем остановленные контейнеры сервиса api и добираем scale при нехватке.
|
||||
docker compose --env-file .env start api 2>/dev/null || true
|
||||
docker compose --env-file .env up -d --no-deps --scale "api=${API_REPLICAS}" api
|
||||
|
||||
deadline=$(( $(date +%s) + 90 ))
|
||||
while :; do
|
||||
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
|
||||
# Ждём, пока LB реально видит ≥2 instance id (не только один backend).
|
||||
ids=$(
|
||||
python3 - <<'PY'
|
||||
import urllib.request
|
||||
ids=set()
|
||||
for _ in range(24):
|
||||
try:
|
||||
with urllib.request.urlopen('http://127.0.0.1:8080/health/live', timeout=1) as r:
|
||||
i=r.headers.get('X-Instance-Id')
|
||||
if i: ids.add(i)
|
||||
except Exception:
|
||||
pass
|
||||
print(len(ids))
|
||||
PY
|
||||
)
|
||||
if [ "$ids" -ge 2 ] || [ "$API_REPLICAS" -lt 2 ]; then
|
||||
exit 0
|
||||
fi
|
||||
fi
|
||||
if [ "$(date +%s)" -ge "$deadline" ]; then
|
||||
echo "restore timeout (replicas visible via LB: ${ids:-0})" >&2
|
||||
docker compose --env-file .env ps >&2 || true
|
||||
exit 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
Executable
+143
@@ -0,0 +1,143 @@
|
||||
#!/bin/sh
|
||||
# Трек 2 (согласованность S3 <-> PostgreSQL): повторяемый сценарий reconciler.
|
||||
#
|
||||
# Что делает:
|
||||
# 1. Создаёт расхождения на ОБЕИХ сторонах:
|
||||
# orphan_old — объект в S3 без строки (инъекция root-учёткой mc), «созрел» дольше grace;
|
||||
# orphan_fresh — такой же, но только что (не должен быть тронут);
|
||||
# orphan_bulk — пачка N orphan-объектов (замер стоимости обхода);
|
||||
# foreign_key — объект с чужой схемой ключа (не должен быть тронут никогда);
|
||||
# missing_used — вложение прикреплено к сообщению, объект из S3 удалён (ТОЛЬКО отчёт);
|
||||
# missing_stale — старое неиспользуемое вложение без объекта (кандидат на prune);
|
||||
# missing_fresh — свежее вложение без объекта (не трогаем);
|
||||
# control — здоровое вложение с объектом, прикреплено к сообщению (не трогаем).
|
||||
# 2. dry-run → ничего не меняется (проверяется снимком до/после);
|
||||
# 3. реальный запуск (-reconcile -reconcile-prune-missing);
|
||||
# 4. повторный запуск → 0 действий (идемпотентность);
|
||||
# 5. проверяет инварианты и пишет evidence/track2/*.
|
||||
# grace для сценария сокращён (TRACK2_GRACE_SECONDS, по умолчанию 45 с; «свежие» нарушения
|
||||
# должны остаться моложе grace до конца сценария, а он занимает ~20-30 с после их создания) и передаётся ТОЛЬКО
|
||||
# контейнеру reconcile; у API остаётся S3_ORPHAN_GRACE_SECONDS из .env (300 с).
|
||||
# Код выхода 2 у reconcile — «найдено используемое вложение без объекта» — здесь ожидаем.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
. scripts/_lib.sh
|
||||
|
||||
GRACE=${TRACK2_GRACE_SECONDS:-45}
|
||||
BULK=${TRACK2_BULK_ORPHANS:-300}
|
||||
OUT=evidence/track2
|
||||
mkdir -p "$OUT"
|
||||
rm -f "$OUT"/*.txt "$OUT"/*.json
|
||||
|
||||
curl -fsS "$BASE_URL/health/ready" >/dev/null || { echo "стенд не готов: bash scripts/up.sh" >&2; exit 1; }
|
||||
# Образ reconcile собираем заранее: иначе лог сборки попал бы в stdout первого запуска (JSON-отчёт).
|
||||
$DC build reconcile >/dev/null 2>&1
|
||||
{
|
||||
echo "date_utc=$(date -u +%Y-%m-%dT%H:%M:%SZ)"
|
||||
echo "git_commit=$(git rev-parse --short HEAD 2>/dev/null || echo n/a)"
|
||||
echo "grace_seconds=$GRACE bulk_orphans=$BULK"
|
||||
echo "api_replicas=$($DC ps -q api | wc -l | tr -d ' ')"
|
||||
} > "$OUT/environment.txt"
|
||||
|
||||
echo "== 1. подготовка данных через API"
|
||||
set -- $(register_and_login); TOK=$1; UID_=$2
|
||||
CHAT=$(create_chat "$TOK" "$UID_")
|
||||
SAMPLE=tests/fixtures/sample.png
|
||||
|
||||
att_id() { upload_file "$TOK" "$CHAT" "$SAMPLE" | json_get id; }
|
||||
key_of() { psql_q "SELECT object_key FROM attachments WHERE id='$1'"; }
|
||||
post_msg() { # post_msg ID... → message JSON
|
||||
ids=$(printf '"%s",' "$@"); ids="[${ids%,}]"
|
||||
curl -fsS -X POST "$BASE_URL/api/v1/chats/$CHAT/messages" -H "Authorization: Bearer $TOK" \
|
||||
-H "Idempotency-Key: t2-$(uuid)" -H 'Content-Type: application/json' -d "{\"text\":\"track2\",\"attachment_ids\":$ids}"
|
||||
}
|
||||
|
||||
CONTROL=$(att_id); USED=$(att_id); STALE=$(att_id)
|
||||
post_msg "$CONTROL" "$USED" >/dev/null
|
||||
K_CONTROL=$(key_of "$CONTROL"); K_USED=$(key_of "$USED"); K_STALE=$(key_of "$STALE")
|
||||
|
||||
OLD_CHAT=$(uuid); K_ORPHAN_OLD="attachments/$OLD_CHAT/$(uuid)"
|
||||
K_FOREIGN="attachments/not-a-uuid/$(uuid)"
|
||||
BULK_CHAT=$(uuid)
|
||||
echo "== 2. инъекция сбоев в S3 (root-учётка mc, только для сценария)"
|
||||
s3sh "echo orphan-old | mc pipe local/$S3_BUCKET/$K_ORPHAN_OLD >/dev/null && echo foreign | mc pipe local/$S3_BUCKET/$K_FOREIGN >/dev/null"
|
||||
s3sh "mc rm local/$S3_BUCKET/$K_USED >/dev/null && mc rm local/$S3_BUCKET/$K_STALE >/dev/null"
|
||||
echo " пачка из $BULK orphan-объектов для замера стоимости обхода"
|
||||
s3sh "mkdir -p /tmp/bulk && cd /tmp/bulk && i=0 && while [ \$i -lt $BULK ]; do : > \$(cat /proc/sys/kernel/random/uuid); i=\$((i+1)); done && mc cp --recursive /tmp/bulk/ local/$S3_BUCKET/attachments/$BULK_CHAT/ >/dev/null"
|
||||
|
||||
echo "== 3. ждём ${GRACE}+2 с: orphan_old/missing_stale «стареют» за grace"
|
||||
sleep $((GRACE + 2))
|
||||
echo " теперь «свежие» нарушения (моложе grace):"
|
||||
FRESH_ATT=$(att_id); K_FRESH=$(key_of "$FRESH_ATT")
|
||||
s3sh "mc rm local/$S3_BUCKET/$K_FRESH >/dev/null"
|
||||
K_ORPHAN_FRESH="attachments/$(uuid)/$(uuid)"
|
||||
s3sh "echo orphan-fresh | mc pipe local/$S3_BUCKET/$K_ORPHAN_FRESH >/dev/null"
|
||||
|
||||
snapshot() { # snapshot FILE — состояние обеих сторон по ключам сценария (один запуск mc на снимок)
|
||||
ALL=$(s3sh "mc find local/$S3_BUCKET --name '*'")
|
||||
{
|
||||
for k in "$K_ORPHAN_OLD" "$K_ORPHAN_FRESH" "$K_FOREIGN" "$K_CONTROL" "$K_USED" "$K_STALE" "$K_FRESH"; do
|
||||
if printf '%s\n' "$ALL" | grep -qF "/$k"; then o=object; else o=NO-object; fi
|
||||
printf '%-9s %s\n' "$o" "$k"
|
||||
done
|
||||
for pair in "control:$CONTROL" "used:$USED" "stale:$STALE" "fresh:$FRESH_ATT"; do
|
||||
n=$(psql_q "SELECT count(*) FROM attachments WHERE id='${pair#*:}'")
|
||||
printf 'row[%s]=%s\n' "${pair%%:*}" "$n"
|
||||
done
|
||||
echo "bulk_objects=$(printf '%s\n' "$ALL" | grep -c "/attachments/$BULK_CHAT/" || true)"
|
||||
} > "$1"
|
||||
}
|
||||
|
||||
reconcile() { # reconcile NAME ARGS... → NAME.json (stdout), NAME.log (stderr), печатает код выхода
|
||||
name=$1; shift
|
||||
rc=0
|
||||
$DC run --rm -T --no-deps -e S3_ORPHAN_GRACE_SECONDS="$GRACE" reconcile "$@" \
|
||||
> "$OUT/$name.json" 2> "$OUT/$name.log" || rc=$?
|
||||
echo "$rc" > "$OUT/$name.exitcode"
|
||||
echo " $name: exit=$rc ($(python3 -c 'import json,sys; r=json.load(open(sys.argv[1])); print("orphans_found=%s deleted=%s missing_found=%s used=%s pruned=%s duration_ms=%s" % (r["orphans_found"],r["orphans_deleted"],r["missing_found"],r["missing_used"],r["missing_pruned"],r["duration_ms"]))' "$OUT/$name.json"))"
|
||||
}
|
||||
field() { python3 -c 'import json,sys; print(json.load(open(sys.argv[1]))[sys.argv[2]])' "$OUT/$1.json" "$2"; }
|
||||
|
||||
snapshot "$OUT/state_before.txt"
|
||||
echo "== 4. dry-run (ничего не должно измениться)"
|
||||
reconcile 1_dry_run -reconcile-dry-run -reconcile-prune-missing
|
||||
snapshot "$OUT/state_after_dry_run.txt"
|
||||
echo "== 5. реальный запуск"
|
||||
reconcile 2_real -reconcile -reconcile-prune-missing
|
||||
snapshot "$OUT/state_after_real.txt"
|
||||
echo "== 6. повторный запуск (идемпотентность)"
|
||||
reconcile 3_repeat -reconcile -reconcile-prune-missing
|
||||
|
||||
echo "== 7. проверка инвариантов"
|
||||
fail=0
|
||||
check() { if [ "$2" = ok ]; then echo "PASS $1"; else echo "FAIL $1"; fail=1; fi; }
|
||||
t() { if eval "$1"; then echo ok; else echo no; fi; }
|
||||
|
||||
check "dry-run не менял данные" "$(t "diff -q $OUT/state_before.txt $OUT/state_after_dry_run.txt >/dev/null")"
|
||||
check "dry-run нашёл orphan-ы, но не удалил (deleted=0)" "$(t "[ $(field 1_dry_run orphans_found) -ge $((BULK+1)) ] && [ $(field 1_dry_run orphans_deleted) -eq 0 ] && [ $(field 1_dry_run s3_delete_calls) -eq 0 ]")"
|
||||
check "dry-run: missing used/stale/fresh обнаружены" "$(t "[ $(field 1_dry_run missing_used) -ge 1 ] && [ $(field 1_dry_run missing_stale) -ge 1 ] && [ $(field 1_dry_run missing_fresh) -ge 1 ]")"
|
||||
check "real: orphan_old и пачка удалены" "$(t "[ $(field 2_real orphans_deleted) -ge $((BULK+1)) ]")"
|
||||
check "real: orphan_old действительно исчез из S3" "$(t "grep -q 'NO-object $K_ORPHAN_OLD' $OUT/state_after_real.txt")"
|
||||
check "real: свежий orphan цел" "$(t "grep -q '^object $K_ORPHAN_FRESH' $OUT/state_after_real.txt")"
|
||||
check "real: объект с чужой схемой ключа цел" "$(t "grep -q '^object $K_FOREIGN' $OUT/state_after_real.txt")"
|
||||
check "real: control (строка+объект) цел" "$(t "grep -q '^object $K_CONTROL' $OUT/state_after_real.txt && grep -q 'row\[control\]=1' $OUT/state_after_real.txt")"
|
||||
check "real: used без объекта НЕ удалён, есть alert" "$(t "grep -q 'row\[used\]=1' $OUT/state_after_real.txt && [ $(field 2_real missing_used) -ge 1 ] && [ \$(cat $OUT/2_real.exitcode) -eq 2 ]")"
|
||||
check "real: stale unused без объекта удалена (prune)" "$(t "grep -q 'row\[stale\]=0' $OUT/state_after_real.txt && [ $(field 2_real missing_pruned) -ge 1 ]")"
|
||||
check "real: fresh без объекта НЕ удалена" "$(t "grep -q 'row\[fresh\]=1' $OUT/state_after_real.txt")"
|
||||
check "repeat: идемпотентность (0 удалений, 0 prune)" "$(t "[ $(field 3_repeat orphans_deleted) -eq 0 ] && [ $(field 3_repeat missing_pruned) -eq 0 ] && [ $(field 3_repeat orphans_found) -eq 0 ]")"
|
||||
|
||||
{
|
||||
echo "# Стоимость обхода (из JSON-отчётов)"
|
||||
for n in 1_dry_run 2_real 3_repeat; do
|
||||
python3 - "$OUT/$n.json" "$n" <<'PY'
|
||||
import json, sys
|
||||
r = json.load(open(sys.argv[1]))
|
||||
print("%-10s s3_objects=%-5d db_rows=%-4d s3_list_calls=%-3d db_pages=%-3d head_calls=%-3d delete_calls=%-4d duration_ms=%d"
|
||||
% (sys.argv[2], r["s3_objects_scanned"], r["db_rows_scanned"], r["s3_list_calls"], r["db_pages"],
|
||||
r["s3_head_calls"], r["s3_delete_calls"], r["duration_ms"]))
|
||||
PY
|
||||
done
|
||||
} | tee "$OUT/cost.txt"
|
||||
|
||||
[ "$fail" = 0 ] && echo "ИТОГ track2: все инварианты выполнены (evidence в $OUT/)" || { echo "ИТОГ track2: ЕСТЬ ОШИБКИ"; exit 1; }
|
||||
Executable
+44
@@ -0,0 +1,44 @@
|
||||
#!/bin/sh
|
||||
# Останавливает РОВНО одну API-реплику, чей X-Instance-Id = TARGET_INSTANCE_ID.
|
||||
# Реплика остаётся остановленной; восстановление — scripts/restore-one.sh или compose up.
|
||||
# Не трогает postgres/redis/lb/volumes. Должен завершиться за <10 с.
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
|
||||
ids=$(docker compose --env-file .env ps -q api)
|
||||
if [ -z "$ids" ]; then
|
||||
echo "no api containers" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
found=0
|
||||
for id in $ids; do
|
||||
# Совпадает с config.InstanceID: hostname контейнера, если INSTANCE_ID не задан.
|
||||
hostname=$(docker inspect -f '{{.Config.Hostname}}' "$id")
|
||||
env_id=$(docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' "$id" | sed -n 's/^INSTANCE_ID=//p' | head -n1)
|
||||
match=$hostname
|
||||
if [ -n "$env_id" ]; then
|
||||
match=$env_id
|
||||
fi
|
||||
if [ "$match" = "$TARGET_INSTANCE_ID" ]; then
|
||||
# Явный stop контейнера; restart: "no" у api гарантирует, что он не вернётся сам.
|
||||
docker stop -t 8 "$id" >/dev/null
|
||||
# Подтверждаем, что контейнер действительно не running — иначе failover-тест врёт.
|
||||
state=$(docker inspect -f '{{.State.Running}}' "$id")
|
||||
if [ "$state" = "true" ]; then
|
||||
echo "container still running after stop" >&2
|
||||
exit 1
|
||||
fi
|
||||
found=1
|
||||
break
|
||||
fi
|
||||
done
|
||||
|
||||
if [ "$found" -ne 1 ]; then
|
||||
echo "TARGET_INSTANCE_ID not found among api replicas" >&2
|
||||
exit 1
|
||||
fi
|
||||
exit 0
|
||||
Executable
+47
@@ -0,0 +1,47 @@
|
||||
#!/bin/sh
|
||||
# Единая последовательность запуска стенда lab4.
|
||||
# 1) postgres + redis + minio (ждём healthcheck)
|
||||
# 2) minio-init: приватный bucket, пользователь messenger-api, политика (идемпотентно)
|
||||
# 3) однократные миграции (заодно проверка bucket)
|
||||
# 4) API×N 5) HAProxy
|
||||
# Порядок важен: API и migrate не стартуют, пока bucket и S3-пользователь не готовы,
|
||||
# иначе первая же загрузка вложения получила бы 503.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
|
||||
if [ ! -f .env ]; then
|
||||
cp .env.example .env
|
||||
echo "created .env from .env.example" >&2
|
||||
fi
|
||||
|
||||
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env | tail -n1 | cut -d= -f2- || true)
|
||||
API_REPLICAS=${API_REPLICAS:-2}
|
||||
LB_PORT=$(grep -E '^LB_HOST_PORT=' .env | tail -n1 | cut -d= -f2- || true)
|
||||
LB_PORT=${LB_PORT:-8080}
|
||||
|
||||
docker compose --env-file .env config --quiet
|
||||
# --wait: возвращаемся, только когда у сервисов с healthcheck статус healthy.
|
||||
docker compose --env-file .env up -d --build --wait postgres redis minio
|
||||
# minio-init — одноразовый (restart: no): run --rm дожидается завершения и возвращает его код.
|
||||
docker compose --env-file .env run --rm minio-init
|
||||
docker compose --env-file .env run --rm --build migrate
|
||||
docker compose --env-file .env up -d --build --scale "api=${API_REPLICAS}" --no-deps api
|
||||
docker compose --env-file .env up -d --no-deps lb
|
||||
|
||||
echo "waiting for http://127.0.0.1:${LB_PORT}/health/ready via LB..."
|
||||
deadline=$(( $(date +%s) + 120 ))
|
||||
while :; do
|
||||
if curl -fsS "http://127.0.0.1:${LB_PORT}/health/ready" >/dev/null 2>&1; then
|
||||
echo "ready"
|
||||
docker compose --env-file .env ps
|
||||
exit 0
|
||||
fi
|
||||
if [ "$(date +%s)" -ge "$deadline" ]; then
|
||||
echo "timeout waiting for readiness" >&2
|
||||
docker compose --env-file .env ps >&2 || true
|
||||
docker compose --env-file .env logs --tail=80 api lb minio >&2 || true
|
||||
exit 1
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
Executable
+120
@@ -0,0 +1,120 @@
|
||||
#!/bin/sh
|
||||
# Эксперимент «≥10 одновременных загрузок → пик памяти API» (критерий уровня 4).
|
||||
#
|
||||
# Гипотеза: тело загрузки буферизуется целиком (нужно проверить содержимое и SHA-256 до записи
|
||||
# в S3), поэтому БЕЗ ограничения пик RAM растёт как N * размер файла и упирается в лимит
|
||||
# контейнера (OOM). Семафор UPLOAD_MAX_CONCURRENCY держит пик около слоты * 10 MiB, а лишние
|
||||
# загрузки ждут в очереди, не читая тело.
|
||||
#
|
||||
# Методика: N одновременных curl, каждый ROUNDS раз подряд шлёт файл ~8 MB (PNG-шум 1600x1600,
|
||||
# 2,56 Мпикс > порога полного декода) через LB. Пока идёт нагрузка, `docker stats` в потоковом
|
||||
# режиме пишет потребление памяти каждой реплики API; берётся максимум. Сравниваются
|
||||
# UPLOAD_MAX_CONCURRENCY=64 («без ограничения») и значение из .env (по умолчанию 4).
|
||||
#
|
||||
# Параметры (env): CONCURRENCY=20 ROUNDS=4 COMPARE_LIMITS="64 4" SIZE_PX=1600
|
||||
# Результат: evidence/upload-memory/{summary.txt,*.stats}. Токены и тела файлов не сохраняются.
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
. scripts/_lib.sh
|
||||
|
||||
CONCURRENCY=${CONCURRENCY:-20}
|
||||
ROUNDS=${ROUNDS:-4}
|
||||
SIZE_PX=${SIZE_PX:-1600}
|
||||
COMPARE_LIMITS=${COMPARE_LIMITS:-"64 $(env_get UPLOAD_MAX_CONCURRENCY 4)"}
|
||||
REPLICAS=$(env_get API_REPLICAS 2)
|
||||
OUT=evidence/upload-memory
|
||||
TMP=$(mktemp -d)
|
||||
trap 'rm -rf "$TMP"; kill $(cat "$TMP/stats.pid" 2>/dev/null) 2>/dev/null || true' EXIT
|
||||
mkdir -p "$OUT"; rm -f "$OUT"/*.stats "$OUT/summary.txt"
|
||||
|
||||
echo "== генерация PNG-шума ${SIZE_PX}x${SIZE_PX}"
|
||||
python3 - "$TMP/big.png" "$SIZE_PX" <<'PY'
|
||||
import os, struct, sys, zlib
|
||||
path, n = sys.argv[1], int(sys.argv[2])
|
||||
raw = b"".join(b"\x00" + os.urandom(n * 3) for _ in range(n)) # фильтр 0 + RGB-шум, не сжимается
|
||||
def chunk(t, d):
|
||||
c = struct.pack(">I", len(d)) + t + d
|
||||
return c + struct.pack(">I", zlib.crc32(t + d) & 0xFFFFFFFF)
|
||||
png = b"\x89PNG\r\n\x1a\n" + chunk(b"IHDR", struct.pack(">IIBBBBB", n, n, 8, 2, 0, 0, 0)) \
|
||||
+ chunk(b"IDAT", zlib.compress(raw, 1)) + chunk(b"IEND", b"")
|
||||
open(path, "wb").write(png)
|
||||
print("размер файла: %.2f MiB" % (len(png) / 1048576))
|
||||
PY
|
||||
FILE_BYTES=$(wc -c < "$TMP/big.png" | tr -d ' ')
|
||||
[ "$FILE_BYTES" -le 10485760 ] || { echo "файл больше 10 MiB, уменьшите SIZE_PX" >&2; exit 1; }
|
||||
|
||||
set -- $(register_and_login); TOK=$1; UID_=$2
|
||||
CHAT=$(create_chat "$TOK" "$UID_")
|
||||
|
||||
# Пиковая память: разбираем строки `docker stats --format '{{.Name}} {{.MemUsage}}'`.
|
||||
peak_mib() { # peak_mib FILE → "имя: idle=… peak=…" на каждую реплику
|
||||
python3 - "$1" <<'PY'
|
||||
import re, sys
|
||||
unit = {"B": 1/1048576, "KiB": 1/1024, "MiB": 1, "GiB": 1024, "kB": 1/1048.576, "MB": 0.9537, "GB": 976.6}
|
||||
first, peak = {}, {}
|
||||
ansi = re.compile(r"\x1b\[[0-9;?]*[A-Za-z]")
|
||||
for line in open(sys.argv[1], errors="ignore"):
|
||||
line = ansi.sub("", line) # docker stats рисует поток с escape-последовательностями
|
||||
m = re.search(r"(\S*api\S*)\s+([\d.]+)\s*([KMG]i?B|B)\s*/", line)
|
||||
if m:
|
||||
v = float(m.group(2)) * unit[m.group(3)]
|
||||
first.setdefault(m.group(1), v) # первый замер — до нагрузки
|
||||
peak[m.group(1)] = max(peak.get(m.group(1), 0), v)
|
||||
for k in sorted(peak):
|
||||
print("%s: idle=%.1f peak=%.1f" % (k, first[k], peak[k]))
|
||||
PY
|
||||
}
|
||||
|
||||
run_case() { # run_case LIMIT
|
||||
limit=$1
|
||||
echo "== случай UPLOAD_MAX_CONCURRENCY=$limit: пересоздаём API (replicas=$REPLICAS)"
|
||||
UPLOAD_MAX_CONCURRENCY=$limit $DC up -d --no-deps --force-recreate --scale "api=$REPLICAS" api >/dev/null 2>&1
|
||||
i=0; until curl -fsS "$BASE_URL/health/ready" >/dev/null 2>&1; do i=$((i+1)); [ $i -lt 90 ] || { echo "API не поднялся" >&2; exit 1; }; sleep 1; done
|
||||
sleep 5 # дать прогреться и снять «базовую» память до нагрузки
|
||||
|
||||
stats="$OUT/limit_${limit}.stats"
|
||||
: > "$stats"
|
||||
docker stats --format '{{.Name}} {{.MemUsage}}' $($DC ps -q api) >> "$stats" 2>/dev/null &
|
||||
echo $! > "$TMP/stats.pid"
|
||||
sleep 3
|
||||
|
||||
: > "$TMP/codes"
|
||||
start=$(date +%s)
|
||||
w=0; pids=""
|
||||
while [ $w -lt "$CONCURRENCY" ]; do
|
||||
(
|
||||
r=0
|
||||
while [ $r -lt "$ROUNDS" ]; do
|
||||
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' --max-time 60 -X POST \
|
||||
"$BASE_URL/api/v1/chats/$CHAT/attachments?filename=load.png" \
|
||||
-H "Authorization: Bearer $TOK" -H 'Content-Type: image/png' --data-binary "@$TMP/big.png" >> "$TMP/codes" || echo "000 0" >> "$TMP/codes"
|
||||
r=$((r+1))
|
||||
done
|
||||
) &
|
||||
pids="$pids $!"
|
||||
w=$((w+1))
|
||||
done
|
||||
wait $pids 2>/dev/null || true
|
||||
elapsed=$(( $(date +%s) - start ))
|
||||
sleep 3
|
||||
kill "$(cat "$TMP/stats.pid")" 2>/dev/null || true
|
||||
|
||||
{
|
||||
echo "--- UPLOAD_MAX_CONCURRENCY=$limit (параллельных клиентов=$CONCURRENCY, повторов=$ROUNDS, файл=$FILE_BYTES байт, длительность=${elapsed}s)"
|
||||
echo "статусы HTTP: $(awk '{print $1}' "$TMP/codes" | sort | uniq -c | tr '\n' ' ')"
|
||||
python3 -c 'import sys; t=sorted(float(l.split()[1]) for l in open(sys.argv[1]) if l.strip()); print("время ответа: min=%.2fs p50=%.2fs max=%.2fs" % (t[0], t[len(t)//2], t[-1])) if t else None' "$TMP/codes"
|
||||
echo "пик памяти реплик, MiB (лимит контейнера $(env_get API_MEMORY 256M)):"
|
||||
peak_mib "$stats" | sed 's/^/ /'
|
||||
} | tee -a "$OUT/summary.txt"
|
||||
}
|
||||
|
||||
{
|
||||
echo "# Эксперимент пика памяти при одновременных загрузках"
|
||||
echo "# дата: $(date -u +%Y-%m-%dT%H:%M:%SZ), реплик API: $REPLICAS, commit: $(git rev-parse --short HEAD 2>/dev/null || echo n/a)"
|
||||
} > "$OUT/summary.txt"
|
||||
for l in $COMPARE_LIMITS; do run_case "$l"; done
|
||||
|
||||
# Вернуть стенд к значению из .env.
|
||||
$DC up -d --no-deps --force-recreate --scale "api=$REPLICAS" api >/dev/null 2>&1
|
||||
echo "готово: $OUT/summary.txt"
|
||||
@@ -0,0 +1,673 @@
|
||||
// Собственные проверки lab3 (плюс регрессия lab2) и lab4 (см. attachments_test.go,
|
||||
// reconcile_test.go). Им нужен уже поднятый PostgreSQL, Redis и MinIO
|
||||
// (docker compose up / scripts/up.sh): контракт требует настоящую БД и настоящий S3,
|
||||
// а не sqlmock. HTTP бьём в httptest.Server поверх того же Store,
|
||||
// что и реплики — идемпотентность и гонки видны без обхода LB.
|
||||
//
|
||||
// Каждый тест пишет в лог, что именно проверяет и какой статус получил.
|
||||
package studenttests
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"encoding/base64"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"io"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"os"
|
||||
"strings"
|
||||
"sync"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/api"
|
||||
"mtusi2026lab4/internal/auth"
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/session"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
var (
|
||||
sharedStore *store.Store
|
||||
sharedSessions *session.Store
|
||||
sharedRedisURL string
|
||||
// sharedObjects — клиент к тому же MinIO, что и реплики (учётка messenger-api, не root).
|
||||
sharedObjects *objectstore.Store
|
||||
)
|
||||
|
||||
func TestMain(m *testing.M) {
|
||||
ctx := context.Background()
|
||||
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
|
||||
sharedRedisURL = getenv("REDIS_URL", "redis://127.0.0.1:6379/0")
|
||||
hasher, err := auth.NewHasher()
|
||||
if err != nil {
|
||||
fmt.Fprintln(os.Stderr, "hasher:", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
sharedStore, err = store.Open(ctx, dsn, hasher, 5)
|
||||
if err != nil {
|
||||
fmt.Fprintln(os.Stderr, "postgres:", err)
|
||||
fmt.Fprintln(os.Stderr, "подсказка: docker compose --env-file .env up -d --build")
|
||||
os.Exit(1)
|
||||
}
|
||||
defer sharedStore.Close()
|
||||
if err := sharedStore.Migrate(ctx); err != nil {
|
||||
fmt.Fprintln(os.Stderr, "migrate:", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
// Повтор миграции не должен падать и не должен дублировать данные.
|
||||
if err := sharedStore.Migrate(ctx); err != nil {
|
||||
fmt.Fprintln(os.Stderr, "migrate second:", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
sharedObjects, err = objectstore.New(objectstore.Config{
|
||||
Endpoint: getenv("S3_ENDPOINT", "http://127.0.0.1:9000"),
|
||||
Region: getenv("S3_REGION", "us-east-1"),
|
||||
Bucket: getenv("S3_BUCKET", "messenger"),
|
||||
AccessKey: getenv("S3_ACCESS_KEY", "messenger-api"),
|
||||
SecretKey: getenv("S3_SECRET_KEY", "messenger-api-secret-change-me"),
|
||||
ForcePathStyle: true,
|
||||
})
|
||||
if err != nil {
|
||||
fmt.Fprintln(os.Stderr, "objectstore:", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
if err := sharedObjects.EnsureBucket(ctx); err != nil {
|
||||
fmt.Fprintln(os.Stderr, "s3:", err)
|
||||
fmt.Fprintln(os.Stderr, "подсказка: bash scripts/up.sh (MinIO на 127.0.0.1:${MINIO_HOST_PORT}); для нестандартных портов задайте S3_ENDPOINT")
|
||||
os.Exit(1)
|
||||
}
|
||||
sharedSessions, err = session.Open(sharedRedisURL, time.Hour)
|
||||
if err != nil {
|
||||
fmt.Fprintln(os.Stderr, "redis:", err)
|
||||
os.Exit(1)
|
||||
}
|
||||
defer sharedSessions.Close()
|
||||
os.Exit(m.Run())
|
||||
}
|
||||
|
||||
func TestMalformedJSONAndValidation(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "битый JSON, хвост после объекта, лишнее поле, пустой текст, чужой чат")
|
||||
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/users", nil, "{")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest || !strings.Contains(body, "invalid_request") {
|
||||
t.Fatalf("malformed json: status=%d body=%s", status, body)
|
||||
}
|
||||
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/users", nil,
|
||||
`{"username":"abc","display_name":"Имя","password":"correct-horse-1","extra":1}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("extra field: status=%d", status)
|
||||
}
|
||||
|
||||
user := register(t, srv, "ok_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
chat := createChat(t, srv, token, user.id, "Чат проверки")
|
||||
auth := map[string]string{"Authorization": "Bearer " + token}
|
||||
|
||||
// Decoder.More() это не ловит: один объект декодируется, лишняя скобка остаётся.
|
||||
for _, raw := range []string{`{"text":"valid"}}`, `{"text":"valid"}]`} {
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, raw)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("trailing garbage %q: status=%d body=%s", raw, status, body)
|
||||
}
|
||||
}
|
||||
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":" "}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("blank message: status=%d", status)
|
||||
}
|
||||
|
||||
outsider := register(t, srv, "outsider")
|
||||
outTok := login(t, srv, outsider.username, outsider.password)
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{"Authorization": "Bearer " + outTok}, `{"text":"чужое"}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("foreign chat: status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "валидация JSON, хвоста, пустого текста и чужого чата")
|
||||
}
|
||||
|
||||
func TestMessageTextPreservedAndLengthOnOriginal(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "пробелы по краям сохраняются; длина считается по исходному тексту")
|
||||
user := register(t, srv, "text_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
chat := createChat(t, srv, token, user.id, "Текст")
|
||||
auth := map[string]string{"Authorization": "Bearer " + token}
|
||||
|
||||
original := " строка\nс пробелами "
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth,
|
||||
fmt.Sprintf(`{"text":%q}`, original))
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("preserve spaces: status=%d", status)
|
||||
}
|
||||
got := decode(t, body)
|
||||
if got["text"] != original {
|
||||
t.Fatalf("text mutated: got %q want %q", got["text"], original)
|
||||
}
|
||||
|
||||
tooLong := " " + strings.Repeat("a", 4000) // 4001 code points
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth,
|
||||
fmt.Sprintf(`{"text":%q}`, tooLong))
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("length after trim bypass: status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "текст сохранён целиком, обход лимита через TrimSpace закрыт")
|
||||
}
|
||||
|
||||
func TestSessionRejectsJSONBody(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "POST /auth/sessions с телом должен быть 400 даже при верном Basic")
|
||||
user := register(t, srv, "body_user")
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
|
||||
"Authorization": "Basic " + basic(user.username, user.password),
|
||||
}, `{"extra":1}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("session with body: status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "вход без JSON body")
|
||||
}
|
||||
|
||||
func TestWrongPasswordLogoutAndIgnoredUserHeader(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "неверный пароль, Basic на бизнес-методе, X-User-Id, logout")
|
||||
user := register(t, srv, "auth_user")
|
||||
other := register(t, srv, "auth_other")
|
||||
|
||||
status, body, hdr := doRaw(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
|
||||
"Authorization": "Basic " + basic(user.username, "wrong-password-1"),
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusUnauthorized || !strings.HasPrefix(hdr.Get("WWW-Authenticate"), "Basic") {
|
||||
t.Fatalf("wrong password: status=%d www=%q", status, hdr.Get("WWW-Authenticate"))
|
||||
}
|
||||
|
||||
token := login(t, srv, user.username, user.password)
|
||||
status, body, hdr = doRaw(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
|
||||
"Authorization": "Basic " + basic(user.username, user.password),
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusUnauthorized || !strings.HasPrefix(hdr.Get("WWW-Authenticate"), "Bearer") {
|
||||
t.Fatalf("basic on business endpoint: status=%d www=%q", status, hdr.Get("WWW-Authenticate"))
|
||||
}
|
||||
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"X-User-Id": user.id}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusUnauthorized {
|
||||
t.Fatalf("X-User-Id alone: status=%d", status)
|
||||
}
|
||||
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
|
||||
"Authorization": "Bearer " + token,
|
||||
"X-User-Id": other.id,
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusOK || !strings.Contains(body, user.id) || strings.Contains(body, other.id) {
|
||||
t.Fatalf("X-User-Id overrode bearer: status=%d body=%s", status, body)
|
||||
}
|
||||
|
||||
status, _ = do(t, srv, http.MethodDelete, "/api/v1/auth/sessions/current", map[string]string{"Authorization": "Bearer " + token}, "")
|
||||
t.Logf("logout status=%d", status)
|
||||
if status != http.StatusNoContent {
|
||||
t.Fatalf("logout status=%d", status)
|
||||
}
|
||||
status, _ = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "Bearer " + token}, "")
|
||||
if status != http.StatusUnauthorized {
|
||||
t.Fatalf("token still valid after logout: %d", status)
|
||||
}
|
||||
status, _ = do(t, srv, http.MethodDelete, "/api/v1/auth/sessions/current", map[string]string{"Authorization": "Bearer " + token}, "")
|
||||
if status != http.StatusUnauthorized {
|
||||
t.Fatalf("second logout status=%d", status)
|
||||
}
|
||||
logOK(t, "пароль, заголовки и отзыв сессии")
|
||||
}
|
||||
|
||||
func TestSessionExpiry(t *testing.T) {
|
||||
srv := newAPI(t, 2*time.Second)
|
||||
defer srv.Close()
|
||||
logStep(t, "SESSION_TTL=2s: тот же токен после паузы должен стать 401, TTL рестартом API не продлевается")
|
||||
user := register(t, srv, "ttl_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
time.Sleep(2500 * time.Millisecond)
|
||||
status, body := do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "Bearer " + token}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusUnauthorized {
|
||||
t.Fatalf("expired token status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "истёкшая сессия отклонена")
|
||||
}
|
||||
|
||||
func TestDuplicateUsernameRace(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
name := "race_" + uuid.NewString()[:8]
|
||||
logStep(t, "8 параллельных регистраций username="+name)
|
||||
const n = 8
|
||||
codes := make([]int, n)
|
||||
var wg sync.WaitGroup
|
||||
body := fmt.Sprintf(`{"username":%q,"display_name":"Гонка","password":"correct-horse-1"}`, name)
|
||||
for i := 0; i < n; i++ {
|
||||
wg.Add(1)
|
||||
go func(i int) {
|
||||
defer wg.Done()
|
||||
status, _ := do(t, srv, http.MethodPost, "/api/v1/users", nil, body)
|
||||
codes[i] = status
|
||||
}(i)
|
||||
}
|
||||
wg.Wait()
|
||||
ok, conflict := 0, 0
|
||||
for _, c := range codes {
|
||||
switch c {
|
||||
case http.StatusCreated:
|
||||
ok++
|
||||
case http.StatusConflict:
|
||||
conflict++
|
||||
default:
|
||||
t.Errorf("unexpected status %d", c)
|
||||
}
|
||||
}
|
||||
t.Logf("created=%d conflict=%d", ok, conflict)
|
||||
if ok != 1 || conflict != n-1 {
|
||||
t.Fatalf("race result created=%d conflict=%d", ok, conflict)
|
||||
}
|
||||
logOK(t, "UNIQUE username выдержал гонку")
|
||||
}
|
||||
|
||||
func TestChatCreateRollsBack(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
user := register(t, srv, "roll_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
title := "rollback-" + uuid.NewString()
|
||||
missing := uuid.NewString()
|
||||
logStep(t, "создание чата с несуществующим участником должно откатиться, title="+title)
|
||||
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%q,%q]}`, title, user.id, missing)
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("status=%d", status)
|
||||
}
|
||||
n, err := sharedStore.CountChatsByTitle(context.Background(), title)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Logf("строк chats с этим title после ошибки: %d", n)
|
||||
if n != 0 {
|
||||
t.Fatalf("chat row survived rollback: %d", n)
|
||||
}
|
||||
logOK(t, "транзакция создания чата откатилась")
|
||||
}
|
||||
|
||||
func TestPaginationPages(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "три сообщения, две страницы limit=2, затем последняя")
|
||||
user := register(t, srv, "page_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
chat := createChat(t, srv, token, user.id, "Страницы")
|
||||
auth := map[string]string{"Authorization": "Bearer " + token}
|
||||
for _, text := range []string{"раз", "два", "три"} {
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, fmt.Sprintf(`{"text":%q}`, text))
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("post message %s: %d %s", text, status, body)
|
||||
}
|
||||
}
|
||||
status, body := do(t, srv, http.MethodGet, "/api/v1/chats/"+chat+"/messages?limit=2", auth, "")
|
||||
logResult(t, status, body)
|
||||
page := decode(t, body)
|
||||
items, _ := page["items"].([]any)
|
||||
if status != http.StatusOK || len(items) != 2 || page["next_cursor"] == nil {
|
||||
t.Fatalf("page1: %+v", page)
|
||||
}
|
||||
cursor, _ := page["next_cursor"].(string)
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/chats/"+chat+"/messages?limit=2&cursor="+cursor, auth, "")
|
||||
logResult(t, status, body)
|
||||
page = decode(t, body)
|
||||
items, _ = page["items"].([]any)
|
||||
if len(items) != 1 || page["next_cursor"] != nil {
|
||||
t.Fatalf("page2: %+v", page)
|
||||
}
|
||||
logOK(t, "keyset обошёл историю без зависания cursor")
|
||||
}
|
||||
|
||||
func TestRedisDownIsNotAnonymous(t *testing.T) {
|
||||
logStep(t, "закрытый клиент Redis: вход и Bearer дают 503, а не 200 от анонима")
|
||||
closed, err := session.Open(sharedRedisURL, time.Hour)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := closed.Close(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
srv := httptest.NewServer(api.New(sharedStore, closed, sharedObjects, "test-closed-redis").Handler())
|
||||
defer srv.Close()
|
||||
regSrv := newAPI(t, time.Hour)
|
||||
defer regSrv.Close()
|
||||
user := register(t, regSrv, "redis_down")
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
|
||||
"Authorization": "Basic " + basic(user.username, user.password),
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusServiceUnavailable {
|
||||
t.Fatalf("login with dead redis: status=%d body=%s", status, body)
|
||||
}
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
|
||||
"Authorization": "Bearer " + strings.Repeat("ab", 32),
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusServiceUnavailable {
|
||||
t.Fatalf("bearer with dead redis: status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "сбой Redis не стал анонимным доступом")
|
||||
}
|
||||
|
||||
func TestPostgresDownIsNotAnonymous(t *testing.T) {
|
||||
logStep(t, "закрытый пул PostgreSQL: ready/me/login дают 503, без тела пользователя")
|
||||
regSrv := newAPI(t, time.Hour)
|
||||
defer regSrv.Close()
|
||||
user := register(t, regSrv, "pg_down")
|
||||
token := login(t, regSrv, user.username, user.password)
|
||||
|
||||
hasher, err := auth.NewHasher()
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
|
||||
broken, err := store.Open(context.Background(), dsn, hasher, 5)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
broken.Close()
|
||||
sessions, err := session.Open(sharedRedisURL, time.Hour)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() { _ = sessions.Close() })
|
||||
srv := httptest.NewServer(api.New(broken, sessions, sharedObjects, "test-broken-pg").Handler())
|
||||
defer srv.Close()
|
||||
|
||||
status, body := do(t, srv, http.MethodGet, "/health/ready", nil, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusServiceUnavailable {
|
||||
t.Fatalf("ready with dead postgres: %d", status)
|
||||
}
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
|
||||
"Authorization": "Bearer " + token,
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusServiceUnavailable || strings.Contains(body, `"username"`) {
|
||||
t.Fatalf("me with dead postgres: status=%d body=%s", status, body)
|
||||
}
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
|
||||
"Authorization": "Basic " + basic(user.username, user.password),
|
||||
}, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusServiceUnavailable {
|
||||
t.Fatalf("login with dead postgres: status=%d body=%s", status, body)
|
||||
}
|
||||
logOK(t, "сбой PostgreSQL не стал анонимным доступом")
|
||||
}
|
||||
|
||||
func TestIdempotencyReplayAndConflict(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "повтор того же Idempotency-Key возвращает то же сообщение; другой body — 409")
|
||||
user := register(t, srv, "idem_user")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
chat := createChat(t, srv, token, user.id, "Идемпотентность")
|
||||
key := "key-" + uuid.NewString()
|
||||
auth := map[string]string{
|
||||
"Authorization": "Bearer " + token,
|
||||
"Idempotency-Key": key,
|
||||
}
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"один раз"}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("first: %d %s", status, body)
|
||||
}
|
||||
first := decode(t, body)
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"один раз"}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("replay: %d %s", status, body)
|
||||
}
|
||||
second := decode(t, body)
|
||||
if first["id"] != second["id"] || first["text"] != second["text"] {
|
||||
t.Fatalf("replay differs: first=%v second=%v", first, second)
|
||||
}
|
||||
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"другой body"}`)
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusConflict {
|
||||
t.Fatalf("conflict: %d %s", status, body)
|
||||
}
|
||||
logOK(t, "replay и conflict по Idempotency-Key")
|
||||
}
|
||||
|
||||
func TestIdempotencyKeyRequiredAndConcurrent(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "нет ключа → 400; 8 параллельных POST с одним ключом → ровно одно сообщение")
|
||||
user := register(t, srv, "idem_race")
|
||||
token := login(t, srv, user.username, user.password)
|
||||
chat := createChat(t, srv, token, user.id, "Гонка ключа")
|
||||
|
||||
// Явно без ключа: хелпер doRaw подставляет ключ только если заголовок пуст —
|
||||
// поэтому бьём в doRaw с пустым Idempotency-Key, переопределив после...
|
||||
// Проще: отдельный raw-запрос.
|
||||
req, err := http.NewRequest(http.MethodPost, srv.URL+"/api/v1/chats/"+chat+"/messages", strings.NewReader(`{"text":"без ключа"}`))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
req.Header.Set("Authorization", "Bearer "+token)
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
resp, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
resp.Body.Close()
|
||||
logResult(t, resp.StatusCode, string(b))
|
||||
if resp.StatusCode != http.StatusBadRequest {
|
||||
t.Fatalf("missing key: %d", resp.StatusCode)
|
||||
}
|
||||
|
||||
key := "race-" + uuid.NewString()
|
||||
const n = 8
|
||||
ids := make([]string, n)
|
||||
var wg sync.WaitGroup
|
||||
for i := 0; i < n; i++ {
|
||||
wg.Add(1)
|
||||
go func(i int) {
|
||||
defer wg.Done()
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{
|
||||
"Authorization": "Bearer " + token,
|
||||
"Idempotency-Key": key,
|
||||
}, `{"text":"параллельно"}`)
|
||||
if status != http.StatusCreated {
|
||||
t.Errorf("worker %d status=%d body=%s", i, status, body)
|
||||
return
|
||||
}
|
||||
ids[i] = decode(t, body)["id"].(string)
|
||||
}(i)
|
||||
}
|
||||
wg.Wait()
|
||||
uniq := map[string]struct{}{}
|
||||
for _, id := range ids {
|
||||
if id == "" {
|
||||
t.Fatalf("empty id in race")
|
||||
}
|
||||
uniq[id] = struct{}{}
|
||||
}
|
||||
t.Logf("unique message ids=%d", len(uniq))
|
||||
if len(uniq) != 1 {
|
||||
t.Fatalf("expected 1 message, got %d ids=%v", len(uniq), ids)
|
||||
}
|
||||
logOK(t, "ключ обязателен; конкурентный повтор не плодит дубли")
|
||||
}
|
||||
|
||||
func TestInstanceIDHeaderPresent(t *testing.T) {
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
logStep(t, "каждый ответ содержит непустой X-Instance-Id")
|
||||
status, body, hdr := doRaw(t, srv, http.MethodGet, "/health/live", nil, "")
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusOK || hdr.Get("X-Instance-Id") == "" {
|
||||
t.Fatalf("live instance header missing: %q status=%d", hdr.Get("X-Instance-Id"), status)
|
||||
}
|
||||
logOK(t, "X-Instance-Id="+hdr.Get("X-Instance-Id"))
|
||||
}
|
||||
|
||||
type account struct {
|
||||
id string
|
||||
username string
|
||||
password string
|
||||
}
|
||||
|
||||
func newAPI(t *testing.T, ttl time.Duration) *httptest.Server {
|
||||
t.Helper()
|
||||
sessions, err := session.Open(sharedRedisURL, ttl)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() { _ = sessions.Close() })
|
||||
return httptest.NewServer(api.New(sharedStore, sessions, sharedObjects, "test-instance").Handler())
|
||||
}
|
||||
|
||||
func register(t *testing.T, srv *httptest.Server, prefix string) account {
|
||||
t.Helper()
|
||||
username := prefix + "_" + uuid.NewString()[:8]
|
||||
password := "correct-horse-1"
|
||||
raw := fmt.Sprintf(`{"username":%q,"display_name":"Студент","password":%q}`, username, password)
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/users", nil, raw)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("register %s: %d %s", username, status, body)
|
||||
}
|
||||
var u struct {
|
||||
ID string `json:"id"`
|
||||
}
|
||||
if err := json.Unmarshal([]byte(body), &u); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Logf("создан %s id=%s", username, u.ID)
|
||||
return account{id: u.ID, username: username, password: password}
|
||||
}
|
||||
|
||||
func login(t *testing.T, srv *httptest.Server, username, password string) string {
|
||||
t.Helper()
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
|
||||
"Authorization": "Basic " + basic(username, password),
|
||||
}, "")
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("login %s: %d %s", username, status, body)
|
||||
}
|
||||
var s struct {
|
||||
Token string `json:"token"`
|
||||
}
|
||||
if err := json.Unmarshal([]byte(body), &s); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if len(s.Token) < 32 {
|
||||
t.Fatalf("token too short: %d", len(s.Token))
|
||||
}
|
||||
t.Logf("сессия выпущена, длина токена=%d (значение не печатаем)", len(s.Token))
|
||||
return s.Token
|
||||
}
|
||||
|
||||
func createChat(t *testing.T, srv *httptest.Server, token, userID, title string) string {
|
||||
t.Helper()
|
||||
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%q]}`, title, userID)
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("chat: %d %s", status, body)
|
||||
}
|
||||
var c struct {
|
||||
ID string `json:"id"`
|
||||
}
|
||||
if err := json.Unmarshal([]byte(body), &c); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return c.ID
|
||||
}
|
||||
|
||||
func do(t *testing.T, srv *httptest.Server, method, path string, headers map[string]string, raw string) (int, string) {
|
||||
t.Helper()
|
||||
status, body, _ := doRaw(t, srv, method, path, headers, raw)
|
||||
return status, body
|
||||
}
|
||||
|
||||
func doRaw(t *testing.T, srv *httptest.Server, method, path string, headers map[string]string, raw string) (int, string, http.Header) {
|
||||
t.Helper()
|
||||
var rdr io.Reader
|
||||
if raw != "" {
|
||||
rdr = bytes.NewBufferString(raw)
|
||||
}
|
||||
req, err := http.NewRequest(method, srv.URL+path, rdr)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if raw != "" && method != http.MethodGet {
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
}
|
||||
for k, v := range headers {
|
||||
req.Header.Set(k, v)
|
||||
}
|
||||
// Lab3: POST сообщений без ключа — 400. В хелперах подставляем уникальный ключ,
|
||||
// если тест сам его не задал (негативные проверки ключа делают это явно).
|
||||
if method == http.MethodPost && strings.Contains(path, "/messages") && req.Header.Get("Idempotency-Key") == "" {
|
||||
req.Header.Set("Idempotency-Key", uuid.NewString())
|
||||
}
|
||||
resp, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
return resp.StatusCode, string(b), resp.Header
|
||||
}
|
||||
|
||||
func decode(t *testing.T, body string) map[string]any {
|
||||
t.Helper()
|
||||
var m map[string]any
|
||||
if err := json.Unmarshal([]byte(body), &m); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return m
|
||||
}
|
||||
|
||||
func basic(user, pass string) string {
|
||||
return base64.StdEncoding.EncodeToString([]byte(user + ":" + pass))
|
||||
}
|
||||
|
||||
func logStep(t *testing.T, msg string) { t.Helper(); t.Logf("→ %s", msg) }
|
||||
func logOK(t *testing.T, msg string) { t.Helper(); t.Logf("✓ %s", msg) }
|
||||
func logResult(t *testing.T, status int, body string) {
|
||||
t.Helper()
|
||||
if len(body) > 400 {
|
||||
body = body[:400] + "..."
|
||||
}
|
||||
t.Logf("status=%d body=%s", status, body)
|
||||
}
|
||||
|
||||
func getenv(k, def string) string {
|
||||
if v := os.Getenv(k); v != "" {
|
||||
return v
|
||||
}
|
||||
return def
|
||||
}
|
||||
@@ -0,0 +1,743 @@
|
||||
// Собственные проверки lab4: вложения (S3 + PostgreSQL).
|
||||
//
|
||||
// Покрыто (требования уровня «4»): слишком большой файл, повреждённое изображение,
|
||||
// подмена MIME, чужое attachment_id, вложение другого чата, недоступный S3,
|
||||
// компенсация при отказе PG после PUT, параллельные загрузки.
|
||||
// Реальные PNG/JPEG генерируются на лету (стандартная библиотека), внешних фикстур нет.
|
||||
package studenttests
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"compress/zlib"
|
||||
"context"
|
||||
"crypto/sha256"
|
||||
"encoding/binary"
|
||||
"encoding/hex"
|
||||
"errors"
|
||||
"fmt"
|
||||
"hash/crc32"
|
||||
"image"
|
||||
"image/color"
|
||||
"image/jpeg"
|
||||
"image/png"
|
||||
"io"
|
||||
"math/rand"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"net/url"
|
||||
"strings"
|
||||
"sync"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/api"
|
||||
"mtusi2026lab4/internal/auth"
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/session"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
const maxUpload = 10 << 20 // 10 MiB — лимит контракта
|
||||
|
||||
// ---------------------------------------------------------------- генераторы файлов
|
||||
|
||||
// noisePNG — настоящий PNG из псевдослучайного шума (плохо сжимается → размер ≈ w*h*4).
|
||||
func noisePNG(t *testing.T, w, h int) []byte {
|
||||
t.Helper()
|
||||
rng := rand.New(rand.NewSource(int64(w*100003 + h)))
|
||||
img := image.NewNRGBA(image.Rect(0, 0, w, h))
|
||||
rng.Read(img.Pix)
|
||||
var buf bytes.Buffer
|
||||
if err := png.Encode(&buf, img); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return buf.Bytes()
|
||||
}
|
||||
|
||||
// smallJPEG — настоящий JPEG.
|
||||
func smallJPEG(t *testing.T, w, h int) []byte {
|
||||
t.Helper()
|
||||
img := image.NewRGBA(image.Rect(0, 0, w, h))
|
||||
for y := 0; y < h; y++ {
|
||||
for x := 0; x < w; x++ {
|
||||
img.Set(x, y, color.RGBA{uint8(x * 3), uint8(y * 5), uint8(x ^ y), 255})
|
||||
}
|
||||
}
|
||||
var buf bytes.Buffer
|
||||
if err := jpeg.Encode(&buf, img, &jpeg.Options{Quality: 80}); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
return buf.Bytes()
|
||||
}
|
||||
|
||||
// craftPNG собирает ВАЛИДНЫЙ 1-битный серый PNG заданных размеров вручную: данные —
|
||||
// нули, сжимаются до пары КБ даже для десятков миллионов пикселей. Нужен для проверки
|
||||
// лимита пикселей без гигабайтных буферов в тесте.
|
||||
func craftPNG(w, h int) []byte {
|
||||
var idat bytes.Buffer
|
||||
zw := zlib.NewWriter(&idat)
|
||||
row := make([]byte, 1+(w+7)/8) // фильтр 0 + биты строки
|
||||
for y := 0; y < h; y++ {
|
||||
_, _ = zw.Write(row)
|
||||
}
|
||||
_ = zw.Close()
|
||||
|
||||
var out bytes.Buffer
|
||||
out.WriteString("\x89PNG\r\n\x1a\n")
|
||||
chunk := func(typ string, data []byte) {
|
||||
var l [4]byte
|
||||
binary.BigEndian.PutUint32(l[:], uint32(len(data)))
|
||||
out.Write(l[:])
|
||||
out.WriteString(typ)
|
||||
out.Write(data)
|
||||
var c [4]byte
|
||||
binary.BigEndian.PutUint32(c[:], crc32.ChecksumIEEE(append([]byte(typ), data...)))
|
||||
out.Write(c[:])
|
||||
}
|
||||
ihdr := make([]byte, 13)
|
||||
binary.BigEndian.PutUint32(ihdr[0:], uint32(w))
|
||||
binary.BigEndian.PutUint32(ihdr[4:], uint32(h))
|
||||
ihdr[8], ihdr[9] = 1, 0 // глубина 1 бит, grayscale
|
||||
chunk("IHDR", ihdr)
|
||||
chunk("IDAT", idat.Bytes())
|
||||
chunk("IEND", nil)
|
||||
return out.Bytes()
|
||||
}
|
||||
|
||||
// ---------------------------------------------------------------- HTTP-хелперы
|
||||
|
||||
type chatCtx struct {
|
||||
srv *httptest.Server
|
||||
owner account
|
||||
token string
|
||||
chat string
|
||||
}
|
||||
|
||||
func newChatCtx(t *testing.T, prefix string) chatCtx {
|
||||
t.Helper()
|
||||
srv := newAPI(t, time.Hour)
|
||||
t.Cleanup(srv.Close)
|
||||
u := register(t, srv, prefix)
|
||||
tok := login(t, srv, u.username, u.password)
|
||||
return chatCtx{srv: srv, owner: u, token: tok, chat: createChat(t, srv, tok, u.id, "Вложения "+prefix)}
|
||||
}
|
||||
|
||||
// upload отправляет сырой binary. contentType "" → заголовок не ставится.
|
||||
func upload(t *testing.T, srv *httptest.Server, token, chat, filename, contentType string, body []byte) (int, []byte, http.Header) {
|
||||
t.Helper()
|
||||
u := srv.URL + "/api/v1/chats/" + chat + "/attachments?filename=" + url.QueryEscape(filename)
|
||||
req, err := http.NewRequest(http.MethodPost, u, bytes.NewReader(body))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if token != "" {
|
||||
req.Header.Set("Authorization", "Bearer "+token)
|
||||
}
|
||||
if contentType != "" {
|
||||
req.Header.Set("Content-Type", contentType)
|
||||
}
|
||||
resp, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
t.Fatalf("upload transport error (ждали HTTP-ответ): %v", err)
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
return resp.StatusCode, b, resp.Header
|
||||
}
|
||||
|
||||
func mustUpload(t *testing.T, c chatCtx, filename, ctype string, body []byte) map[string]any {
|
||||
t.Helper()
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, filename, ctype, body)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("upload %s: status=%d body=%s", filename, status, string(b))
|
||||
}
|
||||
return decode(t, string(b))
|
||||
}
|
||||
|
||||
// get без следования редиректам: контракт требует отдавать байты самим API.
|
||||
func getNoRedirect(t *testing.T, srv *httptest.Server, token, path string) (int, []byte, http.Header) {
|
||||
t.Helper()
|
||||
client := &http.Client{CheckRedirect: func(*http.Request, []*http.Request) error { return http.ErrUseLastResponse }}
|
||||
req, _ := http.NewRequest(http.MethodGet, srv.URL+path, nil)
|
||||
req.Header.Set("Authorization", "Bearer "+token)
|
||||
resp, err := client.Do(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
return resp.StatusCode, b, resp.Header
|
||||
}
|
||||
|
||||
func createChatWith(t *testing.T, srv *httptest.Server, token, title string, ids ...string) string {
|
||||
t.Helper()
|
||||
quoted := make([]string, len(ids))
|
||||
for i, id := range ids {
|
||||
quoted[i] = fmt.Sprintf("%q", id)
|
||||
}
|
||||
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%s]}`, title, strings.Join(quoted, ","))
|
||||
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("chat: %d %s", status, body)
|
||||
}
|
||||
return decode(t, body)["id"].(string)
|
||||
}
|
||||
|
||||
func postMessage(t *testing.T, srv *httptest.Server, token, chat, key, rawJSON string) (int, string) {
|
||||
t.Helper()
|
||||
return do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{
|
||||
"Authorization": "Bearer " + token,
|
||||
"Idempotency-Key": key,
|
||||
}, rawJSON)
|
||||
}
|
||||
|
||||
func hexSHA(b []byte) string { s := sha256.Sum256(b); return hex.EncodeToString(s[:]) }
|
||||
|
||||
// ---------------------------------------------------------------- тесты
|
||||
|
||||
// Полный путь: upload → метаданные → байты → сообщение с вложением → чтение вторым
|
||||
// участником → 404 постороннему. Заодно: идемпотентный replay сохраняет attachment_ids.
|
||||
func TestAttachmentRoundTripAndAccessControl(t *testing.T) {
|
||||
logStep(t, "PNG и JPEG: 201 ready, sha256/size, download без redirect, доступ только участникам")
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
alice := register(t, srv, "att_alice")
|
||||
bob := register(t, srv, "att_bob")
|
||||
eve := register(t, srv, "att_eve")
|
||||
tokA := login(t, srv, alice.username, alice.password)
|
||||
tokB := login(t, srv, bob.username, bob.password)
|
||||
tokE := login(t, srv, eve.username, eve.password)
|
||||
chat := createChatWith(t, srv, tokA, "Общий", alice.id, bob.id)
|
||||
c := chatCtx{srv: srv, owner: alice, token: tokA, chat: chat}
|
||||
|
||||
pngData := noisePNG(t, 120, 90)
|
||||
meta := mustUpload(t, c, "фото.png", "image/png", pngData)
|
||||
if meta["status"] != "ready" || meta["error_code"] != nil || meta["content_type"] != "image/png" {
|
||||
t.Fatalf("метаданные: %v", meta)
|
||||
}
|
||||
if v, ok := meta["variants"].([]any); !ok || len(v) != 0 {
|
||||
t.Fatalf("variants должен быть []: %v", meta["variants"])
|
||||
}
|
||||
if meta["sha256"] != hexSHA(pngData) || int(meta["size_bytes"].(float64)) != len(pngData) {
|
||||
t.Fatalf("sha256/size не совпали: %v", meta)
|
||||
}
|
||||
if meta["owner_id"] != alice.id || meta["chat_id"] != chat || meta["filename"] != "фото.png" {
|
||||
t.Fatalf("owner/chat/filename: %v", meta)
|
||||
}
|
||||
for _, k := range []string{"object_key", "bucket", "key"} {
|
||||
if _, leaked := meta[k]; leaked {
|
||||
t.Fatalf("в публичном ответе утёк внутренний ключ %q", k)
|
||||
}
|
||||
}
|
||||
id := meta["id"].(string)
|
||||
|
||||
// Метаданные и байты — участнику Bob (не загрузившему).
|
||||
status, body, _ := getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id)
|
||||
if status != http.StatusOK || decode(t, string(body))["sha256"] != hexSHA(pngData) {
|
||||
t.Fatalf("meta by bob: %d %s", status, body)
|
||||
}
|
||||
status, got, hdr := getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id+"/content")
|
||||
if status != http.StatusOK || hdr.Get("Content-Type") != "image/png" || hexSHA(got) != hexSHA(pngData) {
|
||||
t.Fatalf("download: status=%d ct=%q sha=%s", status, hdr.Get("Content-Type"), hexSHA(got))
|
||||
}
|
||||
if hdr.Get("Location") != "" {
|
||||
t.Fatal("download не должен быть redirect")
|
||||
}
|
||||
|
||||
// JPEG тем же путём.
|
||||
jpgData := smallJPEG(t, 64, 48)
|
||||
jmeta := mustUpload(t, c, "pic.jpg", "image/jpeg", jpgData)
|
||||
if jmeta["content_type"] != "image/jpeg" || jmeta["sha256"] != hexSHA(jpgData) {
|
||||
t.Fatalf("jpeg meta: %v", jmeta)
|
||||
}
|
||||
|
||||
// Посторонний: метаданные, байты, загрузка — всё 404 (не 403, не раскрываем существование).
|
||||
for _, path := range []string{"/api/v1/attachments/" + id, "/api/v1/attachments/" + id + "/content"} {
|
||||
status, body, _ := getNoRedirect(t, srv, tokE, path)
|
||||
logResult(t, status, string(body))
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("outsider GET %s: %d", path, status)
|
||||
}
|
||||
}
|
||||
status, body, _ = upload(t, srv, tokE, chat, "x.png", "image/png", pngData)
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("outsider upload: %d %s", status, body)
|
||||
}
|
||||
// Без токена — 401.
|
||||
status, _, _ = upload(t, srv, "", chat, "x.png", "image/png", pngData)
|
||||
if status != http.StatusUnauthorized {
|
||||
t.Fatalf("upload без токена: %d", status)
|
||||
}
|
||||
// Неизвестный вариант и несуществующее вложение.
|
||||
status, _, _ = getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id+"/content?variant=thumbnail")
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("variant=thumbnail у ready-объекта: %d", status)
|
||||
}
|
||||
status, _, _ = getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+uuid.NewString())
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("unknown attachment: %d", status)
|
||||
}
|
||||
|
||||
// Сообщение с двумя вложениями (порядок сохраняется), затем чтение Bob'ом.
|
||||
jid := jmeta["id"].(string)
|
||||
key := "msg-" + uuid.NewString()
|
||||
raw := fmt.Sprintf(`{"text":"смотри","attachment_ids":[%q,%q]}`, jid, id)
|
||||
status, mbody := postMessage(t, srv, tokA, chat, key, raw)
|
||||
logResult(t, status, mbody)
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("message with attachments: %d %s", status, mbody)
|
||||
}
|
||||
msg := decode(t, mbody)
|
||||
ids := msg["attachment_ids"].([]any)
|
||||
if len(ids) != 2 || ids[0] != jid || ids[1] != id {
|
||||
t.Fatalf("порядок/состав attachment_ids: %v", ids)
|
||||
}
|
||||
// Replay с тем же ключом → то же сообщение И те же attachment_ids.
|
||||
status, body2 := postMessage(t, srv, tokA, chat, key, raw)
|
||||
if status != http.StatusCreated || decode(t, body2)["id"] != msg["id"] {
|
||||
t.Fatalf("replay: %d %s", status, body2)
|
||||
}
|
||||
if rid := decode(t, body2)["attachment_ids"].([]any); len(rid) != 2 || rid[0] != jid {
|
||||
t.Fatalf("replay потерял attachment_ids: %v", rid)
|
||||
}
|
||||
// Тот же ключ, другой набор вложений → 409.
|
||||
status, _ = postMessage(t, srv, tokA, chat, key, fmt.Sprintf(`{"text":"смотри","attachment_ids":[%q]}`, id))
|
||||
if status != http.StatusConflict {
|
||||
t.Fatalf("тот же ключ, другие вложения: %d", status)
|
||||
}
|
||||
|
||||
status, body, _ = getNoRedirect(t, srv, tokB, "/api/v1/chats/"+chat+"/messages")
|
||||
if status != http.StatusOK || !strings.Contains(string(body), jid) {
|
||||
t.Fatalf("история Bob: %d %s", status, body)
|
||||
}
|
||||
status, _, _ = getNoRedirect(t, srv, tokE, "/api/v1/chats/"+chat+"/messages")
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("история постороннего: %d", status)
|
||||
}
|
||||
logOK(t, "upload/download/доступ/replay работают, внутренние ключи не раскрываются")
|
||||
}
|
||||
|
||||
// Слишком большой файл → 413 (границу проверяем с точностью до байта).
|
||||
func TestAttachmentTooLarge(t *testing.T) {
|
||||
logStep(t, "ровно 10 MiB проходит лимит размера (дальше 415 как не-картинка), 10 MiB+1 → 413")
|
||||
c := newChatCtx(t, "att_big")
|
||||
header := noisePNG(t, 8, 8)[:8] // валидная сигнатура PNG, чтобы тело «похоже» на картинку
|
||||
|
||||
atLimit := append(append([]byte{}, header...), make([]byte, maxUpload-len(header))...)
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, "limit.png", "image/png", atLimit)
|
||||
logResult(t, status, string(b))
|
||||
if status != http.StatusUnsupportedMediaType {
|
||||
t.Fatalf("ровно 10 MiB мусора: ждали 415 (размер допустим), got %d", status)
|
||||
}
|
||||
|
||||
over := append(append([]byte{}, header...), make([]byte, maxUpload-len(header)+1)...)
|
||||
status, b, _ = upload(t, c.srv, c.token, c.chat, "big.png", "image/png", over)
|
||||
logResult(t, status, string(b))
|
||||
if status != http.StatusRequestEntityTooLarge || !strings.Contains(string(b), "payload_too_large") {
|
||||
t.Fatalf("10 MiB+1: ждали 413, got %d %s", status, b)
|
||||
}
|
||||
|
||||
// Заметно больше лимита: клиент должен получить именно 413, а не сброс соединения.
|
||||
huge := make([]byte, 14<<20)
|
||||
copy(huge, header)
|
||||
status, b, _ = upload(t, c.srv, c.token, c.chat, "huge.png", "image/png", huge)
|
||||
if status != http.StatusRequestEntityTooLarge {
|
||||
t.Fatalf("14 MiB: ждали 413, got %d %s", status, b)
|
||||
}
|
||||
|
||||
// chunked без Content-Length: лимит всё равно обязан сработать (MaxBytesReader).
|
||||
req, _ := http.NewRequest(http.MethodPost, c.srv.URL+"/api/v1/chats/"+c.chat+"/attachments?filename=chunked.png",
|
||||
io.NopCloser(bytes.NewReader(over)))
|
||||
req.ContentLength = -1
|
||||
req.Header.Set("Authorization", "Bearer "+c.token)
|
||||
req.Header.Set("Content-Type", "image/png")
|
||||
resp, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
resp.Body.Close()
|
||||
if resp.StatusCode != http.StatusRequestEntityTooLarge {
|
||||
t.Fatalf("chunked >10 MiB: ждали 413, got %d", resp.StatusCode)
|
||||
}
|
||||
logOK(t, "лимит байтов: граница точная, работает и для chunked")
|
||||
}
|
||||
|
||||
// Лимит пикселей: ровно 40 млн можно, на один ряд больше — 413 (до распаковки).
|
||||
func TestAttachmentPixelLimit(t *testing.T) {
|
||||
logStep(t, "8000x5000 (=40 млн) принимается, 8000x5001 → 413")
|
||||
c := newChatCtx(t, "att_px")
|
||||
|
||||
ok := craftPNG(8000, 5000)
|
||||
t.Logf("PNG 8000x5000 занимает %d байт на проводе", len(ok))
|
||||
meta := mustUpload(t, c, "forty-million.png", "image/png", ok)
|
||||
if meta["status"] != "ready" {
|
||||
t.Fatalf("40 Мпикс: %v", meta)
|
||||
}
|
||||
|
||||
tooMany := craftPNG(8000, 5001)
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, "bomb.png", "image/png", tooMany)
|
||||
logResult(t, status, string(b))
|
||||
if status != http.StatusRequestEntityTooLarge {
|
||||
t.Fatalf("40 Мпикс + 1 ряд: ждали 413, got %d %s", status, b)
|
||||
}
|
||||
logOK(t, "лимит пикселей по заголовку, без полного декода")
|
||||
}
|
||||
|
||||
// Повреждённые файлы, чужие форматы и подмена MIME → 415, никогда не 500.
|
||||
func TestAttachmentCorruptAndMimeSpoof(t *testing.T) {
|
||||
logStep(t, "мусор, усечённые PNG/JPEG, битый CRC, GIF под видом PNG, подмена Content-Type")
|
||||
c := newChatCtx(t, "att_bad")
|
||||
validPNG := noisePNG(t, 40, 40)
|
||||
validJPG := smallJPEG(t, 40, 40)
|
||||
|
||||
flipped := append([]byte{}, validPNG...)
|
||||
flipped[len(flipped)/2] ^= 0xFF // портим данные IDAT → не сойдётся CRC
|
||||
|
||||
gif := []byte("GIF89a\x01\x00\x01\x00\x80\x00\x00\x00\x00\x00\xff\xff\xff!\xf9\x04\x01\x00\x00\x00\x00,\x00\x00\x00\x00\x01\x00\x01\x00\x00\x02\x02D\x01\x00;")
|
||||
|
||||
cases := []struct {
|
||||
name string
|
||||
ctype string
|
||||
body []byte
|
||||
}{
|
||||
{"случайные байты как png", "image/png", bytes.Repeat([]byte("не картинка "), 500)},
|
||||
{"пустое тело", "image/png", nil},
|
||||
{"усечённый PNG", "image/png", validPNG[:len(validPNG)-20]},
|
||||
{"усечённый JPEG", "image/jpeg", validJPG[:len(validJPG)-30]},
|
||||
{"PNG с битым CRC", "image/png", flipped},
|
||||
{"GIF под видом PNG", "image/png", gif},
|
||||
{"PNG под видом JPEG (спуфинг)", "image/jpeg", validPNG},
|
||||
{"JPEG под видом PNG (спуфинг)", "image/png", validJPG},
|
||||
{"валидный PNG, но Content-Type text/plain", "text/plain", validPNG},
|
||||
{"валидный PNG без Content-Type", "", validPNG},
|
||||
{"валидный PNG, Content-Type image/gif", "image/gif", validPNG},
|
||||
}
|
||||
for _, tc := range cases {
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, "bad.bin", tc.ctype, tc.body)
|
||||
t.Logf("%-45s → %d", tc.name, status)
|
||||
if status != http.StatusUnsupportedMediaType {
|
||||
t.Fatalf("%s: ждали 415, got %d body=%s", tc.name, status, b)
|
||||
}
|
||||
if !strings.Contains(string(b), "unsupported_media_type") {
|
||||
t.Fatalf("%s: код ошибки: %s", tc.name, b)
|
||||
}
|
||||
}
|
||||
// После всех отказов в чате не появилось ни одной строки вложения.
|
||||
n, err := sharedStore.CountAttachmentsInChat(context.Background(), uuid.MustParse(c.chat))
|
||||
if err != nil || n != 0 {
|
||||
t.Fatalf("после отказов в БД осталось %d вложений (err=%v)", n, err)
|
||||
}
|
||||
// Контрольный: Content-Type с параметрами и в другом регистре допустим.
|
||||
meta := mustUpload(t, c, "ok.png", "Image/PNG; charset=binary", validPNG)
|
||||
if meta["content_type"] != "image/png" {
|
||||
t.Fatalf("content_type по содержимому: %v", meta)
|
||||
}
|
||||
logOK(t, "все повреждённые/подменённые файлы → 415, строки в БД не создаются")
|
||||
}
|
||||
|
||||
func TestAttachmentFilenameValidation(t *testing.T) {
|
||||
logStep(t, "filename: '/', '\\', NUL, управляющие, пустое, >255 → 400; unicode и пробелы допустимы")
|
||||
c := newChatCtx(t, "att_name")
|
||||
data := noisePNG(t, 16, 16)
|
||||
bad := []string{
|
||||
"a/b.png", "..\\evil.png", "nul\x00byte.png", "line\nbreak.png", "tab\tname.png",
|
||||
"del\x7f.png", "", " ", strings.Repeat("я", 256), "bidi\u202eexe.png",
|
||||
}
|
||||
for _, name := range bad {
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, name, "image/png", data)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("filename %q: ждали 400, got %d %s", name, status, b)
|
||||
}
|
||||
}
|
||||
// Без параметра filename вообще.
|
||||
req, _ := http.NewRequest(http.MethodPost, c.srv.URL+"/api/v1/chats/"+c.chat+"/attachments", bytes.NewReader(data))
|
||||
req.Header.Set("Authorization", "Bearer "+c.token)
|
||||
req.Header.Set("Content-Type", "image/png")
|
||||
resp, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
resp.Body.Close()
|
||||
if resp.StatusCode != http.StatusBadRequest {
|
||||
t.Fatalf("без filename: %d", resp.StatusCode)
|
||||
}
|
||||
for _, name := range []string{"отчёт 2026 (финал).png", strings.Repeat("я", 255), "a b.png"} {
|
||||
meta := mustUpload(t, c, name, "image/png", data)
|
||||
if meta["filename"] != name {
|
||||
t.Fatalf("filename искажён: %q vs %q", meta["filename"], name)
|
||||
}
|
||||
}
|
||||
logOK(t, "опасные имена отклоняются, обычные Unicode-имена сохраняются как есть")
|
||||
}
|
||||
|
||||
// Правила attachment_ids в сообщениях: чужое/неизвестное/другой чат → 404,
|
||||
// >10 и дубли → 400, пустой текст допустим только с вложением.
|
||||
func TestMessageAttachmentRules(t *testing.T) {
|
||||
logStep(t, "foreign attachment_id, вложение другого чата, неизвестный id, лимиты и пустой текст")
|
||||
srv := newAPI(t, time.Hour)
|
||||
defer srv.Close()
|
||||
alice := register(t, srv, "rule_alice")
|
||||
mallory := register(t, srv, "rule_mal")
|
||||
tokA := login(t, srv, alice.username, alice.password)
|
||||
tokM := login(t, srv, mallory.username, mallory.password)
|
||||
|
||||
chatA1 := createChat(t, srv, tokA, alice.id, "A1")
|
||||
chatA2 := createChat(t, srv, tokA, alice.id, "A2")
|
||||
chatM := createChat(t, srv, tokM, mallory.id, "M")
|
||||
data := noisePNG(t, 20, 20)
|
||||
a1 := mustUpload(t, chatCtx{srv: srv, token: tokA, chat: chatA1}, "a1.png", "image/png", data)["id"].(string)
|
||||
mine := mustUpload(t, chatCtx{srv: srv, token: tokM, chat: chatM}, "m.png", "image/png", data)["id"].(string)
|
||||
|
||||
post := func(chat, tok, raw string) (int, string) {
|
||||
return postMessage(t, srv, tok, chat, "k-"+uuid.NewString(), raw)
|
||||
}
|
||||
|
||||
// 1. Вложение ЧУЖОГО пользователя (другой чат, Alice не участник) → 404.
|
||||
status, body := post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, mine))
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("чужое attachment_id: %d %s", status, body)
|
||||
}
|
||||
// 2. Своё вложение, но из ДРУГОГО чата того же пользователя → 404 (файл привязан к чату).
|
||||
status, body = post(chatA2, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, a1))
|
||||
logResult(t, status, body)
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("вложение другого чата: %d %s", status, body)
|
||||
}
|
||||
// 3. Неизвестный UUID → 404; одно плохое среди хороших портит весь запрос атомарно.
|
||||
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, uuid.NewString()))
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("неизвестный id: %d", status)
|
||||
}
|
||||
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q,%q]}`, a1, uuid.NewString()))
|
||||
if status != http.StatusNotFound {
|
||||
t.Fatalf("хороший+неизвестный: %d", status)
|
||||
}
|
||||
// Ни одно из сообщений выше не должно было записаться.
|
||||
status, body = do(t, srv, http.MethodGet, "/api/v1/chats/"+chatA1+"/messages", map[string]string{"Authorization": "Bearer " + tokA}, "")
|
||||
if status != http.StatusOK || strings.Contains(body, `"text":"x"`) {
|
||||
t.Fatalf("отклонённое сообщение просочилось в историю: %s", body)
|
||||
}
|
||||
// 4. Не UUID → 400, дубли → 400, больше 10 → 400.
|
||||
status, _ = post(chatA1, tokA, `{"text":"x","attachment_ids":["not-a-uuid"]}`)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("не uuid: %d", status)
|
||||
}
|
||||
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q,%q]}`, a1, a1))
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("дубли: %d", status)
|
||||
}
|
||||
eleven := make([]string, 11)
|
||||
for i := range eleven {
|
||||
eleven[i] = fmt.Sprintf("%q", uuid.NewString())
|
||||
}
|
||||
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%s]}`, strings.Join(eleven, ",")))
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("11 вложений: %d", status)
|
||||
}
|
||||
// 5. Пустой текст: без вложений 400, с вложением 201; ровно 10 вложений допустимо.
|
||||
status, _ = post(chatA1, tokA, `{"text":"","attachment_ids":[]}`)
|
||||
if status != http.StatusBadRequest {
|
||||
t.Fatalf("пусто без вложений: %d", status)
|
||||
}
|
||||
status, body = post(chatA1, tokA, fmt.Sprintf(`{"text":"","attachment_ids":[%q]}`, a1))
|
||||
if status != http.StatusCreated {
|
||||
t.Fatalf("пустой текст с вложением: %d %s", status, body)
|
||||
}
|
||||
if m := decode(t, body); m["text"] != "" {
|
||||
t.Fatalf("text: %v", m["text"])
|
||||
}
|
||||
ten := make([]string, 10)
|
||||
for i := range ten {
|
||||
ten[i] = fmt.Sprintf("%q", mustUpload(t, chatCtx{srv: srv, token: tokA, chat: chatA1}, fmt.Sprintf("t%d.png", i), "image/png", data)["id"].(string))
|
||||
}
|
||||
status, body = post(chatA1, tokA, fmt.Sprintf(`{"text":"ровно десять","attachment_ids":[%s]}`, strings.Join(ten, ",")))
|
||||
if status != http.StatusCreated || len(decode(t, body)["attachment_ids"].([]any)) != 10 {
|
||||
t.Fatalf("10 вложений: %d %s", status, body)
|
||||
}
|
||||
// 6. Обычное сообщение без attachment_ids → в ответе attachment_ids == [].
|
||||
status, body = post(chatA1, tokA, `{"text":"просто текст"}`)
|
||||
if status != http.StatusCreated || !strings.Contains(body, `"attachment_ids":[]`) {
|
||||
t.Fatalf("attachment_ids по умолчанию []: %d %s", status, body)
|
||||
}
|
||||
logOK(t, "чужое/другой чат/неизвестное → 404, лимиты → 400, пустой текст только с вложением")
|
||||
}
|
||||
|
||||
// S3 недоступен: загрузка → контролируемый 503 (не 500, без деталей), readiness → 503,
|
||||
// в БД не остаётся строки метаданных.
|
||||
func TestS3DownGivesLimitedError(t *testing.T) {
|
||||
logStep(t, "API с недоступным S3: upload/ready → 503, без утечек и полуфабрикатов в БД")
|
||||
dead, err := objectstore.New(objectstore.Config{
|
||||
Endpoint: "http://127.0.0.1:1", Region: "us-east-1", Bucket: "messenger",
|
||||
AccessKey: "x", SecretKey: "yyyyyyyy", ForcePathStyle: true,
|
||||
})
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// Пользователь и чат — через нормальный API; недоступный S3 подсовываем второй реплике.
|
||||
good := newChatCtx(t, "att_down")
|
||||
sessions, err := session.Open(sharedRedisURL, time.Hour)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer sessions.Close()
|
||||
srv := httptest.NewServer(api.New(sharedStore, sessions, dead, "dead-s3").Handler())
|
||||
defer srv.Close()
|
||||
|
||||
start := time.Now()
|
||||
status, b, _ := upload(t, srv, good.token, good.chat, "p.png", "image/png", noisePNG(t, 16, 16))
|
||||
t.Logf("upload при лежащем S3: status=%d за %s body=%s", status, time.Since(start).Round(time.Millisecond), b)
|
||||
if status != http.StatusServiceUnavailable || !strings.Contains(string(b), `"unavailable"`) {
|
||||
t.Fatalf("ждали 503 unavailable, got %d %s", status, b)
|
||||
}
|
||||
for _, leak := range []string{"127.0.0.1", "messenger", "dial", "connection refused", "amazonaws"} {
|
||||
if strings.Contains(strings.ToLower(string(b)), leak) {
|
||||
t.Fatalf("ответ раскрывает внутренние детали (%q): %s", leak, b)
|
||||
}
|
||||
}
|
||||
if time.Since(start) > 10*time.Second {
|
||||
t.Fatalf("отказ должен быть быстрым, занял %s", time.Since(start))
|
||||
}
|
||||
|
||||
status, b, _ = doRaw2(t, srv, "/health/ready")
|
||||
if status != http.StatusServiceUnavailable {
|
||||
t.Fatalf("/health/ready при лежащем S3: %d %s", status, b)
|
||||
}
|
||||
status, _, _ = doRaw2(t, srv, "/health/live")
|
||||
if status != http.StatusOK {
|
||||
t.Fatalf("/health/live обязан оставаться 200: %d", status)
|
||||
}
|
||||
n, err := sharedStore.CountAttachmentsInChat(context.Background(), uuid.MustParse(good.chat))
|
||||
if err != nil || n != 0 {
|
||||
t.Fatalf("в БД осталось %d строк вложений после отказа S3 (err=%v)", n, err)
|
||||
}
|
||||
logOK(t, "лежащий S3 → 503 без деталей, ready=503, live=200, БД чиста")
|
||||
}
|
||||
|
||||
func doRaw2(t *testing.T, srv *httptest.Server, path string) (int, []byte, http.Header) {
|
||||
t.Helper()
|
||||
resp, err := http.Get(srv.URL + path)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
return resp.StatusCode, b, resp.Header
|
||||
}
|
||||
|
||||
// Компенсация: PUT в S3 прошёл, INSERT в PG не удался → объект удаляется сразу,
|
||||
// клиент получает ошибку, строки нет.
|
||||
func TestCompensationWhenPostgresFailsAfterPut(t *testing.T) {
|
||||
logStep(t, "отказ PG после успешного PUT: объект удаляется компенсацией")
|
||||
ctx := context.Background()
|
||||
good := newChatCtx(t, "att_comp")
|
||||
|
||||
hasher, err := auth.NewHasher()
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// Отдельный пул, который «умрёт» ровно между PUT и INSERT.
|
||||
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
|
||||
doomed, err := store.Open(ctx, dsn, hasher, 2)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer doomed.Close()
|
||||
sessions, err := session.Open(sharedRedisURL, time.Hour)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer sessions.Close()
|
||||
|
||||
server := api.New(doomed, sessions, sharedObjects, "compensation")
|
||||
var putKey string
|
||||
server.AfterObjectPut = func(key string) {
|
||||
putKey = key
|
||||
// До компенсации убеждаемся, что объект РЕАЛЬНО лежит в S3.
|
||||
if _, err := sharedObjects.Head(ctx, key); err != nil {
|
||||
t.Errorf("после PUT объекта нет в S3: %v", err)
|
||||
}
|
||||
doomed.Close() // INSERT дальше упадёт: пул закрыт
|
||||
}
|
||||
srv := httptest.NewServer(server.Handler())
|
||||
defer srv.Close()
|
||||
|
||||
status, b, _ := upload(t, srv, good.token, good.chat, "doomed.png", "image/png", noisePNG(t, 24, 24))
|
||||
t.Logf("status=%d body=%s key=%s", status, b, putKey)
|
||||
if status < 500 || status > 503 {
|
||||
t.Fatalf("ждали ошибку сервера (отказ PG), got %d %s", status, b)
|
||||
}
|
||||
if putKey == "" {
|
||||
t.Fatal("hook не вызывался: PUT не был выполнен")
|
||||
}
|
||||
if _, err := sharedObjects.Head(ctx, putKey); !errors.Is(err, objectstore.ErrNotFound) {
|
||||
t.Fatalf("объект должен быть удалён компенсацией, Head err=%v", err)
|
||||
}
|
||||
n, err := sharedStore.CountAttachmentsInChat(ctx, uuid.MustParse(good.chat))
|
||||
if err != nil || n != 0 {
|
||||
t.Fatalf("строк вложений: %d (err=%v)", n, err)
|
||||
}
|
||||
logOK(t, "orphan после отказа PG удалён сразу; если бы удаление не удалось — его уберёт reconciler")
|
||||
}
|
||||
|
||||
// ≥10 одновременных загрузок: все 201 (лишние ждут слот), все объекты разные и читаются.
|
||||
func TestConcurrentUploads(t *testing.T) {
|
||||
logStep(t, "12 параллельных загрузок: все 201, уникальные id, sha256 совпадает")
|
||||
c := newChatCtx(t, "att_conc")
|
||||
const n = 12
|
||||
type res struct {
|
||||
id, sha string
|
||||
data []byte
|
||||
}
|
||||
results := make([]res, n)
|
||||
var wg sync.WaitGroup
|
||||
for i := 0; i < n; i++ {
|
||||
wg.Add(1)
|
||||
go func(i int) {
|
||||
defer wg.Done()
|
||||
data := noisePNG(t, 150+i, 150) // разные байты у каждой загрузки
|
||||
status, b, _ := upload(t, c.srv, c.token, c.chat, fmt.Sprintf("c%d.png", i), "image/png", data)
|
||||
if status != http.StatusCreated {
|
||||
t.Errorf("worker %d: %d %s", i, status, b)
|
||||
return
|
||||
}
|
||||
m := decode(t, string(b))
|
||||
results[i] = res{id: m["id"].(string), sha: m["sha256"].(string), data: data}
|
||||
}(i)
|
||||
}
|
||||
wg.Wait()
|
||||
seen := map[string]bool{}
|
||||
for i, r := range results {
|
||||
if r.id == "" || seen[r.id] {
|
||||
t.Fatalf("worker %d: пустой/повторный id %q", i, r.id)
|
||||
}
|
||||
seen[r.id] = true
|
||||
status, got, _ := getNoRedirect(t, c.srv, c.token, "/api/v1/attachments/"+r.id+"/content")
|
||||
if status != http.StatusOK || hexSHA(got) != r.sha || r.sha != hexSHA(r.data) {
|
||||
t.Fatalf("worker %d: download %d sha mismatch", i, status)
|
||||
}
|
||||
}
|
||||
logOK(t, "параллельные загрузки целы")
|
||||
}
|
||||
|
||||
// Ключ объекта назначает сервер и не содержит filename.
|
||||
func TestObjectKeyIsServerAssigned(t *testing.T) {
|
||||
logStep(t, "ключ объекта = attachments/{chat}/{id}; filename в ключ не попадает")
|
||||
c := newChatCtx(t, "att_key")
|
||||
meta := mustUpload(t, c, "секрет-имя.png", "image/png", noisePNG(t, 16, 16))
|
||||
id := uuid.MustParse(meta["id"].(string))
|
||||
key := store.AttachmentObjectKey(uuid.MustParse(c.chat), id)
|
||||
info, err := sharedObjects.Head(context.Background(), key)
|
||||
if err != nil {
|
||||
t.Fatalf("объект по ожидаемому ключу %s не найден: %v", key, err)
|
||||
}
|
||||
if info.ContentType != "image/png" || info.Size != int64(meta["size_bytes"].(float64)) {
|
||||
t.Fatalf("объект в S3: %+v", info)
|
||||
}
|
||||
if strings.Contains(key, "секрет") {
|
||||
t.Fatal("filename попал в ключ")
|
||||
}
|
||||
logOK(t, "ключ серверный: "+key)
|
||||
}
|
||||
@@ -0,0 +1,198 @@
|
||||
// Трек 2: reconciler S3 <-> PostgreSQL. Тест создаёт расхождения на ОБЕИХ сторонах
|
||||
// и проходит сценарий dry-run → реальный запуск → повтор, проверяя, что свежие и
|
||||
// используемые вложения не удаляются.
|
||||
//
|
||||
// Возраст объектов в тесте регулируется «часами» reconciler (Options.Now), а не sleep:
|
||||
// так тест быстрый и не зависит от рассинхрона часов хоста и контейнера MinIO
|
||||
// (на Docker Desktop они могут расходиться на секунды) — смещение измеряется по пробному объекту.
|
||||
package studenttests
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"context"
|
||||
"errors"
|
||||
"testing"
|
||||
"time"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"mtusi2026lab4/internal/objectstore"
|
||||
"mtusi2026lab4/internal/reconcile"
|
||||
"mtusi2026lab4/internal/store"
|
||||
)
|
||||
|
||||
func TestReconcilerOrphanAndMissing(t *testing.T) {
|
||||
logStep(t, "orphan/missing: dry-run ничего не меняет; свежие и используемые не удаляются; повтор идемпотентен")
|
||||
ctx := context.Background()
|
||||
const grace = 60 * time.Second
|
||||
|
||||
c := newChatCtx(t, "rec")
|
||||
chatID := uuid.MustParse(c.chat)
|
||||
owner := uuid.MustParse(c.owner.id)
|
||||
|
||||
put := func(key string) {
|
||||
t.Helper()
|
||||
data := []byte("reconcile-test")
|
||||
if err := sharedObjects.Put(ctx, key, bytes.NewReader(data), int64(len(data)), "image/png"); err != nil {
|
||||
t.Fatalf("put %s: %v", key, err)
|
||||
}
|
||||
}
|
||||
exists := func(key string) bool {
|
||||
t.Helper()
|
||||
_, err := sharedObjects.Head(ctx, key)
|
||||
if err == nil {
|
||||
return true
|
||||
}
|
||||
if errors.Is(err, objectstore.ErrNotFound) {
|
||||
return false
|
||||
}
|
||||
t.Fatalf("head %s: %v", key, err)
|
||||
return false
|
||||
}
|
||||
rowExists := func(a *store.Attachment) bool {
|
||||
t.Helper()
|
||||
_, err := sharedStore.GetAttachmentForUser(ctx, a.ID, owner)
|
||||
if err == nil {
|
||||
return true
|
||||
}
|
||||
if errors.Is(err, store.ErrNotFound) {
|
||||
return false
|
||||
}
|
||||
t.Fatalf("get row: %v", err)
|
||||
return false
|
||||
}
|
||||
|
||||
// Смещение часов S3 относительно хоста: пробный объект, LastModified у сервера.
|
||||
probeKey := store.AttachmentObjectKey(chatID, uuid.New())
|
||||
put(probeKey)
|
||||
info, err := sharedObjects.Head(ctx, probeKey)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
skew := time.Since(info.LastModified) // >0, если часы S3 отстают
|
||||
_ = sharedObjects.Delete(ctx, probeKey)
|
||||
t.Logf("смещение часов S3 относительно теста: %s", skew.Round(time.Millisecond))
|
||||
clockNow := func(shift time.Duration) func() time.Time {
|
||||
return func() time.Time { return time.Now().Add(-skew).Add(shift) }
|
||||
}
|
||||
|
||||
newRow := func(filename string, createdAt time.Time) *store.Attachment {
|
||||
t.Helper()
|
||||
id := uuid.New()
|
||||
a := &store.Attachment{
|
||||
ID: id, ChatID: chatID, OwnerID: owner, Filename: filename,
|
||||
ContentType: "image/png", SizeBytes: 14, SHA256: hexSHA([]byte(filename)),
|
||||
ObjectKey: store.AttachmentObjectKey(chatID, id), Status: store.StatusReady,
|
||||
Width: 1, Height: 1, CreatedAt: createdAt.UTC().Truncate(time.Millisecond),
|
||||
}
|
||||
if err := sharedStore.CreateAttachment(ctx, a); err != nil {
|
||||
t.Fatalf("create row %s: %v", filename, err)
|
||||
}
|
||||
return a
|
||||
}
|
||||
|
||||
now := time.Now()
|
||||
// A: orphan — объект без строки.
|
||||
orphanKey := store.AttachmentObjectKey(chatID, uuid.New())
|
||||
put(orphanKey)
|
||||
// F: объект с чужой схемой ключа — reconciler не должен его трогать никогда.
|
||||
foreignKey := "attachments/not-a-uuid/" + uuid.NewString()
|
||||
put(foreignKey)
|
||||
// E: контроль — согласованная пара «строка + объект», используется сообщением.
|
||||
rowE := newRow("control", now.Add(-time.Hour))
|
||||
put(rowE.ObjectKey)
|
||||
// B: неиспользуемая, старая, без объекта. C: используемая сообщением, без объекта.
|
||||
rowB := newRow("stale-unused-missing", now.Add(-time.Hour))
|
||||
rowC := newRow("used-missing", now.Add(-time.Hour))
|
||||
// D: свежая строка без объекта.
|
||||
rowD := newRow("fresh-missing", now)
|
||||
put(rowC.ObjectKey) // на время создания сообщения объект C есть, потом «потеряем» его
|
||||
msgKey := "rec-" + uuid.NewString()
|
||||
if _, err := sharedStore.CreateMessageIdempotent(ctx, chatID, owner, "с вложениями",
|
||||
[]uuid.UUID{rowE.ID, rowC.ID}, "POST", "/api/v1/chats/"+c.chat+"/messages", msgKey, "hash-"+msgKey); err != nil {
|
||||
t.Fatalf("message with attachments: %v", err)
|
||||
}
|
||||
if err := sharedObjects.Delete(ctx, rowC.ObjectKey); err != nil { // потеря байтов у используемого вложения
|
||||
t.Fatal(err)
|
||||
}
|
||||
t.Cleanup(func() { put(rowC.ObjectKey) }) // вернуть объект, чтобы не оставлять «дыру» в общей БД стенда
|
||||
|
||||
run := func(name string, dry, prune bool, shift time.Duration) *reconcile.Report {
|
||||
t.Helper()
|
||||
rc := &reconcile.Reconciler{DB: sharedStore, Objects: sharedObjects, Opts: reconcile.Options{
|
||||
DryRun: dry, Grace: grace, PruneMissing: prune, PageSize: 2, // 2 — чтобы пройти многостраничный merge
|
||||
Now: clockNow(shift), Logf: t.Logf,
|
||||
}}
|
||||
rep, err := rc.Run(ctx)
|
||||
if err != nil {
|
||||
t.Fatalf("%s: %v", name, err)
|
||||
}
|
||||
t.Logf("%s: %+v", name, *rep)
|
||||
return rep
|
||||
}
|
||||
|
||||
// R1: dry-run «сейчас» — A свежий, всё остальное только в отчёте.
|
||||
r1 := run("R1 dry-run, now", true, true, 0)
|
||||
if r1.OrphansFresh < 1 || r1.OrphansFound != 0 || r1.OrphansDeleted != 0 || r1.DeleteCalls != 0 || r1.MissingPruned != 0 {
|
||||
t.Fatalf("R1: свежий orphan не должен считаться кандидатом на удаление: %+v", *r1)
|
||||
}
|
||||
if r1.MissingUsed < 1 || r1.MissingStale < 1 || r1.MissingFresh < 1 || r1.UnknownKeys < 1 {
|
||||
t.Fatalf("R1: не обнаружены missing used/stale/fresh или чужой ключ: %+v", *r1)
|
||||
}
|
||||
if !exists(orphanKey) || !rowExists(rowB) || !rowExists(rowC) || !rowExists(rowD) {
|
||||
t.Fatal("R1 (dry-run) изменил данные")
|
||||
}
|
||||
|
||||
// R2: dry-run через 2 минуты — A уже «старый», но dry-run не удаляет.
|
||||
r2 := run("R2 dry-run, +120s", true, true, 2*time.Minute)
|
||||
if r2.OrphansFound < 1 || r2.OrphansDeleted != 0 || r2.DeleteCalls != 0 || r2.MissingPruned != 0 {
|
||||
t.Fatalf("R2: %+v", *r2)
|
||||
}
|
||||
if !exists(orphanKey) || !rowExists(rowB) || !rowExists(rowD) {
|
||||
t.Fatal("R2 (dry-run) изменил данные")
|
||||
}
|
||||
|
||||
// R3: реальный запуск +120s, prune выключен: удаляется только orphan, строки остаются.
|
||||
r3 := run("R3 real, +120s, prune off", false, false, 2*time.Minute)
|
||||
if r3.OrphansDeleted < 1 || r3.MissingPruned != 0 {
|
||||
t.Fatalf("R3: %+v", *r3)
|
||||
}
|
||||
if exists(orphanKey) {
|
||||
t.Fatal("R3: orphan должен быть удалён")
|
||||
}
|
||||
if !exists(foreignKey) {
|
||||
t.Fatal("R3: объект с чужой схемой ключа удалён — недопустимо")
|
||||
}
|
||||
if !rowExists(rowB) || !rowExists(rowC) || !rowExists(rowD) || !exists(rowE.ObjectKey) {
|
||||
t.Fatal("R3: затронуты строки/объекты, которые трогать нельзя")
|
||||
}
|
||||
|
||||
// R4: реальный запуск «сейчас» с prune: удаляется только СТАРАЯ НЕИСПОЛЬЗУЕМАЯ B.
|
||||
r4 := run("R4 real, now, prune on", false, true, 0)
|
||||
if r4.MissingPruned < 1 || rowExists(rowB) {
|
||||
t.Fatalf("R4: B должна быть удалена: %+v", *r4)
|
||||
}
|
||||
if !rowExists(rowC) {
|
||||
t.Fatal("R4: используемое вложение C удалено — недопустимо")
|
||||
}
|
||||
if !rowExists(rowD) {
|
||||
t.Fatal("R4: свежая строка D удалена — недопустимо")
|
||||
}
|
||||
|
||||
// R5: повтор — ничего не находит и не меняет (идемпотентность).
|
||||
r5 := run("R5 repeat", false, true, 0)
|
||||
if r5.OrphansDeleted != 0 || r5.MissingPruned != 0 || r5.OrphansFound != 0 {
|
||||
t.Fatalf("R5 не идемпотентен: %+v", *r5)
|
||||
}
|
||||
|
||||
// R6: через 2 минуты D стала «старой», её можно убрать; C и E — никогда.
|
||||
r6 := run("R6 real, +120s, prune on", false, true, 2*time.Minute)
|
||||
if r6.MissingPruned < 1 || rowExists(rowD) {
|
||||
t.Fatalf("R6: D должна быть удалена: %+v", *r6)
|
||||
}
|
||||
if !rowExists(rowC) || !rowExists(rowE) || !exists(rowE.ObjectKey) {
|
||||
t.Fatal("R6: используемые вложения затронуты — недопустимо")
|
||||
}
|
||||
_ = sharedObjects.Delete(ctx, foreignKey)
|
||||
logOK(t, "orphan удалён после grace, чужие ключи/свежие/используемые целы, dry-run и повтор безопасны")
|
||||
}
|
||||
Reference in New Issue
Block a user