ЛР 4 — БПИ2303 — Белоусов — на 5 #112

Closed
AnatoliyBelousov wants to merge 2 commits from AnatoliyBelousov/mtusi2026lab4:solution/bpi2303-belousov into main
61 changed files with 8198 additions and 36 deletions
+52 -13
View File
@@ -1,20 +1,59 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
APP_ACCESS_LOG=1
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
POSTGRES_USER=messenger
POSTGRES_PASSWORD=messenger
POSTGRES_DB=messenger
# Внутри сети Compose. Хосту для student-tests — localhost после проброса портов.
DATABASE_URL=postgres://messenger:messenger@postgres:5432/messenger?sslmode=disable
REDIS_URL=redis://redis:6379/0
SESSION_STORE=redis
# Число API-реплик за LB. Поднимать: scripts/up.sh или compose --scale api=N
API_REPLICAS=2
# Лимиты одной API-реплики (суммарный бюджет track1 = replicas * эти значения).
API_CPUS=0.50
API_MEMORY=256M
# Мягкий лимит кучи Go (ниже API_MEMORY): GC работает активнее до OOM-kill.
API_GOMEMLIMIT=200MiB
# Пул соединений на одну реплику. Суммарно ≈ API_REPLICAS * DB_MAX_CONNS.
DB_MAX_CONNS=5
# ---------------- lab4: S3 (MinIO) ----------------
# Root-учётка MinIO: нужна ТОЛЬКО сервисам minio и minio-init. API её не получает.
MINIO_ROOT_USER=minio-root
MINIO_ROOT_PASSWORD=minio-root-secret-change-me
# Пользователь API (создаётся minio-init) с политикой только на bucket ниже. Секрет >= 8 символов.
# Эти же значения получают api/migrate/reconcile как S3_ACCESS_KEY / S3_SECRET_KEY.
S3_ENDPOINT=http://minio:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
S3_BUCKET=messenger
S3_ACCESS_KEY=messenger-api
S3_SECRET_KEY=messenger-api-secret-change-me
# Path-style адресация (http://minio:9000/bucket/key) — единственный вариант для MinIO в Compose.
S3_FORCE_PATH_STYLE=1
# Reconciler: объект без строки в БД моложе этого возраста не трогаем (загрузка могла быть «в полёте»).
S3_ORPHAN_GRACE_SECONDS=300
# Сколько загрузок реплика буферизует в RAM одновременно (пик RAM ≈ значение * 10 MiB).
UPLOAD_MAX_CONCURRENCY=4
# Порты хоста (только 127.0.0.1). Меняйте, если 8080/5432/6379/9000 уже заняты.
LB_HOST_PORT=8080
POSTGRES_HOST_PORT=5432
REDIS_HOST_PORT=6379
MINIO_HOST_PORT=9000
# Консоль MinIO отключена (MINIO_BROWSER=off) и порт 9001 не публикуется.
# Образы S3. По умолчанию в compose.yaml — pinned community MinIO + Chainguard mc
# (официальные minio/minio и minio/mc с Docker Hub в этой среде недоступны).
# Если Docker Hub доступен, можно вернуть официальные теги:
# MINIO_IMAGE=minio/minio:RELEASE.2024-12-18T13-15-44Z
# MC_IMAGE=minio/mc:RELEASE.2024-11-21T17-21-54Z
MINIO_IMAGE=ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z
MC_IMAGE=cgr.dev/chainguard/minio-client:latest-dev
+20
View File
@@ -0,0 +1,20 @@
# syntax=docker/dockerfile:1.7
FROM golang:1.23.8-bookworm AS build
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY cmd ./cmd
COPY internal ./internal
RUN CGO_ENABLED=0 GOOS=linux go build -trimpath -ldflags="-s -w" -o /out/server ./cmd/server
FROM gcr.io/distroless/static-debian12:nonroot
COPY --from=build /out/server /server
USER nonroot:nonroot
EXPOSE 8080
ENV APP_HOST=0.0.0.0 \
APP_PORT=8080 \
APP_ENV=lab \
SESSION_TTL_SECONDS=3600
HEALTHCHECK --interval=5s --timeout=3s --start-period=15s --retries=5 \
CMD ["/server", "-healthcheck"]
ENTRYPOINT ["/server"]
+38 -1
View File
@@ -4,10 +4,47 @@ CA_FILE ?=
ACTION_SCRIPT ?=
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
.PHONY: help check validate test load test-persistence test-failover
# Параметры подключения student-tests к стенду (порты берутся из .env, если он есть).
# Значения по умолчанию совпадают с .env.example: postgres/redis/minio на 127.0.0.1.
ENV_FILE ?= .env
env_val = $(shell grep -E '^$(1)=' $(ENV_FILE) 2>/dev/null | tail -n1 | cut -d= -f2-)
PG_PORT := $(or $(call env_val,POSTGRES_HOST_PORT),5432)
REDIS_PORT := $(or $(call env_val,REDIS_HOST_PORT),6379)
MINIO_PORT := $(or $(call env_val,MINIO_HOST_PORT),9000)
PG_USER := $(or $(call env_val,POSTGRES_USER),messenger)
PG_PASS := $(or $(call env_val,POSTGRES_PASSWORD),messenger)
PG_DB := $(or $(call env_val,POSTGRES_DB),messenger)
.PHONY: help check validate test load test-persistence test-failover up student-test track2 private-bucket upload-mem
help:
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
@echo "up: scripts/up.sh; student-test: go-тесты lab2-4 против поднятого стенда; track2: reconciler (evidence/track2)"
@echo "private-bucket: проверка приватности bucket; upload-mem: эксперимент пика памяти при >=10 загрузках"
up:
bash scripts/up.sh
# Собственные тесты студента (включая lab4: вложения, S3 down, компенсация, reconciler).
# Нужен поднятый стенд: порты postgres/redis/minio опубликованы на 127.0.0.1.
student-test:
DATABASE_URL="$${DATABASE_URL:-postgres://$(PG_USER):$(PG_PASS)@127.0.0.1:$(PG_PORT)/$(PG_DB)?sslmode=disable}" \
REDIS_URL="$${REDIS_URL:-redis://127.0.0.1:$(REDIS_PORT)/0}" \
S3_ENDPOINT="$${S3_ENDPOINT:-http://127.0.0.1:$(MINIO_PORT)}" \
S3_ACCESS_KEY="$${S3_ACCESS_KEY:-$(or $(call env_val,S3_ACCESS_KEY),messenger-api)}" \
S3_SECRET_KEY="$${S3_SECRET_KEY:-$(or $(call env_val,S3_SECRET_KEY),messenger-api-secret-change-me)}" \
S3_BUCKET="$${S3_BUCKET:-$(or $(call env_val,S3_BUCKET),messenger)}" \
go test ./student-tests/ -v -count=1 -timeout 300s
# Трек 2: инъекция orphan/missing, dry-run, реальный запуск, повтор; evidence в evidence/track2/.
track2:
bash scripts/run_track2.sh
private-bucket:
bash scripts/check_private_bucket.sh | tee evidence/private-bucket.txt
upload-mem:
bash scripts/upload_mem_experiment.sh
check:
$(PYTHON) scripts/check_contract.py
+73 -16
View File
@@ -1,37 +1,94 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Белоусов Анатолий Фахраддинович, БПИ2303
- Целевая оценка; выбранный трек 5: **5, трек 2** (согласованность двух хранилищ / reconciler)
- Commit/PR: ветка `solution/bpi2303-belousov`
- Использованные источники, библиотеки и помощь ИИ: Go `net/http`, `pgx` v5, `go-redis` v9, `aws-sdk-go-v2` (S3), `golang.org/x/crypto/argon2`, `google/uuid`; MinIO community-образ `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z` + клиент `cgr.dev/chainguard/minio-client:latest-dev` (официальные `minio/minio`/`minio/mc` на Docker Hub из стенда недоступны: pull access denied); HAProxy 2.9; публичные `tests/`; Cursor/Composer. База — реализация lab3 (LB, Redis-сессии, Idempotency-Key, failover).
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker, Go 1.23+ (student-tests), Python 3.9+.
```sh
cp .env.example .env
bash scripts/up.sh
# postgres+redis+minio → minio-init → migrate → API×N → LB :8080
make check
make test
make student-test
make private-bucket
make upload-mem
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/restore-one.sh # после failover
make track2 # трек 5: dry-run → apply → repeat (~1 мин)
```
Остановка без удаления данных: `docker compose --env-file .env stop`.
Удаление учебных volumes: `docker compose --env-file .env down -v`.
Образы: сборка `golang:1.23.8-bookworm`, runtime `gcr.io/distroless/static-debian12:nonroot`, PostgreSQL `postgres:16.6`, Redis `redis:7.4.1` (AOF), HAProxy `haproxy:2.9.14-alpine`, MinIO `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z`, mc `cgr.dev/chainguard/minio-client:latest-dev`. Консоль MinIO не публикуется (`MINIO_BROWSER=off`); S3 API — только `127.0.0.1:9000` для private-bucket и student-tests.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Клиент → HAProxy → API×2+ → PostgreSQL (метаданные) + Redis (сессии) + приватный MinIO (байты).
**Вложение.** Сервер назначает ключ `attachments/{chat_id}/{attachment_id}`; `filename` только в метаданных и не попадает в путь. Порядок записи — **сначала S3 PUT, потом INSERT**; 201 `ready` только после обоих. Ошибка INSERT → немедленный Delete объекта (`compensateOrphan`); если Delete не удался — orphan подберёт reconciler после grace (`S3_ORPHAN_GRACE_SECONDS`, по умолчанию 300).
**Загрузка.** Тело буферизуется в RAM с лимитом `MaxUploadBytes+1` (`http.MaxBytesReader`) и слотом `UPLOAD_MAX_CONCURRENCY` (пик ≈ concurrency × 10 MiB на реплику). MIME — по содержимому; размеры PNG/JPEG читаются из заголовка до полного декодирования пикселей (`internal/api/imagecheck.go`); структурная проверка CRC/EOI. Download — proxy через API (проверка членства в чате), без редиректа на S3 и без раскрытия `object_key`.
**S3-клиент.** Тонкая обёртка `internal/objectstore` над `aws-sdk-go-v2` (path-style, статические credentials учётки `messenger-api`). Root-учётка MinIO есть только у сервисов `minio` и `minio-init`.
**Bootstrap.** `minio-init` идемпотентно: приватный bucket, политика `messenger-api-rw` только на этот bucket (без CreateBucket/admin), пользователь API, самопроверка привязки политики.
**Reconciler (трек 2).** Режим `/server -reconcile` / `-reconcile-dry-run` / `-reconcile-prune-missing` в том же бинарнике (`internal/reconcile`). Сливает отсортированные потоки ListObjectsV2 и keyset по `attachments.object_key COLLATE "C"`. Удаляет только «созревшие» orphan-объекты схемы `attachments/{uuid}/{uuid}`; чужие ключи не трогает; missing **используемые** — только ALERT (exit 2); stale unused при prune — DELETE строки; свежие (< grace) — skip.
Перенесено из lab3: LB, Idempotency-Key, `X-Instance-Id`, Redis-сессии, failover hooks (`scripts/stop-one.sh`, `restore-one.sh`, `restart.sh`). Добавлено: миграция `003_attachments.sql`, routes attachments, `objectstore`, `reconcile`, MinIO в compose, `scripts/run_track2.sh`, `check_private_bucket.sh`, `upload_mem_experiment.sh`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Offline contract | `make check` | PASS | `evidence/check.txt` |
| Публичный smoke (checksum, ACL) | `make test` | PASS lab4 public API scenario | `evidence/smoke.txt` |
| Student-tests вложений/негативы/S3↓/компенсация/reconciler | `make student-test` | PASS (ok student-tests) | `evidence/student-tests.txt` |
| Private bucket | `make private-bucket` | anonymous GET/LIST/PUT → 403; API user ограничен bucket; :9001 нет | `evidence/private-bucket.txt` |
| Persistence + оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS | `evidence/persistence.txt` |
| Failover API + download через другую реплику | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS; 2 instance ids до отказа; recovery ~2.8 s | `evidence/failover.txt` |
| ≥10 concurrent uploads + пик RAM | `make upload-mem` | 80×201; peak 172 MiB @ concurrency=64 vs 84 MiB @ 4 | `evidence/upload-memory/` |
| Трек 2 reconciler | `make track2` | orphan deleted; missing used kept; stale pruned; fresh skipped; repeat idempotent | `evidence/track2/` |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
**Гипотеза (трек 2):** при grace period reconciler безопасно удаляет только «старые» orphan-объекты и нессылаемые missing-строки; повторный apply идемпотентен; свежий orphan и используемое missing не трогаются; чужая схема ключа не трогается.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
Методика: `scripts/run_track2.sh` — инъекция через root-`mc` (orphan_old, bulk 300, foreign key, удаление объекта у used/stale) + sleep grace → fresh violations → dry-run → apply+prune → repeat. Код выхода 2 ожидаем (есть used missing).
Результаты локального прогона (`evidence/track2/cost.txt`):
| шаг | s3_objects | delete_calls | duration_ms |
| --- | ---: | ---: | ---: |
| dry-run | 342 | 0 | 82 |
| real | 342 | 301 | 357 |
| repeat | 41 | 0 | 17 |
Инварианты: все PASS (см. `evidence/track2-run.txt`).
**Пик памяти при ≥10 одновременных загрузках** (`evidence/upload-memory/summary.txt`): файл ~7.3 MiB, 20 клиентов × 4 повтора, 2 реплики × 256M. При `UPLOAD_MAX_CONCURRENCY=64` peak ≈172 MiB/реплика; при `=4` peak ≈80–84 MiB. Лимит слотов ограничивает пик пропорционально concurrency, а не числу клиентов.
| Воздействие | Что ожидаем | Что наблюдали | Восстановление |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| `docker stop` одной API | LB уводит трафик; download с другой реплики | PASS failover | `scripts/restore-one.sh` |
| `restart` всех хранилищ+API | сессия и файл на месте | PASS persistence | volumes сохранены |
| Anonymous GET MinIO | не 200 | 403 | — |
| S3 down (student-test) | ready/upload 503 | PASS | — |
| PUT ok + INSERT fail | компенсация Delete | PASS `TestCompensationWhenPostgresFailsAfterPut` | reconciler как страховка |
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Официальные образы MinIO/Docker Hub недоступны на стенде; закреплён community-образ coollabsio того же класса RELEASE + Chainguard mc — риск расхождения с upstream. При доступности Hub: `MINIO_IMAGE`/`MC_IMAGE` в `.env`.
- Reconciler не восстанавливает referenced missing (нет исходных байтов) — только детектит (exit 2); восстановление из бэкапа S3 вне скоупа.
- Presigned direct upload (трек 1) не реализован — выбран трек 2.
- Учебные секреты в `.env.example`; в Git не коммитить `.env`.
Инструкция по сдаче для себя: `SUBMISSION.md`.
+58
View File
@@ -0,0 +1,58 @@
# Как сдать лабораторную 4 (для меня)
Краткий чеклист перед защитой и после замечаний ревью.
## Что уже сделано в этом PR
- База — решение lab3 (HAProxy → API×2+, Redis-сессии, Idempotency-Key, failover).
- Lab4: приватный MinIO, метаданные в PostgreSQL, байты в S3; `POST .../attachments` → 201 ready; download через API; `attachment_ids` в сообщениях.
- Уровень 4: негативы (размер, MIME, pixels, filename, чужой чат), компенсация S3→PG, лимит concurrency + эксперимент памяти, limited S3 user, private-bucket check.
- Оценка **5**, трек **2** (reconciler): `make track2` → `evidence/track2/`.
- Публичные проверки: `make test`, `test-persistence`, `test-failover`, `make student-test`, `make private-bucket`.
## Перед защитой (локально)
```sh
cp .env.example .env
bash scripts/up.sh
make check
make test
make student-test
make private-bucket
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
bash scripts/restore-one.sh
make track2
# опционально (пересоздаёт API с разными UPLOAD_MAX_CONCURRENCY):
make upload-mem
```
Если Docker Hub недоступен для `minio/minio` — в `.env` уже стоят рабочие `MINIO_IMAGE`/`MC_IMAGE` (coollabsio + Chainguard mc).
## Что говорить на защиту
1. Загрузить fixture → message с `attachment_ids` → скачать вторым участником → SHA-256 совпал; третий — 404; anonymous S3 GET — 403.
2. Порядок: PUT S3 → INSERT PG → 201; при ошибке INSERT — Delete; иначе reconciler после grace.
3. Failover: `stop-one.sh` — download через другую реплику; persistence — оригинал после restart.
4. Трек 2: dry-run не меняет данные; real удаляет mature orphan; used missing — ALERT; fresh — skip; repeat — 0 deletes.
5. Память: `UPLOAD_MAX_CONCURRENCY=4` режет пик (~80 MiB) vs 64 (~170 MiB) на ~7 MiB файлах.
## PR
- Ветка: `solution/bpi2303-belousov`
- База PR: `mtusi2026/mtusi2026lab4` → `main`
- Заголовок: `ЛР 4 — БПИ2303 — Белоусов — на 5`
- Не коммитить `.env`, токены, volumes.
- После замечаний — пуш в ту же ветку, тот же PR.
## Если что-то красное
| Симптом | Что проверить |
| --- | --- |
| `pull access denied` для minio/minio | `MINIO_IMAGE`/`MC_IMAGE` в `.env` (см. `.env.example`) |
| `less than two API instances` | `bash scripts/restore-one.sh`, `API_REPLICAS=2` |
| failover видит остановленную реплику | у `api` `restart: "no"`; `stop-one.sh` делает `docker stop` |
| student-test не видит БД/S3 | порты `127.0.0.1:5432/6379/9000` |
| track2 падает на `s3sh` | образ `MC_IMAGE` с `/bin/sh` (нужен `latest-dev` у Chainguard) |
Подробности архитектуры и таблица доказательств — в `REPORT.md`.
+262
View File
@@ -0,0 +1,262 @@
// Точка входа HTTP API, одноразового мигратора и reconciler (lab4).
//
// Режимы:
//
// (по умолчанию) — API-реплика: ждёт Postgres/Redis/S3, слушает порт, миграции НЕ
// применяет (их гоняет отдельный сервис migrate, чтобы реплики не гонялись);
// -migrate — применить встроенные SQL, проверить наличие bucket, выйти с кодом 0/1;
// -healthcheck — локальный probe /health/ready для Docker HEALTHCHECK;
// -reconcile — сверка S3 и PostgreSQL: удалить orphan-объекты старше grace,
// отчитаться о missing-объектах (трек 2). Печатает JSON-отчёт;
// -reconcile-dry-run — то же, но ничего не удаляет (подразумевает -reconcile);
// -reconcile-prune-missing — дополнительно удалять СТАРЫЕ НЕИСПОЛЬЗУЕМЫЕ строки без объекта.
//
// Коды выхода -reconcile: 0 — успех, 1 — ошибка (S3/PG недоступны), 2 — найдены
// используемые вложения без объекта (потеря данных, нужен человек).
//
// SIGTERM: /health/ready → 503 (LB снимает реплику) и Shutdown до 10 секунд.
package main
import (
"context"
"encoding/json"
"flag"
"fmt"
"io"
"log"
"net/http"
"os"
"os/signal"
"syscall"
"time"
"mtusi2026lab4/internal/api"
"mtusi2026lab4/internal/auth"
"mtusi2026lab4/internal/config"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/reconcile"
"mtusi2026lab4/internal/session"
"mtusi2026lab4/internal/store"
)
func main() {
healthcheck := flag.Bool("healthcheck", false, "probe local /health/ready and exit")
migrateOnly := flag.Bool("migrate", false, "apply SQL migrations, ensure bucket and exit")
doReconcile := flag.Bool("reconcile", false, "reconcile S3 objects with PostgreSQL attachments and exit")
reconcileDry := flag.Bool("reconcile-dry-run", false, "reconcile without deleting anything (implies -reconcile)")
reconcilePrune := flag.Bool("reconcile-prune-missing", false, "reconcile: also delete stale UNUSED rows whose object is missing")
flag.Parse()
if *healthcheck {
os.Exit(runHealthcheck())
}
cfg, err := config.Load()
if err != nil {
log.Fatalf("config: %v", err)
}
hasher, err := auth.NewHasher()
if err != nil {
log.Fatalf("password hasher: %v", err)
}
rootCtx, stop := signal.NotifyContext(context.Background(), syscall.SIGTERM, syscall.SIGINT)
defer stop()
st, err := waitPostgres(rootCtx, cfg.DatabaseURL, hasher, cfg.MaxConns)
if err != nil {
log.Fatalf("postgres: %v", err)
}
defer st.Close()
objects, err := objectstore.New(objectstore.Config{
Endpoint: cfg.S3Endpoint,
Region: cfg.S3Region,
Bucket: cfg.S3Bucket,
AccessKey: cfg.S3AccessKey,
SecretKey: cfg.S3SecretKey,
ForcePathStyle: cfg.S3ForcePathStyle,
})
if err != nil {
log.Fatalf("object store: %v", err)
}
if *migrateOnly || cfg.RunMigrations {
if err := st.Migrate(rootCtx); err != nil {
log.Fatalf("migrate: %v", err)
}
log.Printf("migrations applied")
// Bucket создаёт minio-init (root-учётка). Здесь только идемпотентная проверка:
// мигратор падает с понятной причиной, если стенд поднят без minio-init.
if err := waitBucket(rootCtx, objects); err != nil {
log.Fatalf("bucket: %v", err)
}
log.Printf("bucket %q is available", objects.Bucket())
if *migrateOnly {
return
}
}
if *doReconcile || *reconcileDry {
os.Exit(runReconcile(rootCtx, st, objects, cfg, *reconcileDry, *reconcilePrune))
}
sessions, err := waitRedis(rootCtx, cfg.RedisURL, cfg.SessionTTL)
if err != nil {
log.Fatalf("redis: %v", err)
}
defer sessions.Close()
// API стартует только при доступном S3 и существующем bucket; затем доступность
// контролирует /health/ready (недоступный S3 → 503).
if err := waitBucket(rootCtx, objects); err != nil {
log.Fatalf("bucket: %v", err)
}
srvAPI := api.New(st, sessions, objects, cfg.InstanceID).WithUploadConcurrency(cfg.UploadMaxConcurrency)
httpServer := &http.Server{
Addr: cfg.Addr(),
Handler: srvAPI.Handler(),
ReadHeaderTimeout: 5 * time.Second,
// 10 MiB загрузка/скачивание по медленному клиенту дольше обычного JSON-запроса.
// Лимиты размера и семафор слотов не дают этому стать способом занять RAM.
ReadTimeout: 30 * time.Second,
WriteTimeout: 30 * time.Second,
IdleTimeout: 60 * time.Second,
}
errCh := make(chan error, 1)
go func() {
log.Printf("listening on %s env=%s instance=%s session_ttl=%s db_max_conns=%d",
cfg.Addr(), cfg.Env, cfg.InstanceID, cfg.SessionTTL, cfg.MaxConns)
if err := httpServer.ListenAndServe(); err != nil && err != http.ErrServerClosed {
errCh <- err
}
}()
select {
case err := <-errCh:
log.Fatalf("listen: %v", err)
case <-rootCtx.Done():
}
log.Printf("shutting down instance=%s", cfg.InstanceID)
srvAPI.BeginDrain()
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
defer cancel()
if err := httpServer.Shutdown(ctx); err != nil {
log.Printf("shutdown error: %v", err)
os.Exit(1)
}
log.Printf("shutdown complete")
}
// waitBucket ждёт S3 и идемпотентно проверяет bucket (до 45 с, как и для Postgres/Redis).
func waitBucket(ctx context.Context, objects *objectstore.Store) error {
deadline := time.Now().Add(45 * time.Second)
var last error
for {
last = objects.EnsureBucket(ctx)
if last == nil {
return nil
}
if ctx.Err() != nil || time.Now().After(deadline) {
return last
}
log.Printf("object store not ready, retrying")
select {
case <-ctx.Done():
return ctx.Err()
case <-time.After(time.Second):
}
}
}
// runReconcile — режим трека 2. Отчёт JSON — в stdout (годится для evidence), подробности — в лог.
func runReconcile(ctx context.Context, st *store.Store, objects *objectstore.Store, cfg config.Config, dry, prune bool) int {
rc := &reconcile.Reconciler{
DB: st,
Objects: objects,
Opts: reconcile.Options{
DryRun: dry,
Grace: cfg.S3OrphanGrace,
PruneMissing: prune,
Logf: log.Printf,
},
}
log.Printf("reconcile start dry_run=%t grace=%s prune_missing=%t", dry, cfg.S3OrphanGrace, prune)
rep, err := rc.Run(ctx)
out, _ := json.MarshalIndent(rep, "", " ")
fmt.Println(string(out))
if err != nil {
log.Printf("reconcile failed: %v", err)
return 1
}
if rep.MissingUsed > 0 {
log.Printf("reconcile: %d used attachment(s) lost their object, manual action required", rep.MissingUsed)
return 2
}
return 0
}
func waitPostgres(ctx context.Context, dsn string, hasher *auth.Hasher, maxConns int32) (*store.Store, error) {
deadline := time.Now().Add(45 * time.Second)
var last error
for {
st, err := store.Open(ctx, dsn, hasher, maxConns)
if err == nil {
return st, nil
}
last = err
if ctx.Err() != nil || time.Now().After(deadline) {
return nil, last
}
log.Printf("postgres not ready, retrying")
select {
case <-ctx.Done():
return nil, ctx.Err()
case <-time.After(time.Second):
}
}
}
func waitRedis(ctx context.Context, redisURL string, ttl time.Duration) (*session.Store, error) {
deadline := time.Now().Add(45 * time.Second)
var last error
for {
st, err := session.Open(redisURL, ttl)
if err == nil {
return st, nil
}
last = err
if ctx.Err() != nil || time.Now().After(deadline) {
return nil, last
}
log.Printf("redis not ready, retrying")
select {
case <-ctx.Done():
return nil, ctx.Err()
case <-time.After(time.Second):
}
}
}
func runHealthcheck() int {
cfg, err := config.Load()
if err != nil {
return 1
}
host := cfg.Host
if host == "0.0.0.0" || host == "::" {
host = "127.0.0.1"
}
client := &http.Client{Timeout: 2 * time.Second}
resp, err := client.Get(fmt.Sprintf("http://%s:%d/health/ready", host, cfg.Port))
if err != nil {
return 1
}
defer resp.Body.Close()
_, _ = io.Copy(io.Discard, resp.Body)
if resp.StatusCode != http.StatusOK {
return 1
}
return 0
}
+272
View File
@@ -0,0 +1,272 @@
# Локальный стенд lab4: Клиент → HAProxy → API×N → общие PostgreSQL, Redis и приватный S3 (MinIO).
# Публикуется только LB (:8080) и S3 API на 127.0.0.1:9000 (нужен лишь для проверки
# «приватный bucket недоступен без подписи» и для student-tests с хоста).
# Консоль MinIO ОТКЛЮЧЕНА (MINIO_BROWSER=off) и порт 9001 не публикуется вообще.
# Порты API наружу не публикуются.
# Запуск: bash scripts/up.sh (minio+minio-init → миграции → --scale api=N → lb)
# container_name не задаём: иначе --scale одного сервиса невозможен.
#
# Образы MinIO/mc закреплены точными тегами (через переменные только на случай, если
# реестр отдаёт другой образ: см. REPORT). Root-учётка MinIO нужна ТОЛЬКО сервису minio
# и одноразовому minio-init. API/migrate/reconcile живут на отдельном пользователе
# messenger-api с политикой только на bucket messenger.
x-api-env: &api-env
APP_HOST: 0.0.0.0
APP_PORT: 8080
APP_ENV: ${APP_ENV:-lab}
APP_ACCESS_LOG: ${APP_ACCESS_LOG:-1}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
DB_MAX_CONNS: ${DB_MAX_CONNS:-5}
DATABASE_URL: postgres://${POSTGRES_USER:-messenger}:${POSTGRES_PASSWORD:-messenger}@postgres:5432/${POSTGRES_DB:-messenger}?sslmode=disable
REDIS_URL: redis://redis:6379/0
# --- lab4: S3 (не root-учётка!) ---
S3_ENDPOINT: http://minio:9000
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger}
S3_ACCESS_KEY: ${S3_ACCESS_KEY:-messenger-api}
S3_SECRET_KEY: ${S3_SECRET_KEY:-messenger-api-secret-change-me}
S3_FORCE_PATH_STYLE: ${S3_FORCE_PATH_STYLE:-1}
S3_ORPHAN_GRACE_SECONDS: ${S3_ORPHAN_GRACE_SECONDS:-300}
UPLOAD_MAX_CONCURRENCY: ${UPLOAD_MAX_CONCURRENCY:-4}
# Мягкий лимит кучи Go ниже cgroup-лимита контейнера (API_MEMORY): GC становится агрессивнее
# до OOM-kill, а не после него.
GOMEMLIMIT: ${API_GOMEMLIMIT:-200MiB}
services:
postgres:
image: postgres:16.6
environment:
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-messenger}
POSTGRES_DB: ${POSTGRES_DB:-messenger}
volumes:
- pgdata:/var/lib/postgresql/data
ports:
- "127.0.0.1:${POSTGRES_HOST_PORT:-5432}:5432"
healthcheck:
test: ["CMD-SHELL", "pg_isready -U ${POSTGRES_USER:-messenger} -d ${POSTGRES_DB:-messenger}"]
interval: 5s
timeout: 3s
retries: 20
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
redis:
image: redis:7.4.1
command: ["redis-server", "--appendonly", "yes", "--appendfsync", "everysec"]
volumes:
- redisdata:/data
ports:
- "127.0.0.1:${REDIS_HOST_PORT:-6379}:6379"
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 5s
timeout: 3s
retries: 20
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.50"
memory: 256M
# Приватный S3. Данные — в именованном volume mindata (переживает restart и down без -v).
minio:
# По умолчанию — pinned community-образ (официальный minio/minio на Docker Hub
# из этой среды недоступен: pull access denied). Переопределение: MINIO_IMAGE.
image: ${MINIO_IMAGE:-ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z}
command: ["server", "/data", "--address", ":9000"]
environment:
# Root-учётка: только для самого сервера и minio-init. API её не получает.
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minio-root}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minio-root-secret-change-me}
# Консоль отключена полностью: порт 9001 не слушается и не публикуется.
MINIO_BROWSER: "off"
volumes:
- mindata:/data
ports:
# Только loopback хоста (для scripts/check_private_bucket.sh и student-tests).
- "127.0.0.1:${MINIO_HOST_PORT:-9000}:9000"
healthcheck:
# coollabsio/minio и официальный образ содержат mc; curl есть не везде —
# сначала mc ready, затем HTTP health (если curl доступен).
test: ["CMD-SHELL", "mc ready local >/dev/null 2>&1 || curl -fsS http://127.0.0.1:9000/minio/health/ready >/dev/null 2>&1 || wget -q -O /dev/null http://127.0.0.1:9000/minio/health/ready"]
interval: 3s
timeout: 3s
retries: 20
start_period: 5s
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
# Одноразовый bootstrap S3 (идемпотентный, можно запускать сколько угодно раз):
# 1) приватный bucket (mb --ignore-existing + anonymous none);
# 2) политика messenger-api-rw ТОЛЬКО на этот bucket (без CreateBucket/admin-прав);
# 3) пользователь messenger-api с секретом из окружения и привязка политики;
# 4) самопроверка: политика действительно привязана, иначе контейнер падает.
minio-init:
# latest-dev — с /bin/sh (нужен entrypoint-override в up/s3sh). При доступности
# Docker Hub можно заменить на minio/mc:RELEASE.2024-11-21T17-21-54Z.
image: ${MC_IMAGE:-cgr.dev/chainguard/minio-client:latest-dev}
entrypoint: ["/bin/sh", "-c"]
environment:
MINIO_ROOT_USER: ${MINIO_ROOT_USER:-minio-root}
MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD:-minio-root-secret-change-me}
S3_BUCKET: ${S3_BUCKET:-messenger}
S3_ACCESS_KEY: ${S3_ACCESS_KEY:-messenger-api}
S3_SECRET_KEY: ${S3_SECRET_KEY:-messenger-api-secret-change-me}
command:
- |
set -eu
POLICY=messenger-api-rw
until mc alias set local http://minio:9000 "$$MINIO_ROOT_USER" "$$MINIO_ROOT_PASSWORD" >/dev/null 2>&1; do
echo "minio-init: waiting for minio..."; sleep 1
done
mc mb --ignore-existing "local/$$S3_BUCKET"
mc anonymous set none "local/$$S3_BUCKET"
cat > /tmp/policy.json <<EOF
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:ListBucket", "s3:GetBucketLocation"],
"Resource": ["arn:aws:s3:::$$S3_BUCKET"]
},
{
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject",
"s3:AbortMultipartUpload", "s3:ListMultipartUploadParts"],
"Resource": ["arn:aws:s3:::$$S3_BUCKET/*"]
}
]
}
EOF
# create у MinIO перезаписывает существующую политику, user add меняет секрет существующего
# пользователя: повтор безопасен. Привязка уже привязанной политики даёт ошибку — гасим её
# и проверяем итог явно (ниже), чтобы не скрыть настоящий сбой.
mc admin policy create local "$$POLICY" /tmp/policy.json
mc admin user add local "$$S3_ACCESS_KEY" "$$S3_SECRET_KEY"
mc admin policy attach local "$$POLICY" --user "$$S3_ACCESS_KEY" >/dev/null 2>&1 || true
mc admin user info local "$$S3_ACCESS_KEY" | grep -q "$$POLICY" \
|| { echo "minio-init: policy $$POLICY is not attached to $$S3_ACCESS_KEY" >&2; exit 1; }
echo "minio-init: bucket=$$S3_BUCKET user=$$S3_ACCESS_KEY policy=$$POLICY ok"
depends_on:
minio:
condition: service_healthy
restart: "no"
deploy:
resources:
limits:
memory: 128M
# Одноразовый мигратор. Не в depends_on API: иначе compose спотыкается о restart:no.
# Запускается явно из scripts/up.sh: docker compose run --rm migrate
# Заодно идемпотентно проверяет, что bucket существует.
migrate:
build: .
command: ["-migrate"]
environment:
<<: *api-env
depends_on:
postgres:
condition: service_healthy
minio-init:
condition: service_completed_successfully
restart: "no"
healthcheck:
disable: true
deploy:
resources:
limits:
cpus: "0.50"
memory: 256M
# Reconciler трека 2: /server -reconcile [-reconcile-dry-run] [-reconcile-prune-missing].
# Запуск по требованию (profile tools, не стартует с up):
# docker compose run --rm reconcile -reconcile-dry-run
reconcile:
build: .
command: ["-reconcile"]
environment:
<<: *api-env
depends_on:
postgres:
condition: service_healthy
minio:
condition: service_healthy
profiles: ["tools"]
restart: "no"
healthcheck:
disable: true
deploy:
resources:
limits:
cpus: "0.50"
memory: 256M
api:
build: .
environment:
<<: *api-env
expose:
- "8080"
depends_on:
redis:
condition: service_healthy
postgres:
condition: service_healthy
minio:
condition: service_healthy
minio-init:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "/server", "-healthcheck"]
interval: 2s
timeout: 2s
retries: 10
start_period: 15s
stop_grace_period: 10s
# no: иначе после docker stop в stop-one.sh демон может снова поднять реплику,
# и failover-тест увидит TARGET_INSTANCE_ID среди живых ответов.
restart: "no"
deploy:
resources:
limits:
cpus: ${API_CPUS:-0.50}
memory: ${API_MEMORY:-256M}
lb:
image: haproxy:2.9.14-alpine
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
- "127.0.0.1:${LB_HOST_PORT:-8080}:8080"
depends_on:
api:
condition: service_healthy
healthcheck:
test: ["CMD", "haproxy", "-c", "-f", "/usr/local/etc/haproxy/haproxy.cfg"]
interval: 10s
timeout: 3s
retries: 5
start_period: 5s
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.50"
memory: 128M
volumes:
pgdata:
redisdata:
mindata:
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+6
View File
@@ -0,0 +1,6 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 1, "first_recovery_seconds": 2.809}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
Container mtusi2026lab4-api-1 Running
Container mtusi2026lab4-api-2 Running
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+21
View File
@@ -0,0 +1,21 @@
== подготовка: загрузить реальное вложение через API и узнать его object_key
attachment=eeac261a-a963-44ae-b34d-0638cef7fb30 (ключ в S3 внутренний, в ответах API его нет)
== 1. анонимный доступ
PASS анонимный GET объекта → 403
PASS анонимный листинг bucket → 403
PASS анонимный PUT → 403
== 2. контроль: подписанный запрос учётки messenger-api
PASS GET с подписью messenger-api → 200 (объект существует)
== 3. права учётки API ограничены bucket-ом
PASS ListBuckets не раскрывает чужие buckets
PASS чтение объекта в чужом bucket → 403
PASS листинг чужого bucket → 403
PASS запись в чужой bucket → 403
PASS CreateBucket → 403
== 4. консоль MinIO не опубликована
PASS 127.0.0.1:9001 не отвечает консолью (000)
PASS порт 9001 сервиса minio не опубликован
публикуемые порты minio: [{127.0.0.1 9000 9000 tcp}]
PASS в Publishers нет 9001
PASS S3 API только на 127.0.0.1
ИТОГ: bucket приватный
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+9
View File
@@ -0,0 +1,9 @@
Evidence снят на стенде compose-проекта mtusi2026lab4 (2026-11-12).
Образы MinIO: официальные minio/minio и minio/mc на Docker Hub недоступны
(pull access denied), поэтому закреплены:
MINIO_IMAGE=ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z
MC_IMAGE=cgr.dev/chainguard/minio-client:latest-dev
Остальные: postgres:16.6, redis:7.4.1, haproxy:2.9.14-alpine, сборка Dockerfile
(golang:1.23.8-bookworm → distroless/static-debian12:nonroot).
S3 SDK в приложении: aws-sdk-go-v2 (internal/objectstore), не minio-go.
Прогоны: make check/test/student-test/private-bucket/test-persistence/test-failover/track2/upload-mem — PASS.
+460
View File
@@ -0,0 +1,460 @@
DATABASE_URL="${DATABASE_URL:-postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable}" \
REDIS_URL="${REDIS_URL:-redis://127.0.0.1:6379/0}" \
S3_ENDPOINT="${S3_ENDPOINT:-http://127.0.0.1:9000}" \
S3_ACCESS_KEY="${S3_ACCESS_KEY:-messenger-api}" \
S3_SECRET_KEY="${S3_SECRET_KEY:-messenger-api-secret-change-me}" \
S3_BUCKET="${S3_BUCKET:-messenger}" \
go test ./student-tests/ -v -count=1 -timeout 300s
=== RUN TestMalformedJSONAndValidation
api_test.go:96: → битый JSON, хвост после объекта, лишнее поле, пустой текст, чужой чат
2026/11/12 18:20:59 method=POST path=/api/v1/users status=400 request_id=fa0e0154-7179-46f6-a79e-40b9f96bc7f6 duration_ms=0
api_test.go:99: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"fa0e0154-7179-46f6-a79e-40b9f96bc7f6"}}
2026/11/12 18:20:59 method=POST path=/api/v1/users status=400 request_id=a8fac635-4393-45c5-86c7-e7590eecfa9d duration_ms=0
api_test.go:106: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"a8fac635-4393-45c5-86c7-e7590eecfa9d"}}
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b5966c7b-18bb-4655-bd59-f1ca02ec3d1d duration_ms=33
api_test.go:111: создан ok_user_1c171dca id=3003e48f-ecc3-4ca2-97ab-5877b345771c
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=354d5646-2f2f-4e59-a07c-8a03e5e81d5d duration_ms=33
api_test.go:112: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:20:59 method=POST path=/api/v1/chats status=201 request_id=911115c9-4961-495f-9b0f-4d3ad5291f5b duration_ms=4
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=bf51256d-0f8c-4c74-911b-dcf466c1cb54 duration_ms=0
api_test.go:119: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"bf51256d-0f8c-4c74-911b-dcf466c1cb54"}}
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=6f3a8af4-bd5f-4b94-beb3-21fb6a6bff1a duration_ms=0
api_test.go:119: status=400 body={"error":{"code":"invalid_request","message":"malformed json","request_id":"6f3a8af4-bd5f-4b94-beb3-21fb6a6bff1a"}}
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=400 request_id=0b63768a-a205-4ec6-98b0-e8095fb0ab41 duration_ms=0
api_test.go:126: status=400 body={"error":{"code":"invalid_request","message":"invalid text","request_id":"0b63768a-a205-4ec6-98b0-e8095fb0ab41"}}
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b5a68f91-6e4d-4b4e-a801-92ad3566afea duration_ms=28
api_test.go:131: создан outsider_514a1758 id=4461c75b-23a7-4996-b3af-df63e11a4f8e
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=d95a8147-b39b-490e-9c73-8cd507d78bc1 duration_ms=29
api_test.go:132: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:20:59 method=POST path=/api/v1/chats/d68b28fc-ef27-4da8-8002-8f2c5a40dc84/messages status=404 request_id=b8d0ce6f-ad84-40a4-88dc-789530cddaa2 duration_ms=4
api_test.go:134: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"b8d0ce6f-ad84-40a4-88dc-789530cddaa2"}}
api_test.go:138: ✓ валидация JSON, хвоста, пустого текста и чужого чата
--- PASS: TestMalformedJSONAndValidation (0.14s)
=== RUN TestMessageTextPreservedAndLengthOnOriginal
api_test.go:144: → пробелы по краям сохраняются; длина считается по исходному тексту
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b527081d-7a58-4600-b524-8c948a217014 duration_ms=29
api_test.go:145: создан text_user_9e4c66a9 id=771330ae-06a7-456c-9a94-3e8051cd9d16
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=f476e861-fe56-4870-87d7-059ec9192a9e duration_ms=31
api_test.go:146: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:20:59 method=POST path=/api/v1/chats status=201 request_id=49c0699c-e4c2-4026-90d0-f6a52e0fc726 duration_ms=4
2026/11/12 18:20:59 method=POST path=/api/v1/chats/c73e9300-8849-4189-86b3-13fa74c535c8/messages status=201 request_id=05f3985a-1a41-4f50-bc1b-5db995c288f6 duration_ms=5
api_test.go:153: status=201 body={"attachment_ids":[],"chat_id":"c73e9300-8849-4189-86b3-13fa74c535c8","created_at":"2026-11-12T15:20:59.401Z","id":"4e33499f-bdc1-494f-bbf3-f97bff764db2","sender_id":"771330ae-06a7-456c-9a94-3e8051cd9d16","text":" строка\nс пробелами "}
2026/11/12 18:20:59 method=POST path=/api/v1/chats/c73e9300-8849-4189-86b3-13fa74c535c8/messages status=400 request_id=9c79e4f6-94ef-457f-a39b-0679097832cc duration_ms=0
api_test.go:165: status=400 body={"error":{"code":"invalid_request","message":"invalid text","request_id":"9c79e4f6-94ef-457f-a39b-0679097832cc"}}
api_test.go:169: ✓ текст сохранён целиком, обход лимита через TrimSpace закрыт
--- PASS: TestMessageTextPreservedAndLengthOnOriginal (0.07s)
=== RUN TestSessionRejectsJSONBody
api_test.go:175: → POST /auth/sessions с телом должен быть 400 даже при верном Basic
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=b793beaa-8f40-40cf-8260-25ed6b915464 duration_ms=27
api_test.go:176: создан body_user_828ebe14 id=675b83d5-dd2f-443d-8714-011b476ba871
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=400 request_id=26dee1ba-82a6-4de2-a4ce-7e9f01f9b5c4 duration_ms=0
api_test.go:180: status=400 body={"error":{"code":"invalid_request","message":"session create must not have a body","request_id":"26dee1ba-82a6-4de2-a4ce-7e9f01f9b5c4"}}
api_test.go:184: ✓ вход без JSON body
--- PASS: TestSessionRejectsJSONBody (0.03s)
=== RUN TestWrongPasswordLogoutAndIgnoredUserHeader
api_test.go:190: → неверный пароль, Basic на бизнес-методе, X-User-Id, logout
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=1564c2ae-4a37-4258-9903-38a5b832ef72 duration_ms=33
api_test.go:191: создан auth_user_bf5d4fc3 id=bfc3f22d-97cf-41a1-8cd5-c6c0f6a274dd
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=2e48e45d-cef8-426a-b782-ce4fb4f6fcec duration_ms=28
api_test.go:192: создан auth_other_99f1a3b7 id=f119c141-7566-4b75-8256-f809af4e515e
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=401 request_id=8f67f30b-10aa-4eba-a649-687e79bf0f10 duration_ms=27
api_test.go:197: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"8f67f30b-10aa-4eba-a649-687e79bf0f10"}}
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=0ed3a21e-c386-40a3-84a6-788acd837203 duration_ms=28
api_test.go:202: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=c7d4e9e6-4dad-4d36-ade5-693584e2da9a duration_ms=0
api_test.go:206: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"c7d4e9e6-4dad-4d36-ade5-693584e2da9a"}}
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=e5a1a151-d7e9-4784-8e3c-eec0572a29b0 duration_ms=0
api_test.go:212: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"e5a1a151-d7e9-4784-8e3c-eec0572a29b0"}}
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=200 request_id=1937777f-6431-4846-bc9b-fcca5009074a duration_ms=2
api_test.go:221: status=200 body={"created_at":"2026-11-12T15:20:59.468Z","display_name":"Студент","id":"bfc3f22d-97cf-41a1-8cd5-c6c0f6a274dd","username":"auth_user_bf5d4fc3"}
2026/11/12 18:20:59 method=DELETE path=/api/v1/auth/sessions/current status=204 request_id=b4bbd138-9c71-4451-ba2b-5b381aa0401d duration_ms=1
api_test.go:227: logout status=204
2026/11/12 18:20:59 method=GET path=/api/v1/users/me status=401 request_id=ac6f2a1e-32bf-41f7-b321-3f2fa8816358 duration_ms=0
2026/11/12 18:20:59 method=DELETE path=/api/v1/auth/sessions/current status=401 request_id=e8f2c8bd-0a42-4374-960f-df0ebdc4fcd1 duration_ms=0
api_test.go:239: ✓ пароль, заголовки и отзыв сессии
--- PASS: TestWrongPasswordLogoutAndIgnoredUserHeader (0.13s)
=== RUN TestSessionExpiry
api_test.go:245: → SESSION_TTL=2s: тот же токен после паузы должен стать 401, TTL рестартом API не продлевается
2026/11/12 18:20:59 method=POST path=/api/v1/users status=201 request_id=45a35d1d-103e-4a8b-aca3-59294454b6c3 duration_ms=27
api_test.go:246: создан ttl_user_d32ecfcc id=75d6a1f0-24d2-45d3-9dd1-87ab1f0fb879
2026/11/12 18:20:59 method=POST path=/api/v1/auth/sessions status=201 request_id=02995f15-e546-4f31-a1b0-583446f063f6 duration_ms=31
api_test.go:247: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=401 request_id=01385dc3-1b7f-4f73-bf17-2ee106a16744 duration_ms=4
api_test.go:250: status=401 body={"error":{"code":"unauthorized","message":"authentication required","request_id":"01385dc3-1b7f-4f73-bf17-2ee106a16744"}}
api_test.go:254: ✓ истёкшая сессия отклонена
--- PASS: TestSessionExpiry (2.57s)
=== RUN TestDuplicateUsernameRace
api_test.go:261: → 8 параллельных регистраций username=race_8b242d62
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=67cd4204-3850-4742-89f7-cf3dacdc5512 duration_ms=83
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=f6108dc2-aab8-4915-8612-89b3cae46956 duration_ms=84
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=228330cc-a61e-4a87-a277-5c237419e39c duration_ms=85
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=73d04aba-4c41-4753-bcab-5987b01d4394 duration_ms=103
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=d6130b6b-81da-45d1-961f-e4b5f97e8423 duration_ms=103
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=389805da-aa70-414f-a39a-f6a1a50eb52e duration_ms=104
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=d8802c10-b6fa-4d77-ac49-ac9e351b1129 duration_ms=52
2026/11/12 18:21:02 method=POST path=/api/v1/users status=409 request_id=be270ccf-b860-477c-a3a7-f699e5facac8 duration_ms=107
api_test.go:286: created=1 conflict=7
api_test.go:290: ✓ UNIQUE username выдержал гонку
--- PASS: TestDuplicateUsernameRace (0.12s)
=== RUN TestChatCreateRollsBack
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=c7f53e21-7b97-44c1-b26f-f14c0a4eb5cb duration_ms=30
api_test.go:296: создан roll_user_029f22dd id=85341e8a-d2d6-4afd-a4dd-492ef3930966
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=e6df8f11-becc-442c-a601-5dab32ec31b6 duration_ms=31
api_test.go:297: сессия выпущена, длина токена=64 (значение не печатаем)
api_test.go:300: → создание чата с несуществующим участником должно откатиться, title=rollback-b3694b1e-4545-4db4-96ce-8dd2ae367339
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=400 request_id=a5786f7e-1195-4a15-b7be-864554368cc4 duration_ms=4
api_test.go:303: status=400 body={"error":{"code":"invalid_request","message":"unknown member","request_id":"a5786f7e-1195-4a15-b7be-864554368cc4"}}
api_test.go:311: строк chats с этим title после ошибки: 0
api_test.go:315: ✓ транзакция создания чата откатилась
--- PASS: TestChatCreateRollsBack (0.07s)
=== RUN TestPaginationPages
api_test.go:321: → три сообщения, две страницы limit=2, затем последняя
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=e25dc219-59af-439f-b2b2-e1795c63495e duration_ms=31
api_test.go:322: создан page_user_971473ff id=5b35d54a-baab-4005-82cd-6dd335c6a35b
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=a922dbce-d04d-4422-8f3d-499f3b5dcf7f duration_ms=31
api_test.go:323: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=37b3a3ce-06e0-43d2-aff8-3ee62b5e50ef duration_ms=4
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=ee5ce5b8-b173-47ed-acaa-443782e75e1a duration_ms=5
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=30d842ab-2f7d-4e02-bded-ce088b50fd5a duration_ms=2
2026/11/12 18:21:02 method=POST path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=201 request_id=1603f1fc-8f4a-4c79-972d-b64ce2bc50e0 duration_ms=2
2026/11/12 18:21:02 method=GET path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=200 request_id=b53d1590-9c22-444f-b19d-ca10abde871b duration_ms=2
api_test.go:333: status=200 body={"items":[{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.399Z","id":"46c8084e-4bbf-4ea4-baaf-cf5ff22015de","sender_id":"5b35d54a-baab-4005-82cd-6dd335c6a35b","text":"раз"},{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.402Z","id":"24b8e53a-4e6e-49d9-b627-aa863532acde","sender_id":"5...
2026/11/12 18:21:02 method=GET path=/api/v1/chats/9441439c-5a18-4cff-b1fb-076fe39873ec/messages status=200 request_id=28aa665c-685f-4bfa-a5dc-91b24b279648 duration_ms=1
api_test.go:341: status=200 body={"items":[{"attachment_ids":[],"chat_id":"9441439c-5a18-4cff-b1fb-076fe39873ec","created_at":"2026-11-12T15:21:02.405Z","id":"0bc4c157-1db2-45f1-bc8f-c7e2fd251fcb","sender_id":"5b35d54a-baab-4005-82cd-6dd335c6a35b","text":"три"}],"next_cursor":null}
api_test.go:347: ✓ keyset обошёл историю без зависания cursor
--- PASS: TestPaginationPages (0.08s)
=== RUN TestRedisDownIsNotAnonymous
api_test.go:351: → закрытый клиент Redis: вход и Bearer дают 503, а не 200 от анонима
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=277a8f32-4f5e-476d-9f83-897759b43fcb duration_ms=27
api_test.go:363: создан redis_down_434d965b id=05f8b57e-d9a6-47eb-8eb5-6d6a8b9ce4b4
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=503 request_id=bb6e9374-c7fd-413f-bc34-85a68e668196 duration_ms=32
api_test.go:367: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"bb6e9374-c7fd-413f-bc34-85a68e668196"}}
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=503 request_id=6a80272f-2ff0-4c56-bf92-5226321a43b7 duration_ms=0
api_test.go:374: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"6a80272f-2ff0-4c56-bf92-5226321a43b7"}}
api_test.go:378: ✓ сбой Redis не стал анонимным доступом
--- PASS: TestRedisDownIsNotAnonymous (0.06s)
=== RUN TestPostgresDownIsNotAnonymous
api_test.go:382: → закрытый пул PostgreSQL: ready/me/login дают 503, без тела пользователя
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=9a8e419e-7195-44c0-90f1-e22f68b0c0ed duration_ms=26
api_test.go:385: создан pg_down_a45c5163 id=540fb38c-746a-4976-8329-f0fc999d7b43
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=972edcb9-3c0d-4880-bcd8-0872c1843436 duration_ms=28
api_test.go:386: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=GET path=/health/ready status=503 request_id=251fd7a0-4c17-4b81-a12d-760a5f385a62 duration_ms=0
api_test.go:407: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"251fd7a0-4c17-4b81-a12d-760a5f385a62"}}
2026/11/12 18:21:02 method=GET path=/api/v1/users/me status=503 request_id=125676e0-2daa-4c1e-a3ea-0acf0d325f6e duration_ms=0
api_test.go:414: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"125676e0-2daa-4c1e-a3ea-0acf0d325f6e"}}
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=503 request_id=f70eeb19-072d-4c52-bd73-28a94d22ad25 duration_ms=0
api_test.go:421: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"f70eeb19-072d-4c52-bd73-28a94d22ad25"}}
api_test.go:425: ✓ сбой PostgreSQL не стал анонимным доступом
--- PASS: TestPostgresDownIsNotAnonymous (0.10s)
=== RUN TestIdempotencyReplayAndConflict
api_test.go:431: → повтор того же Idempotency-Key возвращает то же сообщение; другой body — 409
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=0d4af35c-da66-4ee5-8954-25a22a743eb5 duration_ms=32
api_test.go:432: создан idem_user_e3f9d6d2 id=d17c622a-5fce-4359-9c46-1533a11aaf20
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=3d54129e-26ff-4150-b9b0-1e3752cf3891 duration_ms=31
api_test.go:433: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=bf767947-ff6a-43ba-86a5-5f4751565635 duration_ms=2
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=201 request_id=6d3afa33-b457-4751-af43-265f66c9f62a duration_ms=3
api_test.go:441: status=201 body={"attachment_ids":[],"chat_id":"1544a1e8-ef0a-4aa8-9722-46541cb43c58","created_at":"2026-11-12T15:21:02.647Z","id":"83c4daef-265c-47e8-ad6f-a8a56f76103b","sender_id":"d17c622a-5fce-4359-9c46-1533a11aaf20","text":"один раз"}
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=201 request_id=109b5934-6580-43a0-a5e1-6d903509000f duration_ms=3
api_test.go:447: status=201 body={"attachment_ids":[],"chat_id":"1544a1e8-ef0a-4aa8-9722-46541cb43c58","created_at":"2026-11-12T15:21:02.647Z","id":"83c4daef-265c-47e8-ad6f-a8a56f76103b","sender_id":"d17c622a-5fce-4359-9c46-1533a11aaf20","text":"один раз"}
2026/11/12 18:21:02 method=POST path=/api/v1/chats/1544a1e8-ef0a-4aa8-9722-46541cb43c58/messages status=409 request_id=8b39f1a2-1c71-4ca9-82a2-dc904b61567b duration_ms=5
api_test.go:456: status=409 body={"error":{"code":"conflict","message":"idempotency key reused with different body","request_id":"8b39f1a2-1c71-4ca9-82a2-dc904b61567b"}}
api_test.go:460: ✓ replay и conflict по Idempotency-Key
--- PASS: TestIdempotencyReplayAndConflict (0.08s)
=== RUN TestIdempotencyKeyRequiredAndConcurrent
api_test.go:466: → нет ключа → 400; 8 параллельных POST с одним ключом → ровно одно сообщение
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=780585d1-1fad-4b6b-9c8b-7563c9d3a5d0 duration_ms=27
api_test.go:467: создан idem_race_d71b6a08 id=f14cc2a5-5694-4b69-9446-a8f8c25f8982
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=8b357ab5-a2a0-4f93-9736-3d3812141fb3 duration_ms=25
api_test.go:468: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=4bf498fa-2472-4f47-8fd1-1b3c472124cd duration_ms=2
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=400 request_id=052440d0-9d02-4892-b948-9b7fa305a505 duration_ms=0
api_test.go:486: status=400 body={"error":{"code":"invalid_request","message":"invalid or missing Idempotency-Key","request_id":"052440d0-9d02-4892-b948-9b7fa305a505"}}
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=a0ede04f-3b74-40dc-982d-9ff0e207cac4 duration_ms=5
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=187324fd-daf2-4e31-8436-56a8347de10f duration_ms=8
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=afec4ba7-8198-450f-ae46-3938a8a9bffa duration_ms=10
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=38044bb9-cf2f-4b36-9da0-7381d933c008 duration_ms=14
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=8b9ca85f-72d7-4fa8-ae06-aa59513ec3e6 duration_ms=18
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=accb1cb9-d98c-475e-a2ed-6e896e9841ac duration_ms=20
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=4fef2a6e-e58f-4567-9150-e19cd868f6e7 duration_ms=21
2026/11/12 18:21:02 method=POST path=/api/v1/chats/59069236-2d0e-4e64-aae1-4730a11b5821/messages status=201 request_id=99e0e4a8-5387-4f9d-82e4-5fd1ef448cf0 duration_ms=22
api_test.go:518: unique message ids=1
api_test.go:522: ✓ ключ обязателен; конкурентный повтор не плодит дубли
--- PASS: TestIdempotencyKeyRequiredAndConcurrent (0.09s)
=== RUN TestInstanceIDHeaderPresent
api_test.go:528: → каждый ответ содержит непустой X-Instance-Id
api_test.go:530: status=200 body={"status":"ok"}
api_test.go:534: ✓ X-Instance-Id=test-instance
--- PASS: TestInstanceIDHeaderPresent (0.00s)
=== RUN TestAttachmentRoundTripAndAccessControl
attachments_test.go:203: → PNG и JPEG: 201 ready, sha256/size, download без redirect, доступ только участникам
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=6e4cf788-8399-4032-9159-6d2029d3c612 duration_ms=28
attachments_test.go:206: создан att_alice_0369edce id=92d6e1b1-fc12-4766-8054-8eac013c417d
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=7ecee9dd-ef8d-4328-b3f7-6aa143868994 duration_ms=29
attachments_test.go:207: создан att_bob_634fd3d1 id=8c427980-01eb-4916-a099-98c4694eed5f
2026/11/12 18:21:02 method=POST path=/api/v1/users status=201 request_id=72dbeb2f-eae9-4b4b-9b44-afa6a2559ef8 duration_ms=32
attachments_test.go:208: создан att_eve_44a9b03a id=c045b1c2-e6ac-4732-8000-7f0c36964fc5
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=602a420d-1655-4496-a09c-d064ebe15692 duration_ms=28
attachments_test.go:209: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=ee3b3b0c-ad73-43ba-8505-2005b0ebcd14 duration_ms=26
attachments_test.go:210: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/auth/sessions status=201 request_id=cec3c99a-aab9-4e2a-a208-e17b0dc93324 duration_ms=25
attachments_test.go:211: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:02 method=POST path=/api/v1/chats status=201 request_id=a0e3f7dc-bde5-400a-b32d-95a991150b96 duration_ms=2
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=201 request_id=da72f69e-6084-4304-8102-1bae9cda4426 duration_ms=14
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766 status=200 request_id=b3080e14-d0b6-457e-ad6b-ff1a72f9acd7 duration_ms=1
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=200 request_id=b33b54c6-963d-43de-b7ee-956b80a6aa65 duration_ms=3
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=201 request_id=06960154-31d0-4008-8255-760cbaf10f50 duration_ms=6
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766 status=404 request_id=d0d252ae-b286-4bdc-b906-2af551f712b8 duration_ms=0
attachments_test.go:259: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"d0d252ae-b286-4bdc-b906-2af551f712b8"}}
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=404 request_id=a0539da8-2730-43ac-b728-490c162068ce duration_ms=0
attachments_test.go:259: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"a0539da8-2730-43ac-b728-490c162068ce"}}
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=404 request_id=d6aefebd-c85e-4938-b93d-e51f115a7bf6 duration_ms=0
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/attachments status=401 request_id=1d398754-6ebd-4785-98b5-44fbe48bb372 duration_ms=0
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/71f98842-17c6-4837-9426-ec2951c22766/content status=404 request_id=6c3e9b82-7f94-4992-998c-7832da849a08 duration_ms=0
2026/11/12 18:21:02 method=GET path=/api/v1/attachments/d255ba11-5aef-4461-8c90-29ca5c4d5a8a status=404 request_id=e0993f8d-f2e1-4fe5-8a9e-afdc3343da36 duration_ms=0
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=201 request_id=3887ce82-79cc-4323-a368-a62c836d88ba duration_ms=6
attachments_test.go:288: status=201 body={"attachment_ids":["ba356163-1259-4131-b94d-78015d549baa","71f98842-17c6-4837-9426-ec2951c22766"],"chat_id":"bb480e58-f08e-46ec-addc-89f9f0a3a52f","created_at":"2026-11-12T15:21:02.960Z","id":"7a06e1d0-ba84-4721-81b3-6ca52581484f","sender_id":"92d6e1b1-fc12-4766-8054-8eac013c417d","text":"смотри"}
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=201 request_id=51180a21-9726-4992-9201-5916574ddc1a duration_ms=2
2026/11/12 18:21:02 method=POST path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=409 request_id=338693e4-08fd-4919-966d-a298fb02f948 duration_ms=1
2026/11/12 18:21:02 method=GET path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=200 request_id=fe8e7004-cf2f-4632-b7f0-62352052b027 duration_ms=1
2026/11/12 18:21:02 method=GET path=/api/v1/chats/bb480e58-f08e-46ec-addc-89f9f0a3a52f/messages status=404 request_id=42999fe0-4ec6-49c0-a6d9-49a747b86054 duration_ms=0
attachments_test.go:319: ✓ upload/download/доступ/replay работают, внутренние ключи не раскрываются
--- PASS: TestAttachmentRoundTripAndAccessControl (0.22s)
=== RUN TestAttachmentTooLarge
attachments_test.go:324: → ровно 10 MiB проходит лимит размера (дальше 415 как не-картинка), 10 MiB+1 → 413
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=a38c61bf-2bba-43e2-b065-ef44916ec6be duration_ms=28
attachments_test.go:325: создан att_big_06b1c5dc id=c4bf6d5c-200b-41df-885f-1ca705dd887d
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=07115aad-600a-4222-877c-70ea59d6cb30 duration_ms=25
attachments_test.go:325: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=9732c58f-df62-43bd-ab87-5e20100c4340 duration_ms=2
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=415 request_id=551e1b8f-759f-4caf-942b-4435997f350d duration_ms=3
attachments_test.go:330: status=415 body={"error":{"code":"unsupported_media_type","message":"file is not a valid png/jpeg image","request_id":"551e1b8f-759f-4caf-942b-4435997f350d"}}
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=37f1c631-3aad-4523-991c-75db111b3a06 duration_ms=4
attachments_test.go:337: status=413 body={"error":{"code":"payload_too_large","message":"file is too large","request_id":"37f1c631-3aad-4523-991c-75db111b3a06"}}
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=e82efd26-b2d8-46b3-b65e-248446bebbbf duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1d9c5bd2-a92d-48c7-a035-7edcd49da48c/attachments status=413 request_id=67fc6b9c-ec45-4119-85a2-ea35c2f60e77 duration_ms=8
attachments_test.go:364: ✓ лимит байтов: граница точная, работает и для chunked
--- PASS: TestAttachmentTooLarge (0.08s)
=== RUN TestAttachmentPixelLimit
attachments_test.go:369: → 8000x5000 (=40 млн) принимается, 8000x5001 → 413
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=8b544036-7b74-44fc-ba8b-7341f6a76968 duration_ms=26
attachments_test.go:370: создан att_px_74e2479b id=127820d4-2fce-4e84-8e64-7050d620006d
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=a9dd2101-110e-4fff-a5a6-4d4df7c6928e duration_ms=26
attachments_test.go:370: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e5fe6311-319a-4386-b011-396b7e349758 duration_ms=2
attachments_test.go:373: PNG 8000x5000 занимает 9860 байт на проводе
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ff4de357-c5ea-4edd-8110-c0b21ddc2cda/attachments status=201 request_id=496c7692-87b3-4597-8532-dec4c1970617 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ff4de357-c5ea-4edd-8110-c0b21ddc2cda/attachments status=413 request_id=f4ecc33c-52cf-458a-8d90-5aaffdbceb16 duration_ms=0
attachments_test.go:381: status=413 body={"error":{"code":"payload_too_large","message":"image has too many pixels","request_id":"f4ecc33c-52cf-458a-8d90-5aaffdbceb16"}}
attachments_test.go:385: ✓ лимит пикселей по заголовку, без полного декода
--- PASS: TestAttachmentPixelLimit (0.08s)
=== RUN TestAttachmentCorruptAndMimeSpoof
attachments_test.go:390: → мусор, усечённые PNG/JPEG, битый CRC, GIF под видом PNG, подмена Content-Type
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=87dc6e69-788e-458c-b29b-408171e7e34c duration_ms=25
attachments_test.go:391: создан att_bad_d38447a8 id=becc49c6-2c78-40bc-8e4f-8beb6eb3545b
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=3d12be94-553c-46fa-a049-b69dda676470 duration_ms=26
attachments_test.go:391: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=8c9f44ac-33e5-4922-9adb-8a26ea8a5218 duration_ms=3
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=01f41150-69a5-4b67-ba43-90e77a6ad19f duration_ms=1
attachments_test.go:419: случайные байты как png → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=beabb3eb-054e-4f84-971a-68461686358e duration_ms=0
attachments_test.go:419: пустое тело → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=9bee11e4-c293-4961-ad9a-b67ceb74159d duration_ms=1
attachments_test.go:419: усечённый PNG → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=2c339eff-701e-462f-a774-410acebf148d duration_ms=0
attachments_test.go:419: усечённый JPEG → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=a6f23d48-1d77-4c7b-86a7-21baf6421fd1 duration_ms=0
attachments_test.go:419: PNG с битым CRC → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=e5955056-1e64-4f99-af56-d669b25e55e1 duration_ms=0
attachments_test.go:419: GIF под видом PNG → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=507a1420-7016-4afa-a880-4222584deef9 duration_ms=0
attachments_test.go:419: PNG под видом JPEG (спуфинг) → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=cbe98dc7-a32e-43d1-b222-c354394326c7 duration_ms=0
attachments_test.go:419: JPEG под видом PNG (спуфинг) → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=14149874-3231-474d-970c-62ec7e4b5a07 duration_ms=0
attachments_test.go:419: валидный PNG, но Content-Type text/plain → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=3a1e91b0-dbbd-45bb-b027-09231e71bffe duration_ms=0
attachments_test.go:419: валидный PNG без Content-Type → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=415 request_id=75feae20-26cf-4610-a15b-2da6db8b3c39 duration_ms=0
attachments_test.go:419: валидный PNG, Content-Type image/gif → 415
2026/11/12 18:21:03 method=POST path=/api/v1/chats/1311e2d9-336e-422a-94a7-0653927b6aa2/attachments status=201 request_id=d5ac73a6-35ae-4f0c-a876-377f943ac912 duration_ms=7
attachments_test.go:437: ✓ все повреждённые/подменённые файлы → 415, строки в БД не создаются
--- PASS: TestAttachmentCorruptAndMimeSpoof (0.08s)
=== RUN TestAttachmentFilenameValidation
attachments_test.go:441: → filename: '/', '\', NUL, управляющие, пустое, >255 → 400; unicode и пробелы допустимы
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=40d2e58b-dc12-4be0-b2dc-5fc79bcf2d20 duration_ms=27
attachments_test.go:442: создан att_name_f56bf6c9 id=23d33717-5ceb-40c1-9dc0-21f0d1c28dda
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=4640a2a0-b172-4090-864f-aba20005ee49 duration_ms=27
attachments_test.go:442: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=f5010f50-f611-4f9e-a754-0cbcb7ac23c4 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=4e0d5c3d-1a46-45f2-bdb5-dfa98cc258bb duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=fa331260-0306-4fb9-9b6f-f4a710875c9f duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=93e97dc4-0ab3-47e8-ad88-0849360f9e26 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=488c7efb-3620-4a17-91d5-a7ea99e90bc1 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=72e31491-8750-4d18-8749-50e36593a850 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=3c45fb04-8b0d-4046-a533-34b9ff296d58 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=368ee4ed-4e92-4658-9a8c-bfd9a285a60c duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=6ab9d83f-74ef-4d74-ab1c-a5545cd5a8b1 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=e0449682-ba68-493f-8a32-8fdaf2995b1d duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=fe6a0d4c-d09d-4cc6-99b1-fe5fcb2b703d duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=400 request_id=0782590f-cdc8-4968-bf16-75d50c70fcb0 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=47014ac4-41fa-4b5e-8812-e5252b405605 duration_ms=5
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=a6ae5e5a-312b-4d60-80dd-5b1331351326 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/e221a5f7-4599-44b5-a2a6-c1ecf06a387c/attachments status=201 request_id=3db5881c-a069-426f-b45f-ae945c3c132c duration_ms=4
attachments_test.go:472: ✓ опасные имена отклоняются, обычные Unicode-имена сохраняются как есть
--- PASS: TestAttachmentFilenameValidation (0.09s)
=== RUN TestMessageAttachmentRules
attachments_test.go:478: → foreign attachment_id, вложение другого чата, неизвестный id, лимиты и пустой текст
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=b9cb6860-4b63-4991-9161-49e712f566ca duration_ms=27
attachments_test.go:481: создан rule_alice_c69fdfb5 id=2ed8e71c-b59d-48d2-9270-9f91440088f3
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=7a5bd2e4-218d-4d89-a951-d7729d4d8637 duration_ms=26
attachments_test.go:482: создан rule_mal_0875e0ad id=8e4fe916-85e5-49ba-86db-4b834cbb3e38
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=9c3559f0-f5a5-4b3c-8fd8-47464d816dd9 duration_ms=26
attachments_test.go:483: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=8a19c95c-354f-4e5e-976c-7ff15b33f111 duration_ms=26
attachments_test.go:484: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e11ca7fc-a6df-4be7-b50d-37f7eb82b6f7 duration_ms=2
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=c0527ca6-ba95-4357-9054-7b7876e4ff56 duration_ms=2
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=ecb5246d-77fe-47d6-b3f5-6f62f24f5dce duration_ms=1
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=51b70749-b7eb-44a2-aadb-d32c558455a6 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/f8dff763-c43e-477b-a13c-634840b972c7/attachments status=201 request_id=0ff47167-3a0e-4938-b85c-318c52b94d9c duration_ms=7
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=5b9ed3e5-e43b-4e3e-b587-79a7999c8171 duration_ms=2
attachments_test.go:499: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"5b9ed3e5-e43b-4e3e-b587-79a7999c8171"}}
2026/11/12 18:21:03 method=POST path=/api/v1/chats/7ef09876-6342-45b3-8763-08c9cbedd450/messages status=404 request_id=2b8a18ce-f02d-424f-87ed-0369d2b6c1e0 duration_ms=1
attachments_test.go:505: status=404 body={"error":{"code":"not_found","message":"object not found","request_id":"2b8a18ce-f02d-424f-87ed-0369d2b6c1e0"}}
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=e1e742db-a87b-4038-9e7c-7eaa6b14a249 duration_ms=2
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=404 request_id=bb593e90-63a4-43fd-92ba-ff7bc9db70a4 duration_ms=2
2026/11/12 18:21:03 method=GET path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=200 request_id=addcd400-b6de-41ac-94c0-07118333ecb7 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=8fbfbcbf-b7f5-44ff-9ac4-9ae8d2c0f125 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=8adb91a2-d1b7-4c04-a70a-2220c60d9dbd duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=a4f053ab-614f-43d5-8a5d-8cb709c9ebda duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=400 request_id=422ad727-1d32-49f4-8c32-0e1e4d69adb7 duration_ms=0
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=447bbf49-037b-4fcf-850b-ea704f48af30 duration_ms=3
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=64c91a01-556e-4f05-84b8-060f06ea9b97 duration_ms=7
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=198f124f-93e8-43fe-905c-35804e9e6963 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=89d7ca2a-fdf7-488f-b7bb-33c472bedd07 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=26676c65-1e95-47b1-a1c0-371aff9a3447 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=35039c37-0108-4258-b680-01ba331055d1 duration_ms=5
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=cdcaf7a0-a79a-4529-a92f-ea90dcbde1a1 duration_ms=6
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=959cc0c6-dd65-4176-96c7-b3be0dbf0511 duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=01ca5d27-fa2b-4ec9-b4d9-b7c79aa3853b duration_ms=4
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=eea2e1c9-8160-4dd1-a51c-4f18ce4ec645 duration_ms=3
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/attachments status=201 request_id=7a5bebc5-f84c-4604-baef-41ee23875067 duration_ms=3
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=e1a3cb5e-2b70-4afa-a39f-5a7c134398dc duration_ms=5
2026/11/12 18:21:03 method=POST path=/api/v1/chats/ba67794f-6e3d-491d-b209-30e75075610b/messages status=201 request_id=de7f1761-1e00-4c1e-b42d-5ac221473cd8 duration_ms=2
attachments_test.go:565: ✓ чужое/другой чат/неизвестное → 404, лимиты → 400, пустой текст только с вложением
--- PASS: TestMessageAttachmentRules (0.21s)
=== RUN TestS3DownGivesLimitedError
attachments_test.go:571: → API с недоступным S3: upload/ready → 503, без утечек и полуфабрикатов в БД
2026/11/12 18:21:03 method=POST path=/api/v1/users status=201 request_id=28474f4e-0a5c-48cb-85d6-a4f8c18931be duration_ms=28
attachments_test.go:580: создан att_down_be3d20bc id=7b75f89b-5333-4875-b920-69edf9803751
2026/11/12 18:21:03 method=POST path=/api/v1/auth/sessions status=201 request_id=5d95ef5e-f3e5-4c97-89e9-fc2bf8d2de04 duration_ms=33
attachments_test.go:580: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:03 method=POST path=/api/v1/chats status=201 request_id=e3e3a8ad-bcce-41c6-ae4e-cec583c0ebfc duration_ms=2
2026/11/12 18:21:04 request_id=fcb84c10-04bd-4cfe-b0cf-5c546de7cee1 attachment_put_failed err=object store unavailable
2026/11/12 18:21:04 method=POST path=/api/v1/chats/67011494-ea93-4cc1-afcf-e6906dc4e560/attachments status=503 request_id=fcb84c10-04bd-4cfe-b0cf-5c546de7cee1 duration_ms=1271
attachments_test.go:591: upload при лежащем S3: status=503 за 1.272s body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"fcb84c10-04bd-4cfe-b0cf-5c546de7cee1"}}
2026/11/12 18:21:04 method=GET path=/health/ready status=503 request_id=be8ccc50-9756-4656-b12c-2662b55dada1 duration_ms=131
attachments_test.go:616: ✓ лежащий S3 → 503 без деталей, ready=503, live=200, БД чиста
--- PASS: TestS3DownGivesLimitedError (1.48s)
=== RUN TestCompensationWhenPostgresFailsAfterPut
attachments_test.go:633: → отказ PG после успешного PUT: объект удаляется компенсацией
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=3f4dfeac-f9bd-40af-8ca0-13391d0ef203 duration_ms=44
attachments_test.go:635: создан att_comp_d1d08db2 id=114e5155-1aa2-46b5-9c42-fab4ff3a670d
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=c7902eca-e898-4474-93c7-42733b26f62f duration_ms=39
attachments_test.go:635: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=ebf99fd6-6fab-4182-8d46-3a73018c444d duration_ms=5
2026/11/12 18:21:05 request_id=a8e660c6-0f0b-4e5f-8286-66dfc16e957c attachment_compensated key=attachments/3fd3ff59-5aab-4036-9021-922ba3677d30/f603c13e-4000-44c9-9eb5-42c6c5e70525 (PG insert не удался, объект удалён)
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3fd3ff59-5aab-4036-9021-922ba3677d30/attachments status=503 request_id=a8e660c6-0f0b-4e5f-8286-66dfc16e957c duration_ms=9
attachments_test.go:668: status=503 body={"error":{"code":"unavailable","message":"dependency unavailable","request_id":"a8e660c6-0f0b-4e5f-8286-66dfc16e957c"}}
key=attachments/3fd3ff59-5aab-4036-9021-922ba3677d30/f603c13e-4000-44c9-9eb5-42c6c5e70525
attachments_test.go:682: ✓ orphan после отказа PG удалён сразу; если бы удаление не удалось — его уберёт reconciler
--- PASS: TestCompensationWhenPostgresFailsAfterPut (0.16s)
=== RUN TestConcurrentUploads
attachments_test.go:687: → 12 параллельных загрузок: все 201, уникальные id, sha256 совпадает
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=fd1ff7b6-038f-41ec-8463-3fd9dbb9b4fe duration_ms=28
attachments_test.go:688: создан att_conc_729779e9 id=067c689f-0d1d-4b41-bdea-6eb65ae92fbc
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=423752b8-2326-44f0-b48f-c5ae3e4eacae duration_ms=26
attachments_test.go:688: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=e4b1ca4e-d18e-45ce-b60d-b88baa0cace1 duration_ms=3
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=842c0196-6ea1-4bb5-8450-0182451d43bb duration_ms=24
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=91e0e4e9-3367-4a49-b66f-057b300dc7d8 duration_ms=22
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=e9c7d4bf-c4aa-4ae2-8929-f83d6ef5ebd2 duration_ms=23
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=ea3d7a13-607e-484c-85f7-66944202c90b duration_ms=28
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=599764a6-60c2-4601-b010-87306de3308b duration_ms=31
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=7307aa9a-b9b0-42a0-9954-d2c6ac5fc73c duration_ms=34
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=a9fab778-7f4a-42d2-831d-c91b055316dd duration_ms=37
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=56bc0db3-9caf-4ab1-87e3-0b079bb65949 duration_ms=42
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=5bb79162-f7f8-4717-b0c6-cca67420a035 duration_ms=44
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=8f2b880b-faf9-4ebf-acb0-86715b023b8e duration_ms=46
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=b7aec8d5-0748-4f2a-aaac-dcc5ffd924b1 duration_ms=47
2026/11/12 18:21:05 method=POST path=/api/v1/chats/3e5fb333-8a7a-4b72-ab7c-2b0c69d79cfb/attachments status=201 request_id=c6c1d078-1df0-4693-94b4-415c4ec67b61 duration_ms=49
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/7ec3a691-cfca-467b-b0a2-ff4e1f53c949/content status=200 request_id=177f750c-a9d5-4624-aa3a-7515d536e5a1 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/12529cbe-d38a-4fa9-9ae1-a5f93019d1ed/content status=200 request_id=9160b307-b1f8-4042-8ba0-6eba4bd45430 duration_ms=4
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/856c227c-f06e-414a-81e5-562ec4f1c5a8/content status=200 request_id=d2d18836-fc10-4ec4-9183-d33d39f749ea duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/7e980bbe-48a1-40c7-a82a-52459dd20e46/content status=200 request_id=850aeded-fff7-4591-a889-5f3bfecefcb8 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/1fc778ae-90d7-4f91-b268-b18ef96605b6/content status=200 request_id=b176d12b-906b-49c0-bb74-605a323cd5c8 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/886f5134-5ebe-49ae-83da-9edf27026f83/content status=200 request_id=868ee301-cde4-4e17-a7a5-52cf6bbd5547 duration_ms=4
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/43e2cb09-1a68-47a2-b523-be02aea103e3/content status=200 request_id=1f3f748f-8bbb-42e7-8fe3-9a9ad3ebd46f duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/d8a8d773-00b5-4090-9e23-42c7c72b4139/content status=200 request_id=2f7bc742-8fd3-4dec-aa96-983ea818e320 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/761e93f4-4522-45f8-89c8-fdae1343bb29/content status=200 request_id=e1e71780-72d2-4f6e-8228-e47881938f45 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/9dbac555-6be3-4310-83d5-a6c7fc6d949d/content status=200 request_id=22d7fc16-aeaa-4d11-976b-0996cdaae1d1 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/eb4d547a-b80d-44f6-b6c8-5a29190b3e96/content status=200 request_id=91b301eb-81a6-4ad9-a0a5-b4a0f6c9d7d3 duration_ms=3
2026/11/12 18:21:05 method=GET path=/api/v1/attachments/c1d2796d-ee2b-462b-8190-c99cd40bf68d/content status=200 request_id=43c98164-f333-43b3-be42-85de3fe36a8d duration_ms=2
attachments_test.go:722: ✓ параллельные загрузки целы
--- PASS: TestConcurrentUploads (0.17s)
=== RUN TestObjectKeyIsServerAssigned
attachments_test.go:727: → ключ объекта = attachments/{chat}/{id}; filename в ключ не попадает
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=4b5d980a-bb3a-42b4-9d2d-572ed3a9bc85 duration_ms=28
attachments_test.go:728: создан att_key_890af9c3 id=7df2d519-ee05-4b51-9322-6263cc7490c3
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=39ca6337-75c6-4fda-a393-8292baec5db1 duration_ms=27
attachments_test.go:728: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=79d3a97e-3cc5-4ae9-81cc-a0698201e9cf duration_ms=3
2026/11/12 18:21:05 method=POST path=/api/v1/chats/70b9221c-d96d-415f-9fa6-5625c371595f/attachments status=201 request_id=13642977-9dd9-4b28-b66e-7b2d73c3a8ba duration_ms=4
attachments_test.go:742: ✓ ключ серверный: attachments/70b9221c-d96d-415f-9fa6-5625c371595f/eb535487-7035-4e1e-9f56-8af382801a83
--- PASS: TestObjectKeyIsServerAssigned (0.07s)
=== RUN TestReconcilerOrphanAndMissing
reconcile_test.go:25: → orphan/missing: dry-run ничего не меняет; свежие и используемые не удаляются; повтор идемпотентен
2026/11/12 18:21:05 method=POST path=/api/v1/users status=201 request_id=2e6e9279-44cd-420e-8da9-37754018b14f duration_ms=26
reconcile_test.go:29: создан rec_081c44dc id=d3cb5e2e-d253-4d2c-b736-ccd10389a7e9
2026/11/12 18:21:05 method=POST path=/api/v1/auth/sessions status=201 request_id=d306f630-fb12-4b39-876e-6419974cdb52 duration_ms=25
reconcile_test.go:29: сессия выпущена, длина токена=64 (значение не печатаем)
2026/11/12 18:21:05 method=POST path=/api/v1/chats status=201 request_id=2ad9df61-3514-40d4-a630-10572053ee9b duration_ms=2
reconcile_test.go:74: смещение часов S3 относительно теста: 436ms
reconcile.go:261: SKIP fresh orphan (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:320: DRY-RUN missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:135: R1 dry-run, now: {DryRun:true GraceSeconds:60 PruneMissing:true S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:108 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:1 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:3 MissingUsed:1 MissingFresh:1 MissingStale:1 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile.go:277: DRY-RUN would delete orphan (age=2m0s, size=14): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
reconcile.go:320: DRY-RUN missing object, unused stale row (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:320: DRY-RUN missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8) would be pruned: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:147: R2 dry-run, +120s: {DryRun:true GraceSeconds:60 PruneMissing:true S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:126 Matched:34 OrphansFound:1 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7] MissingFound:3 MissingUsed:1 MissingFresh:0 MissingStale:2 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile.go:285: DELETED orphan (age=2m0s, size=14): attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7
reconcile.go:322: REPORT missing object, unused stale row (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7), prune выключен: attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:322: REPORT missing object, unused stale row (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8), prune выключен: attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:156: R3 real, +120s, prune off: {DryRun:false GraceSeconds:60 PruneMissing:false S3ObjectsScanned:36 DBRowsScanned:37 S3ListCalls:19 DBPages:20 HeadCalls:3 DeleteCalls:1 DurationMs:99 Matched:34 OrphansFound:1 OrphansDeleted:1 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/53936b3d-2a3e-4beb-892d-5a7ef38f36c7] MissingFound:3 MissingUsed:1 MissingFresh:0 MissingStale:2 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:331: PRUNED row without object (id=91bb90cc-e9bf-444c-86c3-f71c1669aaf8): attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:171: R4 real, now, prune on: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:37 S3ListCalls:18 DBPages:20 HeadCalls:3 DeleteCalls:0 DurationMs:111 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:3 MissingUsed:1 MissingFresh:1 MissingStale:1 MissingPruned:1 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/91bb90cc-e9bf-444c-86c3-f71c1669aaf8 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile.go:315: SKIP fresh missing (age=0s < grace=1m0s): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:183: R5 repeat: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:36 S3ListCalls:18 DBPages:19 HeadCalls:2 DeleteCalls:0 DurationMs:89 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:2 MissingUsed:1 MissingFresh:1 MissingStale:0 MissingPruned:0 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile.go:331: PRUNED row without object (id=9146c2dd-8862-4246-a9ac-af1e88f70fd7): attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7
reconcile.go:312: ALERT used attachment lost its object (id=fb31ee3d-5f80-4ae1-a5ed-7e71fa766189, не удаляется): attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189
reconcile.go:254: SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): attachments/not-a-uuid/779931ae-697b-418f-8be3-2284ebbe9858
reconcile_test.go:189: R6 real, +120s, prune on: {DryRun:false GraceSeconds:60 PruneMissing:true S3ObjectsScanned:35 DBRowsScanned:36 S3ListCalls:18 DBPages:19 HeadCalls:2 DeleteCalls:0 DurationMs:113 Matched:34 OrphansFound:0 OrphansDeleted:0 OrphansFresh:0 OrphansRaced:0 UnknownKeys:1 OrphanSampleKey:[] MissingFound:2 MissingUsed:1 MissingFresh:0 MissingStale:1 MissingPruned:1 MissingRaced:0 MissingSample:[attachments/a6879c34-a366-4607-bb21-40ebb859e124/9146c2dd-8862-4246-a9ac-af1e88f70fd7 attachments/a6879c34-a366-4607-bb21-40ebb859e124/fb31ee3d-5f80-4ae1-a5ed-7e71fa766189] Errors:0}
reconcile_test.go:197: ✓ orphan удалён после grace, чужие ключи/свежие/используемые целы, dry-run и повтор безопасны
--- PASS: TestReconcilerOrphanAndMissing (0.75s)
PASS
ok mtusi2026lab4/student-tests 7.559s
+30
View File
@@ -0,0 +1,30 @@
bash scripts/run_track2.sh
== 1. подготовка данных через API
== 2. инъекция сбоев в S3 (root-учётка mc, только для сценария)
пачка из 300 orphan-объектов для замера стоимости обхода
== 3. ждём 45+2 с: orphan_old/missing_stale «стареют» за grace
теперь «свежие» нарушения (моложе grace):
== 4. dry-run (ничего не должно измениться)
1_dry_run: exit=2 (orphans_found=301 deleted=0 missing_found=3 used=1 pruned=0 duration_ms=82)
== 5. реальный запуск
2_real: exit=2 (orphans_found=301 deleted=301 missing_found=3 used=1 pruned=1 duration_ms=357)
== 6. повторный запуск (идемпотентность)
3_repeat: exit=2 (orphans_found=0 deleted=0 missing_found=2 used=1 pruned=0 duration_ms=17)
== 7. проверка инвариантов
PASS dry-run не менял данные
PASS dry-run нашёл orphan-ы, но не удалил (deleted=0)
PASS dry-run: missing used/stale/fresh обнаружены
PASS real: orphan_old и пачка удалены
PASS real: orphan_old действительно исчез из S3
PASS real: свежий orphan цел
PASS real: объект с чужой схемой ключа цел
PASS real: control (строка+объект) цел
PASS real: used без объекта НЕ удалён, есть alert
PASS real: stale unused без объекта удалена (prune)
PASS real: fresh без объекта НЕ удалена
PASS repeat: идемпотентность (0 удалений, 0 prune)
# Стоимость обхода (из JSON-отчётов)
1_dry_run s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=0 duration_ms=82
2_real s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=301 duration_ms=357
3_repeat s3_objects=41 db_rows=41 s3_list_calls=1 db_pages=2 head_calls=2 delete_calls=0 duration_ms=17
ИТОГ track2: все инварианты выполнены (evidence в evidence/track2/)
+1
View File
@@ -0,0 +1 @@
2
+82
View File
@@ -0,0 +1,82 @@
{
"dry_run": true,
"grace_seconds": 45,
"prune_missing": true,
"s3_objects_scanned": 342,
"db_rows_scanned": 42,
"s3_list_calls": 1,
"db_pages": 2,
"s3_head_calls": 3,
"s3_delete_calls": 0,
"duration_ms": 82,
"matched": 39,
"orphans_found": 301,
"orphans_deleted": 0,
"orphans_fresh": 1,
"orphans_raced": 0,
"unknown_keys": 1,
"orphan_sample_keys": [
"attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00ad9195-f154-41ec-b8e1-b5bcd007bf70",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00b04295-d403-4a7c-8f0a-b1acf9445b54",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/021b397d-b610-42ff-ba41-1df1eddc0c15",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/039cdcb0-a161-4f3b-bcd2-f023b925056c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/03a9a04a-2de8-4d5a-938d-491b81c17d8a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04765935-ee49-4470-ad20-760e0194e03e",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04dbb0dc-00d6-494f-9cd0-7fc1e14347b7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/058b9e86-cd0d-4c0f-9de5-9f9e65ec5cbf",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0656e05f-6957-4581-bf0b-85076bd1f850",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/06cd38d1-233b-44d0-ab5f-9a0f05c7d3a0",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/070c49a4-be67-45cf-a727-9c535b589ecb",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/07f9b3a5-7f2b-4c09-8ea7-a6e3efbf8e2c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0817d1c4-1341-4255-8e2b-5676797b0be3",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0838a07c-dcae-4076-bcbf-eb53753177a2",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/087ca7b1-0f38-4517-9866-16d9a8ba95b8",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/08a49513-d0d4-43e9-b3e9-8203c291b023",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0963b36c-0375-41e6-b763-6e5c4a5dcd29",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/09fbeba6-4bfb-459a-ac1c-022543a48760",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0ad6ad0c-1e38-4430-a9a9-a3d9937753df",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0b82a572-89b0-4ad5-82bc-d321f09fc05f",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0bba8c5b-cfe9-405b-9c63-9ca75c8800d7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e25074c-fc1d-4a77-a208-bb278f93ea62",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e2b663e-f32d-4550-8a0d-ebefbb02a47c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0f7d1a3e-23eb-4a9f-aeeb-53d0b2f21982",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/104c44f5-5fe3-41e0-b576-afd4d6c342c4",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1057fcab-bfda-47ed-8e0c-31ba7614758c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10945365-d87f-4581-a69c-a520a959a1f5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10ea6156-2bb0-4a75-862c-e8e2af426ea1",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/110e2087-08b8-493b-9c4d-b22220f05d3a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/114a75a8-1211-443c-8bd5-4558a4971104",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/11d0fc7b-e96f-42bf-a6a2-f85102ec038b",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/14b30e10-d80a-4118-b152-0e1a7dd9a06a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/157ebb20-4c70-4938-aa3f-5e8f67464e02",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/182ace2b-7d4f-4b76-94c9-fac65a57a58d",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1998e8d6-4a41-451f-b34e-0aafbd7e17f9",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1b9e2efe-436a-457c-bb0a-b517b7007484",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1bdb7260-923e-49d4-8383-437dcfd6d689",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1c8a308a-37e3-4f78-9f49-2d59d40435e5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1d62b390-7c52-428c-8ff4-8d26c02619e0",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dd3d1c4-f2fc-408c-a769-ca7473c2ed0d",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dfb697b-e9db-44b1-848d-4f0fdbefde1e",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1e1e0483-4532-4402-b523-b88a7fa99fcb",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1ef09544-7b5b-4732-8a10-564fc2f41a26",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1fe30ad6-0fde-47de-9efa-3d38d9a599b5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/226aa095-45db-47b8-ab36-3cb884d4efa4",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/2409cc53-7aaf-4feb-bc76-70f5c4fe0ef5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/26008aac-6963-4ffa-b066-2d2b47313752",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28500936-1e4a-47b4-a239-40c4d6c439b3",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28f82c57-fab8-40f3-8037-a3642a393188"
],
"missing_found": 3,
"missing_used": 1,
"missing_fresh": 1,
"missing_stale": 1,
"missing_pruned": 0,
"missing_raced": 0,
"missing_sample_keys": [
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f",
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
],
"errors": 0
}
+1
View File
@@ -0,0 +1 @@
2
+82
View File
@@ -0,0 +1,82 @@
{
"dry_run": false,
"grace_seconds": 45,
"prune_missing": true,
"s3_objects_scanned": 342,
"db_rows_scanned": 42,
"s3_list_calls": 1,
"db_pages": 2,
"s3_head_calls": 3,
"s3_delete_calls": 301,
"duration_ms": 357,
"matched": 39,
"orphans_found": 301,
"orphans_deleted": 301,
"orphans_fresh": 1,
"orphans_raced": 0,
"unknown_keys": 1,
"orphan_sample_keys": [
"attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00ad9195-f154-41ec-b8e1-b5bcd007bf70",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/00b04295-d403-4a7c-8f0a-b1acf9445b54",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/021b397d-b610-42ff-ba41-1df1eddc0c15",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/039cdcb0-a161-4f3b-bcd2-f023b925056c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/03a9a04a-2de8-4d5a-938d-491b81c17d8a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04765935-ee49-4470-ad20-760e0194e03e",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/04dbb0dc-00d6-494f-9cd0-7fc1e14347b7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/058b9e86-cd0d-4c0f-9de5-9f9e65ec5cbf",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0656e05f-6957-4581-bf0b-85076bd1f850",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/06cd38d1-233b-44d0-ab5f-9a0f05c7d3a0",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/070c49a4-be67-45cf-a727-9c535b589ecb",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/07f9b3a5-7f2b-4c09-8ea7-a6e3efbf8e2c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0817d1c4-1341-4255-8e2b-5676797b0be3",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0838a07c-dcae-4076-bcbf-eb53753177a2",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/087ca7b1-0f38-4517-9866-16d9a8ba95b8",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/08a49513-d0d4-43e9-b3e9-8203c291b023",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0963b36c-0375-41e6-b763-6e5c4a5dcd29",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/09fbeba6-4bfb-459a-ac1c-022543a48760",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0ad6ad0c-1e38-4430-a9a9-a3d9937753df",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0b82a572-89b0-4ad5-82bc-d321f09fc05f",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0bba8c5b-cfe9-405b-9c63-9ca75c8800d7",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e25074c-fc1d-4a77-a208-bb278f93ea62",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0e2b663e-f32d-4550-8a0d-ebefbb02a47c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/0f7d1a3e-23eb-4a9f-aeeb-53d0b2f21982",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/104c44f5-5fe3-41e0-b576-afd4d6c342c4",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1057fcab-bfda-47ed-8e0c-31ba7614758c",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10945365-d87f-4581-a69c-a520a959a1f5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/10ea6156-2bb0-4a75-862c-e8e2af426ea1",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/110e2087-08b8-493b-9c4d-b22220f05d3a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/114a75a8-1211-443c-8bd5-4558a4971104",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/11d0fc7b-e96f-42bf-a6a2-f85102ec038b",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/14b30e10-d80a-4118-b152-0e1a7dd9a06a",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/157ebb20-4c70-4938-aa3f-5e8f67464e02",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/182ace2b-7d4f-4b76-94c9-fac65a57a58d",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1998e8d6-4a41-451f-b34e-0aafbd7e17f9",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1b9e2efe-436a-457c-bb0a-b517b7007484",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1bdb7260-923e-49d4-8383-437dcfd6d689",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1c8a308a-37e3-4f78-9f49-2d59d40435e5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1d62b390-7c52-428c-8ff4-8d26c02619e0",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dd3d1c4-f2fc-408c-a769-ca7473c2ed0d",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1dfb697b-e9db-44b1-848d-4f0fdbefde1e",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1e1e0483-4532-4402-b523-b88a7fa99fcb",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1ef09544-7b5b-4732-8a10-564fc2f41a26",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/1fe30ad6-0fde-47de-9efa-3d38d9a599b5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/226aa095-45db-47b8-ab36-3cb884d4efa4",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/2409cc53-7aaf-4feb-bc76-70f5c4fe0ef5",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/26008aac-6963-4ffa-b066-2d2b47313752",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28500936-1e4a-47b4-a239-40c4d6c439b3",
"attachments/dd91de03-4651-4d65-a91b-08b3e9e2d8f0/28f82c57-fab8-40f3-8037-a3642a393188"
],
"missing_found": 3,
"missing_used": 1,
"missing_fresh": 1,
"missing_stale": 1,
"missing_pruned": 1,
"missing_raced": 0,
"missing_sample_keys": [
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f",
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
],
"errors": 0
}
+1
View File
@@ -0,0 +1 @@
2
+29
View File
@@ -0,0 +1,29 @@
{
"dry_run": false,
"grace_seconds": 45,
"prune_missing": true,
"s3_objects_scanned": 41,
"db_rows_scanned": 41,
"s3_list_calls": 1,
"db_pages": 2,
"s3_head_calls": 2,
"s3_delete_calls": 0,
"duration_ms": 17,
"matched": 39,
"orphans_found": 0,
"orphans_deleted": 0,
"orphans_fresh": 1,
"orphans_raced": 0,
"unknown_keys": 1,
"missing_found": 2,
"missing_used": 1,
"missing_fresh": 1,
"missing_stale": 0,
"missing_pruned": 0,
"missing_raced": 0,
"missing_sample_keys": [
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3",
"attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07"
],
"errors": 0
}
+4
View File
@@ -0,0 +1,4 @@
# Стоимость обхода (из JSON-отчётов)
1_dry_run s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=0 duration_ms=82
2_real s3_objects=342 db_rows=42 s3_list_calls=1 db_pages=2 head_calls=3 delete_calls=301 duration_ms=357
3_repeat s3_objects=41 db_rows=41 s3_list_calls=1 db_pages=2 head_calls=2 delete_calls=0 duration_ms=17
+4
View File
@@ -0,0 +1,4 @@
date_utc=2026-11-12T15:21:46Z
git_commit=7cbb75c
grace_seconds=45 bulk_orphans=300
api_replicas=2
+12
View File
@@ -0,0 +1,12 @@
object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
row[control]=1
row[used]=1
row[stale]=1
row[fresh]=1
bulk_objects=300
+12
View File
@@ -0,0 +1,12 @@
NO-object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
row[control]=1
row[used]=1
row[stale]=0
row[fresh]=1
bulk_objects=0
+12
View File
@@ -0,0 +1,12 @@
object attachments/c663250b-ffcf-4b99-bc00-685e249bec01/ded39c6a-59db-4b8c-ab68-22b1dd015ed7
object attachments/74a0c5c8-52c2-4593-8412-faecd3b8d224/df2d1ad8-b8a4-4396-bd4d-c1f1e2dc6ea4
object attachments/not-a-uuid/11beac19-a9cc-4b6f-aced-890d4b34f4df
object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/dcf68250-72e0-4027-a61d-17858bb60937
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/1ae801fe-496f-4d56-97e9-e5d35d93adb3
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/099a16b6-c97f-49af-9b50-dfb3ac7c915f
NO-object attachments/81c741de-ff8a-4ba5-ac62-a5ff24b813be/ae998afd-4424-4cd3-8153-f4e45deb3a07
row[control]=1
row[used]=1
row[stale]=1
row[fresh]=1
bulk_objects=300
+18
View File
@@ -0,0 +1,18 @@
bash scripts/upload_mem_experiment.sh
== генерация PNG-шума 1600x1600
размер файла: 7.33 MiB
== случай UPLOAD_MAX_CONCURRENCY=64: пересоздаём API (replicas=2)
--- UPLOAD_MAX_CONCURRENCY=64 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=10s)
статусы HTTP: 80 201
время ответа: min=0.58s p50=1.94s max=4.43s
пик памяти реплик, MiB (лимит контейнера 256M):
mtusi2026lab4-api-1: idle=25.2 peak=172.0
mtusi2026lab4-api-2: idle=25.6 peak=171.7
== случай UPLOAD_MAX_CONCURRENCY=4: пересоздаём API (replicas=2)
--- UPLOAD_MAX_CONCURRENCY=4 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=7s)
статусы HTTP: 80 201
время ответа: min=0.41s p50=1.40s max=3.45s
пик памяти реплик, MiB (лимит контейнера 256M):
mtusi2026lab4-api-1: idle=25.7 peak=78.4
mtusi2026lab4-api-2: idle=25.4 peak=83.7
готово: evidence/upload-memory/summary.txt
+201
View File
@@ -0,0 +1,201 @@
mtusi2026lab4-api-1 25.67MiB / 256MiB
mtusi2026lab4-api-2 25.38MiB / 256MiB
mtusi2026lab4-api-1 25.67MiB / 256MiB 
mtusi2026lab4-api-2 25.38MiB / 256MiB 

mtusi2026lab4-api-1 25.67MiB / 256MiB
mtusi2026lab4-api-2 25.38MiB / 256MiB
mtusi2026lab4-api-1 25.67MiB / 256MiB 
mtusi2026lab4-api-2 25.38MiB / 256MiB 

mtusi2026lab4-api-1 25.68MiB / 256MiB
mtusi2026lab4-api-2 25.39MiB / 256MiB
mtusi2026lab4-api-1 25.68MiB / 256MiB 
mtusi2026lab4-api-2 25.39MiB / 256MiB 

mtusi2026lab4-api-1 25.68MiB / 256MiB
mtusi2026lab4-api-2 25.39MiB / 256MiB
mtusi2026lab4-api-1 25.68MiB / 256MiB 
mtusi2026lab4-api-2 25.39MiB / 256MiB 

mtusi2026lab4-api-1 25.68MiB / 256MiB
mtusi2026lab4-api-2 25.52MiB / 256MiB
mtusi2026lab4-api-1 25.68MiB / 256MiB 
mtusi2026lab4-api-2 25.52MiB / 256MiB 

mtusi2026lab4-api-1 25.68MiB / 256MiB
mtusi2026lab4-api-2 25.52MiB / 256MiB
mtusi2026lab4-api-1 25.68MiB / 256MiB 
mtusi2026lab4-api-2 25.52MiB / 256MiB 

mtusi2026lab4-api-1 42.18MiB / 256MiB
mtusi2026lab4-api-2 45.74MiB / 256MiB
mtusi2026lab4-api-1 42.18MiB / 256MiB 
mtusi2026lab4-api-2 45.74MiB / 256MiB 

mtusi2026lab4-api-1 42.18MiB / 256MiB
mtusi2026lab4-api-2 45.74MiB / 256MiB
mtusi2026lab4-api-1 42.18MiB / 256MiB 
mtusi2026lab4-api-2 45.74MiB / 256MiB 

mtusi2026lab4-api-1 59.63MiB / 256MiB
mtusi2026lab4-api-2 58.85MiB / 256MiB
mtusi2026lab4-api-1 59.63MiB / 256MiB 
mtusi2026lab4-api-2 58.85MiB / 256MiB 

mtusi2026lab4-api-1 59.63MiB / 256MiB
mtusi2026lab4-api-2 58.85MiB / 256MiB
mtusi2026lab4-api-1 59.63MiB / 256MiB 
mtusi2026lab4-api-2 58.85MiB / 256MiB 

mtusi2026lab4-api-1 72.73MiB / 256MiB
mtusi2026lab4-api-2 75.04MiB / 256MiB
mtusi2026lab4-api-1 72.73MiB / 256MiB 
mtusi2026lab4-api-2 75.04MiB / 256MiB 

mtusi2026lab4-api-1 72.73MiB / 256MiB
mtusi2026lab4-api-2 75.04MiB / 256MiB
mtusi2026lab4-api-1 72.73MiB / 256MiB 
mtusi2026lab4-api-2 75.04MiB / 256MiB 

mtusi2026lab4-api-1 78.41MiB / 256MiB
mtusi2026lab4-api-2 83.72MiB / 256MiB
mtusi2026lab4-api-1 78.41MiB / 256MiB 
mtusi2026lab4-api-2 83.72MiB / 256MiB 

mtusi2026lab4-api-1 78.41MiB / 256MiB
mtusi2026lab4-api-2 83.72MiB / 256MiB
mtusi2026lab4-api-1 78.41MiB / 256MiB 
mtusi2026lab4-api-2 83.72MiB / 256MiB 

mtusi2026lab4-api-1 76.77MiB / 256MiB
mtusi2026lab4-api-2 78.75MiB / 256MiB
mtusi2026lab4-api-1 76.77MiB / 256MiB 
mtusi2026lab4-api-2 78.75MiB / 256MiB 

mtusi2026lab4-api-1 76.77MiB / 256MiB
mtusi2026lab4-api-2 78.75MiB / 256MiB
mtusi2026lab4-api-1 76.77MiB / 256MiB 
mtusi2026lab4-api-2 78.75MiB / 256MiB 

mtusi2026lab4-api-1 75.07MiB / 256MiB
mtusi2026lab4-api-2 74.89MiB / 256MiB
mtusi2026lab4-api-1 75.07MiB / 256MiB 
mtusi2026lab4-api-2 74.89MiB / 256MiB 

mtusi2026lab4-api-1 75.07MiB / 256MiB
mtusi2026lab4-api-2 74.89MiB / 256MiB
mtusi2026lab4-api-1 75.07MiB / 256MiB 
mtusi2026lab4-api-2 74.89MiB / 256MiB 

mtusi2026lab4-api-1 76.92MiB / 256MiB
mtusi2026lab4-api-2 74.88MiB / 256MiB
mtusi2026lab4-api-1 76.92MiB / 256MiB 
mtusi2026lab4-api-2 74.88MiB / 256MiB 

mtusi2026lab4-api-1 76.92MiB / 256MiB
mtusi2026lab4-api-2 74.88MiB / 256MiB
mtusi2026lab4-api-1 76.92MiB / 256MiB 
mtusi2026lab4-api-2 74.88MiB / 256MiB 

mtusi2026lab4-api-1 76.89MiB / 256MiB
mtusi2026lab4-api-2 74.65MiB / 256MiB
mtusi2026lab4-api-1 76.89MiB / 256MiB 
mtusi2026lab4-api-2 74.65MiB / 256MiB 

mtusi2026lab4-api-1 76.89MiB / 256MiB
mtusi2026lab4-api-2 74.65MiB / 256MiB
mtusi2026lab4-api-1 76.89MiB / 256MiB 
mtusi2026lab4-api-2 74.65MiB / 256MiB 

mtusi2026lab4-api-1 76.9MiB / 256MiB
mtusi2026lab4-api-2 74.65MiB / 256MiB
mtusi2026lab4-api-1 76.9MiB / 256MiB 
mtusi2026lab4-api-2 74.65MiB / 256MiB 

mtusi2026lab4-api-1 76.9MiB / 256MiB
mtusi2026lab4-api-2 74.65MiB / 256MiB
mtusi2026lab4-api-1 76.9MiB / 256MiB 
mtusi2026lab4-api-2 74.65MiB / 256MiB 

mtusi2026lab4-api-1 76.9MiB / 256MiB
mtusi2026lab4-api-2 74.65MiB / 256MiB
mtusi2026lab4-api-1 76.9MiB / 256MiB 
mtusi2026lab4-api-2 74.65MiB / 256MiB 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 


+416
View File
@@ -0,0 +1,416 @@
mtusi2026lab4-api-1 25.21MiB / 256MiB
mtusi2026lab4-api-2 25.61MiB / 256MiB
mtusi2026lab4-api-1 25.21MiB / 256MiB 
mtusi2026lab4-api-2 25.61MiB / 256MiB 

mtusi2026lab4-api-1 25.21MiB / 256MiB
mtusi2026lab4-api-2 25.61MiB / 256MiB
mtusi2026lab4-api-1 25.21MiB / 256MiB 
mtusi2026lab4-api-2 25.61MiB / 256MiB 

mtusi2026lab4-api-1 24.97MiB / 256MiB
mtusi2026lab4-api-2 25.62MiB / 256MiB
mtusi2026lab4-api-1 24.97MiB / 256MiB 
mtusi2026lab4-api-2 25.62MiB / 256MiB 

mtusi2026lab4-api-1 24.97MiB / 256MiB
mtusi2026lab4-api-2 25.62MiB / 256MiB
mtusi2026lab4-api-1 24.97MiB / 256MiB 
mtusi2026lab4-api-2 25.62MiB / 256MiB 

mtusi2026lab4-api-1 79.45MiB / 256MiB
mtusi2026lab4-api-2 75.33MiB / 256MiB
mtusi2026lab4-api-1 79.45MiB / 256MiB 
mtusi2026lab4-api-2 75.33MiB / 256MiB 

mtusi2026lab4-api-1 79.45MiB / 256MiB
mtusi2026lab4-api-2 75.33MiB / 256MiB
mtusi2026lab4-api-1 79.45MiB / 256MiB 
mtusi2026lab4-api-2 75.33MiB / 256MiB 

mtusi2026lab4-api-1 88.68MiB / 256MiB
mtusi2026lab4-api-2 88.5MiB / 256MiB
mtusi2026lab4-api-1 88.68MiB / 256MiB 
mtusi2026lab4-api-2 88.5MiB / 256MiB 

mtusi2026lab4-api-1 88.68MiB / 256MiB
mtusi2026lab4-api-2 88.5MiB / 256MiB
mtusi2026lab4-api-1 88.68MiB / 256MiB 
mtusi2026lab4-api-2 88.5MiB / 256MiB 

mtusi2026lab4-api-1 117.4MiB / 256MiB
mtusi2026lab4-api-2 119.8MiB / 256MiB
mtusi2026lab4-api-1 117.4MiB / 256MiB 
mtusi2026lab4-api-2 119.8MiB / 256MiB 

mtusi2026lab4-api-1 117.4MiB / 256MiB
mtusi2026lab4-api-2 119.8MiB / 256MiB
mtusi2026lab4-api-1 117.4MiB / 256MiB 
mtusi2026lab4-api-2 119.8MiB / 256MiB 

mtusi2026lab4-api-1 118MiB / 256MiB
mtusi2026lab4-api-2 128MiB / 256MiB
mtusi2026lab4-api-1 118MiB / 256MiB 
mtusi2026lab4-api-2 128MiB / 256MiB 

mtusi2026lab4-api-1 118MiB / 256MiB
mtusi2026lab4-api-2 128MiB / 256MiB
mtusi2026lab4-api-1 118MiB / 256MiB 
mtusi2026lab4-api-2 128MiB / 256MiB 

mtusi2026lab4-api-1 134.3MiB / 256MiB
mtusi2026lab4-api-2 119.5MiB / 256MiB
mtusi2026lab4-api-1 134.3MiB / 256MiB 
mtusi2026lab4-api-2 119.5MiB / 256MiB 

mtusi2026lab4-api-1 134.3MiB / 256MiB
mtusi2026lab4-api-2 119.5MiB / 256MiB
mtusi2026lab4-api-1 134.3MiB / 256MiB 
mtusi2026lab4-api-2 119.5MiB / 256MiB 

mtusi2026lab4-api-1 159.7MiB / 256MiB
mtusi2026lab4-api-2 160.9MiB / 256MiB
mtusi2026lab4-api-1 159.7MiB / 256MiB 
mtusi2026lab4-api-2 160.9MiB / 256MiB 

mtusi2026lab4-api-1 159.7MiB / 256MiB
mtusi2026lab4-api-2 160.9MiB / 256MiB
mtusi2026lab4-api-1 159.7MiB / 256MiB 
mtusi2026lab4-api-2 160.9MiB / 256MiB 

mtusi2026lab4-api-1 166.9MiB / 256MiB
mtusi2026lab4-api-2 168.1MiB / 256MiB
mtusi2026lab4-api-1 166.9MiB / 256MiB 
mtusi2026lab4-api-2 168.1MiB / 256MiB 

mtusi2026lab4-api-1 166.9MiB / 256MiB
mtusi2026lab4-api-2 168.1MiB / 256MiB
mtusi2026lab4-api-1 166.9MiB / 256MiB 
mtusi2026lab4-api-2 168.1MiB / 256MiB 

mtusi2026lab4-api-1 172MiB / 256MiB
mtusi2026lab4-api-2 167.8MiB / 256MiB
mtusi2026lab4-api-1 172MiB / 256MiB 
mtusi2026lab4-api-2 167.8MiB / 256MiB 

mtusi2026lab4-api-1 172MiB / 256MiB
mtusi2026lab4-api-2 167.8MiB / 256MiB
mtusi2026lab4-api-1 172MiB / 256MiB 
mtusi2026lab4-api-2 167.8MiB / 256MiB 

mtusi2026lab4-api-1 165.1MiB / 256MiB
mtusi2026lab4-api-2 171.7MiB / 256MiB
mtusi2026lab4-api-1 165.1MiB / 256MiB 
mtusi2026lab4-api-2 171.7MiB / 256MiB 

mtusi2026lab4-api-1 165.1MiB / 256MiB
mtusi2026lab4-api-2 171.7MiB / 256MiB
mtusi2026lab4-api-1 165.1MiB / 256MiB 
mtusi2026lab4-api-2 171.7MiB / 256MiB 

mtusi2026lab4-api-1 158.7MiB / 256MiB
mtusi2026lab4-api-2 169.3MiB / 256MiB
mtusi2026lab4-api-1 158.7MiB / 256MiB 
mtusi2026lab4-api-2 169.3MiB / 256MiB 

mtusi2026lab4-api-1 158.7MiB / 256MiB
mtusi2026lab4-api-2 169.3MiB / 256MiB
mtusi2026lab4-api-1 158.7MiB / 256MiB 
mtusi2026lab4-api-2 169.3MiB / 256MiB 

mtusi2026lab4-api-1 158.7MiB / 256MiB
mtusi2026lab4-api-2 169.2MiB / 256MiB
mtusi2026lab4-api-1 158.7MiB / 256MiB 
mtusi2026lab4-api-2 169.2MiB / 256MiB 

mtusi2026lab4-api-1 158.7MiB / 256MiB
mtusi2026lab4-api-2 169.2MiB / 256MiB
mtusi2026lab4-api-1 158.7MiB / 256MiB 
mtusi2026lab4-api-2 169.2MiB / 256MiB 

mtusi2026lab4-api-1 158.7MiB / 256MiB
mtusi2026lab4-api-2 171.1MiB / 256MiB
mtusi2026lab4-api-1 158.7MiB / 256MiB 
mtusi2026lab4-api-2 171.1MiB / 256MiB 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 

mtusi2026lab4-api-1 -- / --
mtusi2026lab4-api-2 -- / --
mtusi2026lab4-api-1 -- / -- 
mtusi2026lab4-api-2 -- / -- 


+14
View File
@@ -0,0 +1,14 @@
# Эксперимент пика памяти при одновременных загрузках
# дата: 2026-11-12T15:22:53Z, реплик API: 2, commit: 7cbb75c
--- UPLOAD_MAX_CONCURRENCY=64 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=10s)
статусы HTTP: 80 201
время ответа: min=0.58s p50=1.94s max=4.43s
пик памяти реплик, MiB (лимит контейнера 256M):
mtusi2026lab4-api-1: idle=25.2 peak=172.0
mtusi2026lab4-api-2: idle=25.6 peak=171.7
--- UPLOAD_MAX_CONCURRENCY=4 (параллельных клиентов=20, повторов=4, файл=7684003 байт, длительность=7s)
статусы HTTP: 80 201
время ответа: min=0.41s p50=1.40s max=3.45s
пик памяти реплик, MiB (лимит контейнера 256M):
mtusi2026lab4-api-1: idle=25.7 peak=78.4
mtusi2026lab4-api-2: idle=25.4 peak=83.7
+33
View File
@@ -0,0 +1,33 @@
module mtusi2026lab4
go 1.23.0
require (
github.com/aws/aws-sdk-go-v2 v1.36.3
github.com/aws/aws-sdk-go-v2/credentials v1.17.62
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2
github.com/aws/smithy-go v1.22.2
github.com/google/uuid v1.6.0
github.com/jackc/pgx/v5 v5.7.4
github.com/redis/go-redis/v9 v9.7.3
golang.org/x/crypto v0.36.0
)
require (
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10 // indirect
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34 // indirect
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34 // indirect
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34 // indirect
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3 // indirect
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0 // indirect
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15 // indirect
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15 // indirect
github.com/cespare/xxhash/v2 v2.2.0 // indirect
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
github.com/jackc/pgpassfile v1.0.0 // indirect
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
github.com/jackc/puddle/v2 v2.2.2 // indirect
golang.org/x/sync v0.12.0 // indirect
golang.org/x/sys v0.31.0 // indirect
golang.org/x/text v0.23.0 // indirect
)
+66
View File
@@ -0,0 +1,66 @@
github.com/aws/aws-sdk-go-v2 v1.36.3 h1:mJoei2CxPutQVxaATCzDUjcZEjVRdpsiiXi2o38yqWM=
github.com/aws/aws-sdk-go-v2 v1.36.3/go.mod h1:LLXuLpgzEbD766Z5ECcRmi8AzSwfZItDtmABVkRLGzg=
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10 h1:zAybnyUQXIZ5mok5Jqwlf58/TFE7uvd3IAsa1aF9cXs=
github.com/aws/aws-sdk-go-v2/aws/protocol/eventstream v1.6.10/go.mod h1:qqvMj6gHLR/EXWZw4ZbqlPbQUyenf4h82UQUlKc+l14=
github.com/aws/aws-sdk-go-v2/credentials v1.17.62 h1:fvtQY3zFzYJ9CfixuAQ96IxDrBajbBWGqjNTCa79ocU=
github.com/aws/aws-sdk-go-v2/credentials v1.17.62/go.mod h1:ElETBxIQqcxej++Cs8GyPBbgMys5DgQPTwo7cUPDKt8=
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34 h1:ZK5jHhnrioRkUNOc+hOgQKlUL5JeC3S6JgLxtQ+Rm0Q=
github.com/aws/aws-sdk-go-v2/internal/configsources v1.3.34/go.mod h1:p4VfIceZokChbA9FzMbRGz5OV+lekcVtHlPKEO0gSZY=
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34 h1:SZwFm17ZUNNg5Np0ioo/gq8Mn6u9w19Mri8DnJ15Jf0=
github.com/aws/aws-sdk-go-v2/internal/endpoints/v2 v2.6.34/go.mod h1:dFZsC0BLo346mvKQLWmoJxT+Sjp+qcVR1tRVHQGOH9Q=
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34 h1:ZNTqv4nIdE/DiBfUUfXcLZ/Spcuz+RjeziUtNJackkM=
github.com/aws/aws-sdk-go-v2/internal/v4a v1.3.34/go.mod h1:zf7Vcd1ViW7cPqYWEHLHJkS50X0JS2IKz9Cgaj6ugrs=
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3 h1:eAh2A4b5IzM/lum78bZ590jy36+d/aFLgKF/4Vd1xPE=
github.com/aws/aws-sdk-go-v2/service/internal/accept-encoding v1.12.3/go.mod h1:0yKJC/kb8sAnmlYa6Zs3QVYqaC8ug2AbnNChv5Ox3uA=
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0 h1:lguz0bmOoGzozP9XfRJR1QIayEYo+2vP/No3OfLF0pU=
github.com/aws/aws-sdk-go-v2/service/internal/checksum v1.7.0/go.mod h1:iu6FSzgt+M2/x3Dk8zhycdIcHjEFb36IS8HVUVFoMg0=
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15 h1:dM9/92u2F1JbDaGooxTq18wmmFzbJRfXfVfy96/1CXM=
github.com/aws/aws-sdk-go-v2/service/internal/presigned-url v1.12.15/go.mod h1:SwFBy2vjtA0vZbjjaFtfN045boopadnoVPhu4Fv66vY=
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15 h1:moLQUoVq91LiqT1nbvzDukyqAlCv89ZmwaHw/ZFlFZg=
github.com/aws/aws-sdk-go-v2/service/internal/s3shared v1.18.15/go.mod h1:ZH34PJUc8ApjBIfgQCFvkWcUDBtl/WTD+uiYHjd8igA=
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2 h1:jIiopHEV22b4yQP2q36Y0OmwLbsxNWdWwfZRR5QRRO4=
github.com/aws/aws-sdk-go-v2/service/s3 v1.78.2/go.mod h1:U5SNqwhXB3Xe6F47kXvWihPl/ilGaEDe8HD/50Z9wxc=
github.com/aws/smithy-go v1.22.2 h1:6D9hW43xKFrRx/tXXfAlIZc4JI+yQe6snnWcQyxSyLQ=
github.com/aws/smithy-go v1.22.2/go.mod h1:irrKGvNn1InZwb2d7fkIRNucdfwR8R+Ts3wxYa/cJHg=
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
github.com/cespare/xxhash/v2 v2.2.0 h1:DC2CZ1Ep5Y4k3ZQ899DldepgrayRUGE6BBZ/cd9Cj44=
github.com/cespare/xxhash/v2 v2.2.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/davecgh/go-spew v1.1.1 h1:vj9j/u1bqnvCEfJOwUhtlOARqs3+rkHYY13jYWTU97c=
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0=
github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
github.com/jackc/pgx/v5 v5.7.4 h1:9wKznZrhWa2QiHL+NjTSPP6yjl3451BX3imWDnokYlg=
github.com/jackc/pgx/v5 v5.7.4/go.mod h1:ncY89UGWxg82EykZUwSpUKEfccBGGYq1xjrOpsbsfGQ=
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/redis/go-redis/v9 v9.7.3 h1:YpPyAayJV+XErNsatSElgRZZVCwXX9QzkKYNvO7x0wM=
github.com/redis/go-redis/v9 v9.7.3/go.mod h1:bGUrSggJ9X9GUmZpZNEOQKaANxSGgOEBRltRTZHSvrA=
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.8.1 h1:w7B6lhMri9wdJUVmEZPGGhZzrYTPvgJArz7wNPgYKsk=
github.com/stretchr/testify v1.8.1/go.mod h1:w2LPCIKwWwSfY2zedu0+kehJoqGctiVI29o6fzry7u4=
golang.org/x/crypto v0.36.0 h1:AnAEvhDddvBdpY+uR+MyHmuZzzNqXSe/GvuDeob5L34=
golang.org/x/crypto v0.36.0/go.mod h1:Y4J0ReaxCR1IMaabaSMugxJES1EpwhBHhv2bDHklZvc=
golang.org/x/sync v0.12.0 h1:MHc5BpPuC30uJk597Ri8TV3CNZcTLu6B6z4lJy+g6Jw=
golang.org/x/sync v0.12.0/go.mod h1:1dzgHSNfp02xaA81J2MS99Qcpr2w7fw1gpm99rleRqA=
golang.org/x/sys v0.31.0 h1:ioabZlmFYtWhL+TRYpcnNlLwhyxaM9kWTDEmfnprqik=
golang.org/x/sys v0.31.0/go.mod h1:BJP2sWEmIv4KK5OTEluFJCKSidICx8ciO85XgH3Ak8k=
golang.org/x/text v0.23.0 h1:D71I7dUrlY+VX0gQShAThNGHFxZ13dGLBHQLVl1mJlY=
golang.org/x/text v0.23.0/go.mod h1:/BLNzu4aZCJ1+kcD0DNRotWKage4q2rGVAg4o22unh4=
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
+7 -6
View File
@@ -1,7 +1,8 @@
# Инфраструктура студента
# Инфраструктура lab4
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
- `haproxy/haproxy.cfg` — LB перед API-репликами (lab3).
- MinIO: образ `ghcr.io/coollabsio/minio:RELEASE.2025-10-15T17-29-55Z` (официальные
`minio/minio` с Docker Hub сняты в 2026; community-сборка того же RELEASE).
- Bootstrap bucket/app-user: бинарь `/s3bootstrap` в образе API (minio-go + madmin),
без зависимости от снятого `minio/mc`. Политика — только List/Get/Put/Delete на
`messenger-attachments`. Консоль MinIO (`:9001`) **не публикуется**.
+52
View File
@@ -0,0 +1,52 @@
# HAProxy — единственная публичная точка входа lab3.
#
# Backend-адреса берутся из Docker DNS имени сервиса `api` (A-записи всех реплик).
# server-template + resolvers перечитывает DNS; option httpchk снимает реплику,
# у которой /health/ready != 200 (в т.ч. после BeginDrain на SIGTERM).
#
# Оценка обнаружения отказа:
# inter 1s * fall 2 = ~2s по healthcheck + hold valid 2s у DNS ≈ до ~4s.
# Краткие 502/503 в это окно допустимы контрактом failover-теста.
global
log stdout format raw local0
maxconn 512
defaults
log global
mode http
option httplog
option dontlognull
timeout connect 2s
timeout client 15s
timeout server 15s
timeout check 1s
timeout http-keep-alive 10s
retries 2
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s
hold other 2s
hold refused 2s
hold nx 2s
hold timeout 2s
hold obsolete 2s
frontend fe_http
bind *:8080
default_backend be_api
backend be_api
balance roundrobin
option httpchk
option redispatch
retry-on conn-failure empty-response response-timeout
http-check send meth GET uri /health/ready
http-check expect status 200
# До 8 слотов под --scale api=N. init-addr last,libc,none ждёт DNS при старте.
# fall 3: чуть терпимее к краткому DNS-мерцанию при docker stop одной реплики.
server-template api 8 api:8080 check inter 1s fall 3 rise 1 resolvers docker resolve-prefer ipv4 init-addr last,libc,none
+17
View File
@@ -0,0 +1,17 @@
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "ListBucket",
"Effect": "Allow",
"Action": ["s3:ListBucket"],
"Resource": ["arn:aws:s3:::messenger-attachments"]
},
{
"Sid": "ObjectRW",
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:PutObject", "s3:DeleteObject"],
"Resource": ["arn:aws:s3:::messenger-attachments/*"]
}
]
}
+32
View File
@@ -0,0 +1,32 @@
#!/bin/sh
# Идемпотентный bootstrap приватного bucket и app-пользователя с ограниченной политикой.
# Root-ключи только здесь; API работает от S3_ACCESS_KEY_ID / S3_SECRET_ACCESS_KEY.
set -eu
echo "waiting for minio..."
i=0
until mc alias set local "http://${MINIO_ENDPOINT}" "${MINIO_ROOT_USER}" "${MINIO_ROOT_PASSWORD}" >/dev/null 2>&1; do
i=$((i + 1))
if [ "$i" -gt 60 ]; then
echo "minio not ready" >&2
exit 1
fi
sleep 1
done
mc mb -p "local/${S3_BUCKET}" || true
mc anonymous set none "local/${S3_BUCKET}"
# Пользователь приложения: повторный add не обязан быть успешен.
if ! mc admin user info local "${S3_ACCESS_KEY_ID}" >/dev/null 2>&1; then
mc admin user add local "${S3_ACCESS_KEY_ID}" "${S3_SECRET_ACCESS_KEY}"
fi
# Политика: create падает, если уже есть — это ок.
mc admin policy create local app-attachments /policy.json 2>/dev/null || \
mc admin policy add local app-attachments /policy.json 2>/dev/null || true
mc admin policy attach local app-attachments --user "${S3_ACCESS_KEY_ID}" 2>/dev/null || \
mc admin policy set local app-attachments user="${S3_ACCESS_KEY_ID}" 2>/dev/null || true
echo "bucket=${S3_BUCKET} private=yes app_user=${S3_ACCESS_KEY_ID}"
mc anonymous get "local/${S3_BUCKET}" || true
echo "bootstrap done"
+391
View File
@@ -0,0 +1,391 @@
package api
// HTTP-слой вложений lab4.
//
// Модель согласованности двух хранилищ (S3 + PostgreSQL), т.к. общей транзакции у них нет:
//
// 1. проверяем всё, что можно, ДО записи (доступ, имя, тип, размер, содержимое);
// 2. PUT оригинала в S3 по ключу attachments/{chat}/{id};
// 3. INSERT метаданных в PostgreSQL;
// 4. только после этого — 201 ready.
//
// Что если процесс/сеть упали между 2 и 3, или INSERT вернул ошибку?
// - Остаётся лишний ОБЪЕКТ без строки (orphan). Строки без файла не бывает —
// ради этого PUT делается ПЕРВЫМ. Пользователь не увидит «битое» вложение,
// а лишний объект безвреден: на него никто не ссылается.
// - При ошибке INSERT мы сразу пытаемся удалить объект (компенсация, compensateOrphan).
// - Если и удаление не удалось (процесс убит, S3 моргнул) — объект подберёт reconciler
// (`/server -reconcile`): он удаляет объекты без строки старше S3_ORPHAN_GRACE_SECONDS.
// Grace нужен, чтобы не снести объект, у которого INSERT ещё «в полёте».
// - Обрыв соединения клиентом во время передачи тела: до PUT мы ничего не пишем,
// а PUT/INSERT привязаны к контексту запроса и отменяются.
import (
"bytes"
"context"
"crypto/sha256"
"encoding/hex"
"errors"
"io"
"log"
"mime"
"net/http"
"strconv"
"strings"
"time"
"unicode"
"unicode/utf8"
"github.com/google/uuid"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/store"
)
const (
// drainLimit — сколько байт «лишнего» тела дочитываем при раннем отказе (413/415/400).
// Если сервер ответил и закрыл соединение, пока клиент ещё пишет, клиент получит
// RST вместо читаемого 413. Дочитывание ограничено, чтобы это не стало каналом
// для бесплатной траты трафика.
drainLimit = 16 << 20
// slotWait — сколько загрузка ждёт свободный слот буферизации, прежде чем получить 429.
// Меньше таймаутов HAProxy (15 с), чтобы клиент получил осмысленный ответ.
slotWait = 8 * time.Second
)
// WithUploadConcurrency задаёт, сколько загрузок реплика обрабатывает одновременно.
//
// Зачем: тело загрузки целиком буферизуется в RAM (оно нужно для проверки содержимого и
// SHA-256 ДО записи в S3, иначе мусор попадал бы в bucket). Без ограничения N клиентов
// заняли бы N*10 MiB. Со слотами пик ≈ n*10 MiB (+ декод маленьких картинок),
// остальные загрузки ждут в очереди, не читая тело.
func (s *Server) WithUploadConcurrency(n int) *Server {
if n < 1 {
n = 1
}
s.uploadSlots = make(chan struct{}, n)
return s
}
// handleUploadAttachment — POST /api/v1/chats/{chat_id}/attachments?filename=...
func (s *Server) handleUploadAttachment(w http.ResponseWriter, r *http.Request) {
chatID, err := uuid.Parse(r.PathValue("chat_id"))
if err != nil {
s.rejectUpload(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
return
}
uid := userFrom(r)
// 1. Сначала доступ к ресурсу (контракт: аутентификация → доступ → остальное).
// Посторонний получает 404 до того, как мы потратим на него RAM и трафик.
if err := s.Store.IsChatMember(r.Context(), chatID, uid); err != nil {
if errors.Is(err, store.ErrNotFound) {
s.rejectUpload(w, r, http.StatusNotFound, "not_found", "object not found")
return
}
s.writeStoreErr(w, r, err, 0, "", "")
return
}
// 2. filename — только для отображения. Опасные символы отклоняем сразу (400):
// даже зная, что в путь/ключ он не попадает, не храним то, что опасно показывать.
filename, ok := validFilename(r.URL.Query().Get("filename"))
if !ok {
s.rejectUpload(w, r, http.StatusBadRequest, "invalid_request", "invalid filename")
return
}
// 3. Заголовок Content-Type должен быть image/png или image/jpeg. Это лишь заявка
// клиента: настоящий тип определяется по содержимому (шаг 6) и должен с ней совпасть.
declared, _, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
if err != nil || (declared != "image/png" && declared != "image/jpeg") {
s.rejectUpload(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "content type must be image/png or image/jpeg")
return
}
// 4. Лимит размера до чтения тела: честный Content-Length > 10 MiB отвергаем сразу.
if r.ContentLength > maxUploadBytes {
s.rejectUpload(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "file is too large")
return
}
// 5. Слот буферизации. Ждём не дольше slotWait, иначе 429 (контракт его допускает).
release, ok := s.acquireUploadSlot(r.Context())
if !ok {
if r.Context().Err() != nil {
return // клиент ушёл
}
w.Header().Set("Retry-After", "1")
s.rejectUpload(w, r, http.StatusTooManyRequests, "rate_limited", "too many concurrent uploads")
return
}
defer release()
// 6. Ограниченное чтение тела. MaxBytesReader гарантирует, что и при chunked-запросе
// без Content-Length (где честную длину проверить нельзя) мы не прочитаем больше 10 MiB.
origBody := r.Body
data, err := readLimitedBody(w, r, maxUploadBytes)
if err != nil {
var tooBig *http.MaxBytesError
if errors.As(err, &tooBig) {
// Дочитываем (ограниченно) ИСХОДНОЕ тело: обёртка MaxBytesReader после
// превышения лимита читать уже не даёт.
r.Body = origBody
s.rejectUpload(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "file is too large")
return
}
// Обрыв загрузки клиентом/таймаут чтения: ничего ещё не записано ни в S3, ни в БД.
writeError(w, r, http.StatusBadRequest, "invalid_request", "upload interrupted")
return
}
// 7. Проверка СОДЕРЖИМОГО: формат, пиксели, целостность. Пользовательская ошибка
// здесь — всегда 4xx, никогда 500.
info, err := inspectImage(data)
switch {
case errors.Is(err, errTooManyPixels):
writeError(w, r, http.StatusRequestEntityTooLarge, "payload_too_large", "image has too many pixels")
return
case err != nil:
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "file is not a valid png/jpeg image")
return
case info.ContentType != declared:
// «Подмена MIME»: заголовок говорит jpeg, а внутри png (или наоборот).
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "content does not match declared content type")
return
}
// 8. SHA-256 и ключ. Ключ полностью серверный: filename в нём не участвует.
sum := sha256.Sum256(data)
attID := uuid.New()
key := store.AttachmentObjectKey(chatID, attID)
// 9. Оригинал в S3. Ошибка хранилища — 503 без подробностей.
if err := s.Objects.Put(r.Context(), key, bytes.NewReader(data), int64(len(data)), info.ContentType); err != nil {
log.Printf("request_id=%s attachment_put_failed err=%v", requestID(r), err)
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
// Точка отказа «между S3 и PG» — для тестов компенсации. В проде hook == nil.
if s.AfterObjectPut != nil {
s.AfterObjectPut(key)
}
// 10. Метаданные в PostgreSQL. Дальше data больше не нужна — освобождаем RAM как можно раньше.
att := &store.Attachment{
ID: attID,
ChatID: chatID,
OwnerID: uid,
Filename: filename,
ContentType: info.ContentType,
SizeBytes: int64(len(data)),
SHA256: hex.EncodeToString(sum[:]),
ObjectKey: key,
Status: store.StatusReady,
Width: info.Width,
Height: info.Height,
}
data = nil
if err := s.Store.CreateAttachment(r.Context(), att); err != nil {
// Компенсация: строки нет → объект бесполезен. Удаляем сразу и независимо от
// контекста запроса (он мог быть отменён — как раз из-за этого INSERT и упал).
s.compensateOrphan(r, key)
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return
}
s.writeStoreErr(w, r, err, 0, "", "")
return
}
// 11. Теперь честно: и байты, и метаданные сохранены.
writeJSON(w, http.StatusCreated, attachmentDTO(att))
}
// compensateOrphan убирает объект, для которого не удалось записать метаданные.
// Контекст новый и короткий. Если удаление не прошло — это не ошибка запроса:
// объект станет orphan и будет удалён reconciler'ом после grace-периода.
func (s *Server) compensateOrphan(r *http.Request, key string) {
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
defer cancel()
if err := s.Objects.Delete(ctx, key); err != nil {
log.Printf("request_id=%s attachment_compensation_failed key=%s (reconciler удалит orphan после grace) err=%v",
requestID(r), key, err)
return
}
log.Printf("request_id=%s attachment_compensated key=%s (PG insert не удался, объект удалён)", requestID(r), key)
}
// handleGetAttachment — GET /api/v1/attachments/{id}: метаданные участнику чата.
func (s *Server) handleGetAttachment(w http.ResponseWriter, r *http.Request) {
att, ok := s.loadAttachmentForRequest(w, r)
if !ok {
return
}
writeJSON(w, http.StatusOK, attachmentDTO(att))
}
// handleDownloadAttachment — GET /api/v1/attachments/{id}/content: байты через API, без redirect.
// Прямой доступ к bucket не нужен ни клиенту, ни другой реплике: любая реплика читает
// из общего S3, поэтому остановка загрузившей реплики ничего не ломает.
func (s *Server) handleDownloadAttachment(w http.ResponseWriter, r *http.Request) {
att, ok := s.loadAttachmentForRequest(w, r)
if !ok {
return
}
// variant: в lab4 есть только original. Известные имена вариантов lab5+ у ready-объекта
// отсутствуют → 404, неизвестное имя → 400.
switch v := r.URL.Query().Get("variant"); v {
case "", "original":
case "thumbnail", "crop", "optimized":
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return
default:
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid variant")
return
}
if att.Status != store.StatusReady {
writeError(w, r, http.StatusConflict, "conflict", "attachment is not ready")
return
}
body, _, err := s.Objects.Get(r.Context(), att.ObjectKey)
if err != nil {
if errors.Is(err, objectstore.ErrNotFound) {
// Строка есть, объекта нет — расхождение БД/S3 (его ловит reconciler).
// Это не ошибка пользователя; наружу — общий 500 без деталей.
log.Printf("request_id=%s attachment_object_missing attachment_id=%s", requestID(r), att.ID)
writeError(w, r, http.StatusInternalServerError, "internal_error", "internal error")
return
}
log.Printf("request_id=%s attachment_get_failed err=%v", requestID(r), err)
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
defer body.Close()
h := w.Header()
// Тип берём из БД (определён по содержимому при загрузке), а не из S3 и не из имени.
h.Set("Content-Type", att.ContentType)
h.Set("Content-Length", strconv.FormatInt(att.SizeBytes, 10))
// nosniff: браузер не должен «угадывать» иной тип у отданных байт.
h.Set("X-Content-Type-Options", "nosniff")
h.Set("Cache-Control", "private, no-store")
h.Set("ETag", `"`+att.SHA256+`"`)
// filename показываем только в заголовке, закодированным по RFC 5987 (FormatMediaType).
if cd := mime.FormatMediaType("inline", map[string]string{"filename": att.Filename}); cd != "" {
h.Set("Content-Disposition", cd)
}
w.WriteHeader(http.StatusOK)
// Потоково: в памяти реплики лежит только буфер копирования, не весь файл.
if _, err := io.Copy(w, body); err != nil {
// Заголовки уже отправлены, статус не изменить; клиент увидит обрыв.
log.Printf("request_id=%s attachment_stream_interrupted", requestID(r))
}
}
// loadAttachmentForRequest разбирает {attachment_id} и проверяет доступ участника.
// Невалидный UUID — 400; чужое/несуществующее — 404.
func (s *Server) loadAttachmentForRequest(w http.ResponseWriter, r *http.Request) (*store.Attachment, bool) {
id, err := uuid.Parse(r.PathValue("attachment_id"))
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid attachment id")
return nil, false
}
att, err := s.Store.GetAttachmentForUser(r.Context(), id, userFrom(r))
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return nil, false
}
if err != nil {
s.writeStoreErr(w, r, err, 0, "", "")
return nil, false
}
return att, true
}
// attachmentDTO — публичное представление. object_key и bucket НЕ раскрываются.
func attachmentDTO(a *store.Attachment) map[string]any {
return map[string]any{
"id": a.ID.String(),
"chat_id": a.ChatID.String(),
"owner_id": a.OwnerID.String(),
"filename": a.Filename,
"content_type": a.ContentType,
"size_bytes": a.SizeBytes,
"sha256": a.SHA256,
"status": a.Status,
// lab4: производных вариантов нет (они появятся с воркером в lab5+).
"variants": []any{},
"error_code": a.ErrorCode,
"created_at": formatTime(a.CreatedAt),
"updated_at": formatTime(a.UpdatedAt),
}
}
// acquireUploadSlot занимает место в очереди буферизации. Возвращает функцию освобождения.
func (s *Server) acquireUploadSlot(ctx context.Context) (func(), bool) {
timer := time.NewTimer(slotWait)
defer timer.Stop()
select {
case s.uploadSlots <- struct{}{}:
return func() { <-s.uploadSlots }, true
case <-ctx.Done():
return nil, false
case <-timer.C:
return nil, false
}
}
// rejectUpload отвечает ошибкой на запрос с ещё не прочитанным телом.
// Перед ответом ограниченно дочитываем тело (см. drainLimit): иначе клиент, который
// ещё пишет большой файл, получит сброс соединения вместо понятного статуса.
func (s *Server) rejectUpload(w http.ResponseWriter, r *http.Request, status int, code, msg string) {
_, _ = io.Copy(io.Discard, io.LimitReader(r.Body, drainLimit))
writeError(w, r, status, code, msg)
}
// readLimitedBody читает тело не больше limit байт.
//
// Если клиент заявил Content-Length, буфер выделяется ОДИН раз нужного размера
// (+MinRead, чтобы bytes.Buffer не удваивал ёмкость перед самым EOF и не копировал
// 10 MiB в 20 MiB). Для chunked-тела размер неизвестен — буфер растёт, но лимит
// MaxBytesReader всё равно ограничивает его сверху.
func readLimitedBody(w http.ResponseWriter, r *http.Request, limit int64) ([]byte, error) {
r.Body = http.MaxBytesReader(w, r.Body, limit)
var buf bytes.Buffer
if cl := r.ContentLength; cl > 0 && cl <= limit {
buf.Grow(int(cl) + bytes.MinRead)
}
if _, err := buf.ReadFrom(r.Body); err != nil {
return nil, err
}
return buf.Bytes(), nil
}
// validFilename проверяет отображаемое имя: 1–255 code points, валидный UTF-8,
// не пустое/не пробельное, без '/', '\', NUL и управляющих символов.
// Дополнительно отвергаем разделители строк и bidi-переопределения (U+202A–202E,
// U+2066–2069): через них имя «photo‮gnp.exe» выглядит иначе, чем записано.
func validFilename(raw string) (string, bool) {
if raw == "" || !utf8.ValidString(raw) {
return "", false
}
if n := utf8.RuneCountInString(raw); n < 1 || n > 255 {
return "", false
}
if strings.TrimSpace(raw) == "" {
return "", false
}
for _, c := range raw {
switch {
case c == '/', c == '\\', c == 0, unicode.IsControl(c):
return "", false
case c == 0x2028, c == 0x2029:
return "", false
case c >= 0x202A && c <= 0x202E, c >= 0x2066 && c <= 0x2069:
return "", false
}
}
return raw, true
}
+181
View File
@@ -0,0 +1,181 @@
package api
import (
"bytes"
"encoding/binary"
"errors"
"hash/crc32"
"image"
_ "image/jpeg" // регистрирует декодер JPEG для image.DecodeConfig / image.Decode
_ "image/png" // регистрирует декодер PNG
)
// Лимиты контракта lab4.
const (
// maxUploadBytes = 10 MiB = 10 485 760 байт. Превышение — 413.
maxUploadBytes = 10 << 20
// maxImagePixels — 40 млн декодированных пикселей. Превышение — 413.
// Проверяется по заголовку (image.DecodeConfig) ДО любой распаковки: PNG размером
// в несколько КБ может «раскрыться» в гигабайты (decompression bomb).
maxImagePixels = 40_000_000
// fullDecodeMaxPixels — до этого размера дополнительно делаем ПОЛНЫЙ декод, чтобы
// поймать повреждённые данные внутри потока (битый zlib/Huffman при целых заголовках).
// Для больших картинок полный декод стоил бы сотни МБ RAM на одну загрузку
// (40 Мпикс * 4–8 байт) — это ровно то, что запрещает требование про ограниченную RAM,
// поэтому там остаются дешёвые структурные проверки (CRC всех чанков PNG, маркеры/EOI JPEG).
fullDecodeMaxPixels = 2_000_000
)
var (
// errNotImage — не PNG/JPEG или файл повреждён → 415.
errNotImage = errors.New("not a valid png/jpeg image")
// errTooManyPixels — больше 40 млн пикселей → 413.
errTooManyPixels = errors.New("too many pixels")
)
// imageInfo — результат проверки содержимого.
type imageInfo struct {
ContentType string // image/png | image/jpeg — по СОДЕРЖИМОМУ, не по заголовку запроса
Width, Height int
}
// inspectImage определяет формат и размеры и отвергает повреждённые файлы.
//
// Порядок важен:
// 1. image.DecodeConfig читает только заголовок: формат + width/height без выделения
// пиксельного буфера. Не PNG/JPEG (в т.ч. GIF, WebP, текст, нули) → errNotImage.
// 2. Лимит пикселей проверяется сразу и ДО структурной проверки и декода.
// 3. Структурная проверка (дёшево, O(n) по байтам, без распаковки).
// 4. Полный декод только для небольших изображений (см. fullDecodeMaxPixels).
func inspectImage(data []byte) (imageInfo, error) {
cfg, format, err := image.DecodeConfig(bytes.NewReader(data))
if err != nil || cfg.Width <= 0 || cfg.Height <= 0 {
return imageInfo{}, errNotImage
}
var info imageInfo
switch format {
case "png":
info.ContentType = "image/png"
case "jpeg":
info.ContentType = "image/jpeg"
default:
return imageInfo{}, errNotImage
}
info.Width, info.Height = cfg.Width, cfg.Height
pixels := int64(cfg.Width) * int64(cfg.Height)
if pixels > maxImagePixels {
return imageInfo{}, errTooManyPixels
}
switch format {
case "png":
if !validPNGStructure(data) {
return imageInfo{}, errNotImage
}
case "jpeg":
if !validJPEGStructure(data) {
return imageInfo{}, errNotImage
}
}
if pixels <= fullDecodeMaxPixels {
if _, _, err := image.Decode(bytes.NewReader(data)); err != nil {
return imageInfo{}, errNotImage
}
}
return info, nil
}
// validPNGStructure обходит чанки PNG, не распаковывая данные:
// сигнатура, первым IHDR (13 байт), у каждого чанка верный CRC-32, есть хотя бы один IDAT,
// последний чанк — пустой IEND, после него ничего нет. Усечённый или «склеенный»
// файл этой проверки не проходит.
func validPNGStructure(data []byte) bool {
const signature = "\x89PNG\r\n\x1a\n"
if len(data) < len(signature)+12 || string(data[:len(signature)]) != signature {
return false
}
pos := len(signature)
first, sawIDAT := true, false
for {
if pos+8 > len(data) {
return false // обрыв внутри заголовка чанка
}
length := int64(binary.BigEndian.Uint32(data[pos:]))
if length > 0x7fffffff {
return false // по спецификации длина < 2^31
}
end := int64(pos) + 8 + length + 4 // длина + тип + данные + CRC
if end > int64(len(data)) {
return false // обрыв внутри данных/CRC
}
chunkType := string(data[pos+4 : pos+8])
// CRC считается по типу и данным, без поля длины.
if crc32.ChecksumIEEE(data[pos+4:end-4]) != binary.BigEndian.Uint32(data[end-4:end]) {
return false
}
if first {
if chunkType != "IHDR" || length != 13 {
return false
}
first = false
}
switch chunkType {
case "IDAT":
sawIDAT = true
case "IEND":
return sawIDAT && length == 0 && end == int64(len(data))
}
pos = int(end)
}
}
// validJPEGStructure — дешёвая проверка целостности JPEG без декода:
// файл начинается с SOI (FFD8), заканчивается EOI (FFD9; нулевой «паддинг» в хвосте
// допускается), и до SOS (начало данных скана) все сегменты имеют корректную длину.
// Усечённый JPEG (потерян хвост) не проходит из-за отсутствия EOI.
func validJPEGStructure(data []byte) bool {
if len(data) < 4 || data[0] != 0xFF || data[1] != 0xD8 {
return false
}
end := len(data)
for end > 0 && data[end-1] == 0x00 {
end--
}
if end < 2 || data[end-2] != 0xFF || data[end-1] != 0xD9 {
return false
}
i := 2
for i < len(data) {
if data[i] != 0xFF {
return false
}
for i < len(data) && data[i] == 0xFF { // fill-байты 0xFF перед маркером
i++
}
if i >= len(data) {
return false
}
marker := data[i]
i++
switch {
case marker == 0xDA: // SOS: дальше энтропийно-кодированные данные, маркеры не идут подряд
return true
case marker == 0xD9: // EOI до SOS — в файле нет изображения
return false
case marker == 0x01 || (marker >= 0xD0 && marker <= 0xD8): // маркеры без длины
continue
default:
if i+2 > len(data) {
return false
}
segLen := int(binary.BigEndian.Uint16(data[i:]))
if segLen < 2 || i+segLen > len(data) {
return false
}
i += segLen
}
}
return false
}
+767
View File
@@ -0,0 +1,767 @@
// Package api — HTTP-слой lab4 (lab3 + вложения в S3).
//
// Порядок обработки запроса:
// 1. X-Request-Id и X-Instance-Id на каждый ответ, включая ошибки;
// 2. журнал method/path/status без текста сообщений и без токена;
// 3. маршрут;
// 4. для защищённых маршрутов — только Bearer. Basic и X-User-Id доступ не дают.
//
// /health/live отвечает, пока процесс жив. /health/ready ещё проверяет PostgreSQL, Redis
// и S3: без них нельзя честно принять запись, узнать, кто делает запрос, или принять/отдать
// вложение (lab4: недоступный S3 → 503, балансировщик снимает реплику).
//
// POST сообщения требует Idempotency-Key; результат хранится в общей БД, а не в памяти реплики.
package api
import (
"bytes"
"context"
"crypto/sha256"
"encoding/base64"
"encoding/hex"
"encoding/json"
"errors"
"fmt"
"io"
"log"
"net/http"
"os"
"strconv"
"strings"
"sync/atomic"
"time"
"unicode/utf8"
"github.com/google/uuid"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/session"
"mtusi2026lab4/internal/store"
)
type ctxKey int
const (
userKey ctxKey = iota
tokenKey
requestIDKey
)
const (
challengeBasic = `Basic realm="messenger", charset="UTF-8"`
challengeBearer = `Bearer realm="messenger"`
)
// Server связывает HTTP с PostgreSQL и Redis.
type Server struct {
Store *store.Store
Sessions *session.Store
Objects *objectstore.Store // приватный S3-bucket с оригиналами вложений
InstanceID string
ready atomic.Bool
// uploadSlots — семафор одновременных загрузок (ограничивает пик RAM, см. attachments.go).
uploadSlots chan struct{}
// AfterObjectPut — тестовый hook: вызывается после успешного PUT в S3 и до INSERT в PG.
// Позволяет в тестах смоделировать отказ «между S3 и БД». В проде всегда nil.
AfterObjectPut func(key string)
}
// New помечает процесс готовым. Реальная зависимость всё равно проверяется в /health/ready.
// instanceID попадает в X-Instance-Id каждого ответа и стабилен на жизнь процесса.
func New(st *store.Store, sessions *session.Store, objects *objectstore.Store, instanceID string) *Server {
s := &Server{Store: st, Sessions: sessions, Objects: objects, InstanceID: instanceID}
s.uploadSlots = make(chan struct{}, 4) // значение по умолчанию; main задаёт UPLOAD_MAX_CONCURRENCY
s.ready.Store(true)
return s
}
// BeginDrain вызывается на SIGTERM: новые клиенты видят 503 на /health/ready.
// HAProxy/Traefik с httpchk на /health/ready перестаёт слать трафик на эту реплику.
func (s *Server) BeginDrain() { s.ready.Store(false) }
// Handler собирает маршруты lab4.
func (s *Server) Handler() http.Handler {
mux := http.NewServeMux()
mux.HandleFunc("GET /health/live", s.handleLive)
mux.HandleFunc("GET /health/ready", s.handleReady)
mux.HandleFunc("POST /api/v1/users", s.handleCreateUser)
mux.HandleFunc("POST /api/v1/auth/sessions", s.handleCreateSession)
mux.HandleFunc("DELETE /api/v1/auth/sessions/current", s.requireUser(s.handleRevokeSession))
mux.HandleFunc("GET /api/v1/users/me", s.requireUser(s.handleMe))
mux.HandleFunc("POST /api/v1/chats", s.requireUser(s.handleCreateChat))
mux.HandleFunc("GET /api/v1/chats", s.requireUser(s.handleListChats))
mux.HandleFunc("GET /api/v1/chats/{chat_id}", s.requireUser(s.handleGetChat))
mux.HandleFunc("POST /api/v1/chats/{chat_id}/messages", s.requireUser(s.handleCreateMessage))
mux.HandleFunc("GET /api/v1/chats/{chat_id}/messages", s.requireUser(s.handleListMessages))
// lab4: вложения. Загрузка — сырой binary (не multipart), метаданные и байты — через API.
mux.HandleFunc("POST /api/v1/chats/{chat_id}/attachments", s.requireUser(s.handleUploadAttachment))
mux.HandleFunc("GET /api/v1/attachments/{attachment_id}", s.requireUser(s.handleGetAttachment))
mux.HandleFunc("GET /api/v1/attachments/{attachment_id}/content", s.requireUser(s.handleDownloadAttachment))
return s.withInstanceID(s.withRequestID(s.withAccessLog(mux)))
}
func (s *Server) handleLive(w http.ResponseWriter, r *http.Request) {
writeJSON(w, http.StatusOK, map[string]string{"status": "ok"})
}
func (s *Server) handleReady(w http.ResponseWriter, r *http.Request) {
if !s.ready.Load() {
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "service is shutting down")
return
}
// lab4: S3 — критичная зависимость обязательного синхронного пути (загрузка/скачивание).
// Недоступное хранилище → 503, чтобы LB не слал трафик на реплику, которая не может
// выполнить контракт; сообщения без вложений при этом тоже временно недоступны
// (осознанное упрощение: readiness один на реплику, см. REPORT).
if err := s.Store.Ping(r.Context()); err != nil || s.Sessions.Ping(r.Context()) != nil || s.Objects.Ping(r.Context()) != nil {
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
writeJSON(w, http.StatusOK, map[string]string{"status": "ok"})
}
func (s *Server) handleCreateUser(w http.ResponseWriter, r *http.Request) {
var body struct {
Username string `json:"username"`
DisplayName string `json:"display_name"`
Password string `json:"password"`
}
if err := decodeStrict(r, &body); err != nil {
writeDecodeErr(w, r, err)
return
}
if !validUsername(body.Username) {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid username")
return
}
display := strings.TrimSpace(body.DisplayName)
if display == "" || utf8.RuneCountInString(display) > 100 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid display_name")
return
}
if n := utf8.RuneCountInString(body.Password); n < 12 || n > 128 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid password")
return
}
u, err := s.Store.CreateUser(r.Context(), body.Username, display, body.Password)
if err != nil {
s.writeStoreErr(w, r, err, http.StatusConflict, "conflict", "username already taken")
return
}
writeJSON(w, http.StatusCreated, userDTO(u))
}
func (s *Server) handleCreateSession(w http.ResponseWriter, r *http.Request) {
// Контракт: только Basic, без JSON body. Любые байты в теле — 400, не тихий игнор.
rawBody, err := io.ReadAll(io.LimitReader(r.Body, 4096))
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid body")
return
}
if len(bytes.TrimSpace(rawBody)) != 0 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "session create must not have a body")
return
}
username, password, ok := parseBasic(r.Header.Get("Authorization"))
if !ok || !validUsername(username) {
writeAuthError(w, r, challengeBasic)
return
}
if n := utf8.RuneCountInString(password); n < 12 || n > 128 {
writeAuthError(w, r, challengeBasic)
return
}
u, err := s.Store.Authenticate(r.Context(), username, password)
if errors.Is(err, store.ErrNotFound) {
writeAuthError(w, r, challengeBasic)
return
}
if err != nil {
s.writeStoreErr(w, r, err, 0, "", "")
return
}
token, exp, err := s.Sessions.Issue(r.Context(), u.ID)
if err != nil {
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
writeJSON(w, http.StatusCreated, map[string]any{
"token": token,
"token_type": "Bearer",
"expires_at": formatTime(exp),
"user": userDTO(u),
})
}
func (s *Server) handleRevokeSession(w http.ResponseWriter, r *http.Request) {
token, _ := r.Context().Value(tokenKey).(string)
if err := s.Sessions.Revoke(r.Context(), token); err != nil {
if errors.Is(err, session.ErrUnauthorized) {
writeAuthError(w, r, challengeBearer)
return
}
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
w.WriteHeader(http.StatusNoContent)
}
func (s *Server) handleMe(w http.ResponseWriter, r *http.Request) {
u, err := s.Store.GetUser(r.Context(), userFrom(r))
if err != nil {
s.writeStoreErr(w, r, err, http.StatusUnauthorized, "unauthorized", "authentication required")
return
}
writeJSON(w, http.StatusOK, userDTO(u))
}
func (s *Server) handleCreateChat(w http.ResponseWriter, r *http.Request) {
var body struct {
Title string `json:"title"`
MemberIDs []string `json:"member_ids"`
}
if err := decodeStrict(r, &body); err != nil {
writeDecodeErr(w, r, err)
return
}
title := strings.TrimSpace(body.Title)
if title == "" || utf8.RuneCountInString(title) > 100 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid title")
return
}
if len(body.MemberIDs) < 1 || len(body.MemberIDs) > 100 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid member_ids")
return
}
uid := userFrom(r)
seen := make(map[uuid.UUID]struct{}, len(body.MemberIDs))
ids := make([]uuid.UUID, 0, len(body.MemberIDs))
callerPresent := false
for _, raw := range body.MemberIDs {
id, err := uuid.Parse(raw)
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid member id")
return
}
if _, dup := seen[id]; dup {
writeError(w, r, http.StatusBadRequest, "invalid_request", "duplicate member id")
return
}
seen[id] = struct{}{}
if id == uid {
callerPresent = true
}
ids = append(ids, id)
}
if !callerPresent {
writeError(w, r, http.StatusBadRequest, "invalid_request", "caller must be a member")
return
}
chat, err := s.Store.CreateChat(r.Context(), title, ids)
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusBadRequest, "invalid_request", "unknown member")
return
}
if err != nil {
s.writeStoreErr(w, r, err, 0, "", "")
return
}
writeJSON(w, http.StatusCreated, chatDTO(chat))
}
func (s *Server) handleListChats(w http.ResponseWriter, r *http.Request) {
uid := userFrom(r)
limit, after, err := parsePage(r, "chats:"+uid.String())
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", err.Error())
return
}
items, next, err := s.Store.ListChats(r.Context(), uid, limit, after)
if err != nil {
s.writeStoreErr(w, r, err, http.StatusBadRequest, "invalid_request", "invalid cursor")
return
}
out := make([]any, len(items))
for i := range items {
out[i] = chatDTO(&items[i])
}
var cursor *store.PageCursor
if next != nil {
cursor = &store.PageCursor{Scope: "chats:" + uid.String(), CreatedAt: next.CreatedAt, ID: next.ID}
}
writeJSON(w, http.StatusOK, pageDTO(out, cursor))
}
func (s *Server) handleGetChat(w http.ResponseWriter, r *http.Request) {
chatID, err := uuid.Parse(r.PathValue("chat_id"))
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
return
}
chat, err := s.Store.GetChat(r.Context(), chatID, userFrom(r))
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return
}
if err != nil {
s.writeStoreErr(w, r, err, 0, "", "")
return
}
writeJSON(w, http.StatusOK, chatDTO(chat))
}
func (s *Server) handleCreateMessage(w http.ResponseWriter, r *http.Request) {
chatID, err := uuid.Parse(r.PathValue("chat_id"))
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
return
}
idemKey := r.Header.Get("Idempotency-Key")
if !validIdempotencyKey(idemKey) {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid or missing Idempotency-Key")
return
}
var body struct {
Text string `json:"text"`
AttachmentIDs []string `json:"attachment_ids"`
}
if err := decodeStrict(r, &body); err != nil {
writeDecodeErr(w, r, err)
return
}
// attachment_ids: 0–10 уникальных UUID, по умолчанию []. Отсутствующий ключ, null и []
// равны. UUID нормализуем (нижний регистр, канонический вид): иначе «ABC…» и «abc…»
// давали бы разные хэши идемпотентности и дубль в uniqueItems.
if len(body.AttachmentIDs) > 10 {
writeError(w, r, http.StatusBadRequest, "invalid_request", "too many attachment_ids")
return
}
attachmentIDs := make([]uuid.UUID, 0, len(body.AttachmentIDs))
canonicalIDs := make([]string, 0, len(body.AttachmentIDs))
seenAtt := make(map[uuid.UUID]struct{}, len(body.AttachmentIDs))
for _, raw := range body.AttachmentIDs {
id, err := uuid.Parse(raw)
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid attachment id")
return
}
if _, dup := seenAtt[id]; dup {
writeError(w, r, http.StatusBadRequest, "invalid_request", "duplicate attachment id")
return
}
seenAtt[id] = struct{}{}
attachmentIDs = append(attachmentIDs, id)
canonicalIDs = append(canonicalIDs, id.String())
}
// Непустота — по TrimSpace; длина и сохранение — по исходному тексту.
// Иначе пробелы по краям пропадают, а строка «пробел + 4000 букв» проходит как 4000.
// lab4: пустой текст допустим, если есть хотя бы одно вложение (сообщение «только файл»).
if utf8.RuneCountInString(body.Text) > 4000 ||
(strings.TrimSpace(body.Text) == "" && len(attachmentIDs) == 0) {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid text")
return
}
path := "/api/v1/chats/" + chatID.String() + "/messages"
reqHash := idempotencyRequestHash(body.Text, canonicalIDs)
result, err := s.Store.CreateMessageIdempotent(
r.Context(), chatID, userFrom(r), body.Text, attachmentIDs,
http.MethodPost, path, idemKey, reqHash,
)
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return
}
if errors.Is(err, store.ErrIdempotencyConflict) {
writeError(w, r, http.StatusConflict, "conflict", "idempotency key reused with different body")
return
}
if errors.Is(err, store.ErrAttachmentNotReady) {
writeError(w, r, http.StatusConflict, "conflict", "attachment is not ready")
return
}
if err != nil {
s.writeStoreErr(w, r, err, 0, "", "")
return
}
writeJSON(w, http.StatusCreated, messageDTO(result.Message))
}
func (s *Server) handleListMessages(w http.ResponseWriter, r *http.Request) {
chatID, err := uuid.Parse(r.PathValue("chat_id"))
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid chat id")
return
}
scope := "chat:" + chatID.String()
limit, after, err := parsePage(r, scope)
if err != nil {
writeError(w, r, http.StatusBadRequest, "invalid_request", err.Error())
return
}
items, next, err := s.Store.ListMessages(r.Context(), chatID, userFrom(r), limit, after)
if errors.Is(err, store.ErrNotFound) {
writeError(w, r, http.StatusNotFound, "not_found", "object not found")
return
}
if err != nil {
s.writeStoreErr(w, r, err, http.StatusBadRequest, "invalid_request", "invalid cursor")
return
}
out := make([]any, len(items))
for i := range items {
out[i] = messageDTO(&items[i])
}
var cursor *store.PageCursor
if next != nil {
cursor = &store.PageCursor{Scope: scope, CreatedAt: next.CreatedAt, ID: next.ID}
}
writeJSON(w, http.StatusOK, pageDTO(out, cursor))
}
// requireUser принимает только Authorization: Bearer. X-User-Id не читается.
// Basic на бизнес-методе — тот же 401, но с Bearer-challenge, не с Basic.
func (s *Server) requireUser(next http.HandlerFunc) http.HandlerFunc {
return func(w http.ResponseWriter, r *http.Request) {
header := r.Header.Get("Authorization")
if strings.HasPrefix(strings.ToLower(header), "basic ") {
writeAuthError(w, r, challengeBearer)
return
}
token, ok := parseBearer(header)
if !ok {
writeAuthError(w, r, challengeBearer)
return
}
uid, err := s.Sessions.Lookup(r.Context(), token)
if errors.Is(err, session.ErrUnauthorized) {
writeAuthError(w, r, challengeBearer)
return
}
if err != nil {
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
return
}
ctx := context.WithValue(r.Context(), userKey, uid)
ctx = context.WithValue(ctx, tokenKey, token)
next(w, r.WithContext(ctx))
}
}
func userFrom(r *http.Request) uuid.UUID {
id, _ := r.Context().Value(userKey).(uuid.UUID)
return id
}
func (s *Server) withRequestID(next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
rid := r.Header.Get("X-Request-Id")
if rid == "" {
rid = uuid.NewString()
}
w.Header().Set("X-Request-Id", rid)
next.ServeHTTP(w, r.WithContext(context.WithValue(r.Context(), requestIDKey, rid)))
})
}
func (s *Server) withInstanceID(next http.Handler) http.Handler {
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
w.Header().Set("X-Instance-Id", s.InstanceID)
next.ServeHTTP(w, r)
})
}
// validIdempotencyKey — ASCII [A-Za-z0-9._:-]{1,128}.
func validIdempotencyKey(key string) bool {
if len(key) < 1 || len(key) > 128 {
return false
}
for i := 0; i < len(key); i++ {
c := key[i]
switch {
case c >= 'A' && c <= 'Z', c >= 'a' && c <= 'z', c >= '0' && c <= '9':
case c == '.', c == '_', c == ':', c == '-':
default:
return false
}
}
return true
}
// idempotencyRequestHash канонизирует тело: порядок ключей JSON не важен,
// отсутствующий attachment_ids равен []. Хэш — SHA-256 hex.
func idempotencyRequestHash(text string, attachmentIDs []string) string {
if attachmentIDs == nil {
attachmentIDs = []string{}
}
payload, _ := json.Marshal(struct {
Text string `json:"text"`
AttachmentIDs []string `json:"attachment_ids"`
}{Text: text, AttachmentIDs: attachmentIDs})
sum := sha256.Sum256(payload)
return hex.EncodeToString(sum[:])
}
type statusRecorder struct {
http.ResponseWriter
status int
}
func (s *statusRecorder) WriteHeader(code int) {
s.status = code
s.ResponseWriter.WriteHeader(code)
}
func (s *Server) withAccessLog(next http.Handler) http.Handler {
quiet := strings.EqualFold(os.Getenv("APP_ACCESS_LOG"), "0") || strings.EqualFold(os.Getenv("APP_ACCESS_LOG"), "false")
return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
start := time.Now()
rec := &statusRecorder{ResponseWriter: w, status: http.StatusOK}
next.ServeHTTP(rec, r)
if quiet && rec.status < 400 {
return
}
if strings.HasPrefix(r.URL.Path, "/health/") && rec.status == http.StatusOK {
return
}
rid, _ := r.Context().Value(requestIDKey).(string)
// path без query: в cursor нет секрета, но и текста сообщения в логе быть не должно.
log.Printf("method=%s path=%s status=%d request_id=%s duration_ms=%d",
r.Method, r.URL.Path, rec.status, rid, time.Since(start).Milliseconds())
})
}
func parsePage(r *http.Request, expectedScope string) (int, *store.PageCursor, error) {
limit := 50
if raw := r.URL.Query().Get("limit"); raw != "" {
n, err := strconv.Atoi(raw)
if err != nil || n < 1 || n > 100 {
return 0, nil, fmt.Errorf("invalid limit")
}
limit = n
}
rawCursor := r.URL.Query().Get("cursor")
if rawCursor == "" {
return limit, nil, nil
}
cur, err := decodeCursor(rawCursor)
if err != nil || cur.Scope != expectedScope {
return 0, nil, fmt.Errorf("invalid cursor")
}
return limit, cur, nil
}
func encodeCursor(c *store.PageCursor) string {
payload := fmt.Sprintf("%s|%s|%s", c.Scope, c.CreatedAt.UTC().Format(time.RFC3339Nano), c.ID.String())
return base64.RawURLEncoding.EncodeToString([]byte(payload))
}
func decodeCursor(raw string) (*store.PageCursor, error) {
b, err := base64.RawURLEncoding.DecodeString(raw)
if err != nil {
return nil, err
}
parts := strings.SplitN(string(b), "|", 3)
if len(parts) != 3 {
return nil, fmt.Errorf("bad cursor")
}
ts, err := time.Parse(time.RFC3339Nano, parts[1])
if err != nil {
return nil, err
}
id, err := uuid.Parse(parts[2])
if err != nil {
return nil, err
}
return &store.PageCursor{Scope: parts[0], CreatedAt: ts.UTC(), ID: id}, nil
}
func validUsername(s string) bool {
if len(s) < 3 || len(s) > 32 {
return false
}
for _, c := range s {
if (c < 'a' || c > 'z') && (c < '0' || c > '9') && c != '_' {
return false
}
}
return true
}
func decodeStrict(r *http.Request, dst any) error {
ct := r.Header.Get("Content-Type")
if ct != "" && !strings.HasPrefix(strings.ToLower(strings.TrimSpace(ct)), "application/json") {
return errUnsupported
}
// Читаем тело целиком: Decoder.More() не ловит хвост вида {"text":"x"}} —
// после одного объекта More()=false, а лишняя скобка всё равно остаётся.
raw, err := io.ReadAll(io.LimitReader(r.Body, 1<<20))
if err != nil {
return errMalformed
}
dec := json.NewDecoder(bytes.NewReader(raw))
dec.DisallowUnknownFields()
if err := dec.Decode(dst); err != nil {
return errMalformed
}
rest := bytes.TrimSpace(raw[dec.InputOffset():])
if len(rest) != 0 {
return errMalformed
}
return nil
}
var (
errUnsupported = errors.New("unsupported media type")
errMalformed = errors.New("malformed json")
)
func writeDecodeErr(w http.ResponseWriter, r *http.Request, err error) {
if errors.Is(err, errUnsupported) {
writeError(w, r, http.StatusUnsupportedMediaType, "unsupported_media_type", "unsupported media type")
return
}
writeError(w, r, http.StatusBadRequest, "invalid_request", "malformed json")
}
func parseBasic(header string) (string, string, bool) {
const prefix = "basic "
if len(header) < len(prefix) || strings.ToLower(header[:len(prefix)]) != prefix {
return "", "", false
}
raw, err := base64.StdEncoding.DecodeString(strings.TrimSpace(header[len(prefix):]))
if err != nil || !utf8.Valid(raw) {
return "", "", false
}
user, pass, ok := strings.Cut(string(raw), ":")
if !ok || user == "" {
return "", "", false
}
return user, pass, true
}
func parseBearer(header string) (string, bool) {
const prefix = "bearer "
if len(header) < len(prefix) || strings.ToLower(header[:len(prefix)]) != prefix {
return "", false
}
token := strings.TrimSpace(header[len(prefix):])
if token == "" || strings.Contains(token, " ") {
return "", false
}
return token, true
}
func userDTO(u *store.User) map[string]any {
return map[string]any{
"id": u.ID.String(),
"username": u.Username,
"display_name": u.DisplayName,
"created_at": formatTime(u.CreatedAt),
}
}
func chatDTO(c *store.Chat) map[string]any {
ids := make([]string, len(c.MemberIDs))
for i, id := range c.MemberIDs {
ids[i] = id.String()
}
return map[string]any{
"id": c.ID.String(),
"title": c.Title,
"member_ids": ids,
"created_at": formatTime(c.CreatedAt),
}
}
func messageDTO(m *store.Message) map[string]any {
// attachment_ids обязателен в ответе (контракт 1.4.0): всегда массив, не null.
ids := make([]string, len(m.AttachmentIDs))
for i, id := range m.AttachmentIDs {
ids[i] = id.String()
}
return map[string]any{
"id": m.ID.String(),
"chat_id": m.ChatID.String(),
"sender_id": m.SenderID.String(),
"text": m.Text,
"created_at": formatTime(m.CreatedAt),
"attachment_ids": ids,
}
}
func pageDTO(items []any, next *store.PageCursor) map[string]any {
var cursor any
if next != nil {
cursor = encodeCursor(next)
}
if items == nil {
items = []any{}
}
return map[string]any{"items": items, "next_cursor": cursor}
}
func formatTime(t time.Time) string {
return t.UTC().Truncate(time.Millisecond).Format("2006-01-02T15:04:05.000Z")
}
func writeJSON(w http.ResponseWriter, status int, v any) {
w.Header().Set("Content-Type", "application/json")
w.WriteHeader(status)
enc := json.NewEncoder(w)
enc.SetEscapeHTML(false)
_ = enc.Encode(v)
}
func writeError(w http.ResponseWriter, r *http.Request, status int, code, message string) {
rid, _ := r.Context().Value(requestIDKey).(string)
if rid == "" {
rid = w.Header().Get("X-Request-Id")
}
writeJSON(w, status, map[string]any{
"error": map[string]any{
"code": code,
"message": message,
"request_id": rid,
},
})
}
func writeAuthError(w http.ResponseWriter, r *http.Request, challenge string) {
w.Header().Set("WWW-Authenticate", challenge)
writeError(w, r, http.StatusUnauthorized, "unauthorized", "authentication required")
}
// writeStoreErr прячет текст драйвера. fallbackStatus используется для ожидаемой доменной ошибки.
func (s *Server) writeStoreErr(w http.ResponseWriter, r *http.Request, err error, fallbackStatus int, fallbackCode, fallbackMessage string) {
switch {
case errors.Is(err, store.ErrUnavailable):
writeError(w, r, http.StatusServiceUnavailable, "unavailable", "dependency unavailable")
case errors.Is(err, store.ErrIdempotencyConflict):
writeError(w, r, http.StatusConflict, "conflict", "idempotency key reused with different body")
case errors.Is(err, store.ErrConflict) && fallbackStatus != 0:
writeError(w, r, fallbackStatus, fallbackCode, fallbackMessage)
case errors.Is(err, store.ErrNotFound) && fallbackStatus != 0:
if fallbackCode == "unauthorized" {
writeAuthError(w, r, challengeBearer)
return
}
writeError(w, r, fallbackStatus, fallbackCode, fallbackMessage)
case errors.Is(err, store.ErrInvalidCursor):
writeError(w, r, http.StatusBadRequest, "invalid_request", "invalid cursor")
default:
if errors.Is(err, store.ErrConflict) {
writeError(w, r, http.StatusConflict, "conflict", "username already taken")
return
}
// В лог — только тип, без SQL и без текста, который драйвер мог вложить в ошибку.
log.Printf("request_id=%s store_error_type=%T", requestID(r), err)
writeError(w, r, http.StatusInternalServerError, "internal_error", "internal error")
}
}
func requestID(r *http.Request) string {
rid, _ := r.Context().Value(requestIDKey).(string)
return rid
}
+110
View File
@@ -0,0 +1,110 @@
// Package auth хранит пароли через Argon2id.
//
// bcrypt отвергнут: библиотека молча режет пароль на 72 байта, а контракт
// разрешает до 128 Unicode code points, включая символы вне ASCII.
// Argon2id принимает пароль целиком. Параметры — интерактивные, не «серверные»
// на сотни миллисекунд: smoke создаёт несколько пользователей подряд.
package auth
import (
"crypto/rand"
"crypto/subtle"
"encoding/base64"
"fmt"
"strings"
"golang.org/x/crypto/argon2"
)
const (
argonTime = 2
argonMemory = 19 * 1024 // KiB, около 19 MiB
argonThreads = 1
argonKeyLen = 32
argonSaltLen = 16
)
// Hasher умеет хешировать и проверять. dummy — хеш случайного пароля,
// чтобы отсутствующий username занимал примерно столько же CPU, сколько неверный пароль.
type Hasher struct {
dummy string
}
// NewHasher готовит dummy-хеш один раз на процесс.
func NewHasher() (*Hasher, error) {
dummy, err := Hash(randomPassword())
if err != nil {
return nil, err
}
return &Hasher{dummy: dummy}, nil
}
// Hash возвращает PHC-строку. Её пишем в users.password_hash.
func Hash(password string) (string, error) {
salt := make([]byte, argonSaltLen)
if _, err := rand.Read(salt); err != nil {
return "", err
}
sum := argon2.IDKey([]byte(password), salt, argonTime, argonMemory, argonThreads, argonKeyLen)
return fmt.Sprintf("$argon2id$v=19$m=%d,t=%d,p=%d$%s$%s",
argonMemory, argonTime, argonThreads,
base64.RawStdEncoding.EncodeToString(salt),
base64.RawStdEncoding.EncodeToString(sum),
), nil
}
// Verify сравнивает пароль с PHC-строкой. При битой строке возвращает false, не панику.
func (h *Hasher) Verify(encoded, password string) bool {
if encoded == "" {
encoded = h.dummy
}
ok, err := verify(encoded, password)
if err != nil {
// Всё равно тратим время dummy-проверки, чтобы ветка ошибки не была мгновенной.
_, _ = verify(h.dummy, password)
return false
}
return ok
}
// Burn тратит время проверки, когда пользователя нет. Результат всегда false.
func (h *Hasher) Burn(password string) {
_, _ = verify(h.dummy, password)
}
func verify(encoded, password string) (bool, error) {
parts := strings.Split(encoded, "$")
// ["", "argon2id", "v=19", "m=..,t=..,p=..", salt, hash]
if len(parts) != 6 || parts[1] != "argon2id" || parts[2] != "v=19" {
return false, fmt.Errorf("bad hash")
}
var memory uint32
var timeCost uint32
var threads uint8
if _, err := fmt.Sscanf(parts[3], "m=%d,t=%d,p=%d", &memory, &timeCost, &threads); err != nil {
return false, err
}
if memory != argonMemory || timeCost != argonTime || threads != argonThreads {
return false, fmt.Errorf("unexpected argon2 parameters")
}
salt, err := base64.RawStdEncoding.DecodeString(parts[4])
if err != nil {
return false, err
}
want, err := base64.RawStdEncoding.DecodeString(parts[5])
if err != nil {
return false, err
}
got := argon2.IDKey([]byte(password), salt, timeCost, memory, threads, uint32(len(want)))
// ConstantTimeCompare не даёт выйти на первом несовпавшем байте.
if subtle.ConstantTimeCompare(got, want) != 1 {
return false, nil
}
return true, nil
}
func randomPassword() string {
buf := make([]byte, 24)
_, _ = rand.Read(buf)
return base64.RawStdEncoding.EncodeToString(buf)
}
+188
View File
@@ -0,0 +1,188 @@
// Package config читает настройки процесса из окружения.
//
// Прямые URL (DATABASE_URL, REDIS_URL) удобны в Compose.
// Вариант *_FILE из .env.example нужен, если секрет смонтирован файлом:
// тогда в переменной лежит путь, а не сам секрет.
package config
import (
"fmt"
"os"
"strconv"
"strings"
"time"
)
// Config — всё, что процесс обязан знать до открытия соединений.
type Config struct {
Host string
Port int
Env string
DatabaseURL string
RedisURL string
SessionTTL time.Duration
InstanceID string
MaxConns int32
RunMigrations bool
IdempotencyTTL time.Duration
// --- lab4: объектное хранилище (S3-совместимое, MinIO) ---
// S3Endpoint — URL S3 API внутри сети Compose (http://minio:9000).
S3Endpoint string
// S3Region — для SigV4 нужен любой регион; у MinIO по умолчанию us-east-1.
S3Region string
// S3Bucket — приватный bucket с оригиналами вложений.
S3Bucket string
// S3AccessKey/S3SecretKey — НЕ root MinIO, а отдельный пользователь messenger-api
// с политикой только на этот bucket (создаётся сервисом minio-init).
S3AccessKey string
S3SecretKey string
// S3ForcePathStyle — path-style адресация (http://minio:9000/bucket/key).
// У MinIO в Compose нет wildcard-DNS для bucket.minio, поэтому virtual-hosted не работает.
S3ForcePathStyle bool
// S3OrphanGrace — «льготный период» reconciler: объект без строки в БД младше этого
// возраста считается ещё загружаемым (PUT уже был, INSERT ещё не успел) и не трогается.
S3OrphanGrace time.Duration
// UploadMaxConcurrency — сколько загрузок одна реплика буферизует в RAM одновременно.
// Остальные ждут в очереди (см. api.Server.uploadSlots), поэтому пик памяти ограничен
// сверху UploadMaxConcurrency * 10 MiB, а не числом клиентов.
UploadMaxConcurrency int
}
// Load собирает Config. Пустой URL без файла — ошибка запуска, а не тихий дефолт на чужой хост.
func Load() (Config, error) {
cfg := Config{
Host: getenv("APP_HOST", "0.0.0.0"),
Env: getenv("APP_ENV", "lab"),
}
port, err := strconv.Atoi(getenv("APP_PORT", "8080"))
if err != nil || port < 1 || port > 65535 {
return cfg, fmt.Errorf("invalid APP_PORT")
}
cfg.Port = port
ttlSec, err := strconv.Atoi(getenv("SESSION_TTL_SECONDS", "3600"))
if err != nil || ttlSec < 1 || ttlSec > 7*24*3600 {
return cfg, fmt.Errorf("invalid SESSION_TTL_SECONDS")
}
cfg.SessionTTL = time.Duration(ttlSec) * time.Second
idemTTL, err := strconv.Atoi(getenv("IDEMPOTENCY_TTL_SECONDS", "86400"))
if err != nil || idemTTL < 60 || idemTTL > 7*24*3600 {
return cfg, fmt.Errorf("invalid IDEMPOTENCY_TTL_SECONDS")
}
cfg.IdempotencyTTL = time.Duration(idemTTL) * time.Second
maxConns, err := strconv.Atoi(getenv("DB_MAX_CONNS", "5"))
if err != nil || maxConns < 1 || maxConns > 50 {
return cfg, fmt.Errorf("invalid DB_MAX_CONNS")
}
cfg.MaxConns = int32(maxConns)
cfg.DatabaseURL, err = getenvOrFile("DATABASE_URL", "DATABASE_URL_FILE")
if err != nil {
return cfg, err
}
cfg.RedisURL, err = getenvOrFile("REDIS_URL", "CACHE_URL_FILE")
if err != nil {
return cfg, err
}
if err := loadS3(&cfg); err != nil {
return cfg, err
}
// X-Instance-Id стабилен на жизнь процесса. В Compose hostname = id контейнера,
// поэтому stop-one.sh сопоставляет TARGET_INSTANCE_ID с Config.Hostname.
cfg.InstanceID = strings.TrimSpace(os.Getenv("INSTANCE_ID"))
if cfg.InstanceID == "" {
host, herr := os.Hostname()
if herr != nil || strings.TrimSpace(host) == "" {
return cfg, fmt.Errorf("set INSTANCE_ID or ensure hostname is available")
}
cfg.InstanceID = host
}
// Миграции по умолчанию выключены у API-реплик: их гоняет одноразовый сервис migrate.
// Для локальных тестов и -migrate флага включается явно.
cfg.RunMigrations = truthy(os.Getenv("RUN_MIGRATIONS"))
return cfg, nil
}
// loadS3 читает S3_* переменные. Ключи, как и DATABASE_URL, можно передать файлом
// (S3_ACCESS_KEY_FILE / S3_SECRET_KEY_FILE): так секрет не попадает в `docker inspect`.
// Пустой endpoint/ключ — ошибка запуска: тихий дефолт на «какой-нибудь» S3 опаснее падения.
func loadS3(cfg *Config) error {
var err error
cfg.S3Endpoint = strings.TrimSpace(os.Getenv("S3_ENDPOINT"))
if cfg.S3Endpoint == "" {
return fmt.Errorf("set S3_ENDPOINT")
}
cfg.S3Region = getenv("S3_REGION", "us-east-1")
cfg.S3Bucket = getenv("S3_BUCKET", "messenger")
cfg.S3AccessKey, err = getenvOrFile("S3_ACCESS_KEY", "S3_ACCESS_KEY_FILE")
if err != nil {
return err
}
cfg.S3SecretKey, err = getenvOrFile("S3_SECRET_KEY", "S3_SECRET_KEY_FILE")
if err != nil {
return err
}
// По умолчанию path-style включён: для MinIO в Compose это единственный рабочий вариант.
cfg.S3ForcePathStyle = truthy(getenv("S3_FORCE_PATH_STYLE", "1"))
// Grace по умолчанию 300 с: с запасом больше любой реальной загрузки (таймаут PUT 10 с)
// и задержки между PUT и COMMIT. 0 допустим (удалять сразу) — нужен только тестам.
graceSec, err := strconv.Atoi(getenv("S3_ORPHAN_GRACE_SECONDS", "300"))
if err != nil || graceSec < 0 || graceSec > 7*24*3600 {
return fmt.Errorf("invalid S3_ORPHAN_GRACE_SECONDS")
}
cfg.S3OrphanGrace = time.Duration(graceSec) * time.Second
cfg.UploadMaxConcurrency, err = strconv.Atoi(getenv("UPLOAD_MAX_CONCURRENCY", "4"))
if err != nil || cfg.UploadMaxConcurrency < 1 || cfg.UploadMaxConcurrency > 64 {
return fmt.Errorf("invalid UPLOAD_MAX_CONCURRENCY")
}
return nil
}
// Addr — адрес Listen, обычно 0.0.0.0:8080 внутри контейнера.
func (c Config) Addr() string {
return fmt.Sprintf("%s:%d", c.Host, c.Port)
}
func getenv(key, fallback string) string {
if v := strings.TrimSpace(os.Getenv(key)); v != "" {
return v
}
return fallback
}
func getenvOrFile(directKey, fileKey string) (string, error) {
if v := strings.TrimSpace(os.Getenv(directKey)); v != "" {
return v, nil
}
path := strings.TrimSpace(os.Getenv(fileKey))
if path == "" {
return "", fmt.Errorf("set %s or %s", directKey, fileKey)
}
b, err := os.ReadFile(path)
if err != nil {
return "", fmt.Errorf("read %s: %w", fileKey, err)
}
v := strings.TrimSpace(string(b))
if v == "" {
return "", fmt.Errorf("%s is empty", fileKey)
}
return v, nil
}
func truthy(v string) bool {
switch strings.ToLower(strings.TrimSpace(v)) {
case "1", "true", "yes", "on":
return true
default:
return false
}
}
+304
View File
@@ -0,0 +1,304 @@
// Package objectstore — тонкая обёртка над aws-sdk-go-v2 для приватного S3-bucket (MinIO).
//
// Зачем отдельный пакет:
// - HTTP-слой и reconciler работают с узким набором операций (Put/Get/Delete/Head/List/
// EnsureBucket/Ping) и с двумя доменными ошибками, а не с типами SDK;
// - все таймауты и настройки «совместимости с MinIO» собраны в одном месте;
// - наружу (в ответ клиенту, в лог) не уходят тексты ошибок SDK: в них бывают
// endpoint, имя bucket и фрагменты запроса.
//
// Байты вложений живут ТОЛЬКО здесь. Ни локальный диск API-реплики, ни PostgreSQL
// оригиналов не хранят: любая реплика после остановки соседней отдаёт тот же файл.
package objectstore
import (
"context"
"errors"
"fmt"
"io"
"net"
"net/http"
"time"
"github.com/aws/aws-sdk-go-v2/aws"
awshttp "github.com/aws/aws-sdk-go-v2/aws/transport/http"
"github.com/aws/aws-sdk-go-v2/credentials"
"github.com/aws/aws-sdk-go-v2/service/s3"
"github.com/aws/aws-sdk-go-v2/service/s3/types"
"github.com/aws/smithy-go"
)
// Доменные ошибки. HTTP-слой различает «нет объекта» и «хранилище недоступно».
var (
// ErrNotFound — объекта (или bucket) нет.
ErrNotFound = errors.New("object not found")
// ErrUnavailable — S3 недоступен, таймаут, отказ в доступе или любая иная ошибка
// транспорта. Клиенту это всегда 503: он не должен видеть подробности.
ErrUnavailable = errors.New("object store unavailable")
)
// Таймауты операций. Подобраны под HAProxy (timeout server 15s): S3-запрос обязан
// закончиться раньше, чем балансировщик оборвёт клиента, иначе получим 504 вместо
// управляемого 503.
const (
pingTimeout = 700 * time.Millisecond // /health/ready опрашивается раз в секунду
putTimeout = 10 * time.Second // до 10 MiB по локальной сети
smallOpTimeout = 3 * time.Second // Head/Delete
listTimeout = 10 * time.Second // страница List до 1000 ключей
)
// Config — параметры подключения. Секреты приходят из окружения, в лог не пишутся.
type Config struct {
Endpoint string
Region string
Bucket string
AccessKey string
SecretKey string
ForcePathStyle bool
}
// Store — клиент одного bucket. Безопасен для конкурентного использования.
type Store struct {
client *s3.Client
bucket string
}
// ObjectInfo — метаданные объекта (из Head или List).
type ObjectInfo struct {
Key string
Size int64
ContentType string // пусто для List: он тип не возвращает
LastModified time.Time
ETag string
}
// ListPage — одна страница List. NextToken пуст, когда страниц больше нет.
type ListPage struct {
Objects []ObjectInfo
NextToken string
}
// New создаёт клиента. Сетевых вызовов не делает: доступность проверяют Ping/EnsureBucket.
func New(cfg Config) (*Store, error) {
if cfg.Endpoint == "" || cfg.Bucket == "" || cfg.AccessKey == "" || cfg.SecretKey == "" {
return nil, fmt.Errorf("objectstore: endpoint, bucket and credentials are required")
}
region := cfg.Region
if region == "" {
region = "us-east-1"
}
// Собственный HTTP-клиент: короткий dial-таймаут нужен, чтобы остановленный MinIO
// давал отказ за ~2 с, а не за системные минуты. ResponseHeaderTimeout защищает от
// «подвисшего» сервера, который принял соединение, но не отвечает.
httpClient := awshttp.NewBuildableClient().
WithDialerOptions(func(d *net.Dialer) {
d.Timeout = 2 * time.Second
d.KeepAlive = 30 * time.Second
}).
WithTransportOptions(func(tr *http.Transport) {
tr.ResponseHeaderTimeout = 8 * time.Second
tr.MaxIdleConnsPerHost = 16
tr.IdleConnTimeout = 60 * time.Second
})
awsCfg := aws.Config{
Region: region,
Credentials: credentials.NewStaticCredentialsProvider(cfg.AccessKey, cfg.SecretKey, ""),
HTTPClient: httpClient,
// Две попытки вместо трёх по умолчанию: повтор нужен для редких обрывов,
// но при лежащем S3 мы хотим быстро ответить 503, а не копить backoff.
RetryMaxAttempts: 2,
}
client := s3.NewFromConfig(awsCfg, func(o *s3.Options) {
o.BaseEndpoint = aws.String(cfg.Endpoint)
// MinIO в Compose доступен только по имени хоста minio — bucket в имени хоста
// (virtual-hosted) невозможен, поэтому path-style.
o.UsePathStyle = cfg.ForcePathStyle
// Свежие версии SDK по умолчанию добавляют CRC32-trailer ко всем PUT. Для
// не-AWS бэкендов это источник несовместимостей; нам достаточно обычной SigV4
// подписи полезной нагрузки (тело — seekable bytes.Reader).
o.RequestChecksumCalculation = aws.RequestChecksumCalculationWhenRequired
o.ResponseChecksumValidation = aws.ResponseChecksumValidationWhenRequired
})
return &Store{client: client, bucket: cfg.Bucket}, nil
}
// Bucket возвращает имя bucket (для логов bootstrap; клиенту не отдаётся).
func (s *Store) Bucket() string { return s.bucket }
// Ping — проверка для /health/ready: HeadBucket. Требует s3:ListBucket, которое
// есть в политике messenger-api. Короткий таймаут: readiness не должен висеть.
func (s *Store) Ping(ctx context.Context) error {
ctx, cancel := context.WithTimeout(ctx, pingTimeout)
defer cancel()
if _, err := s.client.HeadBucket(ctx, &s3.HeadBucketInput{Bucket: aws.String(s.bucket)}); err != nil {
return ErrUnavailable
}
return nil
}
// EnsureBucket идемпотентно гарантирует существование bucket.
//
// Основной путь создания — сервис minio-init (root-учётка). API-пользователь по политике
// НЕ может создавать buckets, поэтому здесь: HeadBucket → если нет, пробуем CreateBucket
// (сработает на S3-бэкендах с более широкими правами, например в локальном dev) и
// «уже существует/уже наш» считаем успехом. Повторный вызов безопасен.
func (s *Store) EnsureBucket(ctx context.Context) error {
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
defer cancel()
_, err := s.client.HeadBucket(ctx, &s3.HeadBucketInput{Bucket: aws.String(s.bucket)})
if err == nil {
return nil
}
if !isNotFound(err) {
return fmt.Errorf("head bucket: %w", classify(err))
}
_, err = s.client.CreateBucket(ctx, &s3.CreateBucketInput{Bucket: aws.String(s.bucket)})
if err != nil {
var owned *types.BucketAlreadyOwnedByYou
var exists *types.BucketAlreadyExists
if errors.As(err, &owned) || errors.As(err, &exists) {
return nil // гонка с другой репликой/minio-init: bucket уже есть
}
return fmt.Errorf("create bucket (запустите minio-init): %w", classify(err))
}
return nil
}
// Put кладёт объект целиком. body должен быть seekable (bytes.Reader): SDK тогда сам
// считает хеш полезной нагрузки для SigV4 и умеет перечитать тело при retry.
// Объект без ACL: bucket приватный, анонимный доступ запрещён политикой.
func (s *Store) Put(ctx context.Context, key string, body io.ReadSeeker, size int64, contentType string) error {
ctx, cancel := context.WithTimeout(ctx, putTimeout)
defer cancel()
_, err := s.client.PutObject(ctx, &s3.PutObjectInput{
Bucket: aws.String(s.bucket),
Key: aws.String(key),
Body: body,
ContentLength: aws.Int64(size),
ContentType: aws.String(contentType),
})
return classify(err)
}
// Get открывает поток объекта. Вызывающий ОБЯЗАН закрыть ReadCloser.
// Таймаут здесь не навешиваем: контекст живёт, пока тело стримится клиенту
// (его ограничивает ctx запроса и WriteTimeout HTTP-сервера).
func (s *Store) Get(ctx context.Context, key string) (io.ReadCloser, ObjectInfo, error) {
out, err := s.client.GetObject(ctx, &s3.GetObjectInput{
Bucket: aws.String(s.bucket),
Key: aws.String(key),
})
if err != nil {
return nil, ObjectInfo{}, classify(err)
}
info := ObjectInfo{
Key: key,
Size: aws.ToInt64(out.ContentLength),
ContentType: aws.ToString(out.ContentType),
LastModified: aws.ToTime(out.LastModified),
ETag: aws.ToString(out.ETag),
}
return out.Body, info, nil
}
// Head возвращает метаданные без тела. ErrNotFound — объекта нет.
func (s *Store) Head(ctx context.Context, key string) (ObjectInfo, error) {
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
defer cancel()
out, err := s.client.HeadObject(ctx, &s3.HeadObjectInput{
Bucket: aws.String(s.bucket),
Key: aws.String(key),
})
if err != nil {
return ObjectInfo{}, classify(err)
}
return ObjectInfo{
Key: key,
Size: aws.ToInt64(out.ContentLength),
ContentType: aws.ToString(out.ContentType),
LastModified: aws.ToTime(out.LastModified),
ETag: aws.ToString(out.ETag),
}, nil
}
// Delete удаляет объект. Отсутствующий объект — не ошибка (S3 DeleteObject идемпотентен),
// что важно и для компенсации после сбоя PG, и для повторных запусков reconciler.
func (s *Store) Delete(ctx context.Context, key string) error {
ctx, cancel := context.WithTimeout(ctx, smallOpTimeout)
defer cancel()
_, err := s.client.DeleteObject(ctx, &s3.DeleteObjectInput{
Bucket: aws.String(s.bucket),
Key: aws.String(key),
})
if err != nil && isNotFound(err) {
return nil
}
return classify(err)
}
// List возвращает одну страницу ключей с префиксом prefix в лексикографическом порядке
// (так S3 отдаёт ListObjectsV2). token — из предыдущей страницы, пустой для первой.
// Именно порядок позволяет reconciler сливать листинг с отсортированной выборкой из БД
// (merge-join) без загрузки всех ключей в память.
func (s *Store) List(ctx context.Context, prefix, token string, maxKeys int32) (ListPage, error) {
ctx, cancel := context.WithTimeout(ctx, listTimeout)
defer cancel()
in := &s3.ListObjectsV2Input{
Bucket: aws.String(s.bucket),
Prefix: aws.String(prefix),
MaxKeys: aws.Int32(maxKeys),
}
if token != "" {
in.ContinuationToken = aws.String(token)
}
out, err := s.client.ListObjectsV2(ctx, in)
if err != nil {
return ListPage{}, classify(err)
}
page := ListPage{Objects: make([]ObjectInfo, 0, len(out.Contents))}
for _, o := range out.Contents {
page.Objects = append(page.Objects, ObjectInfo{
Key: aws.ToString(o.Key),
Size: aws.ToInt64(o.Size),
LastModified: aws.ToTime(o.LastModified),
ETag: aws.ToString(o.ETag),
})
}
if aws.ToBool(out.IsTruncated) {
page.NextToken = aws.ToString(out.NextContinuationToken)
}
return page, nil
}
// classify сводит ошибки SDK к двум доменным. Исходный текст не пробрасываем.
func classify(err error) error {
switch {
case err == nil:
return nil
case isNotFound(err):
return ErrNotFound
default:
return ErrUnavailable
}
}
// isNotFound распознаёт «нет объекта/bucket» по типам и кодам ответа S3.
// HeadObject отдаёт безымянный 404 (types.NotFound), GetObject — NoSuchKey.
func isNotFound(err error) bool {
var noKey *types.NoSuchKey
var notFound *types.NotFound
var noBucket *types.NoSuchBucket
if errors.As(err, &noKey) || errors.As(err, &notFound) || errors.As(err, &noBucket) {
return true
}
var apiErr smithy.APIError
if errors.As(err, &apiErr) {
switch apiErr.ErrorCode() {
case "NoSuchKey", "NotFound", "NoSuchBucket":
return true
}
}
return false
}
+377
View File
@@ -0,0 +1,377 @@
// Package reconcile — сверка двух хранилищ вложений: S3 (байты) и PostgreSQL (метаданные).
//
// Почему сверка нужна вообще. Общей транзакции у S3 и PostgreSQL нет. Загрузка делает
// PUT в S3, затем INSERT в БД (см. internal/api/attachments.go). Между шагами процесс может
// умереть, а компенсирующее удаление — не сработать. Получаются два вида расхождений:
//
// orphan — объект в S3 есть, строки в БД нет. Безвредно для пользователя, но это вечный
// мусор и расход места. Лечение: удалить объект, НО только старше grace-периода
// (иначе можно снести объект, у которого INSERT ещё «в полёте»).
// missing — строка в БД есть, объекта в S3 нет (удалён руками, потерян, сбой диска).
// Пользователь получит ошибку при скачивании. Автоматически данные не вернуть,
// поэтому по умолчанию только ОТЧЁТ. Опционально (PruneMissing) удаляется строка,
// которая одновременно старая И неиспользуемая; «свежие» и «используемые»
// сообщениями вложения не удаляются никогда.
//
// Алгоритм — merge-join двух ОТСОРТИРОВАННЫХ потоков (ключи S3 в лексикографическом порядке
// и attachments.object_key COLLATE "C" в БД). Обе стороны читаются страницами, поэтому память
// O(размер страницы), а не O(число объектов), а стоимость — O(n) по числу объектов
// плюс HEAD только для редких кандидатов в missing.
//
// Безопасность:
// - dry-run (DryRun) ничего не удаляет и не изменяет: только лог и отчёт;
// - повторный запуск идемпотентен (после исправления расхождений находит 0);
// - ключи вне схемы attachments/{uuid}/{uuid} никогда не удаляются;
// - перед удалением orphan — повторная проверка строки в БД (сужает окно гонки);
// - строки, на которые ссылаются сообщения, защищены ещё и внешним ключом PostgreSQL.
package reconcile
import (
"context"
"errors"
"fmt"
"time"
"github.com/google/uuid"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/store"
)
// KeyPrefix — единственный префикс, который обходит reconciler.
const KeyPrefix = "attachments/"
// pageSize — размер страницы и для S3 (максимум ListObjectsV2 — 1000), и для БД.
const defaultPageSize = 1000
// maxSamples ограничивает число ключей-примеров в отчёте, чтобы вывод не разрастался.
const maxSamples = 50
// Options — параметры запуска.
type Options struct {
// DryRun — ничего не менять, только сообщить, что было бы сделано.
DryRun bool
// Grace — минимальный возраст orphan-объекта (по LastModified в S3) и «неиспользуемой»
// строки (по created_at), после которого их можно трогать. Берётся из S3_ORPHAN_GRACE_SECONDS.
Grace time.Duration
// PruneMissing — удалять строки без объекта, если они старше Grace и не прикреплены
// ни к одному сообщению. Без флага missing только отчётность.
PruneMissing bool
// PageSize — для тестов; по умолчанию 1000.
PageSize int
// Now — для тестов; по умолчанию time.Now.
Now func() time.Time
// Logf — построчный лог (по умолчанию молчит). В main — log.Printf.
Logf func(format string, args ...any)
}
// Report — итог запуска. Печатается в JSON и годится как evidence.
type Report struct {
DryRun bool `json:"dry_run"`
GraceSeconds float64 `json:"grace_seconds"`
PruneMissing bool `json:"prune_missing"`
// Стоимость обхода.
S3ObjectsScanned int `json:"s3_objects_scanned"`
DBRowsScanned int `json:"db_rows_scanned"`
S3ListCalls int `json:"s3_list_calls"`
DBPages int `json:"db_pages"`
HeadCalls int `json:"s3_head_calls"`
DeleteCalls int `json:"s3_delete_calls"`
DurationMs int64 `json:"duration_ms"`
Matched int `json:"matched"` // и объект, и строка
// Orphan: объект без строки.
OrphansFound int `json:"orphans_found"` // старше grace, подлежат удалению
OrphansDeleted int `json:"orphans_deleted"` // реально удалено (0 в dry-run)
OrphansFresh int `json:"orphans_fresh"` // моложе grace — не тронуты
OrphansRaced int `json:"orphans_raced"` // перед удалением строка появилась — не тронуты
UnknownKeys int `json:"unknown_keys"` // ключ вне схемы attachments/{uuid}/{uuid} — не тронуты
OrphanSampleKey []string `json:"orphan_sample_keys,omitempty"`
// Missing: строка без объекта.
MissingFound int `json:"missing_found"` // подтверждено HEAD
MissingUsed int `json:"missing_used"` // прикреплено к сообщению — ТРЕБУЕТ внимания, не удаляется
MissingFresh int `json:"missing_fresh"` // моложе grace — не тронуты
MissingStale int `json:"missing_stale"` // старые и неиспользуемые — кандидаты на prune
MissingPruned int `json:"missing_pruned"` // строк удалено (0 в dry-run и без PruneMissing)
MissingRaced int `json:"missing_raced"` // HEAD нашёл объект — ложная тревога из-за гонки
MissingSample []string `json:"missing_sample_keys,omitempty"`
Errors int `json:"errors"`
}
// Reconciler — зависимости.
type Reconciler struct {
DB *store.Store
Objects *objectstore.Store
Opts Options
}
// Run выполняет один проход. Ошибка хранилища (S3/PG недоступны) прерывает проход:
// частичный результат без явной причины хуже честной остановки; отчёт возвращается всегда.
func (rc *Reconciler) Run(ctx context.Context) (*Report, error) {
opts := rc.Opts
if opts.PageSize <= 0 || opts.PageSize > defaultPageSize {
opts.PageSize = defaultPageSize
}
if opts.Now == nil {
opts.Now = time.Now
}
if opts.Logf == nil {
opts.Logf = func(string, ...any) {}
}
rep := &Report{
DryRun: opts.DryRun,
GraceSeconds: opts.Grace.Seconds(),
PruneMissing: opts.PruneMissing,
}
start := time.Now()
defer func() { rep.DurationMs = time.Since(start).Milliseconds() }()
run := &run{rc: rc, opts: opts, rep: rep}
err := run.mergeJoin(ctx)
return rep, err
}
type run struct {
rc *Reconciler
opts Options
rep *Report
}
// s3Cursor / dbCursor — «ленивые» итераторы по страницам с peek/advance.
type s3Cursor struct {
page []objectstore.ObjectInfo
idx int
token string
begun bool
done bool
}
type dbCursor struct {
page []store.AttachmentRef
idx int
after string
done bool
}
func (r *run) peekS3(ctx context.Context, c *s3Cursor) (*objectstore.ObjectInfo, error) {
for c.idx >= len(c.page) {
if c.done {
return nil, nil
}
if c.begun && c.token == "" {
c.done = true
return nil, nil
}
p, err := r.rc.Objects.List(ctx, KeyPrefix, c.token, int32(r.opts.PageSize))
if err != nil {
return nil, fmt.Errorf("list s3: %w", err)
}
r.rep.S3ListCalls++
c.begun, c.page, c.idx, c.token = true, p.Objects, 0, p.NextToken
if len(p.Objects) == 0 && p.NextToken == "" {
c.done = true
return nil, nil
}
}
return &c.page[c.idx], nil
}
func (r *run) peekDB(ctx context.Context, c *dbCursor) (*store.AttachmentRef, error) {
for c.idx >= len(c.page) {
if c.done {
return nil, nil
}
rows, err := r.rc.DB.ListAttachmentRefsAfter(ctx, c.after, r.opts.PageSize)
if err != nil {
return nil, fmt.Errorf("list db: %w", err)
}
r.rep.DBPages++
if len(rows) == 0 {
c.done = true
return nil, nil
}
c.page, c.idx = rows, 0
c.after = rows[len(rows)-1].ObjectKey
}
return &c.page[c.idx], nil
}
func (r *run) mergeJoin(ctx context.Context) error {
s3c, dbc := &s3Cursor{}, &dbCursor{}
for {
if err := ctx.Err(); err != nil {
return err
}
o, err := r.peekS3(ctx, s3c)
if err != nil {
r.rep.Errors++
return err
}
d, err := r.peekDB(ctx, dbc)
if err != nil {
r.rep.Errors++
return err
}
if o == nil && d == nil {
return nil
}
switch {
case d == nil || (o != nil && o.Key < d.ObjectKey):
// Ключ есть в S3, а в БД его нет → кандидат в orphan.
r.rep.S3ObjectsScanned++
if err := r.handleOrphanCandidate(ctx, *o); err != nil {
r.rep.Errors++
return err
}
s3c.idx++
case o == nil || d.ObjectKey < o.Key:
// Строка есть, объекта нет → кандидат в missing.
r.rep.DBRowsScanned++
if err := r.handleMissingCandidate(ctx, *d); err != nil {
r.rep.Errors++
return err
}
dbc.idx++
default:
// Ключи равны: всё согласовано.
r.rep.S3ObjectsScanned++
r.rep.DBRowsScanned++
r.rep.Matched++
s3c.idx++
dbc.idx++
}
}
}
func (r *run) handleOrphanCandidate(ctx context.Context, o objectstore.ObjectInfo) error {
// Чужие/неожиданные ключи не трогаем вообще: reconciler знает только свою схему ключей.
if !validAttachmentKey(o.Key) {
r.rep.UnknownKeys++
r.opts.Logf("SKIP unknown key (вне схемы attachments/{uuid}/{uuid}): %s", o.Key)
return nil
}
age := r.opts.Now().Sub(o.LastModified)
if age < r.opts.Grace {
// PUT был недавно: INSERT мог ещё не закоммититься. Не трогаем.
r.rep.OrphansFresh++
r.opts.Logf("SKIP fresh orphan (age=%s < grace=%s): %s", age.Round(time.Second), r.opts.Grace, o.Key)
return nil
}
// Повторная проверка непосредственно перед удалением: за время прохода строка
// могла появиться (долгая загрузка, медленный INSERT).
exists, err := r.rc.DB.AttachmentKeyExists(ctx, o.Key)
if err != nil {
return fmt.Errorf("recheck db: %w", err)
}
if exists {
r.rep.OrphansRaced++
return nil
}
r.rep.OrphansFound++
r.sample(&r.rep.OrphanSampleKey, o.Key)
if r.opts.DryRun {
r.opts.Logf("DRY-RUN would delete orphan (age=%s, size=%d): %s", age.Round(time.Second), o.Size, o.Key)
return nil
}
r.rep.DeleteCalls++
if err := r.rc.Objects.Delete(ctx, o.Key); err != nil {
return fmt.Errorf("delete orphan: %w", err)
}
r.rep.OrphansDeleted++
r.opts.Logf("DELETED orphan (age=%s, size=%d): %s", age.Round(time.Second), o.Size, o.Key)
return nil
}
func (r *run) handleMissingCandidate(ctx context.Context, d store.AttachmentRef) error {
// Подтверждаем HEAD: листинг S3 и страница БД читались в разные моменты, поэтому
// «нет в листинге» ещё не значит «нет в S3» (загрузка могла завершиться между ними).
r.rep.HeadCalls++
_, err := r.rc.Objects.Head(ctx, d.ObjectKey)
switch {
case err == nil:
r.rep.MissingRaced++
return nil
case errors.Is(err, objectstore.ErrNotFound):
// действительно отсутствует — идём дальше
default:
return fmt.Errorf("head: %w", err)
}
r.rep.MissingFound++
r.sample(&r.rep.MissingSample, d.ObjectKey)
age := r.opts.Now().Sub(d.CreatedAt)
switch {
case d.Used:
// Вложение прикреплено к сообщению, а байт нет: потеря данных. Автоматически не чиним
// и не удаляем строку (иначе сообщение осталось бы со ссылкой в никуда).
r.rep.MissingUsed++
r.opts.Logf("ALERT used attachment lost its object (id=%s, не удаляется): %s", d.ID, d.ObjectKey)
case age < r.opts.Grace:
r.rep.MissingFresh++
r.opts.Logf("SKIP fresh missing (age=%s < grace=%s): %s", age.Round(time.Second), r.opts.Grace, d.ObjectKey)
default:
r.rep.MissingStale++
switch {
case r.opts.DryRun:
r.opts.Logf("DRY-RUN missing object, unused stale row (id=%s)%s: %s", d.ID, pruneHint(r.opts.PruneMissing), d.ObjectKey)
case !r.opts.PruneMissing:
r.opts.Logf("REPORT missing object, unused stale row (id=%s), prune выключен: %s", d.ID, d.ObjectKey)
default:
// Удаление защищено условиями created_at < cutoff и NOT EXISTS ссылок в SQL.
deleted, err := r.rc.DB.DeleteUnusedAttachment(ctx, d.ID, r.opts.Now().Add(-r.opts.Grace))
if err != nil {
return fmt.Errorf("prune row: %w", err)
}
if deleted {
r.rep.MissingPruned++
r.opts.Logf("PRUNED row without object (id=%s): %s", d.ID, d.ObjectKey)
}
}
}
return nil
}
func pruneHint(prune bool) string {
if prune {
return " would be pruned"
}
return " (prune off, report only)"
}
func (r *run) sample(dst *[]string, key string) {
if len(*dst) < maxSamples {
*dst = append(*dst, key)
}
}
// validAttachmentKey — ключ строго вида attachments/{uuid}/{uuid} в каноническом написании.
func validAttachmentKey(key string) bool {
rest, ok := cutPrefix(key, KeyPrefix)
if !ok {
return false
}
var chat, att string
for i := 0; i < len(rest); i++ {
if rest[i] == '/' {
chat, att = rest[:i], rest[i+1:]
break
}
}
if chat == "" || att == "" {
return false
}
c, err1 := uuid.Parse(chat)
a, err2 := uuid.Parse(att)
return err1 == nil && err2 == nil && c.String() == chat && a.String() == att
}
func cutPrefix(s, prefix string) (string, bool) {
if len(s) >= len(prefix) && s[:len(prefix)] == prefix {
return s[len(prefix):], true
}
return s, false
}
+135
View File
@@ -0,0 +1,135 @@
// Package session хранит opaque Bearer-сессии в Redis.
//
// PostgreSQL остаётся источником истины для пользователей и сообщений.
// Сессия — отдельная роль: случайный токен, срок жизни SESSION_TTL_SECONDS и отзыв.
// В Redis лежит не сам токен, а его SHA-256: дамп AOF не содержит значение,
// которое клиент предъявляет в Authorization.
//
// TTL ключа равен оставшемуся сроку сессии. Рестарт API его не продлевает.
// Рестарт Redis сессию сохраняет только потому, что включён AOF на volume.
package session
import (
"context"
"crypto/rand"
"crypto/sha256"
"encoding/hex"
"errors"
"fmt"
"strings"
"time"
"github.com/google/uuid"
"github.com/redis/go-redis/v9"
)
var (
ErrUnauthorized = errors.New("unauthorized")
ErrUnavailable = errors.New("unavailable")
)
// Store — клиент Redis с короткими таймаутами.
type Store struct {
client *redis.Client
ttl time.Duration
}
// Open разбирает redis:// URL. Пароль в лог не пишется.
func Open(redisURL string, ttl time.Duration) (*Store, error) {
opt, err := redis.ParseURL(redisURL)
if err != nil {
return nil, fmt.Errorf("parse redis url: %w", err)
}
opt.DialTimeout = 500 * time.Millisecond
opt.ReadTimeout = 500 * time.Millisecond
opt.WriteTimeout = 500 * time.Millisecond
opt.PoolSize = 20
client := redis.NewClient(opt)
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
defer cancel()
if err := client.Ping(ctx).Err(); err != nil {
_ = client.Close()
return nil, err
}
return &Store{client: client, ttl: ttl}, nil
}
// Close закрывает пул при остановке процесса.
func (s *Store) Close() error {
return s.client.Close()
}
// Ping — готовность кэша сессий. Недоступный Redis не означает «анонимный доступ».
func (s *Store) Ping(ctx context.Context) error {
ctx, cancel := context.WithTimeout(ctx, 300*time.Millisecond)
defer cancel()
if err := s.client.Ping(ctx).Err(); err != nil {
return ErrUnavailable
}
return nil
}
// Issue выпускает 256 бит случайности (32 байта) и кладёт сессию с TTL.
// Наружу уходит hex (64 символа). В Redis — только хеш.
func (s *Store) Issue(ctx context.Context, userID uuid.UUID) (token string, expiresAt time.Time, err error) {
buf := make([]byte, 32)
if _, err = rand.Read(buf); err != nil {
return "", time.Time{}, err
}
token = hex.EncodeToString(buf)
expiresAt = time.Now().UTC().Add(s.ttl).Truncate(time.Millisecond)
value := userID.String() + "|" + expiresAt.Format(time.RFC3339Nano)
ctx, cancel := context.WithTimeout(ctx, time.Second)
defer cancel()
if err = s.client.Set(ctx, key(token), value, time.Until(expiresAt)).Err(); err != nil {
return "", time.Time{}, ErrUnavailable
}
return token, expiresAt, nil
}
// Lookup возвращает владельца живой сессии.
// Промах и истёкший срок — ErrUnauthorized. Сбой Redis — ErrUnavailable (HTTP 503).
func (s *Store) Lookup(ctx context.Context, token string) (uuid.UUID, error) {
ctx, cancel := context.WithTimeout(ctx, time.Second)
defer cancel()
raw, err := s.client.Get(ctx, key(token)).Result()
if errors.Is(err, redis.Nil) {
return uuid.Nil, ErrUnauthorized
}
if err != nil {
return uuid.Nil, ErrUnavailable
}
userPart, expPart, ok := strings.Cut(raw, "|")
if !ok {
return uuid.Nil, ErrUnauthorized
}
exp, err := time.Parse(time.RFC3339Nano, expPart)
if err != nil || !exp.After(time.Now()) {
_ = s.client.Del(ctx, key(token)).Err()
return uuid.Nil, ErrUnauthorized
}
id, err := uuid.Parse(userPart)
if err != nil {
return uuid.Nil, ErrUnauthorized
}
return id, nil
}
// Revoke удаляет текущую сессию. Повторный отзыв — это уже отсутствие ключа.
func (s *Store) Revoke(ctx context.Context, token string) error {
ctx, cancel := context.WithTimeout(ctx, time.Second)
defer cancel()
n, err := s.client.Del(ctx, key(token)).Result()
if err != nil {
return ErrUnavailable
}
if n == 0 {
return ErrUnauthorized
}
return nil
}
func key(token string) string {
sum := sha256.Sum256([]byte(token))
return "sess:" + hex.EncodeToString(sum[:])
}
+301
View File
@@ -0,0 +1,301 @@
// Метаданные вложений (lab4): таблицы attachments и message_attachments.
//
// Разделение ответственности:
// - байты оригинала лежат в приватном S3-bucket по ключу attachments/{chat}/{id};
// - здесь — всё остальное: чат, владелец, имя для показа, тип, размер, sha256, ключ.
//
// Порядок «PUT в S3, потом INSERT здесь» выбран намеренно (см. api/attachments.go):
// при сбое между шагами остаётся лишний ОБЪЕКТ (его безопасно убирает reconciler),
// а не строка без файла (она бы отдавала пользователю ошибку при скачивании).
package store
import (
"context"
"errors"
"time"
"github.com/google/uuid"
"github.com/jackc/pgx/v5"
)
// StatusReady — единственный статус lab4: 201 возвращается только после сохранения
// и оригинала в S3, и метаданных в PostgreSQL.
const StatusReady = "ready"
// Attachment — строка таблицы attachments.
type Attachment struct {
ID uuid.UUID
ChatID uuid.UUID
OwnerID uuid.UUID
Filename string
ContentType string // image/png | image/jpeg, определён по содержимому
SizeBytes int64
SHA256 string // lowercase hex
ObjectKey string // внутренний, клиенту не отдаётся
Status string
ErrorCode *string
Width int
Height int
CreatedAt time.Time
UpdatedAt time.Time
}
// AttachmentObjectKey строит ключ объекта. Ключ целиком определяется сервером:
// имя файла клиента в нём не участвует (нет path traversal и коллизий имён),
// а префикс chat-id группирует объекты чата для будущей очистки.
func AttachmentObjectKey(chatID, attachmentID uuid.UUID) string {
return "attachments/" + chatID.String() + "/" + attachmentID.String()
}
// CreateAttachment вставляет метаданные уже загруженного в S3 объекта.
//
// INSERT ... SELECT ... WHERE EXISTS проверяет членство атомарно с вставкой:
// между «проверили участие» в HTTP-слое и записью строки состав чата мог бы измениться,
// а так условие и запись — один оператор. 0 строк → ErrNotFound (404).
func (s *Store) CreateAttachment(ctx context.Context, a *Attachment) error {
if a.CreatedAt.IsZero() {
// Миллисекундная точность — та же, что печатается в JSON.
a.CreatedAt = nowUTC()
}
if a.Status == "" {
a.Status = StatusReady
}
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
tag, err := s.pool.Exec(ctx, `
INSERT INTO attachments (
id, chat_id, owner_id, filename, content_type, size_bytes, sha256,
object_key, status, error_code, width, height, created_at, updated_at)
SELECT $1, $2, $3, $4, $5, $6, $7, $8, $9, NULL, $10, $11, $12, $12
WHERE EXISTS (SELECT 1 FROM chat_members WHERE chat_id = $2 AND user_id = $3)`,
a.ID, a.ChatID, a.OwnerID, a.Filename, a.ContentType, a.SizeBytes, a.SHA256,
a.ObjectKey, a.Status, a.Width, a.Height, a.CreatedAt)
if err != nil {
return mapWriteErr(err)
}
if tag.RowsAffected() != 1 {
return ErrNotFound
}
a.UpdatedAt = a.CreatedAt
return nil
}
// GetAttachmentForUser возвращает вложение ТОЛЬКО участнику его чата.
// Чужое и несуществующее неразличимы (ErrNotFound → 404, не 403): иначе можно было
// бы по коду ответа проверять, существует ли чужой файл.
func (s *Store) GetAttachmentForUser(ctx context.Context, id, userID uuid.UUID) (*Attachment, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var a Attachment
err := s.pool.QueryRow(ctx, `
SELECT a.id, a.chat_id, a.owner_id, a.filename, a.content_type, a.size_bytes,
a.sha256, a.object_key, a.status, a.error_code, a.width, a.height,
a.created_at, a.updated_at
FROM attachments a
JOIN chat_members m ON m.chat_id = a.chat_id AND m.user_id = $2
WHERE a.id = $1`, id, userID).Scan(
&a.ID, &a.ChatID, &a.OwnerID, &a.Filename, &a.ContentType, &a.SizeBytes,
&a.SHA256, &a.ObjectKey, &a.Status, &a.ErrorCode, &a.Width, &a.Height,
&a.CreatedAt, &a.UpdatedAt)
if errors.Is(err, pgx.ErrNoRows) {
return nil, ErrNotFound
}
if err != nil {
return nil, mapWriteErr(err)
}
return &a, nil
}
// CountAttachmentsInChat нужен тестам: после отказа S3/PG в чате не должно оставаться
// «полуфабрикатов» (строк метаданных без успешной загрузки).
func (s *Store) CountAttachmentsInChat(ctx context.Context, chatID uuid.UUID) (int, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var n int
if err := s.pool.QueryRow(ctx, `SELECT count(*) FROM attachments WHERE chat_id = $1`, chatID).Scan(&n); err != nil {
return 0, mapWriteErr(err)
}
return n, nil
}
// querier — общая часть pgx.Tx и pgxpool.Pool: так одни и те же функции читают
// связи сообщений и внутри транзакции (идемпотентный replay), и вне её (история).
type querier interface {
Query(ctx context.Context, sql string, args ...any) (pgx.Rows, error)
}
// lockMessageAttachments проверяет вложения будущего сообщения внутри его транзакции.
//
// - WHERE id = ANY($1) AND chat_id = $2: вложение другого чата и несуществующее
// одинаково «не находятся» → ErrNotFound (404). Это и есть привязка файла к чату.
// - FOR SHARE блокирует найденные строки до COMMIT: параллельное удаление
// (reconciler) подождёт и затем упрётся в внешний ключ message_attachments.
// - Если нашлось меньше строк, чем запрошено, — хотя бы одно чужое/неизвестное.
// - Любой статус, кроме ready, → ErrAttachmentNotReady (409).
//
// ids уже проверены HTTP-слоем на уникальность и количество (≤10).
func lockMessageAttachments(ctx context.Context, tx pgx.Tx, chatID uuid.UUID, ids []uuid.UUID) error {
if len(ids) == 0 {
return nil
}
rows, err := tx.Query(ctx, `
SELECT id, status FROM attachments
WHERE id = ANY($1) AND chat_id = $2
ORDER BY id
FOR SHARE`, ids, chatID)
if err != nil {
return mapWriteErr(err)
}
defer rows.Close()
found, notReady := 0, false
for rows.Next() {
var id uuid.UUID
var status string
if err := rows.Scan(&id, &status); err != nil {
return mapWriteErr(err)
}
found++
if status != StatusReady {
notReady = true
}
}
if err := rows.Err(); err != nil {
return mapWriteErr(err)
}
rows.Close()
if found != len(ids) {
return ErrNotFound
}
if notReady {
return ErrAttachmentNotReady
}
return nil
}
// loadMessageAttachmentIDs — вложения одного сообщения в исходном порядке (position).
// Никогда не возвращает nil: пустой срез сериализуется в [], а не в null.
func loadMessageAttachmentIDs(ctx context.Context, q querier, messageID uuid.UUID) ([]uuid.UUID, error) {
byMsg, err := attachmentIDsByMessage(ctx, q, []uuid.UUID{messageID})
if err != nil {
return nil, err
}
return byMsg[messageID], nil
}
// attachmentIDsByMessage одним запросом читает связи для набора сообщений.
// Для сообщений без вложений вернётся пустой (не nil) срез.
func attachmentIDsByMessage(ctx context.Context, q querier, messageIDs []uuid.UUID) (map[uuid.UUID][]uuid.UUID, error) {
out := make(map[uuid.UUID][]uuid.UUID, len(messageIDs))
for _, id := range messageIDs {
out[id] = []uuid.UUID{}
}
if len(messageIDs) == 0 {
return out, nil
}
rows, err := q.Query(ctx, `
SELECT message_id, attachment_id
FROM message_attachments
WHERE message_id = ANY($1)
ORDER BY message_id, position`, messageIDs)
if err != nil {
return nil, mapWriteErr(err)
}
defer rows.Close()
for rows.Next() {
var mid, aid uuid.UUID
if err := rows.Scan(&mid, &aid); err != nil {
return nil, mapWriteErr(err)
}
out[mid] = append(out[mid], aid)
}
return out, mapWriteErr(rows.Err())
}
// attachMessageAttachments дозаполняет AttachmentIDs у страницы сообщений (ListMessages).
func (s *Store) attachMessageAttachments(ctx context.Context, items []Message) error {
if len(items) == 0 {
return nil
}
ids := make([]uuid.UUID, len(items))
for i := range items {
ids[i] = items[i].ID
}
byMsg, err := attachmentIDsByMessage(ctx, s.pool, ids)
if err != nil {
return err
}
for i := range items {
items[i].AttachmentIDs = byMsg[items[i].ID]
}
return nil
}
// ---------------------------------------------------------------------------
// Методы для reconciler (internal/reconcile). Они здесь, а не в reconcile, потому
// что SQL и работа с пулом принадлежат пакету store.
// ---------------------------------------------------------------------------
// AttachmentRef — минимальная информация о строке для сверки с S3.
type AttachmentRef struct {
ID uuid.UUID
ObjectKey string
CreatedAt time.Time
// Used — на вложение ссылается хотя бы одно сообщение. Такое вложение удалять нельзя.
Used bool
}
// ListAttachmentRefsAfter — keyset-страница строк в байтовом порядке object_key
// (колонка COLLATE "C" — порядок совпадает с листингом S3). afterKey="" — с начала.
func (s *Store) ListAttachmentRefsAfter(ctx context.Context, afterKey string, limit int) ([]AttachmentRef, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
rows, err := s.pool.Query(ctx, `
SELECT a.id, a.object_key, a.created_at,
EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id)
FROM attachments a
WHERE a.object_key > $1
ORDER BY a.object_key
LIMIT $2`, afterKey, limit)
if err != nil {
return nil, mapWriteErr(err)
}
defer rows.Close()
var out []AttachmentRef
for rows.Next() {
var r AttachmentRef
if err := rows.Scan(&r.ID, &r.ObjectKey, &r.CreatedAt, &r.Used); err != nil {
return nil, mapWriteErr(err)
}
out = append(out, r)
}
return out, mapWriteErr(rows.Err())
}
// AttachmentKeyExists — повторная проверка непосредственно перед удалением orphan-объекта:
// сужает окно гонки «reconciler решил, что строки нет, а загрузка как раз сделала INSERT».
func (s *Store) AttachmentKeyExists(ctx context.Context, key string) (bool, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var ok bool
err := s.pool.QueryRow(ctx, `SELECT EXISTS (SELECT 1 FROM attachments WHERE object_key = $1)`, key).Scan(&ok)
return ok, mapWriteErr(err)
}
// DeleteUnusedAttachment удаляет строку вложения, только если выполнены ОБА условия:
// она старше olderThan (не «свежая») и на неё нет ссылок из сообщений (не «используемая»).
// Возвращает true, если строка удалена. Внешний ключ message_attachments страхует
// от гонки с параллельной отправкой сообщения: такой DELETE упадёт, а не потеряет данные.
func (s *Store) DeleteUnusedAttachment(ctx context.Context, id uuid.UUID, olderThan time.Time) (bool, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
tag, err := s.pool.Exec(ctx, `
DELETE FROM attachments a
WHERE a.id = $1
AND a.created_at < $2
AND NOT EXISTS (SELECT 1 FROM message_attachments ma WHERE ma.attachment_id = a.id)`,
id, olderThan)
if err != nil {
return false, mapWriteErr(err)
}
return tag.RowsAffected() == 1, nil
}
+84
View File
@@ -0,0 +1,84 @@
package store
import (
"context"
"embed"
"fmt"
"sort"
"strings"
"time"
)
//go:embed migrations/*.sql
var migrationFS embed.FS
// Migrate применяет встроенные SQL-файлы по одному разу.
// Повторный старт процесса не создаёт вторую копию строк: версия пишется в schema_migrations.
func (s *Store) Migrate(ctx context.Context) error {
ctx, cancel := context.WithTimeout(ctx, 30*time.Second)
defer cancel()
if _, err := s.pool.Exec(ctx, `
CREATE TABLE IF NOT EXISTS schema_migrations (
version text PRIMARY KEY,
applied_at timestamptz NOT NULL DEFAULT now()
)`); err != nil {
return fmt.Errorf("schema_migrations: %w", err)
}
entries, err := migrationFS.ReadDir("migrations")
if err != nil {
return err
}
names := make([]string, 0, len(entries))
for _, e := range entries {
if !e.IsDir() && strings.HasSuffix(e.Name(), ".sql") {
names = append(names, e.Name())
}
}
sort.Strings(names)
for _, name := range names {
var exists bool
if err := s.pool.QueryRow(ctx, `SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version = $1)`, name).Scan(&exists); err != nil {
return err
}
if exists {
continue
}
body, err := migrationFS.ReadFile("migrations/" + name)
if err != nil {
return err
}
tx, err := s.pool.Begin(ctx)
if err != nil {
return err
}
// pgx в extended protocol не выполняет несколько команд одним Exec.
for _, stmt := range splitSQL(string(body)) {
if _, err := tx.Exec(ctx, stmt); err != nil {
_ = tx.Rollback(ctx)
return fmt.Errorf("migrate %s: %w", name, err)
}
}
if _, err := tx.Exec(ctx, `INSERT INTO schema_migrations (version) VALUES ($1)`, name); err != nil {
_ = tx.Rollback(ctx)
return err
}
if err := tx.Commit(ctx); err != nil {
return err
}
}
return nil
}
// splitSQL делит файл миграции по ';'. В этих файлах нет строк с точкой с запятой внутри литералов.
func splitSQL(body string) []string {
parts := strings.Split(body, ";")
out := make([]string, 0, len(parts))
for _, part := range parts {
stmt := strings.TrimSpace(part)
if stmt == "" {
continue
}
out = append(out, stmt)
}
return out
}
+49
View File
@@ -0,0 +1,49 @@
-- Схема lab2. PostgreSQL — источник истины для пользователей, чатов и сообщений.
-- Сессии здесь намеренно нет: их держит Redis с AOF, TTL не продлевается рестартом API.
-- Повторный запуск безопасен: все объекты создаются через IF NOT EXISTS.
CREATE TABLE IF NOT EXISTS schema_migrations (
version text PRIMARY KEY,
applied_at timestamptz NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS users (
id uuid PRIMARY KEY,
username text NOT NULL,
display_name text NOT NULL,
-- Argon2id PHC-строка. Не SHA-256 и не plaintext. Наружу не отдаётся.
password_hash text NOT NULL,
created_at timestamptz NOT NULL,
CONSTRAINT users_username_unique UNIQUE (username)
);
CREATE TABLE IF NOT EXISTS chats (
id uuid PRIMARY KEY,
title text NOT NULL,
created_at timestamptz NOT NULL
);
-- Составной первичный ключ не даёт вставить участника дважды.
-- Внешние ключи не дают сослаться на несуществующего пользователя или чат.
CREATE TABLE IF NOT EXISTS chat_members (
chat_id uuid NOT NULL REFERENCES chats (id),
user_id uuid NOT NULL REFERENCES users (id),
PRIMARY KEY (chat_id, user_id)
);
-- Список чатов пользователя начинается с фильтра «где я участник».
CREATE INDEX IF NOT EXISTS chat_members_user_idx ON chat_members (user_id);
CREATE TABLE IF NOT EXISTS messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats (id),
sender_id uuid NOT NULL REFERENCES users (id),
text text NOT NULL,
created_at timestamptz NOT NULL
);
-- Keyset истории: WHERE chat_id = ? AND (created_at, id) > (?, ?) ORDER BY created_at, id.
-- Составной индекс покрывает и фильтр, и порядок. Слабый индекс только по chat_id
-- заставил бы сортировать историю чата. Его нет в продовой схеме, он появляется
-- лишь на время эксперимента трека 2.
CREATE INDEX IF NOT EXISTS messages_history_idx ON messages (chat_id, created_at, id);
@@ -0,0 +1,23 @@
-- Идемпотентность POST сообщения (lab3).
-- Область ключа: (user_id, method, path, key).
-- Разные пользователи и чаты могут независимо использовать одну строку Idempotency-Key.
-- request_hash — SHA-256 канонического тела.
-- Другой body при том же ключе даёт HTTP 409.
-- response_* фиксируются только для успешного 201 в той же транзакции, что и INSERT messages.
-- Транзиентный 5xx не сохраняется как окончательный результат.
CREATE TABLE IF NOT EXISTS idempotency_keys (
user_id uuid NOT NULL REFERENCES users (id),
method text NOT NULL,
path text NOT NULL,
key text NOT NULL,
request_hash text NOT NULL,
response_status integer NOT NULL,
response_body jsonb NOT NULL,
message_id uuid NOT NULL REFERENCES messages (id),
created_at timestamptz NOT NULL,
PRIMARY KEY (user_id, method, path, key)
);
-- Индекс по времени — для будущей очистки хвоста старше 24 часов.
CREATE INDEX IF NOT EXISTS idempotency_keys_created_idx ON idempotency_keys (created_at);
@@ -0,0 +1,47 @@
-- Вложения lab4. Метаданные - в PostgreSQL, байты - в приватном S3-bucket (MinIO).
-- Ключ объекта назначает сервер: attachments/{chat_id}/{attachment_id}.
-- filename - только отображаемое имя, в ключ и в путь не попадает.
--
-- ВНИМАНИЕ: файл режется по символу точки с запятой (см. splitSQL в migrate.go),
-- поэтому в комментариях и литералах здесь нет этого символа.
CREATE TABLE IF NOT EXISTS attachments (
id uuid PRIMARY KEY,
-- Файл заранее привязан к чату: доступ к нему определяется членством в этом чате.
chat_id uuid NOT NULL REFERENCES chats (id),
owner_id uuid NOT NULL REFERENCES users (id),
filename text NOT NULL,
-- Тип определён по СОДЕРЖИМОМУ файла, а не по заголовку запроса.
content_type text NOT NULL CHECK (content_type IN ('image/png', 'image/jpeg')),
size_bytes bigint NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
-- lowercase hex SHA-256 оригинала.
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
-- COLLATE "C": байтовый порядок совпадает с лексикографическим порядком ListObjectsV2.
-- Reconciler сливает два отсортированных потока (S3 и эта колонка) без загрузки в память.
object_key text COLLATE "C" NOT NULL,
-- lab4 знает только ready (201 после сохранения байтов и метаданных).
-- Состояния queued/processing/failed появятся в lab5+ расширением CHECK.
status text NOT NULL DEFAULT 'ready' CHECK (status IN ('ready')),
error_code text,
width integer NOT NULL CHECK (width > 0),
height integer NOT NULL CHECK (height > 0),
created_at timestamptz NOT NULL,
updated_at timestamptz NOT NULL,
CONSTRAINT attachments_object_key_unique UNIQUE (object_key)
);
-- Проверка вложений сообщения идёт по PK, индекс по чату нужен списку и будущей очистке.
CREATE INDEX IF NOT EXISTS attachments_chat_idx ON attachments (chat_id);
-- Связь сообщение - вложение. position хранит порядок attachment_ids из запроса.
-- Одно вложение можно прикрепить к нескольким сообщениям своего чата (контракт не запрещает).
-- Внешние ключи не дают удалить вложение, на которое ссылается сообщение: reconciler
-- физически не может снести «используемое» вложение даже при ошибке в его логике.
CREATE TABLE IF NOT EXISTS message_attachments (
message_id uuid NOT NULL REFERENCES messages (id),
attachment_id uuid NOT NULL REFERENCES attachments (id),
position smallint NOT NULL CHECK (position >= 0),
PRIMARY KEY (message_id, attachment_id)
);
CREATE INDEX IF NOT EXISTS message_attachments_attachment_idx ON message_attachments (attachment_id)
+693
View File
@@ -0,0 +1,693 @@
// Package store — пользователи, чаты, сообщения и ключи идемпотентности в PostgreSQL.
//
// Источник истины — только эти таблицы. Память процесса после рестарта пуста,
// поэтому ни одного map с данными здесь нет. Каждый запрос параметризован ($1, $2):
// текст сообщения не склеивается в SQL.
//
// Создание чата — одна транзакция: строка чата и все участники фиксируются вместе
// либо не фиксируются вообще. Уникальность username обеспечивает UNIQUE, а не проверка
// «сначала SELECT, потом INSERT» (та проверка проигрывает гонке).
//
// Идемпотентность сообщения тоже живёт в PostgreSQL, а не в памяти реплики:
// два параллельных POST с одним ключом через разные API-контейнеры видят один PK.
package store
import (
"context"
"crypto/sha256"
"encoding/binary"
"encoding/json"
"errors"
"fmt"
"time"
"github.com/google/uuid"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgconn"
"github.com/jackc/pgx/v5/pgxpool"
"mtusi2026lab4/internal/auth"
)
const queryTimeout = 3 * time.Second
// Ошибки домена. HTTP-слой переводит их в коды контракта и не показывает SQL.
var (
ErrConflict = errors.New("conflict")
ErrNotFound = errors.New("not found")
ErrInvalidCursor = errors.New("invalid cursor")
ErrUnavailable = errors.New("unavailable")
// ErrIdempotencyConflict — тот же ключ, но другое тело запроса.
ErrIdempotencyConflict = errors.New("idempotency conflict")
// ErrAttachmentNotReady — вложение существует, но ещё не ready (409 по контракту).
// В lab4 все вложения создаются сразу ready; проверка нужна для lab5+ и защищает
// от прикрепления недообработанного файла.
ErrAttachmentNotReady = errors.New("attachment not ready")
)
// User — публичные поля пользователя. Hash пароля в эту структуру не попадает.
type User struct {
ID uuid.UUID
Username string
DisplayName string
CreatedAt time.Time
}
// Chat — чат и явный состав участников.
type Chat struct {
ID uuid.UUID
Title string
MemberIDs []uuid.UUID
CreatedAt time.Time
}
// Message — одно подтверждённое сообщение. sender_id назначает сервер.
type Message struct {
ID uuid.UUID
ChatID uuid.UUID
SenderID uuid.UUID
Text string
CreatedAt time.Time
// AttachmentIDs — вложения в порядке, заданном клиентом. Никогда nil в ответах API
// (контракт: attachment_ids обязателен, по умолчанию []).
AttachmentIDs []uuid.UUID
}
// PageCursor — позиция keyset. Клиент видит только opaque-строку в пакете api.
type PageCursor struct {
CreatedAt time.Time
ID uuid.UUID
Scope string
}
// Store — пул соединений. Пул ограничен, у каждого запроса свой таймаут.
type Store struct {
pool *pgxpool.Pool
hasher *auth.Hasher
}
// Open поднимает пул. ConnectTimeout короткий, чтобы недоступная БД быстро стала 503,
// а не висела до клиентского таймаута теста.
// maxConns — на одну реплику; при N репликах суммарный пул ≈ N*maxConns.
func Open(ctx context.Context, databaseURL string, hasher *auth.Hasher, maxConns int32) (*Store, error) {
if maxConns < 1 {
maxConns = 5
}
cfg, err := pgxpool.ParseConfig(databaseURL)
if err != nil {
return nil, fmt.Errorf("parse database url: %w", err)
}
cfg.MaxConns = maxConns
cfg.MinConns = 1
cfg.MaxConnLifetime = 30 * time.Minute
cfg.MaxConnIdleTime = 5 * time.Minute
cfg.HealthCheckPeriod = 30 * time.Second
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
cfg.AfterConnect = func(ctx context.Context, conn *pgx.Conn) error {
// UTC, чтобы timestamptz читался так же, как мы его записали.
// statement_timeout обрывает запрос, который внезапно решил сканировать всё.
_, err := conn.Exec(ctx, `SET TIME ZONE 'UTC'; SET statement_timeout = '3s'`)
return err
}
pool, err := pgxpool.NewWithConfig(ctx, cfg)
if err != nil {
return nil, err
}
pingCtx, cancel := context.WithTimeout(ctx, 3*time.Second)
defer cancel()
if err := pool.Ping(pingCtx); err != nil {
pool.Close()
return nil, err
}
return &Store{pool: pool, hasher: hasher}, nil
}
// Close освобождает соединения при остановке процесса.
func (s *Store) Close() {
s.pool.Close()
}
// Ping — проверка для /health/ready. Ошибка здесь значит «не готов», не «жив».
func (s *Store) Ping(ctx context.Context) error {
ctx, cancel := context.WithTimeout(ctx, 300*time.Millisecond)
defer cancel()
if err := s.pool.Ping(ctx); err != nil {
return ErrUnavailable
}
return nil
}
// CreateUser пишет пользователя. Повтор username → ErrConflict благодаря UNIQUE.
func (s *Store) CreateUser(ctx context.Context, username, displayName, password string) (*User, error) {
hash, err := auth.Hash(password)
if err != nil {
return nil, err
}
u := &User{
ID: uuid.New(),
Username: username,
DisplayName: displayName,
CreatedAt: nowUTC(),
}
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
_, err = s.pool.Exec(ctx, `
INSERT INTO users (id, username, display_name, password_hash, created_at)
VALUES ($1, $2, $3, $4, $5)`,
u.ID, u.Username, u.DisplayName, hash, u.CreatedAt)
if err != nil {
return nil, mapWriteErr(err)
}
return u, nil
}
// Authenticate проверяет Basic-логин. Нет пользователя и неверный пароль
// выглядят одинаково: оба дают false без отдельной ошибки «такого логина нет».
func (s *Store) Authenticate(ctx context.Context, username, password string) (*User, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var u User
var hash string
err := s.pool.QueryRow(ctx, `
SELECT id, username, display_name, created_at, password_hash
FROM users WHERE username = $1`, username).Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt, &hash)
if errors.Is(err, pgx.ErrNoRows) {
s.hasher.Burn(password)
return nil, ErrNotFound
}
if err != nil {
return nil, mapWriteErr(err)
}
if !s.hasher.Verify(hash, password) {
return nil, ErrNotFound
}
return &u, nil
}
// GetUser нужен, чтобы ответ /users/me совпал с объектом из регистрации.
func (s *Store) GetUser(ctx context.Context, id uuid.UUID) (*User, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var u User
err := s.pool.QueryRow(ctx, `
SELECT id, username, display_name, created_at FROM users WHERE id = $1`, id).
Scan(&u.ID, &u.Username, &u.DisplayName, &u.CreatedAt)
if errors.Is(err, pgx.ErrNoRows) {
return nil, ErrNotFound
}
if err != nil {
return nil, mapWriteErr(err)
}
return &u, nil
}
// CreateChat атомарно создаёт чат и состав. Неизвестный участник откатывает всё:
// в таблице chats не остаётся «пустой» строки без полного состава.
func (s *Store) CreateChat(ctx context.Context, title string, memberIDs []uuid.UUID) (*Chat, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
tx, err := s.pool.Begin(ctx)
if err != nil {
return nil, mapWriteErr(err)
}
defer func() { _ = tx.Rollback(ctx) }()
chat := &Chat{
ID: uuid.New(),
Title: title,
MemberIDs: append([]uuid.UUID(nil), memberIDs...),
CreatedAt: nowUTC(),
}
if _, err := tx.Exec(ctx, `INSERT INTO chats (id, title, created_at) VALUES ($1, $2, $3)`,
chat.ID, chat.Title, chat.CreatedAt); err != nil {
return nil, mapWriteErr(err)
}
for _, uid := range memberIDs {
// INSERT ... SELECT вставит 0 строк, если пользователя нет, и не нарушит FK.
tag, err := tx.Exec(ctx, `
INSERT INTO chat_members (chat_id, user_id)
SELECT $1, id FROM users WHERE id = $2`, chat.ID, uid)
if err != nil {
return nil, mapWriteErr(err)
}
if tag.RowsAffected() != 1 {
return nil, ErrNotFound
}
}
if err := tx.Commit(ctx); err != nil {
return nil, mapWriteErr(err)
}
return chat, nil
}
// GetChat возвращает чат только участнику. Чужому — ErrNotFound (HTTP 404, не 403).
func (s *Store) GetChat(ctx context.Context, chatID, userID uuid.UUID) (*Chat, error) {
if err := s.ensureMember(ctx, chatID, userID); err != nil {
return nil, err
}
return s.loadChat(ctx, chatID)
}
// ListChats — keyset по (created_at, id) только среди чатов этого пользователя.
func (s *Store) ListChats(ctx context.Context, userID uuid.UUID, limit int, after *PageCursor) ([]Chat, *PageCursor, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var (
rows pgx.Rows
err error
)
if after == nil {
rows, err = s.pool.Query(ctx, `
SELECT c.id, c.title, c.created_at
FROM chats c
JOIN chat_members m ON m.chat_id = c.id
WHERE m.user_id = $1
ORDER BY c.created_at, c.id
LIMIT $2`, userID, limit+1)
} else {
rows, err = s.pool.Query(ctx, `
SELECT c.id, c.title, c.created_at
FROM chats c
JOIN chat_members m ON m.chat_id = c.id
WHERE m.user_id = $1
AND (c.created_at, c.id) > ($2, $3)
ORDER BY c.created_at, c.id
LIMIT $4`, userID, after.CreatedAt, after.ID, limit+1)
}
if err != nil {
return nil, nil, mapWriteErr(err)
}
defer rows.Close()
var items []Chat
for rows.Next() {
var c Chat
if err := rows.Scan(&c.ID, &c.Title, &c.CreatedAt); err != nil {
return nil, nil, mapWriteErr(err)
}
items = append(items, c)
}
if err := rows.Err(); err != nil {
return nil, nil, mapWriteErr(err)
}
next, items := trimPage(items, limit, func(c Chat) (time.Time, uuid.UUID) {
return c.CreatedAt, c.ID
})
for i := range items {
members, err := s.memberIDs(ctx, items[i].ID)
if err != nil {
return nil, nil, err
}
items[i].MemberIDs = members
}
var cursor *PageCursor
if next {
last := items[len(items)-1]
cursor = &PageCursor{CreatedAt: last.CreatedAt, ID: last.ID}
}
return items, cursor, nil
}
// CreateMessage пишет сообщение только если отправитель состоит в чате.
// Подтверждение — это COMMIT строки. Следующее чтение видит её без кэша истории.
// Без идемпотентности — только для внутренних/тестовых случаев; HTTP использует CreateMessageIdempotent.
func (s *Store) CreateMessage(ctx context.Context, chatID, senderID uuid.UUID, text string) (*Message, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
msg := &Message{
ID: uuid.New(),
ChatID: chatID,
SenderID: senderID,
Text: text,
CreatedAt: nowUTC(),
// Внутренний путь без вложений; поле не nil, чтобы JSON дал [], а не null.
AttachmentIDs: []uuid.UUID{},
}
tag, err := s.pool.Exec(ctx, `
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT $1, $2, $3, $4, $5
WHERE EXISTS (
SELECT 1 FROM chat_members WHERE chat_id = $2 AND user_id = $3
)`, msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt)
if err != nil {
return nil, mapWriteErr(err)
}
if tag.RowsAffected() != 1 {
return nil, ErrNotFound
}
return msg, nil
}
// IdempotentMessage — либо только что созданное, либо ранее сохранённое по ключу сообщение.
type IdempotentMessage struct {
Message *Message
Replayed bool
}
// CreateMessageIdempotent атомарно создаёт сообщение и запоминает ответ по ключу.
//
// Алгоритм (общая БД, любые реплики):
// 1. BEGIN;
// 2. pg_advisory_xact_lock по хешу (user, method, path, key) — сериализует конкурентов
// ещё до INSERT messages, иначе два победителя гонки успели бы создать два сообщения;
// 3. SELECT сохранённого ключа — если есть, сравнить hash и вернуть Message;
// 4. иначе проверить членство, затем вложения (lab4): все принадлежат ЭТОМУ чату и ready,
// строки блокируются FOR SHARE, чтобы удаление (reconciler) не вклинилось до COMMIT;
// 5. INSERT message + INSERT message_attachments + INSERT idempotency_keys в той же
// транзакции: сообщение либо видно целиком вместе со ссылками на вложения, либо нет;
// 6. COMMIT (advisory lock снимается вместе с транзакцией).
//
// Чужое и неизвестное вложение (в т.ч. из другого чата) неразличимы: оба дают ErrNotFound
// (HTTP 404), чтобы нельзя было перебором выяснить, существует ли чужой файл.
//
// Другой request_hash → ErrIdempotencyConflict. Транзиентный 5xx сюда не попадает:
// запись ключа только после успешной подготовки 201.
func (s *Store) CreateMessageIdempotent(
ctx context.Context,
chatID, senderID uuid.UUID,
text string,
attachmentIDs []uuid.UUID,
method, path, idemKey, requestHash string,
) (*IdempotentMessage, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
tx, err := s.pool.Begin(ctx)
if err != nil {
return nil, mapWriteErr(err)
}
defer func() { _ = tx.Rollback(ctx) }()
lockKey := idempotencyLockKey(senderID, method, path, idemKey)
if _, err := tx.Exec(ctx, `SELECT pg_advisory_xact_lock($1)`, lockKey); err != nil {
return nil, mapWriteErr(err)
}
var (
storedHash string
msgID uuid.UUID
msgChat uuid.UUID
msgSender uuid.UUID
msgText string
msgCreated time.Time
)
err = tx.QueryRow(ctx, `
SELECT i.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at
FROM idempotency_keys i
JOIN messages m ON m.id = i.message_id
WHERE i.user_id = $1 AND i.method = $2 AND i.path = $3 AND i.key = $4`,
senderID, method, path, idemKey,
).Scan(&storedHash, &msgID, &msgChat, &msgSender, &msgText, &msgCreated)
if err == nil {
if storedHash != requestHash {
return nil, ErrIdempotencyConflict
}
// Replay обязан вернуть ТОТ ЖЕ набор вложений, что и первый ответ.
replayIDs, err := loadMessageAttachmentIDs(ctx, tx, msgID)
if err != nil {
return nil, err
}
if err := tx.Commit(ctx); err != nil {
return nil, mapWriteErr(err)
}
return &IdempotentMessage{
Message: &Message{
ID: msgID,
ChatID: msgChat,
SenderID: msgSender,
Text: msgText,
CreatedAt: msgCreated,
AttachmentIDs: replayIDs,
},
Replayed: true,
}, nil
}
if !errors.Is(err, pgx.ErrNoRows) {
return nil, mapWriteErr(err)
}
var member int
if err := tx.QueryRow(ctx, `
SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2`, chatID, senderID).Scan(&member); err != nil {
if errors.Is(err, pgx.ErrNoRows) {
return nil, ErrNotFound
}
return nil, mapWriteErr(err)
}
// Вложения проверяем ПОСЛЕ членства: посторонний в чат получает 404 по чату,
// а не информацию о существовании файлов.
if err := lockMessageAttachments(ctx, tx, chatID, attachmentIDs); err != nil {
return nil, err
}
msg := &Message{
ID: uuid.New(),
ChatID: chatID,
SenderID: senderID,
Text: text,
CreatedAt: nowUTC(),
AttachmentIDs: append([]uuid.UUID{}, attachmentIDs...),
}
if _, err := tx.Exec(ctx, `
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
VALUES ($1, $2, $3, $4, $5)`,
msg.ID, msg.ChatID, msg.SenderID, msg.Text, msg.CreatedAt); err != nil {
return nil, mapWriteErr(err)
}
// Порядок attachment_ids клиента сохраняется в position.
for i, aid := range attachmentIDs {
if _, err := tx.Exec(ctx, `
INSERT INTO message_attachments (message_id, attachment_id, position)
VALUES ($1, $2, $3)`, msg.ID, aid, i); err != nil {
return nil, mapWriteErr(err)
}
}
// response_body заполняем каноническим Message JSON уже здесь, чтобы replay
// не зависел от повторной сериализации в HTTP-слое с другим порядком полей.
attachmentStrs := make([]string, len(msg.AttachmentIDs))
for i, aid := range msg.AttachmentIDs {
attachmentStrs[i] = aid.String()
}
bodyJSON, err := json.Marshal(map[string]any{
"id": msg.ID.String(),
"chat_id": msg.ChatID.String(),
"sender_id": msg.SenderID.String(),
"text": msg.Text,
"created_at": msg.CreatedAt.UTC().Truncate(time.Millisecond).Format("2006-01-02T15:04:05.000Z"),
"attachment_ids": attachmentStrs,
})
if err != nil {
return nil, err
}
if _, err = tx.Exec(ctx, `
INSERT INTO idempotency_keys (
user_id, method, path, key, request_hash,
response_status, response_body, message_id, created_at
) VALUES ($1,$2,$3,$4,$5,$6,$7,$8,$9)`,
senderID, method, path, idemKey, requestHash,
201, bodyJSON, msg.ID, msg.CreatedAt); err != nil {
return nil, mapWriteErr(err)
}
if err := tx.Commit(ctx); err != nil {
return nil, mapWriteErr(err)
}
return &IdempotentMessage{Message: msg, Replayed: false}, nil
}
// idempotencyLockKey — стабильный int64 для pg_advisory_xact_lock из области ключа.
func idempotencyLockKey(userID uuid.UUID, method, path, key string) int64 {
sum := sha256.Sum256([]byte(userID.String() + "|" + method + "|" + path + "|" + key))
return int64(binary.BigEndian.Uint64(sum[:8]))
}
// ListMessages — keyset по индексу messages_history_idx. Берём limit+1 строку,
// чтобы next_cursor был null, когда следующей записи уже нет.
func (s *Store) ListMessages(ctx context.Context, chatID, userID uuid.UUID, limit int, after *PageCursor) ([]Message, *PageCursor, error) {
if err := s.ensureMember(ctx, chatID, userID); err != nil {
return nil, nil, err
}
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var (
rows pgx.Rows
err error
)
if after == nil {
rows, err = s.pool.Query(ctx, `
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = $1
ORDER BY created_at, id
LIMIT $2`, chatID, limit+1)
} else {
rows, err = s.pool.Query(ctx, `
SELECT id, chat_id, sender_id, text, created_at
FROM messages
WHERE chat_id = $1
AND (created_at, id) > ($2, $3)
ORDER BY created_at, id
LIMIT $4`, chatID, after.CreatedAt, after.ID, limit+1)
}
if err != nil {
return nil, nil, mapWriteErr(err)
}
defer rows.Close()
var items []Message
for rows.Next() {
var m Message
if err := rows.Scan(&m.ID, &m.ChatID, &m.SenderID, &m.Text, &m.CreatedAt); err != nil {
return nil, nil, mapWriteErr(err)
}
items = append(items, m)
}
if err := rows.Err(); err != nil {
return nil, nil, mapWriteErr(err)
}
hasNext, items := trimPage(items, limit, func(m Message) (time.Time, uuid.UUID) {
return m.CreatedAt, m.ID
})
// Вложения страницы одним запросом (а не N+1): WHERE message_id = ANY(id страницы).
if err := s.attachMessageAttachments(ctx, items); err != nil {
return nil, nil, err
}
var cursor *PageCursor
if hasNext {
last := items[len(items)-1]
cursor = &PageCursor{CreatedAt: last.CreatedAt, ID: last.ID}
}
return items, cursor, nil
}
// ChatExistsForTitle помогает тесту отката: после ошибки создания чата строки нет.
func (s *Store) CountChatsByTitle(ctx context.Context, title string) (int, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var n int
err := s.pool.QueryRow(ctx, `SELECT count(*) FROM chats WHERE title = $1`, title).Scan(&n)
if err != nil {
return 0, mapWriteErr(err)
}
return n, nil
}
// IsChatMember — проверка членства для HTTP-слоя (например, до чтения тела загрузки:
// постороннему не нужно тратить на себя RAM и трафик). ErrNotFound — не участник.
func (s *Store) IsChatMember(ctx context.Context, chatID, userID uuid.UUID) error {
return s.ensureMember(ctx, chatID, userID)
}
func (s *Store) ensureMember(ctx context.Context, chatID, userID uuid.UUID) error {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var one int
err := s.pool.QueryRow(ctx, `
SELECT 1 FROM chat_members WHERE chat_id = $1 AND user_id = $2`, chatID, userID).Scan(&one)
if errors.Is(err, pgx.ErrNoRows) {
return ErrNotFound
}
if err != nil {
return mapWriteErr(err)
}
return nil
}
func (s *Store) loadChat(ctx context.Context, chatID uuid.UUID) (*Chat, error) {
ctx, cancel := context.WithTimeout(ctx, queryTimeout)
defer cancel()
var c Chat
err := s.pool.QueryRow(ctx, `SELECT id, title, created_at FROM chats WHERE id = $1`, chatID).
Scan(&c.ID, &c.Title, &c.CreatedAt)
if errors.Is(err, pgx.ErrNoRows) {
return nil, ErrNotFound
}
if err != nil {
return nil, mapWriteErr(err)
}
c.MemberIDs, err = s.memberIDs(ctx, chatID)
if err != nil {
return nil, err
}
return &c, nil
}
func (s *Store) memberIDs(ctx context.Context, chatID uuid.UUID) ([]uuid.UUID, error) {
rows, err := s.pool.Query(ctx, `
SELECT user_id FROM chat_members WHERE chat_id = $1 ORDER BY user_id`, chatID)
if err != nil {
return nil, mapWriteErr(err)
}
defer rows.Close()
var ids []uuid.UUID
for rows.Next() {
var id uuid.UUID
if err := rows.Scan(&id); err != nil {
return nil, mapWriteErr(err)
}
ids = append(ids, id)
}
return ids, mapWriteErr(rows.Err())
}
func trimPage[T any](items []T, limit int, _ func(T) (time.Time, uuid.UUID)) (bool, []T) {
if len(items) > limit {
return true, items[:limit]
}
return false, items
}
func nowUTC() time.Time {
// Миллисекунда — точность, которую мы же и печатаем в JSON.
return time.Now().UTC().Truncate(time.Millisecond)
}
func mapWriteErr(err error) error {
if err == nil {
return nil
}
var pgErr *pgconn.PgError
if errors.As(err, &pgErr) && pgErr.Code == "23505" {
return ErrConflict
}
if errors.Is(err, context.DeadlineExceeded) || isConn(err) {
return ErrUnavailable
}
return err
}
func isConn(err error) bool {
msg := err.Error()
// Не логируем и не возвращаем клиенту эту строку. Здесь только классификация.
switch {
case errors.Is(err, pgx.ErrNoRows):
return false
default:
if stringsContains(msg, "connection refused") ||
stringsContains(msg, "failed to connect") ||
stringsContains(msg, "conn closed") ||
stringsContains(msg, "closed pool") ||
stringsContains(msg, "broken pipe") ||
stringsContains(msg, "connection reset") ||
stringsContains(msg, "SQLSTATE 57P01") ||
stringsContains(msg, "SQLSTATE 08006") ||
stringsContains(msg, "SQLSTATE 08001") {
return true
}
}
return false
}
func stringsContains(s, sub string) bool {
return len(s) >= len(sub) && (s == sub || len(sub) == 0 ||
(func() bool { return contains(s, sub) })())
}
func contains(s, sub string) bool {
for i := 0; i+len(sub) <= len(s); i++ {
if s[i:i+len(sub)] == sub {
return true
}
}
return false
}
+53
View File
@@ -0,0 +1,53 @@
# Общие функции для скриптов lab4 (подключается через `. scripts/_lib.sh`, не запускается сам).
# Предполагает, что ROOT уже вычислен и текущий каталог — корень репозитория.
# Значение KEY из .env (или значение по умолчанию). Секреты скрипты не печатают.
env_get() {
v=$(grep -E "^$1=" .env 2>/dev/null | tail -n1 | cut -d= -f2- || true)
if [ -n "$v" ]; then printf '%s' "$v"; else printf '%s' "$2"; fi
}
DC="docker compose --env-file .env"
LB_PORT=$(env_get LB_HOST_PORT 8080)
MINIO_PORT=$(env_get MINIO_HOST_PORT 9000)
S3_BUCKET=$(env_get S3_BUCKET messenger)
BASE_URL=${BASE_URL:-http://127.0.0.1:${LB_PORT}}
# JSON-поле верхнего уровня (python3 есть на машине студента; jq не требуем).
json_get() { python3 -c 'import json,sys; print(json.load(sys.stdin)[sys.argv[1]])' "$1"; }
# register_and_login → печатает "TOKEN USER_ID". Каждый вызов создаёт нового пользователя.
register_and_login() {
name="u$(date +%s)$$$(awk 'BEGIN{srand(); printf "%05d", rand()*99999}')"
pw="correct-horse-1"
uid=$(curl -fsS -X POST "$BASE_URL/api/v1/users" -H 'Content-Type: application/json' \
-d "{\"username\":\"$name\",\"display_name\":\"Script\",\"password\":\"$pw\"}" | json_get id)
tok=$(curl -fsS -X POST "$BASE_URL/api/v1/auth/sessions" -u "$name:$pw" | json_get token)
printf '%s %s' "$tok" "$uid"
}
# create_chat TOKEN USER_ID → chat_id
create_chat() {
curl -fsS -X POST "$BASE_URL/api/v1/chats" -H "Authorization: Bearer $1" -H 'Content-Type: application/json' \
-d "{\"title\":\"script\",\"member_ids\":[\"$2\"]}" | json_get id
}
# upload_file TOKEN CHAT FILE [CONTENT_TYPE] → JSON вложения
upload_file() {
curl -fsS -X POST "$BASE_URL/api/v1/chats/$2/attachments?filename=$(basename "$3")" \
-H "Authorization: Bearer $1" -H "Content-Type: ${4:-image/png}" --data-binary "@$3"
}
# psql_q SQL → результат без выравнивания (для чтения object_key и счётчиков)
psql_q() {
$DC exec -T postgres sh -c 'psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -Atc "$1"' _ "$1"
}
# s3sh 'КОМАНДЫ mc' — выполнить в одноразовом контейнере mc с ROOT-учёткой (только для
# диагностики и инъекции сбоев в скриптах: API root-ключей не получает).
s3sh() {
$DC run --rm -T --no-deps --entrypoint /bin/sh minio-init -c \
"mc alias set local http://minio:9000 \"\$MINIO_ROOT_USER\" \"\$MINIO_ROOT_PASSWORD\" >/dev/null && $1"
}
uuid() { python3 -c 'import uuid; print(uuid.uuid4())'; }
+73
View File
@@ -0,0 +1,73 @@
#!/bin/sh
# Проверка «приватный bucket вне API» (критерий уровня 4):
# 1) анонимный GET объекта → 403, анонимный листинг и PUT → отказ;
# 2) контроль: тот же объект с SigV4-подписью учётки messenger-api читается (значит
# отказ в п.1 — из-за приватности, а не из-за отсутствия файла);
# 3) учётка API ограничена bucket-ом: ListBuckets и другой bucket запрещены;
# 4) консоль MinIO наружу не опубликована (порт 9001 не слушает на хосте).
# Требует поднятого стенда (scripts/up.sh), curl >= 7.75 (--aws-sigv4), python3.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
. scripts/_lib.sh
S3_URL="http://127.0.0.1:${MINIO_PORT}"
AK=$(env_get S3_ACCESS_KEY messenger-api)
SK=$(env_get S3_SECRET_KEY messenger-api-secret-change-me)
REGION=$(env_get S3_REGION us-east-1)
fail=0
pass() { echo "PASS $*"; }
bad() { echo "FAIL $*"; fail=1; }
# code URL [curl args...] → HTTP-код (000 при отказе соединения)
code() { u=$1; shift; curl -s -o /dev/null -w '%{http_code}' --max-time 5 "$@" "$u" || true; }
echo "== подготовка: загрузить реальное вложение через API и узнать его object_key"
set -- $(register_and_login); TOK=$1; UID_=$2
CHAT=$(create_chat "$TOK" "$UID_")
SAMPLE=tests/fixtures/sample.png
ATT=$(upload_file "$TOK" "$CHAT" "$SAMPLE" | json_get id)
KEY=$(psql_q "SELECT object_key FROM attachments WHERE id='$ATT'")
[ -n "$KEY" ] || { echo "не нашли object_key в БД" >&2; exit 2; }
echo "attachment=$ATT (ключ в S3 внутренний, в ответах API его нет)"
echo "== 1. анонимный доступ"
c=$(code "$S3_URL/$S3_BUCKET/$KEY"); [ "$c" = 403 ] && pass "анонимный GET объекта → $c" || bad "анонимный GET объекта → $c (ждали 403)"
c=$(code "$S3_URL/$S3_BUCKET/"); [ "$c" = 403 ] && pass "анонимный листинг bucket → $c" || bad "анонимный листинг bucket → $c (ждали 403)"
c=$(code "$S3_URL/$S3_BUCKET/anon-probe.txt" -X PUT --data x); [ "$c" = 403 ] && pass "анонимный PUT → $c" || bad "анонимный PUT → $c (ждали 403)"
echo "== 2. контроль: подписанный запрос учётки messenger-api"
c=$(code "$S3_URL/$S3_BUCKET/$KEY" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
[ "$c" = 200 ] && pass "GET с подписью messenger-api → $c (объект существует)" || bad "GET с подписью → $c (ждали 200; нужен curl >= 7.75)"
echo "== 3. права учётки API ограничены bucket-ом"
# Второй bucket создаёт root (только для проверки). MinIO отвечает на ListBuckets 200 любому
# аутентифицированному пользователю, но показывает лишь доступные ему buckets.
OTHER="other-probe-$(date +%s)"
s3sh "mc mb --ignore-existing local/$OTHER >/dev/null && echo secret | mc pipe local/$OTHER/x >/dev/null"
cleanup_other() { s3sh "mc rb --force local/$OTHER >/dev/null 2>&1" >/dev/null 2>&1 || true; }
trap cleanup_other EXIT
list=$(curl -s --max-time 5 --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3" "$S3_URL/" || true)
case "$list" in
*"<Name>$OTHER</Name>"*) bad "ListBuckets показывает чужой bucket $OTHER";;
*) pass "ListBuckets не раскрывает чужие buckets";;
esac
c=$(code "$S3_URL/$OTHER/x" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
[ "$c" = 403 ] && pass "чтение объекта в чужом bucket → $c" || bad "чтение объекта в чужом bucket → $c (ждали 403)"
c=$(code "$S3_URL/$OTHER/" --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
[ "$c" = 403 ] && pass "листинг чужого bucket → $c" || bad "листинг чужого bucket → $c (ждали 403)"
c=$(code "$S3_URL/$OTHER/y" -X PUT --data x --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
[ "$c" = 403 ] && pass "запись в чужой bucket → $c" || bad "запись в чужой bucket → $c (ждали 403)"
c=$(code "$S3_URL/new-bucket-probe-$(date +%s)" -X PUT --user "$AK:$SK" --aws-sigv4 "aws:amz:$REGION:s3")
[ "$c" = 403 ] && pass "CreateBucket → $c" || bad "CreateBucket → $c (ждали 403)"
echo "== 4. консоль MinIO не опубликована"
c=$(code "http://127.0.0.1:9001/")
{ [ "$c" = 000 ] || [ "$c" = 404 ]; } && pass "127.0.0.1:9001 не отвечает консолью ($c)" || bad "127.0.0.1:9001 отвечает: $c"
if $DC port minio 9001 2>/dev/null | grep -q .; then bad "docker compose port minio 9001 → опубликован"; else pass "порт 9001 сервиса minio не опубликован"; fi
pub=$($DC ps minio --format '{{.Publishers}}' 2>/dev/null || true)
echo "публикуемые порты minio: $pub"
case "$pub" in *9001*) bad "в Publishers есть 9001";; *) pass "в Publishers нет 9001";; esac
case "$pub" in *0.0.0.0:9000*|*"[::]:9000"*) bad "S3 API опубликован на все интерфейсы";; *) pass "S3 API только на 127.0.0.1";; esac
[ "$fail" = 0 ] && echo "ИТОГ: bucket приватный" || { echo "ИТОГ: ЕСТЬ ОШИБКИ"; exit 1; }
+8
View File
@@ -0,0 +1,8 @@
#!/bin/sh
# Перезапуск API (всех реплик), LB и ВСЕХ хранилищ (postgres, redis, minio) без удаления volumes.
# Важно: именно restart, а не up -d — иначе PID/StartedAt у живых контейнеров не меняются.
# Данные вложений лежат в volume mindata, метаданные — в pgdata: оба переживают restart.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
docker compose --env-file .env restart postgres redis minio api lb
+42
View File
@@ -0,0 +1,42 @@
#!/bin/sh
# Поднимает недостающие / остановленные API-реплики до API_REPLICAS после stop-one.
# Не трогает volumes и не делает down -v. Миграции уже применены — не пересоздаём migrate.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env 2>/dev/null | cut -d= -f2- || true)
API_REPLICAS=${API_REPLICAS:-2}
# Стартуем остановленные контейнеры сервиса api и добираем scale при нехватке.
docker compose --env-file .env start api 2>/dev/null || true
docker compose --env-file .env up -d --no-deps --scale "api=${API_REPLICAS}" api
deadline=$(( $(date +%s) + 90 ))
while :; do
if curl -fsS "http://127.0.0.1:8080/health/ready" >/dev/null 2>&1; then
# Ждём, пока LB реально видит ≥2 instance id (не только один backend).
ids=$(
python3 - <<'PY'
import urllib.request
ids=set()
for _ in range(24):
try:
with urllib.request.urlopen('http://127.0.0.1:8080/health/live', timeout=1) as r:
i=r.headers.get('X-Instance-Id')
if i: ids.add(i)
except Exception:
pass
print(len(ids))
PY
)
if [ "$ids" -ge 2 ] || [ "$API_REPLICAS" -lt 2 ]; then
exit 0
fi
fi
if [ "$(date +%s)" -ge "$deadline" ]; then
echo "restore timeout (replicas visible via LB: ${ids:-0})" >&2
docker compose --env-file .env ps >&2 || true
exit 1
fi
sleep 1
done
+143
View File
@@ -0,0 +1,143 @@
#!/bin/sh
# Трек 2 (согласованность S3 <-> PostgreSQL): повторяемый сценарий reconciler.
#
# Что делает:
# 1. Создаёт расхождения на ОБЕИХ сторонах:
# orphan_old — объект в S3 без строки (инъекция root-учёткой mc), «созрел» дольше grace;
# orphan_fresh — такой же, но только что (не должен быть тронут);
# orphan_bulk — пачка N orphan-объектов (замер стоимости обхода);
# foreign_key — объект с чужой схемой ключа (не должен быть тронут никогда);
# missing_used — вложение прикреплено к сообщению, объект из S3 удалён (ТОЛЬКО отчёт);
# missing_stale — старое неиспользуемое вложение без объекта (кандидат на prune);
# missing_fresh — свежее вложение без объекта (не трогаем);
# control — здоровое вложение с объектом, прикреплено к сообщению (не трогаем).
# 2. dry-run → ничего не меняется (проверяется снимком до/после);
# 3. реальный запуск (-reconcile -reconcile-prune-missing);
# 4. повторный запуск → 0 действий (идемпотентность);
# 5. проверяет инварианты и пишет evidence/track2/*.
# grace для сценария сокращён (TRACK2_GRACE_SECONDS, по умолчанию 45 с; «свежие» нарушения
# должны остаться моложе grace до конца сценария, а он занимает ~20-30 с после их создания) и передаётся ТОЛЬКО
# контейнеру reconcile; у API остаётся S3_ORPHAN_GRACE_SECONDS из .env (300 с).
# Код выхода 2 у reconcile — «найдено используемое вложение без объекта» — здесь ожидаем.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
. scripts/_lib.sh
GRACE=${TRACK2_GRACE_SECONDS:-45}
BULK=${TRACK2_BULK_ORPHANS:-300}
OUT=evidence/track2
mkdir -p "$OUT"
rm -f "$OUT"/*.txt "$OUT"/*.json
curl -fsS "$BASE_URL/health/ready" >/dev/null || { echo "стенд не готов: bash scripts/up.sh" >&2; exit 1; }
# Образ reconcile собираем заранее: иначе лог сборки попал бы в stdout первого запуска (JSON-отчёт).
$DC build reconcile >/dev/null 2>&1
{
echo "date_utc=$(date -u +%Y-%m-%dT%H:%M:%SZ)"
echo "git_commit=$(git rev-parse --short HEAD 2>/dev/null || echo n/a)"
echo "grace_seconds=$GRACE bulk_orphans=$BULK"
echo "api_replicas=$($DC ps -q api | wc -l | tr -d ' ')"
} > "$OUT/environment.txt"
echo "== 1. подготовка данных через API"
set -- $(register_and_login); TOK=$1; UID_=$2
CHAT=$(create_chat "$TOK" "$UID_")
SAMPLE=tests/fixtures/sample.png
att_id() { upload_file "$TOK" "$CHAT" "$SAMPLE" | json_get id; }
key_of() { psql_q "SELECT object_key FROM attachments WHERE id='$1'"; }
post_msg() { # post_msg ID... → message JSON
ids=$(printf '"%s",' "$@"); ids="[${ids%,}]"
curl -fsS -X POST "$BASE_URL/api/v1/chats/$CHAT/messages" -H "Authorization: Bearer $TOK" \
-H "Idempotency-Key: t2-$(uuid)" -H 'Content-Type: application/json' -d "{\"text\":\"track2\",\"attachment_ids\":$ids}"
}
CONTROL=$(att_id); USED=$(att_id); STALE=$(att_id)
post_msg "$CONTROL" "$USED" >/dev/null
K_CONTROL=$(key_of "$CONTROL"); K_USED=$(key_of "$USED"); K_STALE=$(key_of "$STALE")
OLD_CHAT=$(uuid); K_ORPHAN_OLD="attachments/$OLD_CHAT/$(uuid)"
K_FOREIGN="attachments/not-a-uuid/$(uuid)"
BULK_CHAT=$(uuid)
echo "== 2. инъекция сбоев в S3 (root-учётка mc, только для сценария)"
s3sh "echo orphan-old | mc pipe local/$S3_BUCKET/$K_ORPHAN_OLD >/dev/null && echo foreign | mc pipe local/$S3_BUCKET/$K_FOREIGN >/dev/null"
s3sh "mc rm local/$S3_BUCKET/$K_USED >/dev/null && mc rm local/$S3_BUCKET/$K_STALE >/dev/null"
echo " пачка из $BULK orphan-объектов для замера стоимости обхода"
s3sh "mkdir -p /tmp/bulk && cd /tmp/bulk && i=0 && while [ \$i -lt $BULK ]; do : > \$(cat /proc/sys/kernel/random/uuid); i=\$((i+1)); done && mc cp --recursive /tmp/bulk/ local/$S3_BUCKET/attachments/$BULK_CHAT/ >/dev/null"
echo "== 3. ждём ${GRACE}+2 с: orphan_old/missing_stale «стареют» за grace"
sleep $((GRACE + 2))
echo " теперь «свежие» нарушения (моложе grace):"
FRESH_ATT=$(att_id); K_FRESH=$(key_of "$FRESH_ATT")
s3sh "mc rm local/$S3_BUCKET/$K_FRESH >/dev/null"
K_ORPHAN_FRESH="attachments/$(uuid)/$(uuid)"
s3sh "echo orphan-fresh | mc pipe local/$S3_BUCKET/$K_ORPHAN_FRESH >/dev/null"
snapshot() { # snapshot FILE — состояние обеих сторон по ключам сценария (один запуск mc на снимок)
ALL=$(s3sh "mc find local/$S3_BUCKET --name '*'")
{
for k in "$K_ORPHAN_OLD" "$K_ORPHAN_FRESH" "$K_FOREIGN" "$K_CONTROL" "$K_USED" "$K_STALE" "$K_FRESH"; do
if printf '%s\n' "$ALL" | grep -qF "/$k"; then o=object; else o=NO-object; fi
printf '%-9s %s\n' "$o" "$k"
done
for pair in "control:$CONTROL" "used:$USED" "stale:$STALE" "fresh:$FRESH_ATT"; do
n=$(psql_q "SELECT count(*) FROM attachments WHERE id='${pair#*:}'")
printf 'row[%s]=%s\n' "${pair%%:*}" "$n"
done
echo "bulk_objects=$(printf '%s\n' "$ALL" | grep -c "/attachments/$BULK_CHAT/" || true)"
} > "$1"
}
reconcile() { # reconcile NAME ARGS... → NAME.json (stdout), NAME.log (stderr), печатает код выхода
name=$1; shift
rc=0
$DC run --rm -T --no-deps -e S3_ORPHAN_GRACE_SECONDS="$GRACE" reconcile "$@" \
> "$OUT/$name.json" 2> "$OUT/$name.log" || rc=$?
echo "$rc" > "$OUT/$name.exitcode"
echo " $name: exit=$rc ($(python3 -c 'import json,sys; r=json.load(open(sys.argv[1])); print("orphans_found=%s deleted=%s missing_found=%s used=%s pruned=%s duration_ms=%s" % (r["orphans_found"],r["orphans_deleted"],r["missing_found"],r["missing_used"],r["missing_pruned"],r["duration_ms"]))' "$OUT/$name.json"))"
}
field() { python3 -c 'import json,sys; print(json.load(open(sys.argv[1]))[sys.argv[2]])' "$OUT/$1.json" "$2"; }
snapshot "$OUT/state_before.txt"
echo "== 4. dry-run (ничего не должно измениться)"
reconcile 1_dry_run -reconcile-dry-run -reconcile-prune-missing
snapshot "$OUT/state_after_dry_run.txt"
echo "== 5. реальный запуск"
reconcile 2_real -reconcile -reconcile-prune-missing
snapshot "$OUT/state_after_real.txt"
echo "== 6. повторный запуск (идемпотентность)"
reconcile 3_repeat -reconcile -reconcile-prune-missing
echo "== 7. проверка инвариантов"
fail=0
check() { if [ "$2" = ok ]; then echo "PASS $1"; else echo "FAIL $1"; fail=1; fi; }
t() { if eval "$1"; then echo ok; else echo no; fi; }
check "dry-run не менял данные" "$(t "diff -q $OUT/state_before.txt $OUT/state_after_dry_run.txt >/dev/null")"
check "dry-run нашёл orphan-ы, но не удалил (deleted=0)" "$(t "[ $(field 1_dry_run orphans_found) -ge $((BULK+1)) ] && [ $(field 1_dry_run orphans_deleted) -eq 0 ] && [ $(field 1_dry_run s3_delete_calls) -eq 0 ]")"
check "dry-run: missing used/stale/fresh обнаружены" "$(t "[ $(field 1_dry_run missing_used) -ge 1 ] && [ $(field 1_dry_run missing_stale) -ge 1 ] && [ $(field 1_dry_run missing_fresh) -ge 1 ]")"
check "real: orphan_old и пачка удалены" "$(t "[ $(field 2_real orphans_deleted) -ge $((BULK+1)) ]")"
check "real: orphan_old действительно исчез из S3" "$(t "grep -q 'NO-object $K_ORPHAN_OLD' $OUT/state_after_real.txt")"
check "real: свежий orphan цел" "$(t "grep -q '^object $K_ORPHAN_FRESH' $OUT/state_after_real.txt")"
check "real: объект с чужой схемой ключа цел" "$(t "grep -q '^object $K_FOREIGN' $OUT/state_after_real.txt")"
check "real: control (строка+объект) цел" "$(t "grep -q '^object $K_CONTROL' $OUT/state_after_real.txt && grep -q 'row\[control\]=1' $OUT/state_after_real.txt")"
check "real: used без объекта НЕ удалён, есть alert" "$(t "grep -q 'row\[used\]=1' $OUT/state_after_real.txt && [ $(field 2_real missing_used) -ge 1 ] && [ \$(cat $OUT/2_real.exitcode) -eq 2 ]")"
check "real: stale unused без объекта удалена (prune)" "$(t "grep -q 'row\[stale\]=0' $OUT/state_after_real.txt && [ $(field 2_real missing_pruned) -ge 1 ]")"
check "real: fresh без объекта НЕ удалена" "$(t "grep -q 'row\[fresh\]=1' $OUT/state_after_real.txt")"
check "repeat: идемпотентность (0 удалений, 0 prune)" "$(t "[ $(field 3_repeat orphans_deleted) -eq 0 ] && [ $(field 3_repeat missing_pruned) -eq 0 ] && [ $(field 3_repeat orphans_found) -eq 0 ]")"
{
echo "# Стоимость обхода (из JSON-отчётов)"
for n in 1_dry_run 2_real 3_repeat; do
python3 - "$OUT/$n.json" "$n" <<'PY'
import json, sys
r = json.load(open(sys.argv[1]))
print("%-10s s3_objects=%-5d db_rows=%-4d s3_list_calls=%-3d db_pages=%-3d head_calls=%-3d delete_calls=%-4d duration_ms=%d"
% (sys.argv[2], r["s3_objects_scanned"], r["db_rows_scanned"], r["s3_list_calls"], r["db_pages"],
r["s3_head_calls"], r["s3_delete_calls"], r["duration_ms"]))
PY
done
} | tee "$OUT/cost.txt"
[ "$fail" = 0 ] && echo "ИТОГ track2: все инварианты выполнены (evidence в $OUT/)" || { echo "ИТОГ track2: ЕСТЬ ОШИБКИ"; exit 1; }
+44
View File
@@ -0,0 +1,44 @@
#!/bin/sh
# Останавливает РОВНО одну API-реплику, чей X-Instance-Id = TARGET_INSTANCE_ID.
# Реплика остаётся остановленной; восстановление — scripts/restore-one.sh или compose up.
# Не трогает postgres/redis/lb/volumes. Должен завершиться за <10 с.
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
ids=$(docker compose --env-file .env ps -q api)
if [ -z "$ids" ]; then
echo "no api containers" >&2
exit 1
fi
found=0
for id in $ids; do
# Совпадает с config.InstanceID: hostname контейнера, если INSTANCE_ID не задан.
hostname=$(docker inspect -f '{{.Config.Hostname}}' "$id")
env_id=$(docker inspect -f '{{range .Config.Env}}{{println .}}{{end}}' "$id" | sed -n 's/^INSTANCE_ID=//p' | head -n1)
match=$hostname
if [ -n "$env_id" ]; then
match=$env_id
fi
if [ "$match" = "$TARGET_INSTANCE_ID" ]; then
# Явный stop контейнера; restart: "no" у api гарантирует, что он не вернётся сам.
docker stop -t 8 "$id" >/dev/null
# Подтверждаем, что контейнер действительно не running — иначе failover-тест врёт.
state=$(docker inspect -f '{{.State.Running}}' "$id")
if [ "$state" = "true" ]; then
echo "container still running after stop" >&2
exit 1
fi
found=1
break
fi
done
if [ "$found" -ne 1 ]; then
echo "TARGET_INSTANCE_ID not found among api replicas" >&2
exit 1
fi
exit 0
Executable
+47
View File
@@ -0,0 +1,47 @@
#!/bin/sh
# Единая последовательность запуска стенда lab4.
# 1) postgres + redis + minio (ждём healthcheck)
# 2) minio-init: приватный bucket, пользователь messenger-api, политика (идемпотентно)
# 3) однократные миграции (заодно проверка bucket)
# 4) API×N 5) HAProxy
# Порядок важен: API и migrate не стартуют, пока bucket и S3-пользователь не готовы,
# иначе первая же загрузка вложения получила бы 503.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
if [ ! -f .env ]; then
cp .env.example .env
echo "created .env from .env.example" >&2
fi
API_REPLICAS=$(grep -E '^API_REPLICAS=' .env | tail -n1 | cut -d= -f2- || true)
API_REPLICAS=${API_REPLICAS:-2}
LB_PORT=$(grep -E '^LB_HOST_PORT=' .env | tail -n1 | cut -d= -f2- || true)
LB_PORT=${LB_PORT:-8080}
docker compose --env-file .env config --quiet
# --wait: возвращаемся, только когда у сервисов с healthcheck статус healthy.
docker compose --env-file .env up -d --build --wait postgres redis minio
# minio-init — одноразовый (restart: no): run --rm дожидается завершения и возвращает его код.
docker compose --env-file .env run --rm minio-init
docker compose --env-file .env run --rm --build migrate
docker compose --env-file .env up -d --build --scale "api=${API_REPLICAS}" --no-deps api
docker compose --env-file .env up -d --no-deps lb
echo "waiting for http://127.0.0.1:${LB_PORT}/health/ready via LB..."
deadline=$(( $(date +%s) + 120 ))
while :; do
if curl -fsS "http://127.0.0.1:${LB_PORT}/health/ready" >/dev/null 2>&1; then
echo "ready"
docker compose --env-file .env ps
exit 0
fi
if [ "$(date +%s)" -ge "$deadline" ]; then
echo "timeout waiting for readiness" >&2
docker compose --env-file .env ps >&2 || true
docker compose --env-file .env logs --tail=80 api lb minio >&2 || true
exit 1
fi
sleep 1
done
+120
View File
@@ -0,0 +1,120 @@
#!/bin/sh
# Эксперимент «≥10 одновременных загрузок → пик памяти API» (критерий уровня 4).
#
# Гипотеза: тело загрузки буферизуется целиком (нужно проверить содержимое и SHA-256 до записи
# в S3), поэтому БЕЗ ограничения пик RAM растёт как N * размер файла и упирается в лимит
# контейнера (OOM). Семафор UPLOAD_MAX_CONCURRENCY держит пик около слоты * 10 MiB, а лишние
# загрузки ждут в очереди, не читая тело.
#
# Методика: N одновременных curl, каждый ROUNDS раз подряд шлёт файл ~8 MB (PNG-шум 1600x1600,
# 2,56 Мпикс > порога полного декода) через LB. Пока идёт нагрузка, `docker stats` в потоковом
# режиме пишет потребление памяти каждой реплики API; берётся максимум. Сравниваются
# UPLOAD_MAX_CONCURRENCY=64 («без ограничения») и значение из .env (по умолчанию 4).
#
# Параметры (env): CONCURRENCY=20 ROUNDS=4 COMPARE_LIMITS="64 4" SIZE_PX=1600
# Результат: evidence/upload-memory/{summary.txt,*.stats}. Токены и тела файлов не сохраняются.
set -eu
ROOT=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
cd "$ROOT"
. scripts/_lib.sh
CONCURRENCY=${CONCURRENCY:-20}
ROUNDS=${ROUNDS:-4}
SIZE_PX=${SIZE_PX:-1600}
COMPARE_LIMITS=${COMPARE_LIMITS:-"64 $(env_get UPLOAD_MAX_CONCURRENCY 4)"}
REPLICAS=$(env_get API_REPLICAS 2)
OUT=evidence/upload-memory
TMP=$(mktemp -d)
trap 'rm -rf "$TMP"; kill $(cat "$TMP/stats.pid" 2>/dev/null) 2>/dev/null || true' EXIT
mkdir -p "$OUT"; rm -f "$OUT"/*.stats "$OUT/summary.txt"
echo "== генерация PNG-шума ${SIZE_PX}x${SIZE_PX}"
python3 - "$TMP/big.png" "$SIZE_PX" <<'PY'
import os, struct, sys, zlib
path, n = sys.argv[1], int(sys.argv[2])
raw = b"".join(b"\x00" + os.urandom(n * 3) for _ in range(n)) # фильтр 0 + RGB-шум, не сжимается
def chunk(t, d):
c = struct.pack(">I", len(d)) + t + d
return c + struct.pack(">I", zlib.crc32(t + d) & 0xFFFFFFFF)
png = b"\x89PNG\r\n\x1a\n" + chunk(b"IHDR", struct.pack(">IIBBBBB", n, n, 8, 2, 0, 0, 0)) \
+ chunk(b"IDAT", zlib.compress(raw, 1)) + chunk(b"IEND", b"")
open(path, "wb").write(png)
print("размер файла: %.2f MiB" % (len(png) / 1048576))
PY
FILE_BYTES=$(wc -c < "$TMP/big.png" | tr -d ' ')
[ "$FILE_BYTES" -le 10485760 ] || { echo "файл больше 10 MiB, уменьшите SIZE_PX" >&2; exit 1; }
set -- $(register_and_login); TOK=$1; UID_=$2
CHAT=$(create_chat "$TOK" "$UID_")
# Пиковая память: разбираем строки `docker stats --format '{{.Name}} {{.MemUsage}}'`.
peak_mib() { # peak_mib FILE → "имя: idle=… peak=…" на каждую реплику
python3 - "$1" <<'PY'
import re, sys
unit = {"B": 1/1048576, "KiB": 1/1024, "MiB": 1, "GiB": 1024, "kB": 1/1048.576, "MB": 0.9537, "GB": 976.6}
first, peak = {}, {}
ansi = re.compile(r"\x1b\[[0-9;?]*[A-Za-z]")
for line in open(sys.argv[1], errors="ignore"):
line = ansi.sub("", line) # docker stats рисует поток с escape-последовательностями
m = re.search(r"(\S*api\S*)\s+([\d.]+)\s*([KMG]i?B|B)\s*/", line)
if m:
v = float(m.group(2)) * unit[m.group(3)]
first.setdefault(m.group(1), v) # первый замер — до нагрузки
peak[m.group(1)] = max(peak.get(m.group(1), 0), v)
for k in sorted(peak):
print("%s: idle=%.1f peak=%.1f" % (k, first[k], peak[k]))
PY
}
run_case() { # run_case LIMIT
limit=$1
echo "== случай UPLOAD_MAX_CONCURRENCY=$limit: пересоздаём API (replicas=$REPLICAS)"
UPLOAD_MAX_CONCURRENCY=$limit $DC up -d --no-deps --force-recreate --scale "api=$REPLICAS" api >/dev/null 2>&1
i=0; until curl -fsS "$BASE_URL/health/ready" >/dev/null 2>&1; do i=$((i+1)); [ $i -lt 90 ] || { echo "API не поднялся" >&2; exit 1; }; sleep 1; done
sleep 5 # дать прогреться и снять «базовую» память до нагрузки
stats="$OUT/limit_${limit}.stats"
: > "$stats"
docker stats --format '{{.Name}} {{.MemUsage}}' $($DC ps -q api) >> "$stats" 2>/dev/null &
echo $! > "$TMP/stats.pid"
sleep 3
: > "$TMP/codes"
start=$(date +%s)
w=0; pids=""
while [ $w -lt "$CONCURRENCY" ]; do
(
r=0
while [ $r -lt "$ROUNDS" ]; do
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' --max-time 60 -X POST \
"$BASE_URL/api/v1/chats/$CHAT/attachments?filename=load.png" \
-H "Authorization: Bearer $TOK" -H 'Content-Type: image/png' --data-binary "@$TMP/big.png" >> "$TMP/codes" || echo "000 0" >> "$TMP/codes"
r=$((r+1))
done
) &
pids="$pids $!"
w=$((w+1))
done
wait $pids 2>/dev/null || true
elapsed=$(( $(date +%s) - start ))
sleep 3
kill "$(cat "$TMP/stats.pid")" 2>/dev/null || true
{
echo "--- UPLOAD_MAX_CONCURRENCY=$limit (параллельных клиентов=$CONCURRENCY, повторов=$ROUNDS, файл=$FILE_BYTES байт, длительность=${elapsed}s)"
echo "статусы HTTP: $(awk '{print $1}' "$TMP/codes" | sort | uniq -c | tr '\n' ' ')"
python3 -c 'import sys; t=sorted(float(l.split()[1]) for l in open(sys.argv[1]) if l.strip()); print("время ответа: min=%.2fs p50=%.2fs max=%.2fs" % (t[0], t[len(t)//2], t[-1])) if t else None' "$TMP/codes"
echo "пик памяти реплик, MiB (лимит контейнера $(env_get API_MEMORY 256M)):"
peak_mib "$stats" | sed 's/^/ /'
} | tee -a "$OUT/summary.txt"
}
{
echo "# Эксперимент пика памяти при одновременных загрузках"
echo "# дата: $(date -u +%Y-%m-%dT%H:%M:%SZ), реплик API: $REPLICAS, commit: $(git rev-parse --short HEAD 2>/dev/null || echo n/a)"
} > "$OUT/summary.txt"
for l in $COMPARE_LIMITS; do run_case "$l"; done
# Вернуть стенд к значению из .env.
$DC up -d --no-deps --force-recreate --scale "api=$REPLICAS" api >/dev/null 2>&1
echo "готово: $OUT/summary.txt"
+673
View File
@@ -0,0 +1,673 @@
// Собственные проверки lab3 (плюс регрессия lab2) и lab4 (см. attachments_test.go,
// reconcile_test.go). Им нужен уже поднятый PostgreSQL, Redis и MinIO
// (docker compose up / scripts/up.sh): контракт требует настоящую БД и настоящий S3,
// а не sqlmock. HTTP бьём в httptest.Server поверх того же Store,
// что и реплики — идемпотентность и гонки видны без обхода LB.
//
// Каждый тест пишет в лог, что именно проверяет и какой статус получил.
package studenttests
import (
"bytes"
"context"
"encoding/base64"
"encoding/json"
"fmt"
"io"
"net/http"
"net/http/httptest"
"os"
"strings"
"sync"
"testing"
"time"
"github.com/google/uuid"
"mtusi2026lab4/internal/api"
"mtusi2026lab4/internal/auth"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/session"
"mtusi2026lab4/internal/store"
)
var (
sharedStore *store.Store
sharedSessions *session.Store
sharedRedisURL string
// sharedObjects — клиент к тому же MinIO, что и реплики (учётка messenger-api, не root).
sharedObjects *objectstore.Store
)
func TestMain(m *testing.M) {
ctx := context.Background()
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
sharedRedisURL = getenv("REDIS_URL", "redis://127.0.0.1:6379/0")
hasher, err := auth.NewHasher()
if err != nil {
fmt.Fprintln(os.Stderr, "hasher:", err)
os.Exit(1)
}
sharedStore, err = store.Open(ctx, dsn, hasher, 5)
if err != nil {
fmt.Fprintln(os.Stderr, "postgres:", err)
fmt.Fprintln(os.Stderr, "подсказка: docker compose --env-file .env up -d --build")
os.Exit(1)
}
defer sharedStore.Close()
if err := sharedStore.Migrate(ctx); err != nil {
fmt.Fprintln(os.Stderr, "migrate:", err)
os.Exit(1)
}
// Повтор миграции не должен падать и не должен дублировать данные.
if err := sharedStore.Migrate(ctx); err != nil {
fmt.Fprintln(os.Stderr, "migrate second:", err)
os.Exit(1)
}
sharedObjects, err = objectstore.New(objectstore.Config{
Endpoint: getenv("S3_ENDPOINT", "http://127.0.0.1:9000"),
Region: getenv("S3_REGION", "us-east-1"),
Bucket: getenv("S3_BUCKET", "messenger"),
AccessKey: getenv("S3_ACCESS_KEY", "messenger-api"),
SecretKey: getenv("S3_SECRET_KEY", "messenger-api-secret-change-me"),
ForcePathStyle: true,
})
if err != nil {
fmt.Fprintln(os.Stderr, "objectstore:", err)
os.Exit(1)
}
if err := sharedObjects.EnsureBucket(ctx); err != nil {
fmt.Fprintln(os.Stderr, "s3:", err)
fmt.Fprintln(os.Stderr, "подсказка: bash scripts/up.sh (MinIO на 127.0.0.1:${MINIO_HOST_PORT}); для нестандартных портов задайте S3_ENDPOINT")
os.Exit(1)
}
sharedSessions, err = session.Open(sharedRedisURL, time.Hour)
if err != nil {
fmt.Fprintln(os.Stderr, "redis:", err)
os.Exit(1)
}
defer sharedSessions.Close()
os.Exit(m.Run())
}
func TestMalformedJSONAndValidation(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "битый JSON, хвост после объекта, лишнее поле, пустой текст, чужой чат")
status, body := do(t, srv, http.MethodPost, "/api/v1/users", nil, "{")
logResult(t, status, body)
if status != http.StatusBadRequest || !strings.Contains(body, "invalid_request") {
t.Fatalf("malformed json: status=%d body=%s", status, body)
}
status, body = do(t, srv, http.MethodPost, "/api/v1/users", nil,
`{"username":"abc","display_name":"Имя","password":"correct-horse-1","extra":1}`)
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("extra field: status=%d", status)
}
user := register(t, srv, "ok_user")
token := login(t, srv, user.username, user.password)
chat := createChat(t, srv, token, user.id, "Чат проверки")
auth := map[string]string{"Authorization": "Bearer " + token}
// Decoder.More() это не ловит: один объект декодируется, лишняя скобка остаётся.
for _, raw := range []string{`{"text":"valid"}}`, `{"text":"valid"}]`} {
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, raw)
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("trailing garbage %q: status=%d body=%s", raw, status, body)
}
}
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":" "}`)
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("blank message: status=%d", status)
}
outsider := register(t, srv, "outsider")
outTok := login(t, srv, outsider.username, outsider.password)
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{"Authorization": "Bearer " + outTok}, `{"text":"чужое"}`)
logResult(t, status, body)
if status != http.StatusNotFound {
t.Fatalf("foreign chat: status=%d body=%s", status, body)
}
logOK(t, "валидация JSON, хвоста, пустого текста и чужого чата")
}
func TestMessageTextPreservedAndLengthOnOriginal(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "пробелы по краям сохраняются; длина считается по исходному тексту")
user := register(t, srv, "text_user")
token := login(t, srv, user.username, user.password)
chat := createChat(t, srv, token, user.id, "Текст")
auth := map[string]string{"Authorization": "Bearer " + token}
original := " строка\nс пробелами "
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth,
fmt.Sprintf(`{"text":%q}`, original))
logResult(t, status, body)
if status != http.StatusCreated {
t.Fatalf("preserve spaces: status=%d", status)
}
got := decode(t, body)
if got["text"] != original {
t.Fatalf("text mutated: got %q want %q", got["text"], original)
}
tooLong := " " + strings.Repeat("a", 4000) // 4001 code points
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth,
fmt.Sprintf(`{"text":%q}`, tooLong))
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("length after trim bypass: status=%d body=%s", status, body)
}
logOK(t, "текст сохранён целиком, обход лимита через TrimSpace закрыт")
}
func TestSessionRejectsJSONBody(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "POST /auth/sessions с телом должен быть 400 даже при верном Basic")
user := register(t, srv, "body_user")
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
"Authorization": "Basic " + basic(user.username, user.password),
}, `{"extra":1}`)
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("session with body: status=%d body=%s", status, body)
}
logOK(t, "вход без JSON body")
}
func TestWrongPasswordLogoutAndIgnoredUserHeader(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "неверный пароль, Basic на бизнес-методе, X-User-Id, logout")
user := register(t, srv, "auth_user")
other := register(t, srv, "auth_other")
status, body, hdr := doRaw(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
"Authorization": "Basic " + basic(user.username, "wrong-password-1"),
}, "")
logResult(t, status, body)
if status != http.StatusUnauthorized || !strings.HasPrefix(hdr.Get("WWW-Authenticate"), "Basic") {
t.Fatalf("wrong password: status=%d www=%q", status, hdr.Get("WWW-Authenticate"))
}
token := login(t, srv, user.username, user.password)
status, body, hdr = doRaw(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
"Authorization": "Basic " + basic(user.username, user.password),
}, "")
logResult(t, status, body)
if status != http.StatusUnauthorized || !strings.HasPrefix(hdr.Get("WWW-Authenticate"), "Bearer") {
t.Fatalf("basic on business endpoint: status=%d www=%q", status, hdr.Get("WWW-Authenticate"))
}
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"X-User-Id": user.id}, "")
logResult(t, status, body)
if status != http.StatusUnauthorized {
t.Fatalf("X-User-Id alone: status=%d", status)
}
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
"Authorization": "Bearer " + token,
"X-User-Id": other.id,
}, "")
logResult(t, status, body)
if status != http.StatusOK || !strings.Contains(body, user.id) || strings.Contains(body, other.id) {
t.Fatalf("X-User-Id overrode bearer: status=%d body=%s", status, body)
}
status, _ = do(t, srv, http.MethodDelete, "/api/v1/auth/sessions/current", map[string]string{"Authorization": "Bearer " + token}, "")
t.Logf("logout status=%d", status)
if status != http.StatusNoContent {
t.Fatalf("logout status=%d", status)
}
status, _ = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "Bearer " + token}, "")
if status != http.StatusUnauthorized {
t.Fatalf("token still valid after logout: %d", status)
}
status, _ = do(t, srv, http.MethodDelete, "/api/v1/auth/sessions/current", map[string]string{"Authorization": "Bearer " + token}, "")
if status != http.StatusUnauthorized {
t.Fatalf("second logout status=%d", status)
}
logOK(t, "пароль, заголовки и отзыв сессии")
}
func TestSessionExpiry(t *testing.T) {
srv := newAPI(t, 2*time.Second)
defer srv.Close()
logStep(t, "SESSION_TTL=2s: тот же токен после паузы должен стать 401, TTL рестартом API не продлевается")
user := register(t, srv, "ttl_user")
token := login(t, srv, user.username, user.password)
time.Sleep(2500 * time.Millisecond)
status, body := do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{"Authorization": "Bearer " + token}, "")
logResult(t, status, body)
if status != http.StatusUnauthorized {
t.Fatalf("expired token status=%d body=%s", status, body)
}
logOK(t, "истёкшая сессия отклонена")
}
func TestDuplicateUsernameRace(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
name := "race_" + uuid.NewString()[:8]
logStep(t, "8 параллельных регистраций username="+name)
const n = 8
codes := make([]int, n)
var wg sync.WaitGroup
body := fmt.Sprintf(`{"username":%q,"display_name":"Гонка","password":"correct-horse-1"}`, name)
for i := 0; i < n; i++ {
wg.Add(1)
go func(i int) {
defer wg.Done()
status, _ := do(t, srv, http.MethodPost, "/api/v1/users", nil, body)
codes[i] = status
}(i)
}
wg.Wait()
ok, conflict := 0, 0
for _, c := range codes {
switch c {
case http.StatusCreated:
ok++
case http.StatusConflict:
conflict++
default:
t.Errorf("unexpected status %d", c)
}
}
t.Logf("created=%d conflict=%d", ok, conflict)
if ok != 1 || conflict != n-1 {
t.Fatalf("race result created=%d conflict=%d", ok, conflict)
}
logOK(t, "UNIQUE username выдержал гонку")
}
func TestChatCreateRollsBack(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
user := register(t, srv, "roll_user")
token := login(t, srv, user.username, user.password)
title := "rollback-" + uuid.NewString()
missing := uuid.NewString()
logStep(t, "создание чата с несуществующим участником должно откатиться, title="+title)
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%q,%q]}`, title, user.id, missing)
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
logResult(t, status, body)
if status != http.StatusBadRequest {
t.Fatalf("status=%d", status)
}
n, err := sharedStore.CountChatsByTitle(context.Background(), title)
if err != nil {
t.Fatal(err)
}
t.Logf("строк chats с этим title после ошибки: %d", n)
if n != 0 {
t.Fatalf("chat row survived rollback: %d", n)
}
logOK(t, "транзакция создания чата откатилась")
}
func TestPaginationPages(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "три сообщения, две страницы limit=2, затем последняя")
user := register(t, srv, "page_user")
token := login(t, srv, user.username, user.password)
chat := createChat(t, srv, token, user.id, "Страницы")
auth := map[string]string{"Authorization": "Bearer " + token}
for _, text := range []string{"раз", "два", "три"} {
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, fmt.Sprintf(`{"text":%q}`, text))
if status != http.StatusCreated {
t.Fatalf("post message %s: %d %s", text, status, body)
}
}
status, body := do(t, srv, http.MethodGet, "/api/v1/chats/"+chat+"/messages?limit=2", auth, "")
logResult(t, status, body)
page := decode(t, body)
items, _ := page["items"].([]any)
if status != http.StatusOK || len(items) != 2 || page["next_cursor"] == nil {
t.Fatalf("page1: %+v", page)
}
cursor, _ := page["next_cursor"].(string)
status, body = do(t, srv, http.MethodGet, "/api/v1/chats/"+chat+"/messages?limit=2&cursor="+cursor, auth, "")
logResult(t, status, body)
page = decode(t, body)
items, _ = page["items"].([]any)
if len(items) != 1 || page["next_cursor"] != nil {
t.Fatalf("page2: %+v", page)
}
logOK(t, "keyset обошёл историю без зависания cursor")
}
func TestRedisDownIsNotAnonymous(t *testing.T) {
logStep(t, "закрытый клиент Redis: вход и Bearer дают 503, а не 200 от анонима")
closed, err := session.Open(sharedRedisURL, time.Hour)
if err != nil {
t.Fatal(err)
}
if err := closed.Close(); err != nil {
t.Fatal(err)
}
srv := httptest.NewServer(api.New(sharedStore, closed, sharedObjects, "test-closed-redis").Handler())
defer srv.Close()
regSrv := newAPI(t, time.Hour)
defer regSrv.Close()
user := register(t, regSrv, "redis_down")
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
"Authorization": "Basic " + basic(user.username, user.password),
}, "")
logResult(t, status, body)
if status != http.StatusServiceUnavailable {
t.Fatalf("login with dead redis: status=%d body=%s", status, body)
}
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
"Authorization": "Bearer " + strings.Repeat("ab", 32),
}, "")
logResult(t, status, body)
if status != http.StatusServiceUnavailable {
t.Fatalf("bearer with dead redis: status=%d body=%s", status, body)
}
logOK(t, "сбой Redis не стал анонимным доступом")
}
func TestPostgresDownIsNotAnonymous(t *testing.T) {
logStep(t, "закрытый пул PostgreSQL: ready/me/login дают 503, без тела пользователя")
regSrv := newAPI(t, time.Hour)
defer regSrv.Close()
user := register(t, regSrv, "pg_down")
token := login(t, regSrv, user.username, user.password)
hasher, err := auth.NewHasher()
if err != nil {
t.Fatal(err)
}
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
broken, err := store.Open(context.Background(), dsn, hasher, 5)
if err != nil {
t.Fatal(err)
}
broken.Close()
sessions, err := session.Open(sharedRedisURL, time.Hour)
if err != nil {
t.Fatal(err)
}
t.Cleanup(func() { _ = sessions.Close() })
srv := httptest.NewServer(api.New(broken, sessions, sharedObjects, "test-broken-pg").Handler())
defer srv.Close()
status, body := do(t, srv, http.MethodGet, "/health/ready", nil, "")
logResult(t, status, body)
if status != http.StatusServiceUnavailable {
t.Fatalf("ready with dead postgres: %d", status)
}
status, body = do(t, srv, http.MethodGet, "/api/v1/users/me", map[string]string{
"Authorization": "Bearer " + token,
}, "")
logResult(t, status, body)
if status != http.StatusServiceUnavailable || strings.Contains(body, `"username"`) {
t.Fatalf("me with dead postgres: status=%d body=%s", status, body)
}
status, body = do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
"Authorization": "Basic " + basic(user.username, user.password),
}, "")
logResult(t, status, body)
if status != http.StatusServiceUnavailable {
t.Fatalf("login with dead postgres: status=%d body=%s", status, body)
}
logOK(t, "сбой PostgreSQL не стал анонимным доступом")
}
func TestIdempotencyReplayAndConflict(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "повтор того же Idempotency-Key возвращает то же сообщение; другой body — 409")
user := register(t, srv, "idem_user")
token := login(t, srv, user.username, user.password)
chat := createChat(t, srv, token, user.id, "Идемпотентность")
key := "key-" + uuid.NewString()
auth := map[string]string{
"Authorization": "Bearer " + token,
"Idempotency-Key": key,
}
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"один раз"}`)
logResult(t, status, body)
if status != http.StatusCreated {
t.Fatalf("first: %d %s", status, body)
}
first := decode(t, body)
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"один раз"}`)
logResult(t, status, body)
if status != http.StatusCreated {
t.Fatalf("replay: %d %s", status, body)
}
second := decode(t, body)
if first["id"] != second["id"] || first["text"] != second["text"] {
t.Fatalf("replay differs: first=%v second=%v", first, second)
}
status, body = do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", auth, `{"text":"другой body"}`)
logResult(t, status, body)
if status != http.StatusConflict {
t.Fatalf("conflict: %d %s", status, body)
}
logOK(t, "replay и conflict по Idempotency-Key")
}
func TestIdempotencyKeyRequiredAndConcurrent(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "нет ключа → 400; 8 параллельных POST с одним ключом → ровно одно сообщение")
user := register(t, srv, "idem_race")
token := login(t, srv, user.username, user.password)
chat := createChat(t, srv, token, user.id, "Гонка ключа")
// Явно без ключа: хелпер doRaw подставляет ключ только если заголовок пуст —
// поэтому бьём в doRaw с пустым Idempotency-Key, переопределив после...
// Проще: отдельный raw-запрос.
req, err := http.NewRequest(http.MethodPost, srv.URL+"/api/v1/chats/"+chat+"/messages", strings.NewReader(`{"text":"без ключа"}`))
if err != nil {
t.Fatal(err)
}
req.Header.Set("Authorization", "Bearer "+token)
req.Header.Set("Content-Type", "application/json")
resp, err := http.DefaultClient.Do(req)
if err != nil {
t.Fatal(err)
}
b, _ := io.ReadAll(resp.Body)
resp.Body.Close()
logResult(t, resp.StatusCode, string(b))
if resp.StatusCode != http.StatusBadRequest {
t.Fatalf("missing key: %d", resp.StatusCode)
}
key := "race-" + uuid.NewString()
const n = 8
ids := make([]string, n)
var wg sync.WaitGroup
for i := 0; i < n; i++ {
wg.Add(1)
go func(i int) {
defer wg.Done()
status, body := do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{
"Authorization": "Bearer " + token,
"Idempotency-Key": key,
}, `{"text":"параллельно"}`)
if status != http.StatusCreated {
t.Errorf("worker %d status=%d body=%s", i, status, body)
return
}
ids[i] = decode(t, body)["id"].(string)
}(i)
}
wg.Wait()
uniq := map[string]struct{}{}
for _, id := range ids {
if id == "" {
t.Fatalf("empty id in race")
}
uniq[id] = struct{}{}
}
t.Logf("unique message ids=%d", len(uniq))
if len(uniq) != 1 {
t.Fatalf("expected 1 message, got %d ids=%v", len(uniq), ids)
}
logOK(t, "ключ обязателен; конкурентный повтор не плодит дубли")
}
func TestInstanceIDHeaderPresent(t *testing.T) {
srv := newAPI(t, time.Hour)
defer srv.Close()
logStep(t, "каждый ответ содержит непустой X-Instance-Id")
status, body, hdr := doRaw(t, srv, http.MethodGet, "/health/live", nil, "")
logResult(t, status, body)
if status != http.StatusOK || hdr.Get("X-Instance-Id") == "" {
t.Fatalf("live instance header missing: %q status=%d", hdr.Get("X-Instance-Id"), status)
}
logOK(t, "X-Instance-Id="+hdr.Get("X-Instance-Id"))
}
type account struct {
id string
username string
password string
}
func newAPI(t *testing.T, ttl time.Duration) *httptest.Server {
t.Helper()
sessions, err := session.Open(sharedRedisURL, ttl)
if err != nil {
t.Fatal(err)
}
t.Cleanup(func() { _ = sessions.Close() })
return httptest.NewServer(api.New(sharedStore, sessions, sharedObjects, "test-instance").Handler())
}
func register(t *testing.T, srv *httptest.Server, prefix string) account {
t.Helper()
username := prefix + "_" + uuid.NewString()[:8]
password := "correct-horse-1"
raw := fmt.Sprintf(`{"username":%q,"display_name":"Студент","password":%q}`, username, password)
status, body := do(t, srv, http.MethodPost, "/api/v1/users", nil, raw)
if status != http.StatusCreated {
t.Fatalf("register %s: %d %s", username, status, body)
}
var u struct {
ID string `json:"id"`
}
if err := json.Unmarshal([]byte(body), &u); err != nil {
t.Fatal(err)
}
t.Logf("создан %s id=%s", username, u.ID)
return account{id: u.ID, username: username, password: password}
}
func login(t *testing.T, srv *httptest.Server, username, password string) string {
t.Helper()
status, body := do(t, srv, http.MethodPost, "/api/v1/auth/sessions", map[string]string{
"Authorization": "Basic " + basic(username, password),
}, "")
if status != http.StatusCreated {
t.Fatalf("login %s: %d %s", username, status, body)
}
var s struct {
Token string `json:"token"`
}
if err := json.Unmarshal([]byte(body), &s); err != nil {
t.Fatal(err)
}
if len(s.Token) < 32 {
t.Fatalf("token too short: %d", len(s.Token))
}
t.Logf("сессия выпущена, длина токена=%d (значение не печатаем)", len(s.Token))
return s.Token
}
func createChat(t *testing.T, srv *httptest.Server, token, userID, title string) string {
t.Helper()
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%q]}`, title, userID)
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
if status != http.StatusCreated {
t.Fatalf("chat: %d %s", status, body)
}
var c struct {
ID string `json:"id"`
}
if err := json.Unmarshal([]byte(body), &c); err != nil {
t.Fatal(err)
}
return c.ID
}
func do(t *testing.T, srv *httptest.Server, method, path string, headers map[string]string, raw string) (int, string) {
t.Helper()
status, body, _ := doRaw(t, srv, method, path, headers, raw)
return status, body
}
func doRaw(t *testing.T, srv *httptest.Server, method, path string, headers map[string]string, raw string) (int, string, http.Header) {
t.Helper()
var rdr io.Reader
if raw != "" {
rdr = bytes.NewBufferString(raw)
}
req, err := http.NewRequest(method, srv.URL+path, rdr)
if err != nil {
t.Fatal(err)
}
if raw != "" && method != http.MethodGet {
req.Header.Set("Content-Type", "application/json")
}
for k, v := range headers {
req.Header.Set(k, v)
}
// Lab3: POST сообщений без ключа — 400. В хелперах подставляем уникальный ключ,
// если тест сам его не задал (негативные проверки ключа делают это явно).
if method == http.MethodPost && strings.Contains(path, "/messages") && req.Header.Get("Idempotency-Key") == "" {
req.Header.Set("Idempotency-Key", uuid.NewString())
}
resp, err := http.DefaultClient.Do(req)
if err != nil {
t.Fatal(err)
}
defer resp.Body.Close()
b, _ := io.ReadAll(resp.Body)
return resp.StatusCode, string(b), resp.Header
}
func decode(t *testing.T, body string) map[string]any {
t.Helper()
var m map[string]any
if err := json.Unmarshal([]byte(body), &m); err != nil {
t.Fatal(err)
}
return m
}
func basic(user, pass string) string {
return base64.StdEncoding.EncodeToString([]byte(user + ":" + pass))
}
func logStep(t *testing.T, msg string) { t.Helper(); t.Logf("→ %s", msg) }
func logOK(t *testing.T, msg string) { t.Helper(); t.Logf("✓ %s", msg) }
func logResult(t *testing.T, status int, body string) {
t.Helper()
if len(body) > 400 {
body = body[:400] + "..."
}
t.Logf("status=%d body=%s", status, body)
}
func getenv(k, def string) string {
if v := os.Getenv(k); v != "" {
return v
}
return def
}
+743
View File
@@ -0,0 +1,743 @@
// Собственные проверки lab4: вложения (S3 + PostgreSQL).
//
// Покрыто (требования уровня «4»): слишком большой файл, повреждённое изображение,
// подмена MIME, чужое attachment_id, вложение другого чата, недоступный S3,
// компенсация при отказе PG после PUT, параллельные загрузки.
// Реальные PNG/JPEG генерируются на лету (стандартная библиотека), внешних фикстур нет.
package studenttests
import (
"bytes"
"compress/zlib"
"context"
"crypto/sha256"
"encoding/binary"
"encoding/hex"
"errors"
"fmt"
"hash/crc32"
"image"
"image/color"
"image/jpeg"
"image/png"
"io"
"math/rand"
"net/http"
"net/http/httptest"
"net/url"
"strings"
"sync"
"testing"
"time"
"github.com/google/uuid"
"mtusi2026lab4/internal/api"
"mtusi2026lab4/internal/auth"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/session"
"mtusi2026lab4/internal/store"
)
const maxUpload = 10 << 20 // 10 MiB — лимит контракта
// ---------------------------------------------------------------- генераторы файлов
// noisePNG — настоящий PNG из псевдослучайного шума (плохо сжимается → размер ≈ w*h*4).
func noisePNG(t *testing.T, w, h int) []byte {
t.Helper()
rng := rand.New(rand.NewSource(int64(w*100003 + h)))
img := image.NewNRGBA(image.Rect(0, 0, w, h))
rng.Read(img.Pix)
var buf bytes.Buffer
if err := png.Encode(&buf, img); err != nil {
t.Fatal(err)
}
return buf.Bytes()
}
// smallJPEG — настоящий JPEG.
func smallJPEG(t *testing.T, w, h int) []byte {
t.Helper()
img := image.NewRGBA(image.Rect(0, 0, w, h))
for y := 0; y < h; y++ {
for x := 0; x < w; x++ {
img.Set(x, y, color.RGBA{uint8(x * 3), uint8(y * 5), uint8(x ^ y), 255})
}
}
var buf bytes.Buffer
if err := jpeg.Encode(&buf, img, &jpeg.Options{Quality: 80}); err != nil {
t.Fatal(err)
}
return buf.Bytes()
}
// craftPNG собирает ВАЛИДНЫЙ 1-битный серый PNG заданных размеров вручную: данные —
// нули, сжимаются до пары КБ даже для десятков миллионов пикселей. Нужен для проверки
// лимита пикселей без гигабайтных буферов в тесте.
func craftPNG(w, h int) []byte {
var idat bytes.Buffer
zw := zlib.NewWriter(&idat)
row := make([]byte, 1+(w+7)/8) // фильтр 0 + биты строки
for y := 0; y < h; y++ {
_, _ = zw.Write(row)
}
_ = zw.Close()
var out bytes.Buffer
out.WriteString("\x89PNG\r\n\x1a\n")
chunk := func(typ string, data []byte) {
var l [4]byte
binary.BigEndian.PutUint32(l[:], uint32(len(data)))
out.Write(l[:])
out.WriteString(typ)
out.Write(data)
var c [4]byte
binary.BigEndian.PutUint32(c[:], crc32.ChecksumIEEE(append([]byte(typ), data...)))
out.Write(c[:])
}
ihdr := make([]byte, 13)
binary.BigEndian.PutUint32(ihdr[0:], uint32(w))
binary.BigEndian.PutUint32(ihdr[4:], uint32(h))
ihdr[8], ihdr[9] = 1, 0 // глубина 1 бит, grayscale
chunk("IHDR", ihdr)
chunk("IDAT", idat.Bytes())
chunk("IEND", nil)
return out.Bytes()
}
// ---------------------------------------------------------------- HTTP-хелперы
type chatCtx struct {
srv *httptest.Server
owner account
token string
chat string
}
func newChatCtx(t *testing.T, prefix string) chatCtx {
t.Helper()
srv := newAPI(t, time.Hour)
t.Cleanup(srv.Close)
u := register(t, srv, prefix)
tok := login(t, srv, u.username, u.password)
return chatCtx{srv: srv, owner: u, token: tok, chat: createChat(t, srv, tok, u.id, "Вложения "+prefix)}
}
// upload отправляет сырой binary. contentType "" → заголовок не ставится.
func upload(t *testing.T, srv *httptest.Server, token, chat, filename, contentType string, body []byte) (int, []byte, http.Header) {
t.Helper()
u := srv.URL + "/api/v1/chats/" + chat + "/attachments?filename=" + url.QueryEscape(filename)
req, err := http.NewRequest(http.MethodPost, u, bytes.NewReader(body))
if err != nil {
t.Fatal(err)
}
if token != "" {
req.Header.Set("Authorization", "Bearer "+token)
}
if contentType != "" {
req.Header.Set("Content-Type", contentType)
}
resp, err := http.DefaultClient.Do(req)
if err != nil {
t.Fatalf("upload transport error (ждали HTTP-ответ): %v", err)
}
defer resp.Body.Close()
b, _ := io.ReadAll(resp.Body)
return resp.StatusCode, b, resp.Header
}
func mustUpload(t *testing.T, c chatCtx, filename, ctype string, body []byte) map[string]any {
t.Helper()
status, b, _ := upload(t, c.srv, c.token, c.chat, filename, ctype, body)
if status != http.StatusCreated {
t.Fatalf("upload %s: status=%d body=%s", filename, status, string(b))
}
return decode(t, string(b))
}
// get без следования редиректам: контракт требует отдавать байты самим API.
func getNoRedirect(t *testing.T, srv *httptest.Server, token, path string) (int, []byte, http.Header) {
t.Helper()
client := &http.Client{CheckRedirect: func(*http.Request, []*http.Request) error { return http.ErrUseLastResponse }}
req, _ := http.NewRequest(http.MethodGet, srv.URL+path, nil)
req.Header.Set("Authorization", "Bearer "+token)
resp, err := client.Do(req)
if err != nil {
t.Fatal(err)
}
defer resp.Body.Close()
b, _ := io.ReadAll(resp.Body)
return resp.StatusCode, b, resp.Header
}
func createChatWith(t *testing.T, srv *httptest.Server, token, title string, ids ...string) string {
t.Helper()
quoted := make([]string, len(ids))
for i, id := range ids {
quoted[i] = fmt.Sprintf("%q", id)
}
raw := fmt.Sprintf(`{"title":%q,"member_ids":[%s]}`, title, strings.Join(quoted, ","))
status, body := do(t, srv, http.MethodPost, "/api/v1/chats", map[string]string{"Authorization": "Bearer " + token}, raw)
if status != http.StatusCreated {
t.Fatalf("chat: %d %s", status, body)
}
return decode(t, body)["id"].(string)
}
func postMessage(t *testing.T, srv *httptest.Server, token, chat, key, rawJSON string) (int, string) {
t.Helper()
return do(t, srv, http.MethodPost, "/api/v1/chats/"+chat+"/messages", map[string]string{
"Authorization": "Bearer " + token,
"Idempotency-Key": key,
}, rawJSON)
}
func hexSHA(b []byte) string { s := sha256.Sum256(b); return hex.EncodeToString(s[:]) }
// ---------------------------------------------------------------- тесты
// Полный путь: upload → метаданные → байты → сообщение с вложением → чтение вторым
// участником → 404 постороннему. Заодно: идемпотентный replay сохраняет attachment_ids.
func TestAttachmentRoundTripAndAccessControl(t *testing.T) {
logStep(t, "PNG и JPEG: 201 ready, sha256/size, download без redirect, доступ только участникам")
srv := newAPI(t, time.Hour)
defer srv.Close()
alice := register(t, srv, "att_alice")
bob := register(t, srv, "att_bob")
eve := register(t, srv, "att_eve")
tokA := login(t, srv, alice.username, alice.password)
tokB := login(t, srv, bob.username, bob.password)
tokE := login(t, srv, eve.username, eve.password)
chat := createChatWith(t, srv, tokA, "Общий", alice.id, bob.id)
c := chatCtx{srv: srv, owner: alice, token: tokA, chat: chat}
pngData := noisePNG(t, 120, 90)
meta := mustUpload(t, c, "фото.png", "image/png", pngData)
if meta["status"] != "ready" || meta["error_code"] != nil || meta["content_type"] != "image/png" {
t.Fatalf("метаданные: %v", meta)
}
if v, ok := meta["variants"].([]any); !ok || len(v) != 0 {
t.Fatalf("variants должен быть []: %v", meta["variants"])
}
if meta["sha256"] != hexSHA(pngData) || int(meta["size_bytes"].(float64)) != len(pngData) {
t.Fatalf("sha256/size не совпали: %v", meta)
}
if meta["owner_id"] != alice.id || meta["chat_id"] != chat || meta["filename"] != "фото.png" {
t.Fatalf("owner/chat/filename: %v", meta)
}
for _, k := range []string{"object_key", "bucket", "key"} {
if _, leaked := meta[k]; leaked {
t.Fatalf("в публичном ответе утёк внутренний ключ %q", k)
}
}
id := meta["id"].(string)
// Метаданные и байты — участнику Bob (не загрузившему).
status, body, _ := getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id)
if status != http.StatusOK || decode(t, string(body))["sha256"] != hexSHA(pngData) {
t.Fatalf("meta by bob: %d %s", status, body)
}
status, got, hdr := getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id+"/content")
if status != http.StatusOK || hdr.Get("Content-Type") != "image/png" || hexSHA(got) != hexSHA(pngData) {
t.Fatalf("download: status=%d ct=%q sha=%s", status, hdr.Get("Content-Type"), hexSHA(got))
}
if hdr.Get("Location") != "" {
t.Fatal("download не должен быть redirect")
}
// JPEG тем же путём.
jpgData := smallJPEG(t, 64, 48)
jmeta := mustUpload(t, c, "pic.jpg", "image/jpeg", jpgData)
if jmeta["content_type"] != "image/jpeg" || jmeta["sha256"] != hexSHA(jpgData) {
t.Fatalf("jpeg meta: %v", jmeta)
}
// Посторонний: метаданные, байты, загрузка — всё 404 (не 403, не раскрываем существование).
for _, path := range []string{"/api/v1/attachments/" + id, "/api/v1/attachments/" + id + "/content"} {
status, body, _ := getNoRedirect(t, srv, tokE, path)
logResult(t, status, string(body))
if status != http.StatusNotFound {
t.Fatalf("outsider GET %s: %d", path, status)
}
}
status, body, _ = upload(t, srv, tokE, chat, "x.png", "image/png", pngData)
if status != http.StatusNotFound {
t.Fatalf("outsider upload: %d %s", status, body)
}
// Без токена — 401.
status, _, _ = upload(t, srv, "", chat, "x.png", "image/png", pngData)
if status != http.StatusUnauthorized {
t.Fatalf("upload без токена: %d", status)
}
// Неизвестный вариант и несуществующее вложение.
status, _, _ = getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+id+"/content?variant=thumbnail")
if status != http.StatusNotFound {
t.Fatalf("variant=thumbnail у ready-объекта: %d", status)
}
status, _, _ = getNoRedirect(t, srv, tokB, "/api/v1/attachments/"+uuid.NewString())
if status != http.StatusNotFound {
t.Fatalf("unknown attachment: %d", status)
}
// Сообщение с двумя вложениями (порядок сохраняется), затем чтение Bob'ом.
jid := jmeta["id"].(string)
key := "msg-" + uuid.NewString()
raw := fmt.Sprintf(`{"text":"смотри","attachment_ids":[%q,%q]}`, jid, id)
status, mbody := postMessage(t, srv, tokA, chat, key, raw)
logResult(t, status, mbody)
if status != http.StatusCreated {
t.Fatalf("message with attachments: %d %s", status, mbody)
}
msg := decode(t, mbody)
ids := msg["attachment_ids"].([]any)
if len(ids) != 2 || ids[0] != jid || ids[1] != id {
t.Fatalf("порядок/состав attachment_ids: %v", ids)
}
// Replay с тем же ключом → то же сообщение И те же attachment_ids.
status, body2 := postMessage(t, srv, tokA, chat, key, raw)
if status != http.StatusCreated || decode(t, body2)["id"] != msg["id"] {
t.Fatalf("replay: %d %s", status, body2)
}
if rid := decode(t, body2)["attachment_ids"].([]any); len(rid) != 2 || rid[0] != jid {
t.Fatalf("replay потерял attachment_ids: %v", rid)
}
// Тот же ключ, другой набор вложений → 409.
status, _ = postMessage(t, srv, tokA, chat, key, fmt.Sprintf(`{"text":"смотри","attachment_ids":[%q]}`, id))
if status != http.StatusConflict {
t.Fatalf("тот же ключ, другие вложения: %d", status)
}
status, body, _ = getNoRedirect(t, srv, tokB, "/api/v1/chats/"+chat+"/messages")
if status != http.StatusOK || !strings.Contains(string(body), jid) {
t.Fatalf("история Bob: %d %s", status, body)
}
status, _, _ = getNoRedirect(t, srv, tokE, "/api/v1/chats/"+chat+"/messages")
if status != http.StatusNotFound {
t.Fatalf("история постороннего: %d", status)
}
logOK(t, "upload/download/доступ/replay работают, внутренние ключи не раскрываются")
}
// Слишком большой файл → 413 (границу проверяем с точностью до байта).
func TestAttachmentTooLarge(t *testing.T) {
logStep(t, "ровно 10 MiB проходит лимит размера (дальше 415 как не-картинка), 10 MiB+1 → 413")
c := newChatCtx(t, "att_big")
header := noisePNG(t, 8, 8)[:8] // валидная сигнатура PNG, чтобы тело «похоже» на картинку
atLimit := append(append([]byte{}, header...), make([]byte, maxUpload-len(header))...)
status, b, _ := upload(t, c.srv, c.token, c.chat, "limit.png", "image/png", atLimit)
logResult(t, status, string(b))
if status != http.StatusUnsupportedMediaType {
t.Fatalf("ровно 10 MiB мусора: ждали 415 (размер допустим), got %d", status)
}
over := append(append([]byte{}, header...), make([]byte, maxUpload-len(header)+1)...)
status, b, _ = upload(t, c.srv, c.token, c.chat, "big.png", "image/png", over)
logResult(t, status, string(b))
if status != http.StatusRequestEntityTooLarge || !strings.Contains(string(b), "payload_too_large") {
t.Fatalf("10 MiB+1: ждали 413, got %d %s", status, b)
}
// Заметно больше лимита: клиент должен получить именно 413, а не сброс соединения.
huge := make([]byte, 14<<20)
copy(huge, header)
status, b, _ = upload(t, c.srv, c.token, c.chat, "huge.png", "image/png", huge)
if status != http.StatusRequestEntityTooLarge {
t.Fatalf("14 MiB: ждали 413, got %d %s", status, b)
}
// chunked без Content-Length: лимит всё равно обязан сработать (MaxBytesReader).
req, _ := http.NewRequest(http.MethodPost, c.srv.URL+"/api/v1/chats/"+c.chat+"/attachments?filename=chunked.png",
io.NopCloser(bytes.NewReader(over)))
req.ContentLength = -1
req.Header.Set("Authorization", "Bearer "+c.token)
req.Header.Set("Content-Type", "image/png")
resp, err := http.DefaultClient.Do(req)
if err != nil {
t.Fatal(err)
}
resp.Body.Close()
if resp.StatusCode != http.StatusRequestEntityTooLarge {
t.Fatalf("chunked >10 MiB: ждали 413, got %d", resp.StatusCode)
}
logOK(t, "лимит байтов: граница точная, работает и для chunked")
}
// Лимит пикселей: ровно 40 млн можно, на один ряд больше — 413 (до распаковки).
func TestAttachmentPixelLimit(t *testing.T) {
logStep(t, "8000x5000 (=40 млн) принимается, 8000x5001 → 413")
c := newChatCtx(t, "att_px")
ok := craftPNG(8000, 5000)
t.Logf("PNG 8000x5000 занимает %d байт на проводе", len(ok))
meta := mustUpload(t, c, "forty-million.png", "image/png", ok)
if meta["status"] != "ready" {
t.Fatalf("40 Мпикс: %v", meta)
}
tooMany := craftPNG(8000, 5001)
status, b, _ := upload(t, c.srv, c.token, c.chat, "bomb.png", "image/png", tooMany)
logResult(t, status, string(b))
if status != http.StatusRequestEntityTooLarge {
t.Fatalf("40 Мпикс + 1 ряд: ждали 413, got %d %s", status, b)
}
logOK(t, "лимит пикселей по заголовку, без полного декода")
}
// Повреждённые файлы, чужие форматы и подмена MIME → 415, никогда не 500.
func TestAttachmentCorruptAndMimeSpoof(t *testing.T) {
logStep(t, "мусор, усечённые PNG/JPEG, битый CRC, GIF под видом PNG, подмена Content-Type")
c := newChatCtx(t, "att_bad")
validPNG := noisePNG(t, 40, 40)
validJPG := smallJPEG(t, 40, 40)
flipped := append([]byte{}, validPNG...)
flipped[len(flipped)/2] ^= 0xFF // портим данные IDAT → не сойдётся CRC
gif := []byte("GIF89a\x01\x00\x01\x00\x80\x00\x00\x00\x00\x00\xff\xff\xff!\xf9\x04\x01\x00\x00\x00\x00,\x00\x00\x00\x00\x01\x00\x01\x00\x00\x02\x02D\x01\x00;")
cases := []struct {
name string
ctype string
body []byte
}{
{"случайные байты как png", "image/png", bytes.Repeat([]byte("не картинка "), 500)},
{"пустое тело", "image/png", nil},
{"усечённый PNG", "image/png", validPNG[:len(validPNG)-20]},
{"усечённый JPEG", "image/jpeg", validJPG[:len(validJPG)-30]},
{"PNG с битым CRC", "image/png", flipped},
{"GIF под видом PNG", "image/png", gif},
{"PNG под видом JPEG (спуфинг)", "image/jpeg", validPNG},
{"JPEG под видом PNG (спуфинг)", "image/png", validJPG},
{"валидный PNG, но Content-Type text/plain", "text/plain", validPNG},
{"валидный PNG без Content-Type", "", validPNG},
{"валидный PNG, Content-Type image/gif", "image/gif", validPNG},
}
for _, tc := range cases {
status, b, _ := upload(t, c.srv, c.token, c.chat, "bad.bin", tc.ctype, tc.body)
t.Logf("%-45s → %d", tc.name, status)
if status != http.StatusUnsupportedMediaType {
t.Fatalf("%s: ждали 415, got %d body=%s", tc.name, status, b)
}
if !strings.Contains(string(b), "unsupported_media_type") {
t.Fatalf("%s: код ошибки: %s", tc.name, b)
}
}
// После всех отказов в чате не появилось ни одной строки вложения.
n, err := sharedStore.CountAttachmentsInChat(context.Background(), uuid.MustParse(c.chat))
if err != nil || n != 0 {
t.Fatalf("после отказов в БД осталось %d вложений (err=%v)", n, err)
}
// Контрольный: Content-Type с параметрами и в другом регистре допустим.
meta := mustUpload(t, c, "ok.png", "Image/PNG; charset=binary", validPNG)
if meta["content_type"] != "image/png" {
t.Fatalf("content_type по содержимому: %v", meta)
}
logOK(t, "все повреждённые/подменённые файлы → 415, строки в БД не создаются")
}
func TestAttachmentFilenameValidation(t *testing.T) {
logStep(t, "filename: '/', '\\', NUL, управляющие, пустое, >255 → 400; unicode и пробелы допустимы")
c := newChatCtx(t, "att_name")
data := noisePNG(t, 16, 16)
bad := []string{
"a/b.png", "..\\evil.png", "nul\x00byte.png", "line\nbreak.png", "tab\tname.png",
"del\x7f.png", "", " ", strings.Repeat("я", 256), "bidi\u202eexe.png",
}
for _, name := range bad {
status, b, _ := upload(t, c.srv, c.token, c.chat, name, "image/png", data)
if status != http.StatusBadRequest {
t.Fatalf("filename %q: ждали 400, got %d %s", name, status, b)
}
}
// Без параметра filename вообще.
req, _ := http.NewRequest(http.MethodPost, c.srv.URL+"/api/v1/chats/"+c.chat+"/attachments", bytes.NewReader(data))
req.Header.Set("Authorization", "Bearer "+c.token)
req.Header.Set("Content-Type", "image/png")
resp, err := http.DefaultClient.Do(req)
if err != nil {
t.Fatal(err)
}
resp.Body.Close()
if resp.StatusCode != http.StatusBadRequest {
t.Fatalf("без filename: %d", resp.StatusCode)
}
for _, name := range []string{"отчёт 2026 (финал).png", strings.Repeat("я", 255), "a b.png"} {
meta := mustUpload(t, c, name, "image/png", data)
if meta["filename"] != name {
t.Fatalf("filename искажён: %q vs %q", meta["filename"], name)
}
}
logOK(t, "опасные имена отклоняются, обычные Unicode-имена сохраняются как есть")
}
// Правила attachment_ids в сообщениях: чужое/неизвестное/другой чат → 404,
// >10 и дубли → 400, пустой текст допустим только с вложением.
func TestMessageAttachmentRules(t *testing.T) {
logStep(t, "foreign attachment_id, вложение другого чата, неизвестный id, лимиты и пустой текст")
srv := newAPI(t, time.Hour)
defer srv.Close()
alice := register(t, srv, "rule_alice")
mallory := register(t, srv, "rule_mal")
tokA := login(t, srv, alice.username, alice.password)
tokM := login(t, srv, mallory.username, mallory.password)
chatA1 := createChat(t, srv, tokA, alice.id, "A1")
chatA2 := createChat(t, srv, tokA, alice.id, "A2")
chatM := createChat(t, srv, tokM, mallory.id, "M")
data := noisePNG(t, 20, 20)
a1 := mustUpload(t, chatCtx{srv: srv, token: tokA, chat: chatA1}, "a1.png", "image/png", data)["id"].(string)
mine := mustUpload(t, chatCtx{srv: srv, token: tokM, chat: chatM}, "m.png", "image/png", data)["id"].(string)
post := func(chat, tok, raw string) (int, string) {
return postMessage(t, srv, tok, chat, "k-"+uuid.NewString(), raw)
}
// 1. Вложение ЧУЖОГО пользователя (другой чат, Alice не участник) → 404.
status, body := post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, mine))
logResult(t, status, body)
if status != http.StatusNotFound {
t.Fatalf("чужое attachment_id: %d %s", status, body)
}
// 2. Своё вложение, но из ДРУГОГО чата того же пользователя → 404 (файл привязан к чату).
status, body = post(chatA2, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, a1))
logResult(t, status, body)
if status != http.StatusNotFound {
t.Fatalf("вложение другого чата: %d %s", status, body)
}
// 3. Неизвестный UUID → 404; одно плохое среди хороших портит весь запрос атомарно.
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q]}`, uuid.NewString()))
if status != http.StatusNotFound {
t.Fatalf("неизвестный id: %d", status)
}
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q,%q]}`, a1, uuid.NewString()))
if status != http.StatusNotFound {
t.Fatalf("хороший+неизвестный: %d", status)
}
// Ни одно из сообщений выше не должно было записаться.
status, body = do(t, srv, http.MethodGet, "/api/v1/chats/"+chatA1+"/messages", map[string]string{"Authorization": "Bearer " + tokA}, "")
if status != http.StatusOK || strings.Contains(body, `"text":"x"`) {
t.Fatalf("отклонённое сообщение просочилось в историю: %s", body)
}
// 4. Не UUID → 400, дубли → 400, больше 10 → 400.
status, _ = post(chatA1, tokA, `{"text":"x","attachment_ids":["not-a-uuid"]}`)
if status != http.StatusBadRequest {
t.Fatalf("не uuid: %d", status)
}
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%q,%q]}`, a1, a1))
if status != http.StatusBadRequest {
t.Fatalf("дубли: %d", status)
}
eleven := make([]string, 11)
for i := range eleven {
eleven[i] = fmt.Sprintf("%q", uuid.NewString())
}
status, _ = post(chatA1, tokA, fmt.Sprintf(`{"text":"x","attachment_ids":[%s]}`, strings.Join(eleven, ",")))
if status != http.StatusBadRequest {
t.Fatalf("11 вложений: %d", status)
}
// 5. Пустой текст: без вложений 400, с вложением 201; ровно 10 вложений допустимо.
status, _ = post(chatA1, tokA, `{"text":"","attachment_ids":[]}`)
if status != http.StatusBadRequest {
t.Fatalf("пусто без вложений: %d", status)
}
status, body = post(chatA1, tokA, fmt.Sprintf(`{"text":"","attachment_ids":[%q]}`, a1))
if status != http.StatusCreated {
t.Fatalf("пустой текст с вложением: %d %s", status, body)
}
if m := decode(t, body); m["text"] != "" {
t.Fatalf("text: %v", m["text"])
}
ten := make([]string, 10)
for i := range ten {
ten[i] = fmt.Sprintf("%q", mustUpload(t, chatCtx{srv: srv, token: tokA, chat: chatA1}, fmt.Sprintf("t%d.png", i), "image/png", data)["id"].(string))
}
status, body = post(chatA1, tokA, fmt.Sprintf(`{"text":"ровно десять","attachment_ids":[%s]}`, strings.Join(ten, ",")))
if status != http.StatusCreated || len(decode(t, body)["attachment_ids"].([]any)) != 10 {
t.Fatalf("10 вложений: %d %s", status, body)
}
// 6. Обычное сообщение без attachment_ids → в ответе attachment_ids == [].
status, body = post(chatA1, tokA, `{"text":"просто текст"}`)
if status != http.StatusCreated || !strings.Contains(body, `"attachment_ids":[]`) {
t.Fatalf("attachment_ids по умолчанию []: %d %s", status, body)
}
logOK(t, "чужое/другой чат/неизвестное → 404, лимиты → 400, пустой текст только с вложением")
}
// S3 недоступен: загрузка → контролируемый 503 (не 500, без деталей), readiness → 503,
// в БД не остаётся строки метаданных.
func TestS3DownGivesLimitedError(t *testing.T) {
logStep(t, "API с недоступным S3: upload/ready → 503, без утечек и полуфабрикатов в БД")
dead, err := objectstore.New(objectstore.Config{
Endpoint: "http://127.0.0.1:1", Region: "us-east-1", Bucket: "messenger",
AccessKey: "x", SecretKey: "yyyyyyyy", ForcePathStyle: true,
})
if err != nil {
t.Fatal(err)
}
// Пользователь и чат — через нормальный API; недоступный S3 подсовываем второй реплике.
good := newChatCtx(t, "att_down")
sessions, err := session.Open(sharedRedisURL, time.Hour)
if err != nil {
t.Fatal(err)
}
defer sessions.Close()
srv := httptest.NewServer(api.New(sharedStore, sessions, dead, "dead-s3").Handler())
defer srv.Close()
start := time.Now()
status, b, _ := upload(t, srv, good.token, good.chat, "p.png", "image/png", noisePNG(t, 16, 16))
t.Logf("upload при лежащем S3: status=%d за %s body=%s", status, time.Since(start).Round(time.Millisecond), b)
if status != http.StatusServiceUnavailable || !strings.Contains(string(b), `"unavailable"`) {
t.Fatalf("ждали 503 unavailable, got %d %s", status, b)
}
for _, leak := range []string{"127.0.0.1", "messenger", "dial", "connection refused", "amazonaws"} {
if strings.Contains(strings.ToLower(string(b)), leak) {
t.Fatalf("ответ раскрывает внутренние детали (%q): %s", leak, b)
}
}
if time.Since(start) > 10*time.Second {
t.Fatalf("отказ должен быть быстрым, занял %s", time.Since(start))
}
status, b, _ = doRaw2(t, srv, "/health/ready")
if status != http.StatusServiceUnavailable {
t.Fatalf("/health/ready при лежащем S3: %d %s", status, b)
}
status, _, _ = doRaw2(t, srv, "/health/live")
if status != http.StatusOK {
t.Fatalf("/health/live обязан оставаться 200: %d", status)
}
n, err := sharedStore.CountAttachmentsInChat(context.Background(), uuid.MustParse(good.chat))
if err != nil || n != 0 {
t.Fatalf("в БД осталось %d строк вложений после отказа S3 (err=%v)", n, err)
}
logOK(t, "лежащий S3 → 503 без деталей, ready=503, live=200, БД чиста")
}
func doRaw2(t *testing.T, srv *httptest.Server, path string) (int, []byte, http.Header) {
t.Helper()
resp, err := http.Get(srv.URL + path)
if err != nil {
t.Fatal(err)
}
defer resp.Body.Close()
b, _ := io.ReadAll(resp.Body)
return resp.StatusCode, b, resp.Header
}
// Компенсация: PUT в S3 прошёл, INSERT в PG не удался → объект удаляется сразу,
// клиент получает ошибку, строки нет.
func TestCompensationWhenPostgresFailsAfterPut(t *testing.T) {
logStep(t, "отказ PG после успешного PUT: объект удаляется компенсацией")
ctx := context.Background()
good := newChatCtx(t, "att_comp")
hasher, err := auth.NewHasher()
if err != nil {
t.Fatal(err)
}
// Отдельный пул, который «умрёт» ровно между PUT и INSERT.
dsn := getenv("DATABASE_URL", "postgres://messenger:messenger@127.0.0.1:5432/messenger?sslmode=disable")
doomed, err := store.Open(ctx, dsn, hasher, 2)
if err != nil {
t.Fatal(err)
}
defer doomed.Close()
sessions, err := session.Open(sharedRedisURL, time.Hour)
if err != nil {
t.Fatal(err)
}
defer sessions.Close()
server := api.New(doomed, sessions, sharedObjects, "compensation")
var putKey string
server.AfterObjectPut = func(key string) {
putKey = key
// До компенсации убеждаемся, что объект РЕАЛЬНО лежит в S3.
if _, err := sharedObjects.Head(ctx, key); err != nil {
t.Errorf("после PUT объекта нет в S3: %v", err)
}
doomed.Close() // INSERT дальше упадёт: пул закрыт
}
srv := httptest.NewServer(server.Handler())
defer srv.Close()
status, b, _ := upload(t, srv, good.token, good.chat, "doomed.png", "image/png", noisePNG(t, 24, 24))
t.Logf("status=%d body=%s key=%s", status, b, putKey)
if status < 500 || status > 503 {
t.Fatalf("ждали ошибку сервера (отказ PG), got %d %s", status, b)
}
if putKey == "" {
t.Fatal("hook не вызывался: PUT не был выполнен")
}
if _, err := sharedObjects.Head(ctx, putKey); !errors.Is(err, objectstore.ErrNotFound) {
t.Fatalf("объект должен быть удалён компенсацией, Head err=%v", err)
}
n, err := sharedStore.CountAttachmentsInChat(ctx, uuid.MustParse(good.chat))
if err != nil || n != 0 {
t.Fatalf("строк вложений: %d (err=%v)", n, err)
}
logOK(t, "orphan после отказа PG удалён сразу; если бы удаление не удалось — его уберёт reconciler")
}
// ≥10 одновременных загрузок: все 201 (лишние ждут слот), все объекты разные и читаются.
func TestConcurrentUploads(t *testing.T) {
logStep(t, "12 параллельных загрузок: все 201, уникальные id, sha256 совпадает")
c := newChatCtx(t, "att_conc")
const n = 12
type res struct {
id, sha string
data []byte
}
results := make([]res, n)
var wg sync.WaitGroup
for i := 0; i < n; i++ {
wg.Add(1)
go func(i int) {
defer wg.Done()
data := noisePNG(t, 150+i, 150) // разные байты у каждой загрузки
status, b, _ := upload(t, c.srv, c.token, c.chat, fmt.Sprintf("c%d.png", i), "image/png", data)
if status != http.StatusCreated {
t.Errorf("worker %d: %d %s", i, status, b)
return
}
m := decode(t, string(b))
results[i] = res{id: m["id"].(string), sha: m["sha256"].(string), data: data}
}(i)
}
wg.Wait()
seen := map[string]bool{}
for i, r := range results {
if r.id == "" || seen[r.id] {
t.Fatalf("worker %d: пустой/повторный id %q", i, r.id)
}
seen[r.id] = true
status, got, _ := getNoRedirect(t, c.srv, c.token, "/api/v1/attachments/"+r.id+"/content")
if status != http.StatusOK || hexSHA(got) != r.sha || r.sha != hexSHA(r.data) {
t.Fatalf("worker %d: download %d sha mismatch", i, status)
}
}
logOK(t, "параллельные загрузки целы")
}
// Ключ объекта назначает сервер и не содержит filename.
func TestObjectKeyIsServerAssigned(t *testing.T) {
logStep(t, "ключ объекта = attachments/{chat}/{id}; filename в ключ не попадает")
c := newChatCtx(t, "att_key")
meta := mustUpload(t, c, "секрет-имя.png", "image/png", noisePNG(t, 16, 16))
id := uuid.MustParse(meta["id"].(string))
key := store.AttachmentObjectKey(uuid.MustParse(c.chat), id)
info, err := sharedObjects.Head(context.Background(), key)
if err != nil {
t.Fatalf("объект по ожидаемому ключу %s не найден: %v", key, err)
}
if info.ContentType != "image/png" || info.Size != int64(meta["size_bytes"].(float64)) {
t.Fatalf("объект в S3: %+v", info)
}
if strings.Contains(key, "секрет") {
t.Fatal("filename попал в ключ")
}
logOK(t, "ключ серверный: "+key)
}
+198
View File
@@ -0,0 +1,198 @@
// Трек 2: reconciler S3 <-> PostgreSQL. Тест создаёт расхождения на ОБЕИХ сторонах
// и проходит сценарий dry-run → реальный запуск → повтор, проверяя, что свежие и
// используемые вложения не удаляются.
//
// Возраст объектов в тесте регулируется «часами» reconciler (Options.Now), а не sleep:
// так тест быстрый и не зависит от рассинхрона часов хоста и контейнера MinIO
// (на Docker Desktop они могут расходиться на секунды) — смещение измеряется по пробному объекту.
package studenttests
import (
"bytes"
"context"
"errors"
"testing"
"time"
"github.com/google/uuid"
"mtusi2026lab4/internal/objectstore"
"mtusi2026lab4/internal/reconcile"
"mtusi2026lab4/internal/store"
)
func TestReconcilerOrphanAndMissing(t *testing.T) {
logStep(t, "orphan/missing: dry-run ничего не меняет; свежие и используемые не удаляются; повтор идемпотентен")
ctx := context.Background()
const grace = 60 * time.Second
c := newChatCtx(t, "rec")
chatID := uuid.MustParse(c.chat)
owner := uuid.MustParse(c.owner.id)
put := func(key string) {
t.Helper()
data := []byte("reconcile-test")
if err := sharedObjects.Put(ctx, key, bytes.NewReader(data), int64(len(data)), "image/png"); err != nil {
t.Fatalf("put %s: %v", key, err)
}
}
exists := func(key string) bool {
t.Helper()
_, err := sharedObjects.Head(ctx, key)
if err == nil {
return true
}
if errors.Is(err, objectstore.ErrNotFound) {
return false
}
t.Fatalf("head %s: %v", key, err)
return false
}
rowExists := func(a *store.Attachment) bool {
t.Helper()
_, err := sharedStore.GetAttachmentForUser(ctx, a.ID, owner)
if err == nil {
return true
}
if errors.Is(err, store.ErrNotFound) {
return false
}
t.Fatalf("get row: %v", err)
return false
}
// Смещение часов S3 относительно хоста: пробный объект, LastModified у сервера.
probeKey := store.AttachmentObjectKey(chatID, uuid.New())
put(probeKey)
info, err := sharedObjects.Head(ctx, probeKey)
if err != nil {
t.Fatal(err)
}
skew := time.Since(info.LastModified) // >0, если часы S3 отстают
_ = sharedObjects.Delete(ctx, probeKey)
t.Logf("смещение часов S3 относительно теста: %s", skew.Round(time.Millisecond))
clockNow := func(shift time.Duration) func() time.Time {
return func() time.Time { return time.Now().Add(-skew).Add(shift) }
}
newRow := func(filename string, createdAt time.Time) *store.Attachment {
t.Helper()
id := uuid.New()
a := &store.Attachment{
ID: id, ChatID: chatID, OwnerID: owner, Filename: filename,
ContentType: "image/png", SizeBytes: 14, SHA256: hexSHA([]byte(filename)),
ObjectKey: store.AttachmentObjectKey(chatID, id), Status: store.StatusReady,
Width: 1, Height: 1, CreatedAt: createdAt.UTC().Truncate(time.Millisecond),
}
if err := sharedStore.CreateAttachment(ctx, a); err != nil {
t.Fatalf("create row %s: %v", filename, err)
}
return a
}
now := time.Now()
// A: orphan — объект без строки.
orphanKey := store.AttachmentObjectKey(chatID, uuid.New())
put(orphanKey)
// F: объект с чужой схемой ключа — reconciler не должен его трогать никогда.
foreignKey := "attachments/not-a-uuid/" + uuid.NewString()
put(foreignKey)
// E: контроль — согласованная пара «строка + объект», используется сообщением.
rowE := newRow("control", now.Add(-time.Hour))
put(rowE.ObjectKey)
// B: неиспользуемая, старая, без объекта. C: используемая сообщением, без объекта.
rowB := newRow("stale-unused-missing", now.Add(-time.Hour))
rowC := newRow("used-missing", now.Add(-time.Hour))
// D: свежая строка без объекта.
rowD := newRow("fresh-missing", now)
put(rowC.ObjectKey) // на время создания сообщения объект C есть, потом «потеряем» его
msgKey := "rec-" + uuid.NewString()
if _, err := sharedStore.CreateMessageIdempotent(ctx, chatID, owner, "с вложениями",
[]uuid.UUID{rowE.ID, rowC.ID}, "POST", "/api/v1/chats/"+c.chat+"/messages", msgKey, "hash-"+msgKey); err != nil {
t.Fatalf("message with attachments: %v", err)
}
if err := sharedObjects.Delete(ctx, rowC.ObjectKey); err != nil { // потеря байтов у используемого вложения
t.Fatal(err)
}
t.Cleanup(func() { put(rowC.ObjectKey) }) // вернуть объект, чтобы не оставлять «дыру» в общей БД стенда
run := func(name string, dry, prune bool, shift time.Duration) *reconcile.Report {
t.Helper()
rc := &reconcile.Reconciler{DB: sharedStore, Objects: sharedObjects, Opts: reconcile.Options{
DryRun: dry, Grace: grace, PruneMissing: prune, PageSize: 2, // 2 — чтобы пройти многостраничный merge
Now: clockNow(shift), Logf: t.Logf,
}}
rep, err := rc.Run(ctx)
if err != nil {
t.Fatalf("%s: %v", name, err)
}
t.Logf("%s: %+v", name, *rep)
return rep
}
// R1: dry-run «сейчас» — A свежий, всё остальное только в отчёте.
r1 := run("R1 dry-run, now", true, true, 0)
if r1.OrphansFresh < 1 || r1.OrphansFound != 0 || r1.OrphansDeleted != 0 || r1.DeleteCalls != 0 || r1.MissingPruned != 0 {
t.Fatalf("R1: свежий orphan не должен считаться кандидатом на удаление: %+v", *r1)
}
if r1.MissingUsed < 1 || r1.MissingStale < 1 || r1.MissingFresh < 1 || r1.UnknownKeys < 1 {
t.Fatalf("R1: не обнаружены missing used/stale/fresh или чужой ключ: %+v", *r1)
}
if !exists(orphanKey) || !rowExists(rowB) || !rowExists(rowC) || !rowExists(rowD) {
t.Fatal("R1 (dry-run) изменил данные")
}
// R2: dry-run через 2 минуты — A уже «старый», но dry-run не удаляет.
r2 := run("R2 dry-run, +120s", true, true, 2*time.Minute)
if r2.OrphansFound < 1 || r2.OrphansDeleted != 0 || r2.DeleteCalls != 0 || r2.MissingPruned != 0 {
t.Fatalf("R2: %+v", *r2)
}
if !exists(orphanKey) || !rowExists(rowB) || !rowExists(rowD) {
t.Fatal("R2 (dry-run) изменил данные")
}
// R3: реальный запуск +120s, prune выключен: удаляется только orphan, строки остаются.
r3 := run("R3 real, +120s, prune off", false, false, 2*time.Minute)
if r3.OrphansDeleted < 1 || r3.MissingPruned != 0 {
t.Fatalf("R3: %+v", *r3)
}
if exists(orphanKey) {
t.Fatal("R3: orphan должен быть удалён")
}
if !exists(foreignKey) {
t.Fatal("R3: объект с чужой схемой ключа удалён — недопустимо")
}
if !rowExists(rowB) || !rowExists(rowC) || !rowExists(rowD) || !exists(rowE.ObjectKey) {
t.Fatal("R3: затронуты строки/объекты, которые трогать нельзя")
}
// R4: реальный запуск «сейчас» с prune: удаляется только СТАРАЯ НЕИСПОЛЬЗУЕМАЯ B.
r4 := run("R4 real, now, prune on", false, true, 0)
if r4.MissingPruned < 1 || rowExists(rowB) {
t.Fatalf("R4: B должна быть удалена: %+v", *r4)
}
if !rowExists(rowC) {
t.Fatal("R4: используемое вложение C удалено — недопустимо")
}
if !rowExists(rowD) {
t.Fatal("R4: свежая строка D удалена — недопустимо")
}
// R5: повтор — ничего не находит и не меняет (идемпотентность).
r5 := run("R5 repeat", false, true, 0)
if r5.OrphansDeleted != 0 || r5.MissingPruned != 0 || r5.OrphansFound != 0 {
t.Fatalf("R5 не идемпотентен: %+v", *r5)
}
// R6: через 2 минуты D стала «старой», её можно убрать; C и E — никогда.
r6 := run("R6 real, +120s, prune on", false, true, 2*time.Minute)
if r6.MissingPruned < 1 || rowExists(rowD) {
t.Fatalf("R6: D должна быть удалена: %+v", *r6)
}
if !rowExists(rowC) || !rowExists(rowE) || !exists(rowE.ObjectKey) {
t.Fatal("R6: используемые вложения затронуты — недопустимо")
}
_ = sharedObjects.Delete(ctx, foreignKey)
logOK(t, "orphan удалён после grace, чужие ключи/свежие/используемые целы, dry-run и повтор безопасны")
}