forked from mtusi2026/mtusi2026lab4
Record level 3 evidence and fill in the report
Evidence comes from the stand started from an empty state and from a fresh clone: the public smoke, the contract checks, lint and 325 own tests, the storage layout with an out-of-API comparison of a stored object against its metadata, failover of each replica under writes, the upload failover scenario, persistence with StartedAt of every service including S3, the S3 outage scenario and 22 S3 privacy and bootstrap checks. The storage evidence script now covers the attachment tables and the S3 secrets. REPORT.md follows the lab 4 template: launch from a clean clone, architecture with the source of truth for each fact, the write order between PostgreSQL and S3 and what each failure leaves behind, where each upload limit applies, roles and services, the .env.example mapping, grade 3 rows and the grade 3 failure table. The design notes the botocore Expect header that hung uploads behind the port proxy. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
24f9d6195b
commit
db901d6401
@@ -1,37 +1,260 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Костылев Артём, БПИ2303
|
||||
- Целевая оценка: **5**; трек «5» — **трек 2 «Согласованность двух хранилищ (reconciler)»**
|
||||
- Commit/PR: ветка `solution/bpi2303-kostylev`, PR в репозиторий преподавателя
|
||||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic,
|
||||
structlog, asyncpg, argon2-cffi, redis-py, aiobotocore/botocore, Pillow, pytest, ruff, ty (версии —
|
||||
`evidence/environment.txt` и `uv.lock`); RustFS 1.0 и `rc` (IAM-политики, anonymous access, lifecycle), Amazon S3
|
||||
User Guide (PutObject, GetObject, ListObjectsV2, политики bucket), botocore Config (таймауты, повторы, checksum),
|
||||
Pillow (`Image.open`, `verify`, `draft`, защита от decompression bomb), спецификация PNG (чанки и CRC),
|
||||
HAProxy 3.2 Configuration Manual, документация Docker Compose (secrets, `depends_on`, профили). Решение
|
||||
перенесено из моей лабы 3 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами,
|
||||
перечисленными ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требуются Docker с Compose v2, `make` и системный Python 3.9+ (только для публичных проверок и сценариев).
|
||||
Образы сторонних сервисов закреплены версией и digest, API собирается из исходников.
|
||||
|
||||
```sh
|
||||
git clone <repo> && cd mtusi2026lab4 && git checkout solution/bpi2303-kostylev
|
||||
|
||||
make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора,
|
||||
# root-ключи S3 и отдельный ключ API S3; .env из .env.example (существующее не перезаписывает)
|
||||
docker compose --env-file .env config --quiet
|
||||
make up # docker compose up -d --build --wait: postgres, valkey, s3 → migrate, s3-init → api ×2 → lb
|
||||
make test # публичный smoke через балансировщик, http://localhost:8080
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make restore # вернуть остановленную реплику и дождаться её в ротации LB
|
||||
make scenario SCENARIO=failover-upload # upload → стоп принявшей реплики → download через другую
|
||||
make scenario SCENARIO=s3-outage # S3 остановлен: upload/download 503, тексты и метаданные работают
|
||||
make s3-check # приватность bucket вне API, права ключа API, повторный bootstrap
|
||||
|
||||
make down # безопасная остановка: контейнеры удаляются, volumes pgdata, valkeydata, s3data остаются
|
||||
make reset-data # НАМЕРЕННОЕ удаление учебных данных, включая байты вложений: docker compose down -v
|
||||
```
|
||||
|
||||
`make up` ждёт `healthy` всех долгоживущих сервисов и успешного завершения одноразовых `migrate` (миграции под
|
||||
advisory lock) и `s3-init` (bucket, анонимный доступ `private`, политика и пользователь API, lifecycle). Оба
|
||||
повторяемы: повторный `make up` или `restart.sh` проходит без изменений состояния. Наружу публикуются только
|
||||
порты `lb` на `127.0.0.1`: `LB_HTTP_PORT` (8080) и `LB_STATS_PORT` (8404). На машине, где выполнялась работа,
|
||||
параллельно работали стенды других лаб, поэтому в локальном `.env` стояли `LB_HTTP_PORT=18084`,
|
||||
`LB_STATS_PORT=24084`, а проверки запускались с `BASE_URL=http://localhost:18084`. Прогон из свежего clone —
|
||||
`evidence/clean-clone.txt`.
|
||||
|
||||
Собственные проверки и тулчейн:
|
||||
|
||||
```sh
|
||||
make install # uv sync --group dev (Python 3.14 и зависимости из uv.lock)
|
||||
make lint # ruff check + ruff format --check (src, student-tests, scripts/*.py стенда) + ty check
|
||||
make student-test # собственные тесты; поднимают одноразовые PostgreSQL, Valkey и RustFS того же образа в Docker
|
||||
make check # офлайн-проверка skeleton
|
||||
make validate PYTHON="uv run --no-project --with-requirements requirements-dev.txt python" # полная валидация OpenAPI
|
||||
make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, версии
|
||||
make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore
|
||||
make attachments-evidence # где лежат байты: \d attachments, bucket, сверка вне API, read_only реплик
|
||||
make failover-evidence # docker inspect реплик до/после, make test-failover, логи остановленной, restore
|
||||
make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после
|
||||
```
|
||||
|
||||
**Версии и стенд:** Python 3.14.7 в образе `python:3.14-slim-trixie@sha256:51dafde8…`,
|
||||
`rustfs/rustfs:1.0.4@sha256:ed9210d6…`, `rustfs/rc:v0.1.36@sha256:ab024bfe…`,
|
||||
`haproxy:3.2.26-alpine@sha256:58938405…`, `postgres:17.11-alpine@sha256:266d3c25…`,
|
||||
`valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uv 0.9.7 по digest; aiobotocore 3.10.0 (botocore 1.43.117),
|
||||
Pillow 13.0.0; Docker 28.3.2, Compose 2.38.2. Машина — Apple M4 Max, 16 CPU, 48 ГБ RAM, macOS 15.1; VM Docker
|
||||
Desktop — 16 CPU, 7.65 ГиБ (`evidence/environment.txt`).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```
|
||||
┌── api (gunicorn, 2 × UvicornWorker) ─┐ asyncpg pool ┌▶ postgres (метаданные, pgdata)
|
||||
клиент ──HTTP──▶ lb (HAProxy 3.2) ────┤ X-Instance-Id = hostname ├────────────────────┼▶ valkey (кэш сессий, AOF)
|
||||
127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ─┘ aiobotocore └▶ s3: RustFS (байты, s3data)
|
||||
httpchk /health/ready migrate (образ api, один раз) ──▶ postgres
|
||||
s3-init (rc, один раз) ──▶ s3: bucket private, пользователь и политика API
|
||||
сеть edge ─────── lb ─────── сеть backend (internal): lb, api, migrate, postgres, valkey, s3, s3-init, s3-cli
|
||||
```
|
||||
|
||||
**Источник истины.** PostgreSQL — для всего, что знает API о вложении: владелец, чат, отображаемое имя, тип по
|
||||
содержимому, размер, SHA-256, размеры в пикселях, ключ объекта, статус и связи с сообщениями. S3 (RustFS) — только
|
||||
для байтов оригинала под ключом `attachments/<uuid7>`, который назначает сервер. Реплика API не хранит файлов:
|
||||
корень только для чтения, `tmpfs /tmp` нужен лишь heartbeat gunicorn, volume у `api` нет
|
||||
(`evidence/storage-layout.txt`).
|
||||
|
||||
**Перенесено из лабы 3 без изменения поведения:** зоны `identity` и `messaging`, порты и адаптеры, UoW, шина
|
||||
событий с журналом аудита, ASGI-конвейер, Basic → Bearer, Argon2id, сессии в PostgreSQL с кэшем в Valkey,
|
||||
подписанный курсор, порядок истории под блокировкой строки чата, `X-Instance-Id`, обязательный
|
||||
`Idempotency-Key` в одной транзакции с сообщением, HAProxy с проверкой готовности и политикой повторов, окно
|
||||
вывода реплики из ротации по `SIGTERM`, хуки `stop-one.sh`, `restore.sh`, `lb-wait.sh`, проверки уровня «4» лабы 3.
|
||||
**Изменено:** новая зона `attachments`; `attachment_ids` в сообщениях; миграция `0003`; лимит тела в конвейере
|
||||
зависит от маршрута; S3-сервисы в `compose.yaml`; `restart.sh` перезапускает и S3; политика `scripts/limits.py`
|
||||
знает S3-сервисы.
|
||||
|
||||
**Зона `attachments` и её связь с `messaging`.** Зона владеет агрегатом `Attachment` (`pending` → `ready`),
|
||||
значением `Filename`, своими ошибками, событием `AttachmentStored`, командой `UploadAttachment`, запросами
|
||||
`GetAttachment`/`OpenAttachment`, портами `ObjectStorage`, `ImageInspector`, `ChatMembership` и HTTP-слоем. Ей нужен
|
||||
один ответ от `messaging` — «входит ли пользователь в чат»; его даёт адаптер `MessagingMembership` над
|
||||
`ChatDirectory`, который собирает `main.py`. Зоны не импортируют друг друга, SQL каждой зоны читает только свои
|
||||
таблицы (оба правила проверяет тест `test_bounded_contexts.py`). Целостность между зонами держат внешние
|
||||
ключи: `attachments (chat_id, owner_id) → chat_members` и `message_attachments (attachment_id, chat_id) →
|
||||
attachments (id, chat_id) ON DELETE RESTRICT` — сообщение может сослаться только на вложение своего чата,
|
||||
нарушение превращается в `404` и откатывает всю отправку вместе с ключом идемпотентности, а используемое
|
||||
вложение нельзя удалить.
|
||||
|
||||
**Схема** (`0003_attachments.sql`, `evidence/schema.txt`): `attachments` без `bytea`, `CHECK` на тип, размер
|
||||
1..10485760, формат SHA-256, статус; `object_key text COLLATE "C" UNIQUE` (байтовый порядок, как у листинга S3);
|
||||
частичный индекс `(created_at) WHERE status = 'pending'`; `message_attachments` с PK `(message_id, position)`,
|
||||
`UNIQUE (message_id, attachment_id)` и индексом по `attachment_id`. `messages_text_check` ослаблен до `≤ 4000`:
|
||||
пустой текст с вложением легален, пустой без вложений по-прежнему отсекает домен (`400`). История и повтор
|
||||
читают `attachment_ids` подзапросом по PK `message_attachments`, без N+1 запросов. Отсутствующий
|
||||
`attachment_ids` и `[]` дают один отпечаток тела для `Idempotency-Key`, другой порядок — `409`.
|
||||
|
||||
**Upload: где применяется каждый лимит.** Тело читается потоком, FastAPI его не разбирает.
|
||||
|
||||
1. `401` — guard конвейера;
|
||||
2. объявленный `Content-Length` > `MAX_UPLOAD_BYTES` → `413` в конвейере, тело не читается (лимит 10 MiB только у
|
||||
маршрута upload, у JSON остаётся 1 MiB);
|
||||
3. членство в чате → `404` (раньше любых проверок содержимого);
|
||||
4. `filename` после percent-decode: 1–255 code points, не пробельный, без `/`, `\` и символов категории `Cc`
|
||||
(NUL, `\x01`, `\x7f`, перевод строки…) → иначе `400`; используется только для отображения;
|
||||
5. `Content-Type` без параметров и регистра ∈ {`image/png`, `image/jpeg`} → иначе `415`;
|
||||
6. поток копится со счётчиком и инкрементальным SHA-256; байт `MAX_UPLOAD_BYTES + 1` → `413`, дальше не читаем
|
||||
(так закрыт и chunked без `Content-Length`);
|
||||
7. проверка изображения в потоке под семафором (`IMAGE_CHECK_CONCURRENCY=2` на воркер): `Image.open` только
|
||||
PNG/JPEG читает заголовок; формат ≠ заявленному → `415` (подмена MIME); `width × height > MAX_IMAGE_PIXELS` →
|
||||
`413` до декодирования (decompression bomb 100 000 × 100 000 весом 300 байт отклоняется по заголовку); PNG —
|
||||
`verify()` (все чанки, CRC, `IEND`, без распаковки пикселей), JPEG — `draft` в 1/8 + `load()` (полное
|
||||
декодирование потока, ≈1/64 памяти); ошибка → `415`;
|
||||
8. запись (ниже).
|
||||
|
||||
**Порядок записи PostgreSQL ↔ S3.** `INSERT attachments (status='pending')` и `COMMIT` → `PutObject` →
|
||||
`UPDATE … SET status='ready'` и `COMMIT` → `201`. Намерение фиксируется до `PUT`, поэтому у любого объекта под
|
||||
`attachments/` есть строка с тем же ключом; `pending` не видно ни в метаданных, ни в скачивании, а сослаться на него
|
||||
нельзя — id отдаётся только в `201`.
|
||||
|
||||
| Сбой | Что остаётся | Ответ клиенту |
|
||||
| --- | --- | --- |
|
||||
| обрыв клиента, `413`, `415`, `400`, `404` | ничего: строка пишется только после чтения и проверки | ошибка или обрыв |
|
||||
| `INSERT pending` | ничего | `503` |
|
||||
| `PutObject` (S3 недоступен) | невидимая строка `pending` без объекта | `503` |
|
||||
| `UPDATE ready` | невидимая строка `pending` и объект | `503` |
|
||||
| после `COMMIT ready` | готовое вложение | `201` |
|
||||
|
||||
Строки `pending` после сбоя убирает механизм компенсации и очистки с grace period — изменение уровня «4».
|
||||
|
||||
**Скачивание.** Строка `ready` по PK → членство → `GetObject` **до** отправки заголовков (пропавший объект → `404` с
|
||||
событием `attachment.object_missing` в журнале, недоступный S3 → `503`) → `StreamingResponse` кусками 64 KiB с
|
||||
`Content-Type` из метаданных, `Content-Length` из S3, `X-Content-Type-Options: nosniff`, `Cache-Control: private,
|
||||
no-store`; `Accept` не учитывается, redirect нет, `X-Request-Id`/`X-Instance-Id` ставит конвейер. `variant` — только
|
||||
`original`, иное → `400`.
|
||||
|
||||
**Клиент S3.** Один клиент aiobotocore на воркер (scope `APP` dishka): path-style, SigV4, регион `S3_REGION`,
|
||||
`connect_timeout=1`, `read_timeout=2`, 2 попытки, checksum `when_required`. Обработчик botocore, добавлявший
|
||||
`Expect: 100-continue` к телу `PutObject`, снят: aiohttp ждал `100 Continue`, RustFS за прокси портов его не
|
||||
присылал, и запись висела до read timeout — это нашёл тест адаптера против настоящего RustFS. Ошибки соединения,
|
||||
таймауты и `5xx` → `503 unavailable`; ключи S3 в журнал и ответы не попадают.
|
||||
|
||||
**Готовность.** `/health/ready` от S3 не зависит. Если бы зависела, при падении S3 балансировщик вывел бы все
|
||||
реплики, отказали бы и тексты, а ответы LB не несут `X-Instance-Id`. Сейчас upload и скачивание получают `503` от
|
||||
приложения за ≤2,6 с, а тексты и метаданные работают (`evidence/s3-outage.json`).
|
||||
|
||||
**Цепочка таймаутов:** клиент smoke/resilience 10/2 с; LB `timeout server` 10 с > `REQUEST_TIMEOUT_SECONDS` 8 с >
|
||||
худшая операция S3 2 × (1 + 2) = 6 с и ожидание соединения PostgreSQL + оператор 1 + 2 с. LB не повторяет upload:
|
||||
`disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом, повтор отказа соединения безопасен (запрос
|
||||
не ушёл).
|
||||
|
||||
**Роли и сервисы** (`compose.yaml`; сети `edge` и `backend` с `internal: true`):
|
||||
|
||||
| Роль | Сервис | Версия / digest | Health / readiness | Volume | Сеть / порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| load_balancer | `lb` | `haproxy:3.2.26-alpine@sha256:58938405…`, uid 99, `read_only` | `/healthz` :8404; реплики — `GET /health/ready` | нет | `edge` + `backend`; `127.0.0.1:${LB_HTTP_PORT:-8080}`, `127.0.0.1:${LB_STATS_PORT:-8404}` | нет |
|
||||
| api ×`API_REPLICAS` | `api` | сборка из `Dockerfile`, uid 10001, `read_only` + `tmpfs /tmp` | `GET /health/ready` (PostgreSQL) | нет | `backend`, без портов | `database_url`, `cache_url`, `cursor_secret`, `s3_access_key_id`, `s3_secret_access_key` через `*_FILE` |
|
||||
| postgres (метаданные) | `postgres` | `postgres:17.11-alpine@sha256:266d3c25…`, uid 70 | `pg_isready` | `pgdata` | `backend` | `postgres_password` через `POSTGRES_PASSWORD_FILE` |
|
||||
| s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` |
|
||||
| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) |
|
||||
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` |
|
||||
| сессии (кэш) | `valkey` | `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uid 999 | `valkey-cli ping` | `valkeydata` (AOF) | `backend` | `valkey.conf` |
|
||||
| bootstrap схемы | `migrate` | образ api, `restart: "no"` | код выхода 0 | нет | `backend` | `database_url` |
|
||||
| нагрузка (профиль `bench`) | `k6` | `grafana/k6:2.3.0@sha256:2dd4756e…` | нет | нет | `edge` | нет |
|
||||
|
||||
Приватный bucket создаёт `infra/s3/init.sh`: `rc bucket create --ignore-existing`, `rc bucket anonymous set private`,
|
||||
политика `messenger-api` из `infra/s3/api-policy.json` (Get/Put/DeleteObject, abort/list multipart на
|
||||
`messenger-attachments/*`, ListBucket и GetBucketLocation на сам bucket), пользователь API с ключом из
|
||||
`secrets/`, lifecycle «незавершённый multipart старше суток удаляется», самопроверка анонимной политики и
|
||||
привязки. Root-ключи есть только у `s3`, `s3-init` и `s3-cli` (`evidence/storage-layout.txt`, `make limits`).
|
||||
MinIO не выбран: `minio/minio` удалён с Docker Hub, quay отдаёт 401, проект архивирован; SeaweedFS работает от
|
||||
root и не читает ключи из файлов. Лимиты: lb 1/128m, api 1/512m на реплику, s3 1/512m, s3-init и s3-cli
|
||||
0.5/64m, migrate 0.5/256m, postgres 2/1g, valkey 0.5/128m.
|
||||
|
||||
**Соответствие `.env.example` реальной конфигурации:**
|
||||
|
||||
| `.env.example` | В решении | Комментарий |
|
||||
| --- | --- | --- |
|
||||
| `APP_HOST`, `APP_PORT` | `HOST`, `PORT` | заданы в образе (`0.0.0.0:8080`); снаружи — порт LB |
|
||||
| `APP_ENV` | не используется | режимов окружения нет |
|
||||
| `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS` | те же | 3600 и 86 400 |
|
||||
| `DATABASE_URL_FILE`, `CACHE_URL_FILE` | те же | любой параметр читается из `<ИМЯ>_FILE` |
|
||||
| `SESSION_STORE=postgres` | фиксировано | PostgreSQL — источник истины сессий, Valkey — кэш |
|
||||
| `API_REPLICAS` | `deploy.replicas: ${API_REPLICAS:-2}` | число реплик `api` |
|
||||
| `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` | те же у `api`, `s3-init`, `s3-cli`; `RUSTFS_REGION` у `s3` | `http://s3:9000`, `us-east-1`, `messenger-attachments` |
|
||||
| `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE` | те же | ключ API, не root |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` | те же | 10 485 760 и 40 000 000; больше контракта задать нельзя (валидация настроек) |
|
||||
| — | `S3_CONNECT_TIMEOUT_SECONDS`, `S3_READ_TIMEOUT_SECONDS` | 1 и 2 с; две попытки укладываются в 8 с запроса |
|
||||
| — | `IMAGE_CHECK_CONCURRENCY`, `S3_MEMORY` | параллельные проверки изображений на воркер; лимит памяти RustFS |
|
||||
| — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 |
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Публичный smoke | `make test BASE_URL=http://localhost:18084` | `PASS: lab4 public API scenario` (upload fixture → `201 ready`, сообщение `text=""` с `attachment_ids`, скачивание bob побайтно с `image/png`, eve `404` на метаданные и `/content`, весь минимум lab2–lab3) | `evidence/smoke.txt` |
|
||||
| Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, `make test` | `valid`; все сервисы `Healthy`, `migrate` и `s3-init` `Exited (0)`; smoke `PASS` | `evidence/clean-clone.txt` |
|
||||
| `make check` / `make validate` | `make check`; `make validate` в venv с `requirements-dev.txt` | `PASS: offline skeleton structure…`; `PASS: full OpenAPI 3.1 and JSON Schema validation` | `evidence/contract-checks.txt` |
|
||||
| Собственные тесты и линтер | `make lint`; `make student-test` | ruff, формат, ty — `All checks passed!`; `325 passed` | `evidence/student-tests.txt` |
|
||||
| **3.1** S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не на API | `make attachments-evidence` (`ps`, `\d attachments`, bytea по схеме, листинг bucket, `docker inspect`) | `s3` healthy без портов; в схеме `bytea` только хеши токенов и отпечатки; 14 строк `ready` и 14 объектов `attachments/<uuid>`; у реплик `ro=true`, только `tmpfs /tmp` и bind секретов; данные S3 на volume `s3data` | `evidence/storage-layout.txt` |
|
||||
| **3.2** `201 ready` только после записи объекта и `COMMIT`; побайтное скачивание вторым участником, SHA-256 | smoke; `make student-test` (`test_storage_failure_leaves_nothing_visible`: S3 отказал → `503`, строка `pending`, вложения нет); сверка вне API | sha256 и размер последней строки `ready` в PostgreSQL равны sha256 и размеру объекта, прочитанного `rc` из bucket (`99ea7533…`, 111817) | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/storage-layout.txt` |
|
||||
| **3.3** Message с `attachment_ids` читается участниками; посторонний `404`; анонимный GET в S3 — `403` | smoke; `make student-test` (`test_message_attachments.py`, `test_attachments.py`); `make s3-check` | eve `404` на метаданные и `/content`; вложение другого чата и неизвестное → `404`, 11 и дубли → `400`, посторонний с 11 → `404`; прямой HTTP GET объекта из отдельного контейнера → `403`, анонимные Head/List/Put → deny, политика `private` | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/s3-security.txt` |
|
||||
| **3.4** PNG/JPEG ≤10 MiB и ≤40 MP; MIME по содержимому; опасные `filename`; лимиты до неограниченного чтения/декодирования | `make student-test` (`test_attachments.py`, `test_attachments_domain.py`) | ровно 10 485 760 B → `201`, +1 B с `Content-Length` и chunked → `413` без строки; 8000×5000 → `201`, 8001×5000 и 100 000×100 000 → `413` по заголовку; JPEG/GIF/WebP/текст как PNG, PNG как JPEG, обрезанные PNG/JPEG, пустое тело, `application/octet-stream`, без `Content-Type` → `415`; `../a.png`, `a/b.png`, `a\b.png`, `%00`, `%01`, `%7F`, пустое, пробельное, 256 символов, без параметра → `400`; кириллица и 255 символов → `201` | `evidence/student-tests.txt` |
|
||||
| **3.5** Upload → остановка обслужившей реплики → download через другую | `make scenario SCENARIO=failover-upload` | upload принят `196b3a876d81`, хук остановил её за 2,69 с, скачивание через `8bd1d38428d0` через 2,70 с от старта хука, SHA-256 равен, реплика возвращена | `evidence/failover-upload.json` |
|
||||
| **3.5** Остановка каждой реплики под записью (публичный хук) | `make failover-evidence` дважды, между прогонами `restore` и сдвиг round robin | `196b3a876d81`: первая запись через 2,74 с, 129 записей, 0 ошибок; `8bd1d38428d0`: 3,08 с, 127, 0; target в `exited`, в логе — сигнал, окно readiness `503`, выход; вложение после отказа читается bob; `PASS: failover …` | `evidence/failover-196b3a876d81.txt`, `evidence/failover-8bd1d38428d0.txt` |
|
||||
| **3.6** Restart с сохранением volumes сохраняет метаданные и оригинал | `make persistence-evidence` | `PASS: persistence …` (после хука один `GET` метаданных и один `/content` без повторов совпали); `StartedAt` у `lb`, обеих `api`, `postgres`, `valkey`, `s3`, `migrate`, `s3-init` новее, контейнеры те же | `evidence/persistence.txt` |
|
||||
| **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 0,98 с, `/content` `503` за 2,53 с, метаданные `200`, текст `201`, `/health/ready` `200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` |
|
||||
| **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make s3-check` | образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api`; 22/22 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/s3-security.txt`, `evidence/environment.txt` |
|
||||
| **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, секреты вне Git | `make stack-evidence`, `make storage-evidence` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`; миграции `0001`–`0003`, повтор `up to date` без изменения счётчиков; `git ls-files secrets .env` пуст, `secrets/s3_*` игнорируются | `evidence/stack.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/secrets.txt` |
|
||||
| Уровень «4» | — | заполняется изменением уровня «4» (компенсация и очистка, замер памяти, негативный suite стенда, ограниченные ключи) | — |
|
||||
| Трек 2 | — | заполняется изменением трека 2 (reconciler) | — |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Стенд: 2 реплики `api` (1 CPU, 512 MiB, 2 воркера), RustFS 1 CPU / 512 MiB, PostgreSQL 2 CPU / 1 GiB; Docker
|
||||
Desktop VM 16 CPU, 7.65 ГиБ, параллельно работали стенды других лаб. Объём данных — синтетические пользователи
|
||||
smoke и fixture `sample.png` (111 817 B). Нагрузочные измерения загрузок — уровень «4».
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Остановлена реплика, принявшая upload (`failover-upload`) | скачивание через другую реплику, тот же SHA-256 | download `200` через `8bd1d38428d0`, SHA-256 равен | 2,70 с от старта хука; потерь нет |
|
||||
| Остановлена реплика под записью (`make test-failover`, обе реплики) | запись восстанавливается ≤10 с, дублей нет, вложение читается | 2,74 и 3,08 с, 0 ошибок, история без дублей, вложение байт-в-байт | ≤3,1 с; потерь нет |
|
||||
| Перезапуск LB, API, PostgreSQL, Valkey, S3 с volumes | метаданные, байты, сессия и история на месте | однократные `GET` метаданных и `/content` сразу после хука совпали | хук ждёт `healthy` S3; потерь нет |
|
||||
| `docker compose stop s3` | upload и `/content` → `503` за ограниченное время; тексты, метаданные, readiness работают | `503` за 0,98 и 2,53 с; текст `201`, метаданные и readiness `200` | S3 healthy через 5,8 с; файл тот же; неудачный upload оставил одну невидимую строку `pending` (уборка — уровень «4») |
|
||||
| Посторонний: метаданные, `/content`, upload в чужой чат, ссылка на чужое вложение | `404` без раскрытия | `404` во всех случаях, раньше проверок содержимого | — |
|
||||
| Анонимный клиент S3 из сети стенда | `403` | прямой GET `403`, Head/List/Put — deny | — |
|
||||
| Тело 10 485 761 B (`Content-Length` и chunked), PNG 100 000 × 100 000 | `413` до чтения сверх лимита и до декодирования | `413`; строк и объектов не появилось | — |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Один Docker-host: RustFS работает одним узлом без parity, S3 и PostgreSQL — единственные точки отказа; это не HA.
|
||||
RustFS молод (GA 1.0.0 — 2026-09-16, `rc` 0.1.x), в 2025 у него были CVE; версия и digest закреплены.
|
||||
Community-образы MinIO недоступны, проект архивирован.
|
||||
- `verify()` для PNG проверяет структуру и CRC всех чанков, но не распаковывает пиксели: PNG с корректными CRC и
|
||||
испорченным zlib-потоком будет принят. Оригинал отдаётся побайтно, серверу это не вредит; полная распаковка
|
||||
стоила бы до 160 MB на 40 MP.
|
||||
- Строки `pending` после сбоя S3 или `COMMIT` остаются до уровня «4»: компенсирующий `DeleteObject`, очистка по grace
|
||||
period и сверка — следующие изменения; трек 2 добавляет reconciler.
|
||||
- Одновременные загрузки на уровне «3» не ограничены: каждая держит до 10 MiB (на миг склейки — 20 MiB); лимит
|
||||
параллелизма и замер пика памяти — уровень «4».
|
||||
- Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные
|
||||
тесты проверяют `413` через `Content-Length`.
|
||||
- Подтверждено прогонами: всё в таблице доказательств. Гипотезы: поведение под нагрузкой загрузок и стоимость
|
||||
сверки хранилищ — проверяются на уровне «4» и в треке 2.
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
date: 2026-10-28T17:50:32Z commit: 24f9d61
|
||||
$ git clone … && git checkout solution/bpi2303-kostylev
|
||||
24f9d61 Add the attachment failure scenarios and S3 checks
|
||||
$ make secrets
|
||||
sh scripts/secrets.sh
|
||||
создан secrets/postgres_password
|
||||
создан secrets/database_url
|
||||
создан secrets/cursor_secret
|
||||
создан secrets/valkey_password
|
||||
создан secrets/valkey.conf
|
||||
создан secrets/cache_url
|
||||
создан secrets/s3_root_user
|
||||
создан secrets/s3_root_password
|
||||
создан secrets/s3_access_key_id
|
||||
создан secrets/s3_secret_access_key
|
||||
создан .env из .env.example
|
||||
$ sed LB_HTTP_PORT=18084 LB_STATS_PORT=24084 .env # 8080 на этой машине занят стендами других лаб
|
||||
$ docker compose --env-file .env config --quiet && echo valid
|
||||
valid
|
||||
$ make up # docker compose up -d --build --wait
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
Container mtusi2026lab4-lb-1 Healthy
|
||||
Container mtusi2026lab4-migrate-1 Exited
|
||||
Container mtusi2026lab4-postgres-1 Healthy
|
||||
Container mtusi2026lab4-s3-1 Healthy
|
||||
Container mtusi2026lab4-s3-init-1 Exited
|
||||
Container mtusi2026lab4-valkey-1 Healthy
|
||||
up --wait: 18 s
|
||||
$ docker compose ps -a --format '{{.Service}} {{.Status}}'
|
||||
api Up 3 seconds (healthy)
|
||||
api Up 3 seconds (healthy)
|
||||
lb Up 10 seconds (healthy)
|
||||
migrate Exited (0) 4 seconds ago
|
||||
postgres Up 10 seconds (healthy)
|
||||
s3 Up 10 seconds (healthy)
|
||||
s3-init Exited (0) 4 seconds ago
|
||||
valkey Up 10 seconds (healthy)
|
||||
$ make test BASE_URL=http://localhost:18084
|
||||
python3 tests/smoke.py --base-url "http://localhost:18084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ docker compose down -v # стенд из clone удалён вместе с учебными данными
|
||||
Network mtusi2026lab4_backend Removed
|
||||
@@ -0,0 +1,7 @@
|
||||
date: 2026-10-28T17:51:36Z commit: 24f9d61
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate PYTHON="uv run --no-project --with-requirements requirements-dev.txt python" # venv с requirements-dev.txt
|
||||
uv run -q --no-project --with-requirements requirements-dev.txt python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,42 @@
|
||||
date: 2026-10-28T18:08:00Z commit: 24f9d61
|
||||
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
|
||||
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
|
||||
compose: 2.38.2-desktop.1
|
||||
images:
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab4}
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
|
||||
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS runtime
|
||||
python in image: Python 3.14.7
|
||||
haproxy: HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/
|
||||
rustfs: rustfs 1.0.4
|
||||
packages (uv.lock):
|
||||
fastapi 0.141.1
|
||||
uvicorn 0.54.0
|
||||
uvicorn-worker 0.4.0
|
||||
gunicorn 26.2.0
|
||||
asyncpg 0.32.0
|
||||
argon2-cffi 25.1.0
|
||||
pydantic 2.13.5
|
||||
pydantic-settings 2.15.0
|
||||
dishka 1.10.1
|
||||
structlog 26.1.0
|
||||
redis 8.1.0
|
||||
aiobotocore 3.10.0
|
||||
botocore 1.43.117
|
||||
aiohttp 3.14.5
|
||||
pillow 13.0.0
|
||||
process users (service uid command):
|
||||
api 10001 python
|
||||
lb 99 haproxy
|
||||
postgres 70 pg_isready
|
||||
postgres 70 postgres
|
||||
s3 10001 rustfs
|
||||
valkey 999 tini
|
||||
valkey 999 valkey-server
|
||||
@@ -0,0 +1,39 @@
|
||||
date: 2026-10-28T18:29:25Z commit: 24f9d61
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
196b3a876d81 running started=2026-10-28T18:28:29.324800505Z finished=2026-10-28T18:26:09.117691179Z
|
||||
8bd1d38428d0 running started=2026-10-28T18:25:38.512082013Z finished=2026-10-28T18:25:25.52109609Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 129, "failed_attempts": 0, "first_recovery_seconds": 2.737}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
196b3a876d81 exited started=2026-10-28T18:28:29.324800505Z finished=2026-10-28T18:29:28.219275009Z
|
||||
8bd1d38428d0 running started=2026-10-28T18:25:38.512082013Z finished=2026-10-28T18:25:25.52109609Z
|
||||
== stopped replica: 196b3a876d81; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-28T18:29:25.807319Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-28T18:29:25.850076Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-28T18:29:25.854947Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"3ee651bebf50472d9f12e5496f2500d7","duration_ms":0.64,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:25.990552Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"5f3ad3b3bc0449869616a50c4c0f1960","duration_ms":1.764,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:26.504373Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"1466f11698c14a9892a8e9a5bd446597","duration_ms":0.3,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:27.081651Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-28T18:29:27.852426Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-28T18:29:27.856950Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-28T18:29:27.963846Z"}
|
||||
{"event":"Finished server process [8]","level":"info","ts":"2026-10-28T18:29:27.964073Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-28T18:29:27.964840Z"}
|
||||
{"event":"Finished server process [7]","level":"info","ts":"2026-10-28T18:29:27.965086Z"}
|
||||
{"event":"Worker (pid:7) was sent SIGTERM!","level":"info","ts":"2026-10-28T18:29:28.007750Z"}
|
||||
{"event":"Worker (pid:8) was sent SIGTERM!","level":"info","ts":"2026-10-28T18:29:28.007877Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-28T18:29:28.116313Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab4-api-2 Running
|
||||
Container mtusi2026lab4-api-1 Starting
|
||||
Container mtusi2026lab4-api-1 Started
|
||||
Container mtusi2026lab4-api-1 Waiting
|
||||
Container mtusi2026lab4-api-2 Waiting
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
== after restore
|
||||
196b3a876d81 running started=2026-10-28T18:29:41.187041709Z finished=2026-10-28T18:29:28.219275009Z
|
||||
8bd1d38428d0 running started=2026-10-28T18:25:38.512082013Z finished=2026-10-28T18:25:25.52109609Z
|
||||
@@ -0,0 +1,39 @@
|
||||
date: 2026-10-28T18:29:44Z commit: 24f9d61
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
196b3a876d81 running started=2026-10-28T18:29:41.187041709Z finished=2026-10-28T18:29:28.219275009Z
|
||||
8bd1d38428d0 running started=2026-10-28T18:25:38.512082013Z finished=2026-10-28T18:25:25.52109609Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 127, "failed_attempts": 0, "first_recovery_seconds": 3.076}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
196b3a876d81 running started=2026-10-28T18:29:41.187041709Z finished=2026-10-28T18:29:28.219275009Z
|
||||
8bd1d38428d0 exited started=2026-10-28T18:25:38.512082013Z finished=2026-10-28T18:29:47.669441462Z
|
||||
== stopped replica: 8bd1d38428d0; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-28T18:29:44.898894Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-28T18:29:44.961814Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-28T18:29:44.977718Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"ec593d2f46144036b1dd668ecd5f92ec","duration_ms":0.286,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:45.347641Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"c31a3838896d4bf5b00be6a5d1e13aa8","duration_ms":1.492,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:45.711924Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"2be83d842d0e4f9bbf38240a90eaffb0","duration_ms":0.413,"event":"request.handled","level":"info","ts":"2026-10-28T18:29:46.217772Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-28T18:29:46.963596Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-28T18:29:46.979906Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-28T18:29:47.071763Z"}
|
||||
{"event":"Finished server process [8]","level":"info","ts":"2026-10-28T18:29:47.072039Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-28T18:29:47.084542Z"}
|
||||
{"event":"Finished server process [7]","level":"info","ts":"2026-10-28T18:29:47.084788Z"}
|
||||
{"event":"Worker (pid:8) was sent SIGTERM!","level":"info","ts":"2026-10-28T18:29:47.087800Z"}
|
||||
{"event":"Worker (pid:7) was sent SIGTERM!","level":"info","ts":"2026-10-28T18:29:47.199665Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-28T18:29:47.308734Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab4-api-1 Running
|
||||
Container mtusi2026lab4-api-2 Starting
|
||||
Container mtusi2026lab4-api-2 Started
|
||||
Container mtusi2026lab4-api-1 Waiting
|
||||
Container mtusi2026lab4-api-2 Waiting
|
||||
Container mtusi2026lab4-api-1 Healthy
|
||||
Container mtusi2026lab4-api-2 Healthy
|
||||
== after restore
|
||||
196b3a876d81 running started=2026-10-28T18:29:41.187041709Z finished=2026-10-28T18:29:28.219275009Z
|
||||
8bd1d38428d0 running started=2026-10-28T18:30:00.267276635Z finished=2026-10-28T18:29:47.669441462Z
|
||||
@@ -0,0 +1,10 @@
|
||||
{
|
||||
"ok": true,
|
||||
"scenario": "failover-upload",
|
||||
"upload_instance": "196b3a876d81",
|
||||
"download_instance": "8bd1d38428d0",
|
||||
"sha256_equal": true,
|
||||
"hook_seconds": 2.69,
|
||||
"download_ok_after_seconds": 2.704,
|
||||
"restored": true
|
||||
}
|
||||
@@ -0,0 +1,13 @@
|
||||
date: 2026-10-28T18:07:56Z commit: 24f9d61
|
||||
$ psql -c "SELECT substring(password_hash from '^[$]argon2id[$]v=[0-9]+[$]m=[0-9]+,t=[0-9]+,p=[0-9]+[$]') AS kdf_prefix, count(*) AS users, min(length(password_hash)) AS hash_length FROM users GROUP BY 1"
|
||||
kdf_prefix | users | hash_length
|
||||
---------------------------------+-------+-------------
|
||||
$argon2id$v=19$m=19456,t=2,p=1$ | 3 | 97
|
||||
(1 row)
|
||||
|
||||
$ psql -c "SELECT octet_length(token_hash) AS stored_bytes, count(*) AS sessions FROM sessions GROUP BY 1"
|
||||
stored_bytes | sessions
|
||||
--------------+----------
|
||||
32 | 2
|
||||
(1 row)
|
||||
|
||||
@@ -0,0 +1,15 @@
|
||||
date: 2026-10-28T18:07:54Z commit: 24f9d61
|
||||
$ psql -c "SELECT (SELECT count(*) FROM users) users, (SELECT count(*) FROM sessions) sessions, (SELECT count(*) FROM chats) chats, (SELECT count(*) FROM chat_members) members, (SELECT count(*) FROM messages) messages, (SELECT count(*) FROM idempotency_keys) keys, (SELECT count(*) FROM attachments) attachments, (SELECT count(*) FROM message_attachments) links, (SELECT count(*) FROM schema_migrations) versions"
|
||||
users | sessions | chats | members | messages | keys | attachments | links | versions
|
||||
-------+----------+-------+---------+----------+------+-------------+-------+----------
|
||||
3 | 2 | 1 | 2 | 3 | 3 | 1 | 1 | 3
|
||||
(1 row)
|
||||
|
||||
$ make migrate
|
||||
{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-28T18:07:56.099296Z"}
|
||||
$ psql -c "SELECT (SELECT count(*) FROM users) users, (SELECT count(*) FROM sessions) sessions, (SELECT count(*) FROM chats) chats, (SELECT count(*) FROM chat_members) members, (SELECT count(*) FROM messages) messages, (SELECT count(*) FROM idempotency_keys) keys, (SELECT count(*) FROM attachments) attachments, (SELECT count(*) FROM message_attachments) links, (SELECT count(*) FROM schema_migrations) versions"
|
||||
users | sessions | chats | members | messages | keys | attachments | links | versions
|
||||
-------+----------+-------+---------+----------+------+-------------+-------+----------
|
||||
3 | 2 | 1 | 2 | 3 | 3 | 1 | 1 | 3
|
||||
(1 row)
|
||||
|
||||
@@ -0,0 +1,22 @@
|
||||
date: 2026-10-28T18:45:50Z commit: 24f9d61
|
||||
== before: service hostname StartedAt status
|
||||
api 196b3a876d81 2026-10-28T18:29:41.187041709Z running
|
||||
api 8bd1d38428d0 2026-10-28T18:30:00.267276635Z running
|
||||
lb 5ee5dad8003c 2026-10-28T17:51:03.006429091Z running
|
||||
migrate 953e57e47bd0 2026-10-28T17:51:08.581653636Z exited
|
||||
postgres b6579b111fba 2026-10-28T17:51:03.015556258Z running
|
||||
s3 b6098ae6a07c 2026-10-28T17:51:03.018554716Z running
|
||||
s3-init a815e0190d6e 2026-10-28T17:51:08.598551386Z exited
|
||||
valkey fb5b482d1d20 2026-10-28T17:51:03.019280466Z running
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:18084"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: service hostname StartedAt status
|
||||
api 196b3a876d81 2026-10-28T18:46:00.241797636Z running
|
||||
api 8bd1d38428d0 2026-10-28T18:46:00.316077636Z running
|
||||
lb 5ee5dad8003c 2026-10-28T18:45:54.117490049Z running
|
||||
migrate 953e57e47bd0 2026-10-28T18:45:59.135693677Z exited
|
||||
postgres b6579b111fba 2026-10-28T18:45:53.821784591Z running
|
||||
s3 b6098ae6a07c 2026-10-28T18:45:53.797547883Z running
|
||||
s3-init a815e0190d6e 2026-10-28T18:45:59.140801177Z exited
|
||||
valkey fb5b482d1d20 2026-10-28T18:45:53.875502383Z running
|
||||
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"ok": true,
|
||||
"scenario": "s3-outage",
|
||||
"during_outage": {
|
||||
"upload": {
|
||||
"status": 503,
|
||||
"seconds": 0.975,
|
||||
"instance": "8bd1d38428d0"
|
||||
},
|
||||
"metadata": {
|
||||
"status": 200,
|
||||
"seconds": 0.01,
|
||||
"instance": "196b3a876d81"
|
||||
},
|
||||
"download": {
|
||||
"status": 503,
|
||||
"seconds": 2.533,
|
||||
"instance": "8bd1d38428d0"
|
||||
},
|
||||
"text_message": {
|
||||
"status": 201,
|
||||
"seconds": 0.014,
|
||||
"instance": "196b3a876d81"
|
||||
},
|
||||
"health_ready": {
|
||||
"status": 200,
|
||||
"seconds": 0.004,
|
||||
"instance": "8bd1d38428d0"
|
||||
}
|
||||
},
|
||||
"expected": {
|
||||
"upload": 503,
|
||||
"download": 503,
|
||||
"text_message": 201
|
||||
},
|
||||
"as_expected": true,
|
||||
"s3_back_healthy_seconds": 5.773,
|
||||
"download_after_recovery": "sha256 equal"
|
||||
}
|
||||
@@ -0,0 +1,94 @@
|
||||
== 2026-10-28T19:01:13Z S3 privacy and bootstrap checks
|
||||
PASS s3: опубликованные host-порты: нет
|
||||
PASS s3: консоль :9001 внутри контейнера: 000
|
||||
PASS s3-init: повторный запуск 1: 0
|
||||
PASS s3-init: повторный запуск 2: 0
|
||||
PASS s3-init: состояние IAM/bucket не изменилось: same
|
||||
PASS api: PutObject: allow
|
||||
PASS api: HeadObject: allow
|
||||
PASS api: GetObject: allow
|
||||
PASS api: ListBucket: allow
|
||||
PASS api: CreateBucket: deny
|
||||
PASS api: DeleteBucket: deny
|
||||
PASS api: PutBucketPolicy (public): deny
|
||||
PASS api: PutBucketLifecycle: deny
|
||||
PASS api: admin ListUsers: deny
|
||||
PASS api: PutObject в чужой bucket: deny
|
||||
PASS api: ListBucket чужого bucket: deny
|
||||
PASS anonymous: HeadObject: deny
|
||||
PASS anonymous: ListBucket: deny
|
||||
PASS anonymous: PutObject: deny
|
||||
PASS anonymous: прямой HTTP GET объекта из отдельного контейнера: 403
|
||||
PASS bucket: anonymous policy: private
|
||||
PASS api: DeleteObject: allow
|
||||
== IAM/bucket snapshot (без секретов)
|
||||
{
|
||||
"items": [
|
||||
{
|
||||
"key": "messenger-attachments",
|
||||
"last_modified": "2026-10-28T17:51:08Z",
|
||||
"is_dir": true
|
||||
}
|
||||
],
|
||||
"truncated": false
|
||||
}
|
||||
{
|
||||
"path": "root/messenger-attachments",
|
||||
"permission": "private"
|
||||
}
|
||||
{
|
||||
"name": "messenger-api",
|
||||
"policy": {
|
||||
"policy": {
|
||||
"Statement": [
|
||||
{
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:DeleteObject",
|
||||
"s3:AbortMultipartUpload",
|
||||
"s3:ListMultipartUploadParts"
|
||||
],
|
||||
"Effect": "Allow",
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments/*"
|
||||
],
|
||||
"Sid": "MessengerApiObjects"
|
||||
},
|
||||
{
|
||||
"Action": [
|
||||
"s3:ListBucket",
|
||||
"s3:ListBucketMultipartUploads",
|
||||
"s3:GetBucketLocation"
|
||||
],
|
||||
"Effect": "Allow",
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments"
|
||||
],
|
||||
"Sid": "MessengerApiBucket"
|
||||
}
|
||||
],
|
||||
"Version": "2012-10-17"
|
||||
},
|
||||
"policy_name": "messenger-api",
|
||||
}
|
||||
}
|
||||
{
|
||||
"accessKey": "<api-key>",
|
||||
"status": "enabled",
|
||||
"policies": [
|
||||
"messenger-api"
|
||||
],
|
||||
"memberOf": []
|
||||
}
|
||||
{
|
||||
"rules": [
|
||||
{
|
||||
"id": "abort-incomplete-uploads",
|
||||
"status": "Enabled",
|
||||
"prefix": "",
|
||||
"abortIncompleteMultipartUploadDays": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
RESULT: PASS
|
||||
@@ -0,0 +1,193 @@
|
||||
date: 2026-10-28T18:07:53Z commit: 24f9d61
|
||||
$ psql -c '\d+ users'
|
||||
Table "public.users"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
---------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
id | uuid | | not null | | plain | | |
|
||||
username | text | | not null | | extended | | |
|
||||
display_name | text | | not null | | extended | | |
|
||||
password_hash | text | | not null | | extended | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"users_pkey" PRIMARY KEY, btree (id)
|
||||
"users_username_key" UNIQUE CONSTRAINT, btree (username)
|
||||
Check constraints:
|
||||
"users_display_name_check" CHECK (char_length(display_name) >= 1 AND char_length(display_name) <= 100)
|
||||
"users_password_hash_check" CHECK (password_hash ~~ '$argon2id$%'::text)
|
||||
"users_username_format" CHECK (username ~ '^[a-z0-9_]{3,32}$'::text)
|
||||
Referenced by:
|
||||
TABLE "chat_members" CONSTRAINT "chat_members_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
TABLE "sessions" CONSTRAINT "sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ sessions'
|
||||
Table "public.sessions"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
token_hash | bytea | | not null | | extended | | |
|
||||
user_id | uuid | | not null | | plain | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
expires_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"sessions_pkey" PRIMARY KEY, btree (token_hash)
|
||||
"sessions_user_idx" btree (user_id)
|
||||
Check constraints:
|
||||
"sessions_check" CHECK (expires_at > created_at)
|
||||
"sessions_token_hash_check" CHECK (octet_length(token_hash) = 32)
|
||||
Foreign-key constraints:
|
||||
"sessions_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ chats'
|
||||
Table "public.chats"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
-----------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
id | uuid | | not null | | plain | | |
|
||||
title | text | | not null | | extended | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
last_message_at | timestamp with time zone | | | | plain | | |
|
||||
Indexes:
|
||||
"chats_pkey" PRIMARY KEY, btree (id)
|
||||
Check constraints:
|
||||
"chats_title_check" CHECK (char_length(title) >= 1 AND char_length(title) <= 100)
|
||||
Referenced by:
|
||||
TABLE "chat_members" CONSTRAINT "chat_members_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ chat_members'
|
||||
Table "public.chat_members"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
-----------------+--------------------------+-----------+----------+---------+---------+-------------+--------------+-------------
|
||||
chat_id | uuid | | not null | | plain | | |
|
||||
user_id | uuid | | not null | | plain | | |
|
||||
position | smallint | | not null | | plain | | |
|
||||
chat_created_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"chat_members_pkey" PRIMARY KEY, btree (chat_id, user_id)
|
||||
"chat_members_user_idx" btree (user_id, chat_created_at, chat_id)
|
||||
Check constraints:
|
||||
"chat_members_position_check" CHECK ("position" >= 1 AND "position" <= 100)
|
||||
Foreign-key constraints:
|
||||
"chat_members_chat_id_fkey" FOREIGN KEY (chat_id) REFERENCES chats(id) ON DELETE CASCADE
|
||||
"chat_members_user_id_fkey" FOREIGN KEY (user_id) REFERENCES users(id)
|
||||
Referenced by:
|
||||
TABLE "attachments" CONSTRAINT "attachments_owner_fkey" FOREIGN KEY (chat_id, owner_id) REFERENCES chat_members(chat_id, user_id)
|
||||
TABLE "idempotency_keys" CONSTRAINT "idempotency_keys_chat_id_user_id_fkey" FOREIGN KEY (chat_id, user_id) REFERENCES chat_members(chat_id, user_id)
|
||||
TABLE "messages" CONSTRAINT "messages_chat_id_sender_id_fkey" FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ messages'
|
||||
Table "public.messages"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
id | uuid | | not null | | plain | | |
|
||||
chat_id | uuid | | not null | | plain | | |
|
||||
sender_id | uuid | | not null | | plain | | |
|
||||
text | text | | not null | | extended | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"messages_pkey" PRIMARY KEY, btree (id)
|
||||
"messages_history_idx" btree (chat_id, created_at, id)
|
||||
Check constraints:
|
||||
"messages_text_check" CHECK (char_length(text) <= 4000)
|
||||
Foreign-key constraints:
|
||||
"messages_chat_id_sender_id_fkey" FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
|
||||
Referenced by:
|
||||
TABLE "idempotency_keys" CONSTRAINT "idempotency_keys_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON DELETE CASCADE
|
||||
TABLE "message_attachments" CONSTRAINT "message_attachments_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ idempotency_keys'
|
||||
Table "public.idempotency_keys"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
-------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
chat_id | uuid | | not null | | plain | | |
|
||||
user_id | uuid | | not null | | plain | | |
|
||||
key | text | | not null | | extended | | |
|
||||
fingerprint | bytea | | not null | | extended | | |
|
||||
message_id | uuid | | not null | | plain | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"idempotency_keys_pkey" PRIMARY KEY, btree (chat_id, user_id, key)
|
||||
Check constraints:
|
||||
"idempotency_keys_fingerprint_check" CHECK (octet_length(fingerprint) = 32)
|
||||
"idempotency_keys_key_check" CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'::text)
|
||||
Foreign-key constraints:
|
||||
"idempotency_keys_chat_id_user_id_fkey" FOREIGN KEY (chat_id, user_id) REFERENCES chat_members(chat_id, user_id)
|
||||
"idempotency_keys_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ attachments'
|
||||
Table "public.attachments"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
--------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
id | uuid | | not null | | plain | | |
|
||||
chat_id | uuid | | not null | | plain | | |
|
||||
owner_id | uuid | | not null | | plain | | |
|
||||
filename | text | | not null | | extended | | |
|
||||
content_type | text | | not null | | extended | | |
|
||||
size_bytes | bigint | | not null | | plain | | |
|
||||
sha256 | text | | not null | | extended | | |
|
||||
width | integer | | not null | | plain | | |
|
||||
height | integer | | not null | | plain | | |
|
||||
object_key | text | C | not null | | extended | | |
|
||||
status | text | | not null | | extended | | |
|
||||
created_at | timestamp with time zone | | not null | | plain | | |
|
||||
updated_at | timestamp with time zone | | not null | | plain | | |
|
||||
Indexes:
|
||||
"attachments_pkey" PRIMARY KEY, btree (id)
|
||||
"attachments_chat_key" UNIQUE CONSTRAINT, btree (id, chat_id)
|
||||
"attachments_object_key_key" UNIQUE CONSTRAINT, btree (object_key)
|
||||
"attachments_pending_idx" btree (created_at) WHERE status = 'pending'::text
|
||||
Check constraints:
|
||||
"attachments_content_type_check" CHECK (content_type = ANY (ARRAY['image/png'::text, 'image/jpeg'::text]))
|
||||
"attachments_filename_check" CHECK (char_length(filename) >= 1 AND char_length(filename) <= 255)
|
||||
"attachments_height_check" CHECK (height > 0)
|
||||
"attachments_sha256_check" CHECK (sha256 ~ '^[0-9a-f]{64}$'::text)
|
||||
"attachments_size_bytes_check" CHECK (size_bytes >= 1 AND size_bytes <= 10485760)
|
||||
"attachments_status_check" CHECK (status = ANY (ARRAY['pending'::text, 'ready'::text]))
|
||||
"attachments_width_check" CHECK (width > 0)
|
||||
Foreign-key constraints:
|
||||
"attachments_owner_fkey" FOREIGN KEY (chat_id, owner_id) REFERENCES chat_members(chat_id, user_id)
|
||||
Referenced by:
|
||||
TABLE "message_attachments" CONSTRAINT "message_attachments_attachment_fkey" FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments(id, chat_id) ON DELETE RESTRICT
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ message_attachments'
|
||||
Table "public.message_attachments"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
---------------+----------+-----------+----------+---------+---------+-------------+--------------+-------------
|
||||
message_id | uuid | | not null | | plain | | |
|
||||
position | smallint | | not null | | plain | | |
|
||||
chat_id | uuid | | not null | | plain | | |
|
||||
attachment_id | uuid | | not null | | plain | | |
|
||||
Indexes:
|
||||
"message_attachments_pkey" PRIMARY KEY, btree (message_id, "position")
|
||||
"message_attachments_attachment_idx" btree (attachment_id)
|
||||
"message_attachments_message_id_attachment_id_key" UNIQUE CONSTRAINT, btree (message_id, attachment_id)
|
||||
Check constraints:
|
||||
"message_attachments_position_check" CHECK ("position" >= 0 AND "position" <= 9)
|
||||
Foreign-key constraints:
|
||||
"message_attachments_attachment_fkey" FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments(id, chat_id) ON DELETE RESTRICT
|
||||
"message_attachments_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON DELETE CASCADE
|
||||
Access method: heap
|
||||
|
||||
$ psql -c '\d+ schema_migrations'
|
||||
Table "public.schema_migrations"
|
||||
Column | Type | Collation | Nullable | Default | Storage | Compression | Stats target | Description
|
||||
------------+--------------------------+-----------+----------+---------+----------+-------------+--------------+-------------
|
||||
version | text | | not null | | extended | | |
|
||||
checksum | text | | not null | | extended | | |
|
||||
applied_at | timestamp with time zone | | not null | now() | plain | | |
|
||||
Indexes:
|
||||
"schema_migrations_pkey" PRIMARY KEY, btree (version)
|
||||
Access method: heap
|
||||
|
||||
$ psql -c 'SELECT version, left(checksum, 12), applied_at FROM schema_migrations'
|
||||
version | checksum | applied_at
|
||||
-----------------------+--------------+-------------------------------
|
||||
0001_init | 9a13618f078a | 2026-10-28 17:51:09.25584+00
|
||||
0002_idempotency_keys | d9159a355532 | 2026-10-28 17:51:09.261879+00
|
||||
0003_attachments | c4417f560538 | 2026-10-28 17:51:09.263628+00
|
||||
(3 rows)
|
||||
|
||||
@@ -0,0 +1,15 @@
|
||||
date: 2026-10-28T18:07:56Z commit: 24f9d61
|
||||
$ git ls-files secrets .env backups volumes
|
||||
(пусто: секретов, .env, дампов и volumes в Git нет)
|
||||
$ git check-ignore -v secrets/database_url secrets/postgres_password secrets/s3_root_password secrets/s3_secret_access_key .env backups/
|
||||
.gitignore:5:secrets/ secrets/database_url
|
||||
.gitignore:5:secrets/ secrets/postgres_password
|
||||
.gitignore:5:secrets/ secrets/s3_root_password
|
||||
.gitignore:5:secrets/ secrets/s3_secret_access_key
|
||||
.gitignore:2:.env .env
|
||||
.gitignore:15:backups/ backups/
|
||||
$ docker volume ls --filter name=mtusi2026lab4
|
||||
DRIVER VOLUME NAME
|
||||
local mtusi2026lab4_pgdata
|
||||
local mtusi2026lab4_s3data
|
||||
local mtusi2026lab4_valkeydata
|
||||
@@ -0,0 +1,4 @@
|
||||
date: 2026-10-28T17:51:13Z commit: 24f9d61
|
||||
$ make test BASE_URL=http://localhost:18084
|
||||
python3 tests/smoke.py --base-url "http://localhost:18084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,33 @@
|
||||
date: 2026-10-28T18:08:00Z commit: 24f9d61
|
||||
$ docker compose --env-file .env config --quiet && echo valid
|
||||
valid
|
||||
$ docker compose ps --format '{{.Service}} {{.Name}} {{.Status}} {{.Ports}}'
|
||||
api mtusi2026lab4-api-1 Up 16 minutes (healthy)
|
||||
api mtusi2026lab4-api-2 Up 16 minutes (healthy)
|
||||
lb mtusi2026lab4-lb-1 Up 16 minutes (healthy) 127.0.0.1:18084->8080/tcp, 127.0.0.1:24084->8404/tcp
|
||||
postgres mtusi2026lab4-postgres-1 Up 16 minutes (healthy)
|
||||
s3 mtusi2026lab4-s3-1 Up 16 minutes (healthy)
|
||||
valkey mtusi2026lab4-valkey-1 Up 16 minutes (healthy)
|
||||
$ docker compose config | grep -c container_name
|
||||
0
|
||||
$ docker port <каждая реплика api> # реплики не публикуют порт
|
||||
196b3a876d81: []
|
||||
8bd1d38428d0: []
|
||||
$ docker inspect: hostname = X-Instance-Id, сети, лимиты CPU (nano) и памяти
|
||||
api 196b3a876d81 /mtusi2026lab4-api-1 nets=mtusi2026lab4_backend, cpus=1000000000 mem=536870912 user=10001:10001 ro=true
|
||||
api 8bd1d38428d0 /mtusi2026lab4-api-2 nets=mtusi2026lab4_backend, cpus=1000000000 mem=536870912 user=10001:10001 ro=true
|
||||
lb 5ee5dad8003c /mtusi2026lab4-lb-1 nets=mtusi2026lab4_backend,mtusi2026lab4_edge, cpus=1000000000 mem=134217728 user=haproxy ro=true
|
||||
postgres b6579b111fba /mtusi2026lab4-postgres-1 nets=mtusi2026lab4_backend, cpus=2000000000 mem=1073741824 user=70:70 ro=false
|
||||
s3 b6098ae6a07c /mtusi2026lab4-s3-1 nets=mtusi2026lab4_backend, cpus=1000000000 mem=536870912 user=rustfs ro=true
|
||||
valkey fb5b482d1d20 /mtusi2026lab4-valkey-1 nets=mtusi2026lab4_backend, cpus=500000000 mem=134217728 user=999:1000 ro=false
|
||||
$ curl LB stats: backend api, server status check
|
||||
api1 UP L7OK 200
|
||||
api2 UP L7OK 200
|
||||
BACKEND UP
|
||||
$ for i in 1..6: curl -D - http://127.0.0.1:18084/health/live | X-Instance-Id
|
||||
x-instance-id: 8bd1d38428d0
|
||||
x-instance-id: 196b3a876d81
|
||||
x-instance-id: 8bd1d38428d0
|
||||
x-instance-id: 196b3a876d81
|
||||
x-instance-id: 8bd1d38428d0
|
||||
x-instance-id: 196b3a876d81
|
||||
@@ -0,0 +1,99 @@
|
||||
date: 2026-10-28T19:01:15Z commit: 24f9d61
|
||||
$ docker compose ps --format '{{.Service}} {{.Status}} {{.Ports}}'
|
||||
api Up 17 seconds (healthy)
|
||||
api Up 17 seconds (healthy)
|
||||
lb Up 23 seconds (healthy) 127.0.0.1:18084->8080/tcp, 127.0.0.1:24084->8404/tcp
|
||||
migrate Exited (0) 17 seconds ago
|
||||
postgres Up 23 seconds (healthy)
|
||||
s3 Up 8 seconds (healthy)
|
||||
s3-init Exited (0) 18 seconds ago
|
||||
valkey Up 23 seconds (healthy)
|
||||
$ psql -c '\d attachments'
|
||||
Table "public.attachments"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
--------------+--------------------------+-----------+----------+---------
|
||||
id | uuid | | not null |
|
||||
chat_id | uuid | | not null |
|
||||
owner_id | uuid | | not null |
|
||||
filename | text | | not null |
|
||||
content_type | text | | not null |
|
||||
size_bytes | bigint | | not null |
|
||||
sha256 | text | | not null |
|
||||
width | integer | | not null |
|
||||
height | integer | | not null |
|
||||
object_key | text | C | not null |
|
||||
status | text | | not null |
|
||||
created_at | timestamp with time zone | | not null |
|
||||
updated_at | timestamp with time zone | | not null |
|
||||
Indexes:
|
||||
"attachments_pkey" PRIMARY KEY, btree (id)
|
||||
"attachments_chat_key" UNIQUE CONSTRAINT, btree (id, chat_id)
|
||||
"attachments_object_key_key" UNIQUE CONSTRAINT, btree (object_key)
|
||||
"attachments_pending_idx" btree (created_at) WHERE status = 'pending'::text
|
||||
Check constraints:
|
||||
"attachments_content_type_check" CHECK (content_type = ANY (ARRAY['image/png'::text, 'image/jpeg'::text]))
|
||||
"attachments_filename_check" CHECK (char_length(filename) >= 1 AND char_length(filename) <= 255)
|
||||
"attachments_height_check" CHECK (height > 0)
|
||||
"attachments_sha256_check" CHECK (sha256 ~ '^[0-9a-f]{64}$'::text)
|
||||
"attachments_size_bytes_check" CHECK (size_bytes >= 1 AND size_bytes <= 10485760)
|
||||
"attachments_status_check" CHECK (status = ANY (ARRAY['pending'::text, 'ready'::text]))
|
||||
"attachments_width_check" CHECK (width > 0)
|
||||
Foreign-key constraints:
|
||||
"attachments_owner_fkey" FOREIGN KEY (chat_id, owner_id) REFERENCES chat_members(chat_id, user_id)
|
||||
Referenced by:
|
||||
TABLE "message_attachments" CONSTRAINT "message_attachments_attachment_fkey" FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments(id, chat_id) ON DELETE RESTRICT
|
||||
|
||||
$ psql -c '\d message_attachments'
|
||||
Table "public.message_attachments"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
---------------+----------+-----------+----------+---------
|
||||
message_id | uuid | | not null |
|
||||
position | smallint | | not null |
|
||||
chat_id | uuid | | not null |
|
||||
attachment_id | uuid | | not null |
|
||||
Indexes:
|
||||
"message_attachments_pkey" PRIMARY KEY, btree (message_id, "position")
|
||||
"message_attachments_attachment_idx" btree (attachment_id)
|
||||
"message_attachments_message_id_attachment_id_key" UNIQUE CONSTRAINT, btree (message_id, attachment_id)
|
||||
Check constraints:
|
||||
"message_attachments_position_check" CHECK ("position" >= 0 AND "position" <= 9)
|
||||
Foreign-key constraints:
|
||||
"message_attachments_attachment_fkey" FOREIGN KEY (attachment_id, chat_id) REFERENCES attachments(id, chat_id) ON DELETE RESTRICT
|
||||
"message_attachments_message_id_fkey" FOREIGN KEY (message_id) REFERENCES messages(id) ON DELETE CASCADE
|
||||
|
||||
$ psql: столбцы bytea во всей схеме (хеши токенов и отпечатки, не файлы)
|
||||
table_name | column_name
|
||||
------------------+-------------
|
||||
idempotency_keys | fingerprint
|
||||
sessions | token_hash
|
||||
(2 rows)
|
||||
|
||||
$ psql: вложения по статусу и максимальный размер строки attachments
|
||||
status | count | max_row_bytes
|
||||
---------+-------+---------------
|
||||
ready | 14 | 256
|
||||
pending | 1 | 256
|
||||
(2 rows)
|
||||
|
||||
$ rc object list --recursive root/messenger-attachments/attachments/ | count
|
||||
14
|
||||
$ rc object list root/messenger-attachments/ (первые 3 объекта, ключи назначены сервером)
|
||||
[2026-10-28 17:51:13] 109.20 KiB attachments/01a183a3-351f-76fa-aeea-a062669b6d93
|
||||
[2026-10-28 18:08:05] 109.20 KiB attachments/01a183b2-a436-72cf-be25-cebcbb7b5753
|
||||
[2026-10-28 18:08:15] 109.20 KiB attachments/01a183b2-cbcf-721b-afae-a1b01f9fdbbd
|
||||
$ сверка вне API: sha256 и размер последнего ready-вложения в PostgreSQL против байтов объекта в bucket
|
||||
postgres: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 111817
|
||||
s3: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 111817
|
||||
$ docker inspect api: ReadonlyRootfs, tmpfs, volumes/bind mounts
|
||||
196b3a876d81 ro=true tmpfs={"/tmp":""} mounts=bind:/run/secrets/database_url bind:/run/secrets/cache_url bind:/run/secrets/cursor_secret bind:/run/secrets/s3_access_key_id bind:/run/secrets/s3_secret_access_key
|
||||
8bd1d38428d0 ro=true tmpfs={"/tmp":""} mounts=bind:/run/secrets/s3_access_key_id bind:/run/secrets/s3_secret_access_key bind:/run/secrets/database_url bind:/run/secrets/cache_url bind:/run/secrets/cursor_secret
|
||||
$ docker inspect s3: volume данных
|
||||
volume:mtusi2026lab4_s3data:/data bind::/run/secrets/s3_root_user bind::/run/secrets/s3_root_password
|
||||
$ секреты сервисов: root-ключи S3 только у s3/s3-init/s3-cli
|
||||
api ['cache_url', 'cursor_secret', 'database_url', 's3_access_key_id', 's3_secret_access_key']
|
||||
lb []
|
||||
migrate ['database_url']
|
||||
postgres ['postgres_password']
|
||||
s3 ['s3_root_password', 's3_root_user']
|
||||
s3-init ['s3_access_key_id', 's3_root_password', 's3_root_user', 's3_secret_access_key']
|
||||
valkey ['valkey.conf']
|
||||
@@ -0,0 +1,49 @@
|
||||
date: 2026-10-28T17:51:45Z commit: 24f9d61
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py
|
||||
131 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
$ make student-test # pytest без маркера stack, по файлам
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0
|
||||
rootdir: <repo>
|
||||
configfile: pyproject.toml
|
||||
testpaths: student-tests
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collected 335 items / 10 deselected / 325 selected
|
||||
|
||||
student-tests/adapters/test_s3_storage.py .. [ 0%]
|
||||
student-tests/api/test_access.py ....... [ 2%]
|
||||
student-tests/api/test_attachments.py .................................. [ 13%]
|
||||
... [ 14%]
|
||||
student-tests/api/test_bounded_contexts.py ................... [ 20%]
|
||||
student-tests/api/test_cache.py ..... [ 21%]
|
||||
student-tests/api/test_concurrency.py ... [ 22%]
|
||||
student-tests/api/test_consistency.py ........ [ 24%]
|
||||
student-tests/api/test_drain.py .. [ 25%]
|
||||
student-tests/api/test_events.py ....... [ 27%]
|
||||
student-tests/api/test_idempotency.py ............... [ 32%]
|
||||
student-tests/api/test_instance.py .... [ 33%]
|
||||
student-tests/api/test_message_attachments.py ........... [ 36%]
|
||||
student-tests/api/test_migrations.py ....... [ 39%]
|
||||
student-tests/api/test_negative.py ..................................... [ 50%]
|
||||
[ 50%]
|
||||
student-tests/api/test_operability.py ............. [ 54%]
|
||||
student-tests/api/test_pagination.py ................. [ 59%]
|
||||
student-tests/api/test_pool.py .. [ 60%]
|
||||
student-tests/api/test_sessions.py .................. [ 65%]
|
||||
student-tests/api/test_timeout.py ...... [ 67%]
|
||||
student-tests/api/test_wire_format.py .. [ 68%]
|
||||
student-tests/unit/test_attachments_domain.py .......................... [ 76%]
|
||||
[ 76%]
|
||||
student-tests/unit/test_authentication.py ..................... [ 82%]
|
||||
student-tests/unit/test_cursor.py ........... [ 86%]
|
||||
student-tests/unit/test_domain.py ...................................... [ 97%]
|
||||
...... [ 99%]
|
||||
student-tests/unit/test_timeouts.py . [100%]
|
||||
|
||||
===================== 325 passed, 10 deselected in 35.54s ======================
|
||||
@@ -82,7 +82,7 @@ CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachme
|
||||
7. проверка изображения (D4) → `415`/`413`;
|
||||
8. запись (D5).
|
||||
|
||||
Лимит тела в конвейере становится зависимым от маршрута: платформа получает пары «шаблон пути → лимит», а `main.py` передаёт шаблон upload из `attachments/entrypoints` и `MAX_UPLOAD_BYTES`; остальным маршрутам остаётся 1 MiB. Память одной загрузки — до 10 MiB буфера без копий: тот же буфер отдаётся и в проверку, и в `PutObject`. Диск не используется (`read_only`, `tmpfs` только для heartbeat). Сколько загрузок идёт одновременно, на уровне «3» не ограничено — лимит и замер на уровне «4».
|
||||
Лимит тела в конвейере становится зависимым от маршрута: платформа получает пары «шаблон пути → лимит», а `main.py` передаёт шаблон upload из `attachments/entrypoints` и `MAX_UPLOAD_BYTES`; остальным маршрутам остаётся 1 MiB. Память одной загрузки — до 10 MiB: куски тела копятся в списке и один раз склеиваются (на миг склейки — вдвое больше), затем те же байты отдаются и в проверку, и в `PutObject`. Диск не используется (`read_only`, `tmpfs` только для heartbeat). Сколько загрузок идёт одновременно, на уровне «3» не ограничено — лимит и замер на уровне «4».
|
||||
|
||||
### D4. Проверка изображения — Pillow за портом `ImageInspector`
|
||||
|
||||
@@ -116,7 +116,7 @@ CREATE INDEX message_attachments_attachment_idx ON message_attachments (attachme
|
||||
|
||||
### D6. Адаптер S3 — aiobotocore за портом `ObjectStorage`
|
||||
|
||||
Порт: `put(key, data, content_type)`, `open(key) -> ObjectContent(size, chunks)`, `delete(key)`. Адаптер `S3ObjectStorage` держит один клиент aiobotocore на воркер (scope `APP` dishka, async-генератор закрывает клиент при остановке): `signature_version="s3v4"`, `addressing_style="path"` (RustFS без virtual host), регион из `S3_REGION`, `connect_timeout=1`, `read_timeout=2`, `retries={"mode": "standard", "max_attempts": 2}`, `request_checksum_calculation`/`response_checksum_validation="when_required"` (CRC и aws-chunked botocore ≥1.36 ломают часть S3-совместимых серверов). Худший случай операции — 2 × (1 + 2) = 6 с < `REQUEST_TIMEOUT_SECONDS=8` < `timeout server 10s` HAProxy. `NoSuchKey`/`404` → `ObjectMissing` порта; `BotoCoreError`, прочие `ClientError`, `OSError`, `TimeoutError` → `Unavailable` платформы → `503`. Ключи читаются из `*_FILE` настройками зоны и в журнал не попадают.
|
||||
Порт: `put(key, data, content_type)`, `open(key) -> ObjectContent(size, chunks)`, `delete(key)`. Адаптер `S3ObjectStorage` держит один клиент aiobotocore на воркер (scope `APP` dishka, async-генератор закрывает клиент при остановке): `signature_version="s3v4"`, `addressing_style="path"` (RustFS без virtual host), регион из `S3_REGION`, `connect_timeout=1`, `read_timeout=2`, `retries={"mode": "standard", "max_attempts": 2}`, `request_checksum_calculation`/`response_checksum_validation="when_required"` (CRC и aws-chunked botocore ≥1.36 ломают часть S3-совместимых серверов). Худший случай операции — 2 × (1 + 2) = 6 с < `REQUEST_TIMEOUT_SECONDS=8` < `timeout server 10s` HAProxy. Обработчик botocore, добавляющий `Expect: 100-continue` к потоковому телу, снят: aiohttp ждёт `100 Continue`, RustFS за прокси портов его не присылает, и `PutObject` висел до read timeout (найдено тестом адаптера). `NoSuchKey`/`404` → `ObjectMissingError` порта; `BotoCoreError`, прочие `ClientError`, `OSError`, `TimeoutError` → `Unavailable` платформы → `503`. Ключи читаются из `*_FILE` настройками зоны и в журнал не попадают.
|
||||
|
||||
LB не повторяет upload: в лабе 3 `disable-l7-retry` снят только для `GET` и `POST …/messages` с ключом; повтор `PutObject` клиентом botocore безопасен, ключ тот же.
|
||||
|
||||
|
||||
@@ -47,10 +47,10 @@
|
||||
|
||||
- [x] 8.1 `scripts/lab4_scenarios.py` (`failover-upload`, `s3-outage`), `scripts/s3-check.sh`, `scripts/evidence-attachments.sh`; цели Makefile `scenario`, `s3-check`, `attachments-evidence`; ruff для новых `scripts/*.py`
|
||||
- [x] 8.2 CI-job под лабу 4: сценарии вложений после smoke
|
||||
- [ ] 8.3 Проверка группы: `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по обеим репликам с `make restore`, `make scenario SCENARIO=failover-upload`, `make scenario SCENARIO=s3-outage`, `make s3-check`
|
||||
- [x] 8.3 Проверка группы: `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` по обеим репликам с `make restore`, `make scenario SCENARIO=failover-upload`, `make scenario SCENARIO=s3-outage`, `make s3-check`
|
||||
|
||||
## 9. Отчёт
|
||||
|
||||
- [ ] 9.1 `evidence/`: smoke, contract-checks, student-tests, stack, storage-layout, failover-upload, failover по каждой реплике, persistence со `StartedAt` (включая `s3`), s3-outage, s3-security, схема и миграции, окружение
|
||||
- [ ] 9.2 `REPORT.md`: запуск из чистого clone, архитектура и решения, таблица ролей и сервисов, соответствие переменных `.env.example`, строки уровня «3», таблица отказов уровня «3»
|
||||
- [ ] 9.3 Проверка группы: `make check`, `make validate`, `make lint`, `make student-test`, `make test` и сценарии зелёные
|
||||
- [x] 9.1 `evidence/`: smoke, contract-checks, student-tests, stack, storage-layout, failover-upload, failover по каждой реплике, persistence со `StartedAt` (включая `s3`), s3-outage, s3-security, схема и миграции, окружение
|
||||
- [x] 9.2 `REPORT.md`: запуск из чистого clone, архитектура и решения, таблица ролей и сервисов, соответствие переменных `.env.example`, строки уровня «3», таблица отказов уровня «3»
|
||||
- [x] 9.3 Проверка группы: `make check`, `make validate`, `make lint`, `make student-test`, `make test` и сценарии зелёные
|
||||
|
||||
@@ -3,12 +3,12 @@ set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
psql() { docker compose exec -T postgres psql -U messenger -d messenger -c "$1"; }
|
||||
header() { echo "date: $(date -u +%FT%TZ) commit: $(git rev-parse --short HEAD)"; }
|
||||
counts="SELECT (SELECT count(*) FROM users) users, (SELECT count(*) FROM sessions) sessions, (SELECT count(*) FROM chats) chats, (SELECT count(*) FROM chat_members) members, (SELECT count(*) FROM messages) messages, (SELECT count(*) FROM idempotency_keys) keys, (SELECT count(*) FROM schema_migrations) versions"
|
||||
counts="SELECT (SELECT count(*) FROM users) users, (SELECT count(*) FROM sessions) sessions, (SELECT count(*) FROM chats) chats, (SELECT count(*) FROM chat_members) members, (SELECT count(*) FROM messages) messages, (SELECT count(*) FROM idempotency_keys) keys, (SELECT count(*) FROM attachments) attachments, (SELECT count(*) FROM message_attachments) links, (SELECT count(*) FROM schema_migrations) versions"
|
||||
kdf="SELECT substring(password_hash from '^[$]argon2id[$]v=[0-9]+[$]m=[0-9]+,t=[0-9]+,p=[0-9]+[$]') AS kdf_prefix, count(*) AS users, min(length(password_hash)) AS hash_length FROM users GROUP BY 1"
|
||||
tokens="SELECT octet_length(token_hash) AS stored_bytes, count(*) AS sessions FROM sessions GROUP BY 1"
|
||||
{
|
||||
header
|
||||
for table in users sessions chats chat_members messages idempotency_keys schema_migrations; do
|
||||
for table in users sessions chats chat_members messages idempotency_keys attachments message_attachments schema_migrations; do
|
||||
echo "\$ psql -c '\\d+ $table'"
|
||||
psql "\\d+ $table"
|
||||
done
|
||||
@@ -36,8 +36,8 @@ tokens="SELECT octet_length(token_hash) AS stored_bytes, count(*) AS sessions FR
|
||||
echo "\$ git ls-files secrets .env backups volumes"
|
||||
git ls-files secrets .env backups volumes
|
||||
echo "(пусто: секретов, .env, дампов и volumes в Git нет)"
|
||||
echo "\$ git check-ignore -v secrets/database_url secrets/postgres_password .env backups/"
|
||||
git check-ignore -v secrets/database_url secrets/postgres_password .env backups/
|
||||
echo "\$ git check-ignore -v secrets/database_url secrets/postgres_password secrets/s3_root_password secrets/s3_secret_access_key .env backups/"
|
||||
git check-ignore -v secrets/database_url secrets/postgres_password secrets/s3_root_password secrets/s3_secret_access_key .env backups/
|
||||
echo "\$ docker volume ls --filter name=mtusi2026lab4"
|
||||
docker volume ls --filter name=mtusi2026lab4
|
||||
} > evidence/secrets.txt
|
||||
|
||||
Reference in New Issue
Block a user