From b1585207301fab6068825abe362ff0794e39d971 Mon Sep 17 00:00:00 2001 From: gera Date: Fri, 30 Oct 2026 02:50:22 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9F=D1=80=D0=B8=D0=BB=D0=BE=D0=B6=D0=B8?= =?UTF-8?q?=D0=BB=20=D1=80=D0=B5=D0=B7=D1=83=D0=BB=D1=8C=D1=82=D0=B0=D1=82?= =?UTF-8?q?=D1=8B=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BE=D0=BA=20?= =?UTF-8?q?=D0=B8=20=D0=BD=D0=B0=D0=BF=D0=B8=D1=81=D0=B0=D0=BB=20=D0=BE?= =?UTF-8?q?=D1=82=D1=87=D1=91=D1=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 105 ++++++++++++++++++++++++++++++------ evidence/attachments.txt | 1 + evidence/failover-1.txt | 2 + evidence/failover-2.txt | 2 + evidence/failover-each.json | 71 ++++++++++++++++++++++++ evidence/idempotency.txt | 1 + evidence/persistence.txt | 1 + evidence/rolling.json | 24 +++++++++ evidence/s3-checks.txt | 1 + evidence/smoke.txt | 1 + evidence/upload-memory.json | 18 +++++++ 11 files changed, 212 insertions(+), 15 deletions(-) create mode 100644 evidence/attachments.txt create mode 100644 evidence/failover-1.txt create mode 100644 evidence/failover-2.txt create mode 100644 evidence/failover-each.json create mode 100644 evidence/idempotency.txt create mode 100644 evidence/persistence.txt create mode 100644 evidence/rolling.json create mode 100644 evidence/s3-checks.txt create mode 100644 evidence/smoke.txt create mode 100644 evidence/upload-memory.json diff --git a/REPORT.md b/REPORT.md index 9ad2b84..26a19d9 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,112 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Березин Герман / БВТ2304 +- Целевая оценка: 4 +- Commit/PR: после публикации +- Использованные источники, библиотеки и помощь ИИ: Go 1.26, pgx, go-redis, minio-go v7 (S3-клиент), HAProxy 3.0, PostgreSQL 17, Valkey 8.1, SeaweedFS (S3); код lab3 перенесён за основу; ИИ-ассистент использован при разработке ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требуются Docker 29 с Compose v2 и Python 3.9+. + +```sh +cp .env.example .env +sh scripts/mksecrets.sh +docker compose --env-file .env up -d --build --wait +make check && make test +``` + +Порядок старта: postgres, valkey, s3 → `migrate` (однократно) → `s3-init` (идемпотентное создание приватного bucket) → `api` × 2 → `lb`; рядом работает `janitor`. Публичный адрес: `http://localhost:8080`. + +Остановка без потери данных: `docker compose --env-file .env stop`. Намеренное удаление учебных данных: `docker compose --env-file .env down -v`. + +Проверки: + +```sh +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/attachments.py +python3 tests/s3_checks.py +python3 tests/upload_memory.py --output evidence/upload-memory.json +python3 tests/idempotency.py +python3 tests/scenario.py --mode failover-each --output evidence/failover-each.json +python3 tests/scenario.py --mode rolling --output evidence/rolling.json +``` + +После `make test-failover` остановленную реплику восстанавливают: `docker compose --env-file .env up -d --wait`. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Клиент → HAProxy → `api` × 2 → PostgreSQL (метаданные) и SeaweedFS S3 (байты). Valkey остаётся общим кэшем сессий, источник истины сессий — PostgreSQL. + +- **Хранилище.** S3-сервер — SeaweedFS (образ закреплён по digest). Образы MinIO недоступны для скачивания, поэтому выбран SeaweedFS. Bucket `messenger-attachments` приватный, данные лежат в volume `s3_data`. Порты S3 наружу не публикуются, в хост-сеть выходит только `lb`. +- **Модель.** Таблица `attachments` (id, chat_id, owner_id, filename, content_type, size_bytes, sha256, object_key, created_at) и `message_attachments` (message_id, attachment_id, position). Object key — `attachments/`, задаётся сервером; `filename` только отображается и проверяется (1–255 символов, без `/`, `\`, NUL и управляющих символов). +- **Загрузка.** Сырое тело PNG/JPEG идёт потоком в S3 без накопления в памяти API и без локальных файлов. Проверки: Content-Type → 415; `Content-Length` и `MaxBytesReader` до 10 MiB → 413; magic bytes → 415 (подмена MIME); после записи — заголовок изображения (`image.DecodeConfig`, без декодирования пикселей), совпадение формата с Content-Type, хвост файла (IEND/EOI) → 415 для повреждённых и обрезанных файлов; ≤ 40 млн пикселей → 413. SHA-256 и размер считаются во время потока. При любой ошибке объект удаляется. 201 `ready` возвращается только после записи объекта и строки в PostgreSQL. +- **Скачивание.** Доступ только участникам чата (JOIN с `chat_members`), иначе 404. Первый блок читается до отправки заголовков, поэтому сбой S3 даёт 503, а не оборванный ответ 200. Redirect нет. +- **Сообщения.** `attachment_ids` (до 10, уникальные); вложение должно принадлежать этому чату, иначе 404; пустой `text` допустим при наличии вложений. Хеш тела идемпотентности включает `attachment_ids`, для сообщений без вложений он совпадает с lab3. +- **Права S3.** API и janitor используют отдельные ключи (`Read/Write/List` только на свой bucket). Административные ключи есть только у `s3-init`, который создаёт bucket (повторный запуск ничего не меняет). Секреты генерирует `scripts/mksecrets.sh`, в Git их нет. +- **Сети.** `s3` находится в сети `storage` вместе с `api`, `janitor`, `s3-init`; `postgres`, `valkey`, `lb` — в `backend`. Админ-интерфейсы SeaweedFS (master, filer) не публикуются. +- Остальное перенесено из lab3: HAProxy с проверками готовности, идемпотентность, отдельные миграции, graceful shutdown. + +### Согласованность БД и S3 + +Порядок записи: объект в S3 → строка в PostgreSQL. + +| Сбой | Результат | Компенсация | +| --- | --- | --- | +| Клиент оборвал загрузку | запись в S3 не завершается, ответа нет | объект удаляется в обработчике | +| Невалидное изображение, превышение лимитов | объект записан, но не принят | объект удаляется до ответа | +| Ошибка PostgreSQL после S3 PUT | 503 | объект удаляется в обработчике | +| Падение процесса между PUT и INSERT | остаётся объект без строки | `janitor` удаляет такие объекты | + +`janitor` (`messenger janitor`) раз в `CLEANUP_INTERVAL_SECONDS` (300 с) перебирает объекты под префиксом `attachments/`, проверяет их по `attachments.object_key` и удаляет объекты без записи, старше `CLEANUP_GRACE_SECONDS` (600 с). Grace period защищает объекты текущих загрузок. Разовый запуск: `docker compose run --rm janitor cleanup`. Строки без объекта автоматически не чистятся: файл читается как 404/503, строка сохраняется. + +### Лимиты памяти и потоковая обработка + +| Параметр | Значение | +| --- | --- | +| Размер файла | не более 10 MiB (`MAX_UPLOAD_BYTES`), проверяется до чтения тела | +| Пиксели | не более 40 млн (`MAX_IMAGE_PIXELS`), декодируется только заголовок | +| Параллельные загрузки на реплику | не более 10 (`UPLOAD_CONCURRENCY`), иначе 429 с `Retry-After` | +| Буфер на загрузку | не более одной части multipart S3 (5 MiB) и 256 KiB для проверки заголовка | +| Таймауты API | ReadHeader 5 s, Read 10 s, Write 15 s, запись в S3 до 60 s, чтение из S3 до 30 s | +| Лимиты контейнеров | api 192 MiB и `GOMEMLIMIT=150MiB`; s3 512 MiB; postgres 512 MiB; остальные 64–128 MiB | ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `make test` | PASS | evidence/smoke.txt | +| Сохранность после restart (метаданные и оригинал) | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; перезапускаются postgres, valkey, s3, api, lb, janitor | evidence/persistence.txt | +| Загрузка → остановка реплики → скачивание через другую | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (обе реплики) | PASS, 0 ошибок записи, восстановление около 3.5 s, оригинал читается | evidence/failover-1.txt, evidence/failover-2.txt | +| Большой файл, повреждённое изображение, подмена MIME, чужое и чужого чата attachment_id | `python3 tests/attachments.py` | 413 / 415 / 415 / 404 / 404, ни одного 500 | evidence/attachments.txt | +| Приватный bucket вне API, права ключей | `python3 tests/s3_checks.py` | анонимный GET/PUT/list и неверные ключи → 403; ключ API не создаёт bucket; наружу опубликован только `lb` | evidence/s3-checks.txt | +| Недоступность S3 | `python3 tests/s3_checks.py` | при остановленном S3 загрузка и скачивание → 503, метаданные и текстовые сообщения работают, после запуска всё восстанавливается | evidence/s3-checks.txt | +| Очистка неучтённых объектов | `python3 tests/s3_checks.py` | свежий объект сохраняется, объект старше grace удаляется, используемый объект остаётся | evidence/s3-checks.txt | +| ≥10 одновременных загрузок, пик памяти | `python3 tests/upload_memory.py` | 12 потоков × 3 файла по 9.3 MiB, 36 из 36 успешно, пик api 103–120 MiB при лимите 192 MiB | evidence/upload-memory.json | +| Идемпотентность из lab3 | `python3 tests/idempotency.py` | 32 параллельных запроса → 1 сообщение | evidence/idempotency.txt | +| Отказы каждой реплики и rolling update под нагрузкой | `tests/scenario.py` | RPS, ошибки, восстановление | evidence/failover-each.json, evidence/rolling.json | +| Идемпотентный bootstrap bucket | повторный `docker compose up` | `s3-init` завершается с кодом 0, bucket не пересоздаётся | `docker compose logs s3-init` | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Стенд: один хост; лимиты контейнеров как выше. Нагрузка сообщений — 8 потоков, closed-loop, при ошибке повтор с тем же ключом. Загрузки — 12 потоков по 3 файла PNG 9 722 608 байт (несжимаемый шум). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Загрузка 12×3 файла параллельно | память API ограничена | пик api 120 / 103 MiB (в покое около 62 MiB), ошибок нет | потерь нет | +| Остановка S3 | 503 на файлах, текст работает | как ожидалось | после запуска S3 около 20–30 s до готовности записи, файлы целы | +| Остановка каждой API-реплики (под нагрузкой сообщений) | продолжение чтения и записи | 0 неуспешных попыток, RPS около 440 против 520 до отказа | возврат реплики в ротацию около 6.5–7 s после старта | +| Rolling update | без простоя | 4 неуспешные попытки, RPS около 517 | старые реплики заменены и не отвечают, дубликатов нет | +| Restart всего стенда | данные и оригинал сохраняются | PASS persistence | прежний токен действителен | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Целостность изображения проверяется по заголовку и хвосту файла, но не полным декодированием: повреждение в середине файла с корректными заголовком и концом не обнаруживается. Полное декодирование потребовало бы памяти, пропорциональной размеру изображения. +- Падение процесса между S3 PUT и INSERT оставляет объект до очистки `janitor`; задержка до удаления — grace period плюс интервал (до 15 минут). +- Если S3 перезапускается, запись становится доступной через 20–30 s после старта; healthcheck S3 учитывает это. +- Filer SeaweedFS слушает внутри сети `storage` без аутентификации. Доступ к нему имеют только контейнеры `api`, `janitor`, `s3-init`; наружу порт не публикуется. S3-аутентификация действует на порту 9000. +- HAProxy, PostgreSQL, Valkey и S3 — единые точки отказа; репликации нет, выживание отказа этих узлов не заявляется. +- Измерение памяти — выборка `docker stats` раз в секунду, это оценка, а не точный пик. +- Нагрузочные генераторы Python (closed-loop) ограничены клиентом, RPS — ориентир. +- Секреты лежат в `./secrets` вне Git и читаются всеми локально, чтобы их читал процесс с UID 10001; это допустимо только для локального стенда. diff --git a/evidence/attachments.txt b/evidence/attachments.txt new file mode 100644 index 0000000..6e382b8 --- /dev/null +++ b/evidence/attachments.txt @@ -0,0 +1 @@ +PASS: attachment validation, limits and access control diff --git a/evidence/failover-1.txt b/evidence/failover-1.txt new file mode 100644 index 0000000..c54ee8e --- /dev/null +++ b/evidence/failover-1.txt @@ -0,0 +1,2 @@ +{"observed_instances_before": 2, "successful_writes": 140, "failed_attempts": 0, "first_recovery_seconds": 3.46} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/failover-2.txt b/evidence/failover-2.txt new file mode 100644 index 0000000..679c03f --- /dev/null +++ b/evidence/failover-2.txt @@ -0,0 +1,2 @@ +{"observed_instances_before": 2, "successful_writes": 139, "failed_attempts": 0, "first_recovery_seconds": 3.453} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/failover-each.json b/evidence/failover-each.json new file mode 100644 index 0000000..bde0462 --- /dev/null +++ b/evidence/failover-each.json @@ -0,0 +1,71 @@ +{ + "baseline": { + "window_seconds": 6, + "successful_requests": 3132, + "failed_attempts": 0, + "successful_rps": 522.0, + "last_error_offset_seconds": null, + "instances": [ + "2eb97a202e04", + "e1e2d306d0d7" + ] + }, + "replicas": [ + { + "stopped_replica": "2eb97a202e04", + "during_failure": { + "window_seconds": 15.34, + "successful_requests": 6776, + "failed_attempts": 0, + "successful_rps": 441.8, + "last_error_offset_seconds": null, + "instances": [ + "2eb97a202e04", + "e1e2d306d0d7" + ] + }, + "seen_stopped_replica_after_stop": false, + "stop_command_seconds": 3.34, + "restore_seconds": 6.48, + "after_restore": { + "window_seconds": 7.0, + "successful_requests": 3639, + "failed_attempts": 0, + "successful_rps": 519.9, + "last_error_offset_seconds": null, + "instances": [ + "2eb97a202e04", + "e1e2d306d0d7" + ] + } + }, + { + "stopped_replica": "e1e2d306d0d7", + "during_failure": { + "window_seconds": 15.49, + "successful_requests": 6805, + "failed_attempts": 0, + "successful_rps": 439.4, + "last_error_offset_seconds": null, + "instances": [ + "2eb97a202e04", + "e1e2d306d0d7" + ] + }, + "seen_stopped_replica_after_stop": false, + "stop_command_seconds": 3.49, + "restore_seconds": 6.93, + "after_restore": { + "window_seconds": 7.0, + "successful_requests": 3618, + "failed_attempts": 0, + "successful_rps": 516.9, + "last_error_offset_seconds": null, + "instances": [ + "2eb97a202e04", + "e1e2d306d0d7" + ] + } + } + ] +} diff --git a/evidence/idempotency.txt b/evidence/idempotency.txt new file mode 100644 index 0000000..50987a9 --- /dev/null +++ b/evidence/idempotency.txt @@ -0,0 +1 @@ +PASS: 32 parallel requests, 1 message, 2 instances diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 0000000..fc5a2b0 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1 @@ +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/rolling.json b/evidence/rolling.json new file mode 100644 index 0000000..864b441 --- /dev/null +++ b/evidence/rolling.json @@ -0,0 +1,24 @@ +{ + "old_replicas": [ + "2eb97a202e04", + "e1e2d306d0d7" + ], + "new_replicas": [ + "525377e6c5c3", + "ffb74e9857ae" + ], + "update_window": { + "window_seconds": 16.54, + "successful_requests": 8547, + "failed_attempts": 4, + "successful_rps": 516.8, + "last_error_offset_seconds": 13.5, + "instances": [ + "2eb97a202e04", + "525377e6c5c3", + "e1e2d306d0d7", + "ffb74e9857ae" + ] + }, + "old_replicas_served_after_update": [] +} diff --git a/evidence/s3-checks.txt b/evidence/s3-checks.txt new file mode 100644 index 0000000..88883f1 --- /dev/null +++ b/evidence/s3-checks.txt @@ -0,0 +1 @@ +PASS: private bucket, limited credentials, s3 outage, orphan cleanup diff --git a/evidence/smoke.txt b/evidence/smoke.txt new file mode 100644 index 0000000..c554fd6 --- /dev/null +++ b/evidence/smoke.txt @@ -0,0 +1 @@ +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/upload-memory.json b/evidence/upload-memory.json new file mode 100644 index 0000000..240c69e --- /dev/null +++ b/evidence/upload-memory.json @@ -0,0 +1,18 @@ +{ + "file_bytes": 9722608, + "concurrent_uploads": 12, + "rounds": 3, + "uploads_ok": 36, + "uploads_failed": 0, + "elapsed_seconds": 12.49, + "api_memory_limit_mib": 192, + "idle_memory_mib": { + "mtusi2026lab4-api-5": 62.2, + "mtusi2026lab4-api-6": 64.0 + }, + "peak_memory_mib": { + "mtusi2026lab4-api-5": 120.1, + "mtusi2026lab4-api-6": 103.4 + }, + "buffering_all_files_would_need_mib": 111.3 +}