63 KiB
Отчёт — лабораторная 4
- Автор, группа: Ситосенко, БВТ2303.
- Целевая оценка; выбранный трек 5: 5; трек 2 — согласованность PostgreSQL и S3. Выполнены накопительные требования уровней 3 и 4.
- Commit/PR: рабочая ветка
solution/bvt2303-sitosenko. PR №N39. - Использованные источники, библиотеки и помощь ИИ: требования README/COURSE/contracts текущего репозитория, собственная HLAlab3; Go, pgx, go-redis, Argon2id и MinIO Go SDK. Официальные материалы перечислены в дополнительном разделе. ИИ использован при реализации, анализе требований и безопасности, подготовке тестов и документации. Числа результатов взяты из сохранённых evidence.
Статус: окончательный прогон завершён 30.10.2026 20:39:24 МСК; все 24 проверки успешны, complete=true, protected_unchanged=true. Контракт и публичные тесты сохранены. Сводка: RESULTS.md; машинный журнал: verification.json.
Запуск из чистого clone
Предварительные условия и версии
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и установленный Go. В go.mod закреплён toolchain Go 1.27.3, который Go загрузит при необходимости. В зафиксированном прогоне на Windows использовался Python 3.14.0. HTTP-проверки используют стандартную библиотеку Python. Полная OpenAPI-валидация и race-проверка выполняются в Linux test-образе.
| Компонент | Закреплённая версия / источник | Где закреплено |
|---|---|---|
| Go builder | 1.27.3-bookworm и SHA-256 digest | Dockerfile, Dockerfile.minio, Dockerfile.tests |
| PostgreSQL | 17.6-bookworm и digest | compose.yaml |
| Valkey | 8.1.3-bookworm и digest | compose.yaml |
| HAProxy | 3.2.6-alpine | compose.yaml |
| MinIO | RELEASE.2025-10-15T17-29-55Z; исходники v0.0.0-20251015172955-9e49d5e7a648 |
Dockerfile.minio |
| MinIO Client mc | RELEASE.2025-08-13T08-35-41Z; исходники v0.0.0-20250813083541-7394ce0dd2a8 |
Dockerfile.minio |
| Основа mc tools | Alpine 3.23.3 и digest | Dockerfile.minio |
| Docker CLI тестового образа | 29.3.0-cli и digest | Dockerfile.tests |
| OpenAPI validator | openapi-spec-validator 0.7.2 | requirements-dev.txt |
MinIO и mc собираются из официальных исходников с фиксированными Go pseudo-versions; зависимости проверяются Go checksum database. Образы с тегом latest не используются. Сборка MinIO при первом запуске может занять несколько минут.
Создание локальных настроек, сборка и запуск
Команды ниже выполняются из корня клона в PowerShell. Локальные PostgreSQL/Valkey/MinIO вне Compose не нужны.
python -X utf8 scripts/bootstrap.py
docker compose --env-file .env config --quiet
python -X utf8 scripts/manage.py start
python -X utf8 scripts/manage.py status
Invoke-RestMethod http://127.0.0.1:8080/health/ready
bootstrap.py создаёт .env и случайные секреты в secrets/, не печатает значения и не заменяет существующие. Эти файлы исключены из Git и Docker build context. Их содержимое не требуется вставлять в команды или отчёт.
manage.py start повторно безопасно вызывает bootstrap, затем выполняет docker compose up -d --build --wait и ожидает две разные готовые API-реплики через LB. Одноразовый migrate применяет миграции под общей блокировкой и сверяет checksum уже применённых файлов. s3-init создаёт приватный bucket и ограниченную учётную запись, после чего запускаются API и cleanup. Нормальный результат readiness — 200 {"status":"ok"}; завершённые migrate и s3-init имеют exit code 0.
Проверки после запуска
# Полный последовательный прогон: исходники, схема, HTTP, отказы и эксперименты.
python -X utf8 scripts/verify.py
Get-Content evidence/verification.json
# Публичный минимум отдельно; эквиваленты целей make check и make test.
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
# Неизменённые публичные persistence/failover с Linux hooks.
docker build -f Dockerfile.tests -t mtusi-messenger:lab4-tests .
python -X utf8 scripts/linux_tests.py test-persistence
python -X utf8 scripts/linux_tests.py test-failover
python -X utf8 scripts/manage.py restore
После полного прогона ожидается complete=true, каждый exit_code равен 0. Локальные/race результаты последнего полного запуска переиспользованы только для неизменённого Go-кода; после изменения runtime-конфигурации вся интеграционная часть выполнена заново. --resume-integration проверяет, что исходники приложения не стали новее соответствующего запуска. Сам по себе структурный check не проверяет работоспособность сервера.
Подробные запросы регистрации, загрузки, отправки сообщения с файлом, скачивания, SHA-256 и доступа постороннего приведены в MANUAL.md.
Безопасная остановка и намеренный сброс данных
# Остановить стенд и сохранить данные и сессии:
docker compose down
# Повторный запуск использует прежние volumes и секреты:
python -X utf8 scripts/manage.py start
Отдельная команда для намеренного полного удаления учебных данных этого Compose-проекта:
# Удалит named volumes pgdata, sessions и objects вместе с данными.
# Для persistence/failover эту команду не применять.
docker compose down --volumes
Удаление volumes уничтожает пользователей, сообщения, сессии и оригиналы; после такого сброса проверять сохранность прежних данных нельзя. Скрипты restart, restore и публичные hooks volumes не удаляют.
Архитектура и решения
Процессы, сеть и источник истины
Клиент -> 127.0.0.1:8080 -> HAProxy:8080 -> API x2 -> PostgreSQL
| -> Valkey
| -> HAProxy:9000 -> MinIO
тот же lb private backend
migrate -> PostgreSQL s3-init -> private S3 listener
cleanup -> PostgreSQL + private S3 listener
PostgreSQL — источник истины пользователей, чатов, членства, сообщений и метаданных Attachment. Valkey хранит общие серверные сессии с expiry. MinIO хранит bytes оригиналов в приватном bucket messenger-attachments. Named volumes: pgdata, sessions, objects соответственно.
Только lb публикует 127.0.0.1:8080. API, PostgreSQL и Valkey не имеют опубликованных портов. MinIO подключён только к internal-сети object_store, где находятся MinIO и HAProxy. В общей сети alias s3 ведёт на закрытый S3-listener того же HAProxy на порту 9000; raw backend доступен HAProxy как minio-backend. Порт 9000 на хост не публикуется. Консоль MinIO отключена и привязана к loopback контейнера.
| Сервис | Назначение | Постоянные данные / жизненный цикл |
|---|---|---|
db |
Метаданные и транзакции PostgreSQL | pgdata |
valkey |
Общие сессии | sessions, AOF с appendfsync always |
s3 |
MinIO backend | objects |
lb |
Публичный API listener и закрытый S3 listener | Состояние приложения не хранит |
api ×2 |
REST, ACL, upload/download, сообщения | Постоянного локального состояния нет |
migrate |
Миграции с checksum и блокировкой | Одноразовый, exit 0 после успеха |
s3-init |
Bucket, private policy, ограниченный S3-пользователь | Одноразовый, повторный запуск безопасен |
cleanup |
Периодический reconciler | Истина остаётся в БД/S3; результат — агрегированный журнал |
HAProxy использует round-robin, Docker DNS и readiness checks каждые 500 мс с fall 2/rise 2. Sticky sessions не используются. Сессия читается любой репликой из Valkey, а подтверждённое сообщение — из общей PostgreSQL.
Что перенесено из HLAlab3 и что добавлено
Сохранены Go REST API, миграции, Argon2id, Bearer-сессии, общая долговечная Valkey, keyset pagination, X-Request-Id, стабильный X-Instance-Id, HAProxy и идемпотентная запись сообщений. Обязательный контракт lab4 и публичные проверки взяты из текущей лабораторной; .git, секреты и публичный контракт предыдущей лабы поверх них не переносились.
Добавлены attachments.go, reconcile.go, локальная cgroup-диагностика, миграция 004_attachments.sql, MinIO/mc build, bootstrap/IAM policy, S3-фильтры, cleanup и собственные тесты. attachments связывает оригинал с чатом и владельцем, содержит server-generated object key, filename, content type, size, SHA-256, timestamps и внутренний missing_since. Сообщение хранит attachment_ids; таблица message_attachments сохраняет ссылки с внешними ключами.
В публичном Attachment не возвращаются S3 object key, credentials и внутренние адреса. Для lab4 статус синхронный: ready, variants=[], error_code=null. Асинхронные 202/worker/thumbnail относятся к следующей лабораторной и здесь не добавляются.
Границы upload/download и идемпотентности
- Сначала проверяются сессия и доступ к чату. Filename — только отображение: 1–255 code points, без
/,\, NUL и управляющих символов. - Raw body потоком копируется во временный файл, одновременно считается SHA-256. Content-Length и
MaxBytesReaderограничивают тело 10 MiB, включая chunked. DecodeConfigпроверяет фактический PNG/JPEG и ≤40 млн пикселей до полного декодирования; полныйDecodeотклоняет повреждённое изображение. Content-Type обязан соответствовать содержимому.- Под транзакционной блокировкой
attachment:<UUID>выполняются S3 PUT, INSERT метаданных и COMMIT. Только после успеха возвращается 201 ready. Ключ формируется сервером какoriginal/<UUID>. - Временный файл закрывается и удаляется после запроса. Это ограниченный staging в tmpfs, не постоянный оригинал API. Download читает объект из MinIO потоком после ACL, без redirect, с истинным Content-Type,
Content-Disposition: attachment,nosniffиprivate, no-store.
Любой участник чата может читать и прикреплять его вложение. Неизвестный/чужой ID и вложение другого чата дают 404. Пустой или пробельный text разрешён только с вложениями; максимум 10 уникальных UUID. Обычный текстовый POST остаётся валидным, пропущенный attachment_ids равнозначен [].
Идемпотентность сообщения имеет scope пользователь + чат + ключ; POST и путь неявно заданы таблицей этого endpoint. Общая advisory lock сериализует повторы через разные API. Message, связи вложений и запись результата фиксируются одной транзакцией. Тот же валидный текст и массив ID возвращают исходный Message/201, другой body — 409. Срок хранения результата не меньше 24 часов. Неопределённый upload POST прозрачно не повторяется: он не имеет обязательной идемпотентности.
Согласованность двух хранилищ
Распределённой транзакции PostgreSQL + S3 нет. Если PUT прошёл, а INSERT/COMMIT — нет, возможен orphan: объект без метаданных. При неопределённом COMMIT немедленный DELETE опасен, поскольку фиксация могла состояться. Поэтому решение сохраняет объект до безопасной сверки.
Reconciler по умолчанию работает в dry-run. Для применения нужен --apply. Grace — 3600 секунд, минимально 60; cutoff берётся из PostgreSQL. Для управляемого ключа original/<canonical UUID> после LIST под той же блокировкой заново проверяется отсутствие строки и актуальный HEAD LastModified. Любая существующая строка защищает объект независимо от наличия сообщения. Fresh и занятые ключи пропускаются; незнакомые ключи не удаляются.
Missing означает обратную ситуацию: строка есть, объект отсутствует. Для старого missing устанавливается внутренний missing_since, но метаданные и ссылки сообщений не удаляются. Участник получает 503, посторонний — по-прежнему 404. После восстановления объекта проверяются полный размер и SHA-256, затем отметка снимается. Timeout, 403, NoSuchBucket и 5xx не считаются отсутствием объекта: обход прерывается с complete=false.
Обычный metadata-pass проверяет наличие и размер; полное чтение с SHA-256 выполняется при восстановлении missing. Это сверка orphan/missing, а не полный побайтовый аудит каждого ready-оригинала. Строки БД обходятся keyset-страницами по 256 ID. Обычная стоимость — O(N объектов + M строк); восстановление дополнительно читает bytes нужного оригинала.
cleanup запускает apply при старте и через 15 минут после завершения предыдущего обхода; один обход ограничен 10 минутами. Manual CLI и cleanup используют одинаковые проверки и блокировки.
Лимиты, таймауты и секреты
| Ограничение | Окончательная настройка |
|---|---|
| Тело оригинала | ≤10 485 760 bytes |
| Декодируемая размерность | ≤40 000 000 пикселей |
| Загрузки / полные декодирования | 5 / 1 на API-процесс |
| Временный staging | tmpfs 64 MiB, noexec/nosuid/nodev; ≤50 MiB исходников по admission |
| Общие in-flight запросы | 32 на API |
| KDF | 2 одновременно; Argon2id 64 MiB/t=3/p=1 |
| API RAM / Go soft limit | 768 MiB / GOMEMLIMIT 512 MiB |
| HTTP read и context / write | 30 / 35 с |
| LB client/server | 40 с |
| S3 connect / response headers | 2 / 5 с; один SDK attempt |
| PostgreSQL statement / lock timeout | 3 / 1 с для API |
Лимиты bytes/pixels проверяются до неограниченного чтения/распаковки. Полное декодирование синхронно и само не принимает context: внешние операции используют deadline, а для декодирования ограничителями остаются bytes, pixels, семафор и cgroup. GOMEMLIMIT — мягкий предел Go heap, не гарантия RSS; рабочие строки декодера также требуют памяти.
API запущены с UID/GID 65532, read-only rootfs, cap_drop=ALL, no-new-privileges, pids limit 128. В Compose для API включён GODEBUG=madvdontneed=0; измерения RAM ниже относятся именно к нему. Ограничение хеширования не ослаблялось. Проверенные настройки и отсутствие OOMKilled у финальных реплик сохранены в security-extra.json.
API/cleanup получают только отдельные S3 credentials: GetBucketLocation/ListBucket одного bucket, GetObject/PutObject/DeleteObject только original/*. Root-секреты смонтированы только в MinIO/bootstrap. Нет прав API на управление пользователями, создание bucket и запись вне prefix. Пароли, токены и значения ключей в отчёт не включены. PostgreSQL зафиксирован с fsync=on, synchronous_commit=on, full_page_writes=on.
Соответствие .env.example реальной конфигурации
| Настройка skeleton | Отображение в решении |
|---|---|
| APP_HOST / APP_PORT / APP_ENV | API слушает 0.0.0.0:8080 внутри контейнера; APP_PORT задаёт loopback-порт LB; APP_ENV передаётся API |
| SESSION_STORE | Bootstrap нового .env заменяет предложенный postgres на valkey; реализация использует Valkey |
| SESSION_TTL_SECONDS | По умолчанию 3600, абсолютный expiry не продлевается рестартом |
| DATABASE_URL_FILE / CACHE_URL_FILE | Файлы Compose secrets, адреса db/valkey внутри стенда |
| API_REPLICAS | По умолчанию 2; HAProxy server-template рассчитан на 1–4 backend |
| IDEMPOTENCY_TTL_SECONDS | По умолчанию 86400; код запрещает значение меньше суток |
| S3_ENDPOINT / REGION / BUCKET | Compose задаёт http://s3:9000 / us-east-1 / messenger-attachments; s3 — alias закрытого proxy в общей сети |
| S3_ACCESS_KEY_ID_FILE / SECRET_ACCESS_KEY_FILE | Отдельные файлы ограниченной учётной записи; значения не лежат в environment/образе |
| MAX_UPLOAD_BYTES / MAX_IMAGE_PIXELS | Контрактные максимумы фиксированы в коде; переменные из worksheet не позволяют повысить их |
| Дополнения решения | CURSOR_SECRET_FILE, DB_POOL_MAX=8, MAX_INFLIGHT=32, GOMEMLIMIT=512MiB и GODEBUG |
Readiness зависит от PostgreSQL, Valkey и доступности bucket через ограниченные S3 credentials; liveness проверяет процесс. При отказе S3 API возвращает JSON 503. Когда LB исключил все backend, он может вернуть собственный транспортный 503; формат ошибки приложения отдельно проверяется непосредственно во внутренней сети.
Доказательства критериев
Каждая строка ниже связывает требование с командой, наблюдением и сохранённым файлом. Цели make check/make test и прямые Python-команды запускают те же публичные проверки. Контракт и assertions не ослаблялись.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Целостность skeleton и публичных файлов | python -X utf8 scripts/check_contract.py; SHA-256 manifest |
PASS; неизменны 12 файлов contracts/tests | contract.txt, protected-files.json |
| Полная OpenAPI 3.1 / JSON Schema | python -X utf8 scripts/linux_tests.py validate |
PASS; схема и примеры валидны | openapi.txt |
| Публичный smoke | python -X utf8 tests/smoke.py |
PASS lab4: пользователи, чат, сообщения, pagination, файл, ACL, logout | smoke.txt |
| 3: сохранён обязательный минимум lab3 | Публичный smoke + concurrent replay в own tests | Прежние текстовые POST, Bearer, Idempotency-Key, единый результат повтора | attachments.json, failover-1.txt |
| 3: PostgreSQL metadata и приватный S3 для bytes | Compose, миграция 004, infrastructure snapshot | 2 API; metadata в БД, original в MinIO, локального persistent state API нет | infrastructure.json, security-extra.json |
| 3: 201 ready и побайтный оригинал | Upload → message с attachment_ids → GET content другим участником | SHA-256/size совпадают; PNG и JPEG не перекодированы | smoke.txt, attachments.json |
| 3: MIME, bytes/pixels и filename | python -X utf8 student-tests/attachments.py; own unit |
Подмена/повреждение 415, превышение 413, опасное имя 400 | attachments.json, student-unit.txt |
| 3: остановка именно uploader | python -X utf8 student-tests/failures.py |
Header сопоставлен с реальным контейнером; другая API вернула те же bytes с прежней сессией | failures.json |
| 3: restart всех хранилищ и API | python -X utf8 scripts/linux_tests.py test-persistence |
Данные, исходный файл и старый токен сохранились; volumes не удалялись | persistence.txt, restart-before.txt, restart-after.txt |
| 4: отрицательные file/ACL кейсы | Повреждение, MIME spoof, чужой ID, attachment другого чата | Ожидаемые 400/404/413/415; пользовательские ошибки не дают 500 | attachments.json |
| 4: прерванное тело | Закрыть соединение до Content-Length | Новых metadata не появилось; обработчик восстановился | failures.json |
| 4: отказ после PUT и безопасная очистка | SQL trigger для одного синтетического filename; real grace 65 с | Обнаружен orphan; старые неучтённые объекты очищены, fresh/used сохранены | research.json |
| 4: ≥10 одновременных uploads и peak RAM | python -X utf8 student-tests/memory.py |
Оба размера: 10/10, ошибок 0; kernel peaks и CPU samples записаны | upload-memory.json |
| 4: private bucket и least privilege | Anonymous GET вне API; административные и outside-prefix операции API credentials | 403 на anonymous GET; запрещены admin/create-bucket/outside-prefix | failures.json |
| 4: bootstrap повторяем, console закрыта | Два повторных s3-init; inspect/network probe | Оригинал сохранился; MinIO console/порты не опубликованы; raw backend из сети приложения недоступен | failures.json, security-extra.json |
| 5: две стороны отказа | Ошибка PostgreSQL после PUT; удаление bytes подтверждённого Attachment | Обнаружены orphan и missing; metadata и ссылки missing не удалены | research.json |
| 5: dry-run/apply/повтор | Последовательные режимы CLI | Dry-run: 0 изменений; apply: безопасная очистка; повтор: deleted=0, новых отметок 0 | research.json |
| 5: защита fresh и используемых | Fresh orphan + прикреплённый original + параллельные uploads | Fresh и used сохранились; подтверждённые uploads читаются побайтно | research.json |
| 5: восстановление missing | Восстановить fixture → reconcile --apply | Размер/SHA-256 проверены, одна отметка снята, bytes доступны | research.json |
| 5: стоимость обхода | По три dry-run для 144 и 244 объектов | 133 metadata rows; время и количество HEAD записаны для каждого повтора | research.json |
| Дополнительно: Go correctness / race | go test ./...; own unit; go vet ./...; go test -race ./... |
Все exit code 0 | verification.json, student-unit.txt, go-race.txt |
| Дополнительно: уязвимости приложения | go run golang.org/x/vuln/cmd/govulncheck@v1.1.4 ./... |
0 уязвимостей в вызываемом коде; 3 module-level записи без соответствующих вызовов | go-vuln.txt |
Подтверждение реального restart/stop hook
Persistence hook перезапускает db valkey s3 api lb. Для каждого контейнера ниже ID до/после одинаков, а StartedAt изменился. Это подтверждает restart реальных процессов, включая PostgreSQL, Valkey и MinIO. Времена показаны по Москве; raw evidence хранит UTC.
| Роль / короткий container ID | StartedAt до, МСК | StartedAt после, МСК |
|---|---|---|
api / 287d13f6fa5a |
20:33:31.254 | 20:34:47.995 |
api / 23cdf8687348 |
20:33:30.967 | 20:34:47.782 |
db / c6b006c443fa |
20:20:40.094 | 20:34:46.279 |
lb / 61d73bbbe539 |
20:20:40.921 | 20:34:56.637 |
s3 / 72035d94e70a |
20:22:13.846 | 20:34:46.171 |
valkey / 96dc99b9811c |
20:20:40.048 | 20:34:46.422 |
Последний public stop-one hook сохранил тот же container ID со сменой running → exited, exit code 0: stopped-before.txt и stopped-after.txt. Hook выбирает контейнер по TARGET_INSTANCE_ID, а не останавливает произвольную реплику. Отдельный own test сопоставляет header именно upload-ответа с uploader-контейнером.
Эксперименты и отказы
Среда, ресурсы и объём данных
Снимок среды: infrastructure.json. Docker Engine 29.3.0, Linux kernel 6.18.54.1-microsoft-standard-WSL2, Docker Desktop/WSL2. Docker VM видит 12 CPU и 3.68 GiB RAM (3956068352 bytes). Это доступные VM ресурсы, не модель физического CPU или объём RAM Windows-host; последние отдельно не фиксировались.
| Компонент | Количество | CPU на контейнер | RAM limit |
|---|---|---|---|
| API | 2 | 1 | 768 MiB |
| PostgreSQL | 1 | 1 | 512 MiB |
| Valkey | 1 | 0,5 | 256 MiB |
| MinIO | 1 | 1 | 1024 MiB |
| HAProxy | 1 | 0,5 | 128 MiB |
| cleanup | 1 | 0,25 | 256 MiB |
| migrate, только startup | 1 | 0,5 | 256 MiB |
| s3-init, только startup/ручной вызов | 1 | 0,5 | 128 MiB |
Это верхние ограничения, не резервирование всей указанной памяти. VM и хранилища общие, поэтому измерения зависят от нагрузки Windows/WSL2 и диска. В финальном снимке БД: 157 пользователей, 56 чатов, 13055 сообщений и 13055 idempotency keys; размер БД 15453331 bytes. Данные синтетические, разные тесты используют уникальные пользователей/чаты.
Эксперимент уровня 4: десять одновременных загрузок
Гипотеза: пять upload slots и одно декодирование на реплику позволяют двум API обслужить десять одновременно стартующих клиентов, сохранив конечный расход staging/heap.
Повторяемая команда:
python -X utf8 student-tests/memory.py
Методика: два детерминированных PNG с шумом (256×256 и 1536×1536), по одному burst из десяти запросов на размер, без retry. Перед профилем API-контейнеры пересоздаются, сохраняются внешние хранилища и сессия, ожидаются две разные готовые реплики. Клиенты создаются до общего barrier; время burst отсчитывается от его освобождения. Отдельного прогрева upload-ами нет. Kernel lifetime peak включает startup; его сбрасывает создание нового cgroup, а не изменение данных приложения.
Docker stats сохраняет samples CPU/RAM, дополнительно CLI читает memory.current и memory.peak cgroup v2. Percentiles считаются методом nearest rank только по успешным запросам. Ошибки и backpressure учитываются отдельно.
| PNG, bytes / pixels | Concurrency | Успех / запросы | Ошибки | Duration, с | Success RPS | p50 / p95 / p99, мс |
|---|---|---|---|---|---|---|
| 207687 / 65536 | 10 | 10/10 | 0% | 0.086 | 115.97 | 70.44 / 85.46 / 85.46 |
| 7466790 / 2359296 | 10 | 10/10 | 0% | 2.817 | 3.55 | 1901.06 / 2815.11 / 2815.11 |
| PNG, bytes | Σ baseline cgroup current, MiB | Σ kernel peaks API, MiB | Максимальный отдельный API peak, MiB | Максимумы CPU API-1 / API-2 в samples |
|---|---|---|---|---|
| 207687 | 147.55 | 155.77 | 78.99 | 0.70% / 0.50% |
| 7466790 | 146.18 | 291.10 | 147.04 | 86.90% / 89.15% |
Наблюдение: оба профиля дали 10/10, 503 — 0; OOMKilled у финальных API не зафиксирован. Гипотеза подтверждена для этих двух burst-профилей. Сумма индивидуальных peak — верхняя оценка одновременного суммарного пика; отдельные максимумы могли возникнуть в разные моменты. CPU samples могут пропускать краткие пики. Размерность предельных 40 млн пикселей этим RAM-экспериментом не покрывалась.
Raw summary: upload-memory.json. Ранний профиль с двумя upload slots на API дал 4 успеха и 6 backpressure 503; он сохранён отдельно в upload-memory-admission-4.json. В финальном профиле менялись одновременно admission и возврат страниц MADV_FREE, поэтому сравнение не выделяет причинный эффект одного параметра.
Исправление воспроизводимости memory на Windows
Повторный запуск выявил сбой до самих загрузок: после пересоздания контейнеров wait_ready(count=2) не успевал увидеть две разные реплики. Обе API оставались healthy, OOMKilled=false. В диагностической серии шесть запросов к localhost заняли примерно 2,04–2,16 с каждый и вернули одну и ту же реплику; шесть запросов к 127.0.0.1 заняли 0,006–0,096 с и показали обе. LB сам обращается к readiness каждые 2 с, поэтому последовательность roundrobin зависит и от этих запросов.
TCP-проба подтвердила, что localhost сначала разрешается в ::1: отказ IPv6-соединения занимал около 2 с, тогда как соединение с опубликованным 127.0.0.1 устанавливалось за миллисекунды. Сохранены повторяемая методика и фактические локальные TCP-измерения: memory-readiness-diagnostic.json.
Собственный HTTP-клиент и verifier теперь по умолчанию используют опубликованный IPv4 loopback http://127.0.0.1:8080; явно заданный BASE_URL и прямые адреса контейнеров сохраняются. Readiness probe имеет timeout 2 с и сообщает число увиденных реплик при сбое. Проверка по-прежнему требует две разные готовые API. Публичный клиент и его тесты не изменены. Пять регрессионных проверок выполняются внутри student-tests/unit.py; оба реальных memory-профиля и полный verifier затем выполнены заново. Исходный traceback сохранён в memory-before-ipv4-fix.txt, результат повторного запуска — memory.txt.
Исследование уровня 5: согласованность PostgreSQL и MinIO
Гипотеза. Общий ключ блокировки, проверка durable metadata после получения lock и age threshold позволяют убирать только старые неучтённые объекты; fresh и используемые вложения остаются. Missing-метаданные и ссылки следует сохранить до восстановления оригинала.
# Полная повторяемая инъекция отказов и измерение стоимости:
python -X utf8 student-tests/research.py
# Обычный CLI: сначала анализ без изменений, затем явный apply:
docker compose exec -T api /messenger reconcile
docker compose exec -T api /messenger reconcile --apply
docker compose exec -T api /messenger reconcile --apply
Методика. Создаются два подтверждённых оригинала, связанные с сообщением. Временный SQL trigger отклоняет INSERT одного уникального синтетического filename после успешного PUT; trigger удаляется в finally. Возникает один новый orphan. Скрипт действительно ждёт 65 секунд для grace 60, не подменяя S3 LastModified. Затем создаёт fresh orphan и удаляет bytes второго подтверждённого вложения, моделируя потерю S3.
Далее проверяются dry-run без изменений БД/S3, apply, повторный apply, сохранность fresh/used и ссылок сообщения. После восстановления точных bytes повторная сверка проверяет размер и SHA-256. Дополнительно после barrier одновременно запускаются три uploads и apply; каждый подтверждённый upload скачивается и сравнивается. Все воздействия относятся к синтетическим объектам этого стенда.
Результат финальной серии:
| Этап | Найдено старых orphan | Найдено missing | Удалено объектов | Новых missing-маркеров | Снято маркеров | Внутреннее время, мс |
|---|---|---|---|---|---|---|
| Dry-run | 1 | 1 | 0 | 0 | 0 | 323 |
| Apply | 1 | 1 | 1 | 1 | 0 | 429 |
| Повтор apply | 0 | 1 | 0 | 0 | 0 | 547 |
| Восстановление | 0 | 0 | 0 | 0 | 1 | 495 |
В 1 старых orphan входят fixtures предыдущих запусков, успевшие пройти grace; это не число объектов одной инъекции. Dry-run не изменил ни одну сторону. После apply число строк metadata и ссылка missing-вложения остались прежними. Повторный apply не внёс новых изменений. Fresh orphan и используемый original сохранились. При восстановлении потоком проверены 111817 bytes. Проверенный SHA-256 оригинала: 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75.
Стоимость обхода. После исправления добавлены 10, затем ещё 100 fresh fixtures; для каждого состояния выполнены три dry-run без дополнительного фиксированного прогрева. Счётчик времени находится внутри reconciler и исключает запуск Docker CLI. В operator CLI используется cgroup API (1 CPU); отдельный периодический cleanup ограничен 0,25 CPU, поэтому его время не приравнивается к operator CLI.
| Дополнительно создано объектов на этапе | Всего объектов | Metadata rows | HEAD / GET | Время трёх обходов, мс | Медиана, мс |
|---|---|---|---|---|---|
| 10 | 144 | 133 | 141 / 0 | 629, 454, 269 | 454 |
| 100 | 244 | 133 | 241 / 0 | 615, 554, 487 | 554 |
В более крупном наборе медиана изменилась с 454 до 554 мс, число HEAD — с 141 до 241 при 133 строках metadata. Число операций обхода растёт с набором; по двум небольшим наборам и трём повторам нельзя строить универсальную линейную модель времени. CPU/RAM самого reconciler в отдельный профиль не снимались: здесь измерены elapsed и I/O counters.
Гипотеза безопасности подтверждена выполненными assert для fresh/used, сохранённых строк/ссылок и повторного apply. В этой серии active_protected=0; отдельный детерминированный конфликт удерживаемой lock не измерялся. Raw summary всех стадий и счётчиков: research.json.
Дополнительная нагрузка текстовыми сообщениями
python -X utf8 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
Генератор closed-loop: четыре клиента начинают следующий POST после ответа на предыдущий, без автоматического retry. Dataset истории растёт; latency включает клиентские издержки, percentiles относятся только к успешным HTTP-подтверждениям. Coordinated omission и ограничение клиента исключают интерпретацию результата как максимальной пропускной способности сервера.
| Duration заданная / фактическая | Concurrency | Успех / ошибки | Error ratio | Success RPS | p50 / p95 / p99, мс |
|---|---|---|---|---|---|
| 30 / 30.069 с | 4 | 11543 / 0 | 0% | 383.878 | 7.953 / 27.216 / 34.457 |
Raw summary: load.json. CPU/RAM samples относятся к отдельному upload-эксперименту выше; текстовый генератор сам сохраняет HTTP-метрики, не ресурсный профиль.
Диагностика выделения памяти Argon2id
До корректировки runtime-настройки зафиксированы два timeout публичного клиента (2 с) на регистрации/входе до инъекции отказа. Параметры публичных тестов и Argon2id не менялись. В изолированном контейнере без сети при 1 CPU/768 MiB выполнены пять синтетических Argon2id 64 MiB/t=3/p=1; после каждого вызван debug.FreeOSMemory.
| Режим | Времена KDF, мс | Максимум, мс | System CPU всей серии, с |
|---|---|---|---|
| По умолчанию | 708.618, 1134.511, 325.256, 385.927, 991.58 | 1134.511 | 2.820411 |
| MADV_FREE | 505.942, 154.841, 220.599, 170.899, 186.14 | 505.942 | 0.356547 |
Настройка GODEBUG=madvdontneed=0 уменьшила стоимость повторного выделения страниц в этой серии; освобождённые страницы могут оставаться в RSS до давления по памяти. Окончательный memory-эксперимент и интеграционные проверки повторены именно с ней. Пять samples одного host не доказывают универсальный latency SLA. Исходник — student-tests/kdf-bench.go.txt, команды повторения — MANUAL.md, raw summary — kdf-memory-diagnostic.json.
Отказы и сохранность
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Restart двух API, DB, Valkey, MinIO и LB | Прежние данные и сессия доступны после готовности | Public persistence PASS; ID сохранены, StartedAt изменился у всех 6 контейнеров | Скрипт целиком 16.616 с; отдельный RTO не измерялся; подтверждённые данные сохранены |
| Остановка одной API, серия 1 | Запись через другую реплику ≤10 с, без дублей/потери ACK | 2 реплики до отказа; 132 успешных записей, 4 переходных ошибок | Первая успешная запись через 2.339 с; ACK/сессия/оригинал сохранены |
| Остановка одной API, серия 2 | Запись через другую реплику ≤10 с, без дублей/потери ACK | 2 реплики до отказа; 133 успешных записей, 3 переходных ошибок | Первая успешная запись через 2.312 с; ACK/сессия/оригинал сохранены |
| Остановка именно uploader | Другой API скачивает тот же оригинал | Own test сопоставил upload header с контейнером и сравнил bytes после stop | Отдельный RTO не измерялся; bytes и прежний токен сохранены |
| Недоступен S3 | Liveness 200, readiness/upload/content 503 | Ожидаемые коды непосредственно на API; после start оригинал читается | Отдельный RTO не измерялся; данные volume сохранены |
| Разрыв тела upload | Нет готовых metadata для неполного файла | Число metadata не изменилось | ACK не выдавался; новый готовый Attachment не создан |
| SQL-ошибка после PUT | Orphan обнаруживается после grace | Dry-run находит, apply безопасно очищает | Эксперимент ждёт реальные 65 с; подтверждённые вложения не удалены |
| Потеря bytes S3 после 201 | Metadata/ссылки остаются, отсутствие не маскируется | Missing помечен, участник получает 503 | До восстановления оригинала bytes недоступны; после SHA-256 marker снят |
| Повтор bootstrap | Не менять секреты и не терять original | Два запуска PASS, файл тот же | Потерь не зафиксировано |
Доказательства: evidence/persistence.txt, failover-1.txt, failover-2.txt, failures.json, research.json и hook snapshots, на которые даны ссылки выше. Числа failover относятся к первой восстановленной записи данного теста, а не к production RTO всего стенда.
Ограничения и следующие шаги
Граница применимости результатов
Один Docker-host не обеспечивает отказоустойчивость физического узла. LB, PostgreSQL, Valkey и MinIO остаются отдельными точками отказа. Named volumes и fsync дают проверенную сохранность при описанном restart, но не заменяют backup и не защищают от удаления volume или утраты диска. HTTP допустим только для локального стенда с синтетическими данными; TLS/mTLS и ротация секретов в эту лабораторную не входят.
MinIO Community архивирован. Отдельный binary-mode scan исходной сборки содержит 52 module-level записи; он не доказывает достижимость всех функций в конкретном стенде. Внешние воздействия ограничены private backend, закрытой консолью и фильтрами HAProxy, но это не полное исправление стороннего сервера и не production-сертификация. Scan собственного приложения показал 0 уязвимостей в вызываемом коде, при этом три записи остались на уровне невызываемых модулей. Сферы этих двух результатов нельзя смешивать.
Фильтр отклоняет STREAMING-UNSIGNED-PAYLOAD-TRAILER, storage/peer/grid/bootstrap REST-пути, S3 Select и replication-request headers. Это неиспользуемые функции выбранного стенда; LDAP/OIDC/SFTP не настроены. Контейнер из общей сети не смог обратиться непосредственно к IP MinIO backend. Сервисный S3 listener не пишет URL в журнал, чтобы admin/bootstrap query не раскрывал identifiers ключей.
Между БД и S3 сохраняется окно рассогласованности. Cleanup уменьшает его периодической сверкой, но при недоступных зависимостях исправление откладывается. Missing bytes невозможно получить из metadata: нужна внешняя копия. Обычный проход не выполняет полный SHA-256 каждого ready-объекта. Прямая администраторская запись в S3 вне протокола API не координируется advisory lock. Часы PostgreSQL/MinIO должны быть согласованы.
Upload RAM проверена для двух размеров, 10 клиентов и одной серии на размер, а не для всех допустимых изображений вплоть до 40 млн пикселей. Рабочие буферы декодера и GC требуют памяти помимо пиксельного массива; мягкий heap limit не равен RSS. Cgroup остаётся последним ограничителем ресурсов. Указанные percentiles и RPS не являются универсальными порогами или пределом производительности; для статистических выводов нужны дополнительные независимые повторы.
Что подтверждено и что требует отдельной работы
| Подтверждено в этой работе | Следующий шаг / граница, которая пока не доказана |
|---|---|
| Restart с сохранёнными volumes сохраняет ACK, original и сессию | Проверяемый backup/restore после потери диска |
| Отказ одной API выдерживается с восстановлением записи ≤10 с | HA хранилищ, LB и host на независимых узлах |
| Old orphan очищаются, fresh/used не удаляются в выполненных сценариях | Детерминированный тест именно конфликта удерживаемой lock; крупные длительные наборы |
| Missing marker снимается только после правильного размера/SHA-256 | Полный аудит integrity всех ready originals и автоматизированное восстановление из backup |
| Два профиля по 10 uploads завершились без ошибок | Повторы под длительной/open-loop нагрузкой и отдельное исследование предельной размерности |
| MADV_FREE уменьшил kernel cost в диагностической серии | Проверка этой настройки на других host и под давлением памяти |
| Private bucket, IAM и proxy filters проверены | Продолжающийся аудит и сопровождение MinIO/dependencies; защита всего Docker-host |
| Контракт и public tests не изменялись | Итоговый commit/push и публикация PR — отдельное действие автора |
Прямой presigned-upload flow не реализован, поскольку выбран трек 2. Фоновые worker/thumbnail и переход на 202 относятся к следующей лабораторной. При исправлении readiness изменены собственный Python-клиент и verifier; Go-код приложения, контракт и публичные тесты сохранены. Таблицы обновлены по новому полному прогону.
Дополнительные материалы
Короткий сценарий защиты
- Запустить
python -X utf8 scripts/manage.py start, показать два реальных API черезstatusиX-Instance-Id. - По MANUAL.md создать Alice/Bob/Eve, загрузить PNG, отправить
attachment_ids, скачать Bob и сравнить SHA-256. Для Eve показать 404; анонимный запрос в private S3 даёт 403. - Остановить именно uploader по alias, скачать через другую реплику с прежним токеном, затем восстановить две реплики.
- Показать public persistence и StartedAt before/after для DB/Valkey/MinIO/API, не удаляя volumes.
- Показать dry-run, apply и повтор,
research.json, сохранённые missing metadata/ссылки и восстановление по checksum. - Открыть таблицу 10/10 uploads, объяснить разницу между memory.peak, суммой индивидуальных peaks и фактическим общим пиком в один момент.
Ответы на вопросы
Почему local volume API не заменяет S3? Файл отдельной реплики не обязан быть доступен другой реплике. Здесь durable original хранится в общем MinIO, а tmpfs API содержит только временный staging запроса.
Когда допустим 201? После сохранения bytes и успешного COMMIT metadata. До этой границы нельзя обещать клиенту готовое вложение, доступное другой реплике.
Почему не удалить файл сразу после ошибки COMMIT? Ответ о COMMIT мог потеряться после фактической фиксации. Такой DELETE повредил бы существующий Attachment. Reconciler после grace проверяет durable состояние под lock.
Что означают orphan, missing и grace period? Orphan — объект есть, строки нет; missing — строка есть, bytes нет. Grace — минимальный возраст перед исправлением, чтобы свежий объект не приняли за остаток аварии. В обычном режиме grace час; в контролируемом опыте 60 секунд с реальным ожиданием 65.
Зачем ACL, если UUID случайный и bucket private? UUID скрывает угадывание, а private bucket закрывает прямое чтение. Права на чат всё равно проверяет API для каждого metadata/content/message запроса; секретная ссылка не заменяет членство.
Почему SHA-256 файла не подходит для пароля? SHA-256 здесь проверяет равенство bytes. Для пароля нужна дорогая salted KDF, поэтому используется Argon2id; одинаковые пароли получают разные salts/hashes.
Что именно доказано повторным apply? Без новых отказов он не удалил дополнительных объектов и не создал повторных missing-маркеров. Это идемпотентность конкретных операций; она не означает, что bytes можно восстановить без копии.
Почему 503 от LB может быть без JSON API? При отсутствии ready backend ответ создаёт балансировщик. Тест отказа S3 отдельно обращается к внутреннему API и проверяет его JSON error/request_id.
Карта файлов решения
| Файлы | Назначение |
|---|---|
main.go, protocol.go |
HTTP routing/headers, строгий JSON, cursor и общий lifecycle |
auth.go, auth_test.go |
Argon2id, Bearer/Valkey sessions и проверки базовой защиты |
store.go, idempotency.go |
PostgreSQL, history, транзакционная запись и результат повтора |
attachments.go, migrations/004_attachments.sql |
Валидация/MinIO, metadata и связи сообщений |
reconcile.go, memory.go |
Сверка/cleanup и локальный CLI cgroup memory snapshot |
compose.yaml, Dockerfile* |
Воспроизводимый стенд, app/S3/test images |
infra/haproxy.cfg, infra/s3-init.sh, infra/s3-policy.json |
Балансировка/фильтры, private bucket и IAM |
scripts/bootstrap.py, manage.py, restart.sh, stop-one.sh |
Создание локальных настроек и операторские действия |
scripts/verify.py, summarize.py |
Последовательная проверка и фактическая сводка |
student-tests/ |
Own unit, negative/failure, memory и track 2 research |
MANUAL.md, .github/pull_request_template.md |
Пошаговые команды и заполненный PR шаблон |
Источники и сохранённые данные
- Нормативные требования: README.md, COURSE.md, контракт, OpenAPI.
- Собственная HLAlab3: исходники, миграции, общие сессии, балансировка и идемпотентность; контракты/публичные tests текущей lab4 оставлены её собственными.
- Официальные материалы: MinIO, защитная мера unsigned-trailer, MinIO Go SDK, Go image, Go runtime.
- Отдельный сторонний scan MinIO: minio-upstream-vulnerabilities.txt. Он не подменяет scan приложения.
- Итоговый audit отсутствия значений локальных секретов в Git-visible текстах: final-local-checks.json. Git ignore не заменяет этот просмотр;
.env,secrets/, приватные ключи и временные binaries не добавляются в commit.
Доказательства содержат синтетические данные и operational fields, без паролей, Bearer-токенов, приватных ключей или подписанных URL. Итоговые числа не заменены ожидаемыми: каждый PASS привязан к команде и наблюдению.