Files

16 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Иванов Данил, БВТ2301 (из шаблона PR проекта).
  • Целевая оценка: 5, трек 2 — согласованность двух хранилищ.
  • Базовый commit: 057143dd915f0fe75b72e253db103800940eeb38. Проверено изменённое рабочее дерево; PR не опубликован.
  • Дата: 01.11.2026 (Europe/Moscow). Помощь Codex: аудит, исправления, тесты, отчёт. Библиотеки: build.gradle. Источники: README, контракт, OpenAPI. Публичные проверки и контракт не изменялись.

Запуск из чистого clone

Docker Desktop с Linux containers/Compose, Python 3.9+, PowerShell 7. Проверены Temurin Java 21.0.13, PostgreSQL 16.15, Spring Boot 4.1.1, nginx 1.27-alpine, Redis 7.4-alpine. S3: сборка Silo на базе MinIO RELEASE.2026-10-26T00-00-00Z, закреплённая digest (pgsty/silo). Для локальных Java-тестов JDK 21; Docker собирает приложение самостоятельно.

pwsh -File scripts/bootstrap.ps1
docker compose --env-file .env config --quiet
docker compose up -d --build
# Дождаться healthy обеих api и HTTP 200 /health/ready.
$env:BASE_URL='http://127.0.0.1:8080'
py tests/smoke.py
py tests/extended.py
py tests/faults.py
py tests/resilience.py --mode persistence --action-script scripts/restart.cmd
py tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
docker compose up -d api

Bootstrap создаёт локальные secrets/.env, не печатает значения и не перезаписывает существующие файлы. Они исключены из Git. Flyway выполняется при старте API, собственная блокировка миграций координирует реплики. Профиль migration не нужен. MinIO bootstrap идемпотентно создаёт приватный bucket, отдельного app user и bucket policy; ошибки завершают bootstrap. S3 и mc закреплены digest. Консоль отключена, порты БД/S3/API наружу не опубликованы, LB — loopback:8080.

Остановка с сохранением данных: docker compose down. Намеренное удаление учебных данных: docker compose down -v, не часть persistence. Linux hooks .sh требуют chmod +x. Методики всех проверок — tests/README.md.

Архитектура и решения

Клиент → nginx → API ×2 → PostgreSQL (ACL, пользователи, сессии, сообщения, идемпотентность, метаданные) + приватный MinIO (оригиналы). Redis не источник истины. Из lab3 сохранены Argon2, Bearer-сессии, keyset-пагинация и атомарная идемпотентность PostgreSQL. Сессии читаются из БД: исключена гонка заполнения кэша после logout.

История сортируется по (created_at, id), cursor привязан к чату; snapshot между HTTP-страницами нет. Время назначает JVM каждой реплики (UTC, миллисекунды), UUID разрешает совпадение времени. Подтверждённые записи читаются из основной БД. При конкурентной вставке с временем раньше уже пройденного cursor запись может не попасть в текущий обход; необходима синхронизация часов хостов. Для неизменной истории повторов нет.

Upload читает максимум 10 MiB + 1 byte. MIME сверяется с содержимым, лимит 40 млн пикселей проверяется до декодирования. Filename с управляющими символами/разделителями отклоняется; S3 key — UUID. Одна загрузка на реплику, ожидание слота до 30s; заданы heap/container limits и S3 timeouts. Оригиналы не сохраняются локально в API. Контроллеры делегируют работу сервисам.

Upload-транзакция держит shared PostgreSQL advisory lock 741204. Reconciler берёт exclusive try-lock: либо пропускает цикл, либо видит завершённые загрузки. Это закрывает окно PUT → COMMIT между репликами, включая загрузки дольше grace. Ключи не переиспользуются. При падении после PUT/до COMMIT остаётся orphan, сверка удалит его после grace. Ошибка сохранения может компенсироваться сразу, ошибка COMMIT — сверкой. 201 возвращается после завершения транзакции.

Reconciler выполняет S3 list и индексированные exists(object_key), затем постранично проверяет метаданные по id. READY → BROKEN не сдвигает страницы. Старый orphan удаляется, достоверный NoSuchKey переводит старую READY-запись в BROKEN. Сетевая ошибка не считается отсутствием. Метаданные сохраняются для диагностики; BROKEN возвращает 409 без невалидного ready DTO. Существующие используемые объекты не удаляются. Dry-run выполняет тот же обход, пишет решения и ничего не меняет. Публичная транзакционная граница Spring охватывает цикл.

Настройки: Compose, application.yaml. Используются SESSION_TTL_SECONDS, RATE_PER_MINUTE, MAX_MESSAGES_PER_CHAT, S3_, MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS, RECONCILER_. Credentials поступают из secrets. SESSION_STORE не переключает реализацию: сессии всегда PostgreSQL. Readiness требует БД и S3, Redis не критичен. LB не повторяет произвольные POST после неопределённого результата.

Доказательства критериев

Правила: evidence/README.md. Токены и credentials не сохраняются. Итоговое состояние: две healthy API и readiness; точные исходники: SHA-256 manifest; сводка JUnit: unit-summary. Команды/методики: tests/README.md.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Сборка, unit docker compose build api; gradlew.bat test Java build, fixture/filename/cursor build, unit
Smoke, ACL, checksum, файл в сообщении py tests/smoke.py Сквозной контрактный сценарий smoke
Размер, corrupt, MIME, filename extended.py 413/415/400, без пользовательских 500 extended
Чужие/повторные ID, другой чат, пустой текст с файлом extended.py 404/400; допустимое сообщение с файлом extended
Конкурентная идемпотентность extended.py 24 повтора, 2 instance ID, одно сообщение extended
Failover с оригиналом resilience.py --mode failover Реальная остановка обслужившей API failover, до, после, hook
Restart всех зависимостей resilience.py --mode persistence Прежние сессия, сообщения, оригинал persistence, до, после
Private bucket / app user faults.py и bootstrap Direct GET существующего ключа → 403 faults, policy, Compose
Отказ S3 и БД после PUT faults.py S3 → 503; DB reject без 201 и фиксации метаданных faults
Конкурентные upload / RAM extended.py 20 × 8 674 413 bytes, concurrency=10, без ошибок extended
Трек 2: orphan/missing, dry-run/apply/repeat, свежий объект track2.py Dry-run без изменений; orphan удалён, missing → BROKEN, свежий сохранён, повтор идемпотентен track2
Окно PUT → COMMIT и прерывание клиента locking.py; aborted.py Исключительная блокировка недоступна до COMMIT; частичный запрос не создаёт данные locking, aborted
Стоимость обхода scheduled reconcile elapsedMs цикла apply, dry-run, объём/лимиты

Эксперименты и отказы

Гипотеза: общая транзакционная блокировка защищает активный PUT, повторяемая сверка устраняет рассогласования без удаления существующих используемых объектов. Инъекции: объект без метаданных; удаление bytes READY-записи; временный DB trigger отклоняет INSERT после PUT. Методики: track2.py, faults.py. Ускоренный опыт: interval=3s, grace=1min; defaults — 1h/15min. Перед apply выдерживается grace, свежий объект создаётся отдельно. Оба scheduler координируются через БД.

Docker: 8 CPU, 8 212 668 416 bytes RAM. API ×2: CPU=1, RAM=512MiB, Xmx320m каждая; БД CPU=1/RAM=1GiB. Closed-loop: 20 PNG 1700×1700 со случайными RGB, 10 клиентов, 12.547s, ошибок 0. Максимум наблюдавшихся RSS samples: 454.1/454.8MiB. До настройки Xmx384m дал наблюдавшийся пик 502.3MiB (предыдущий профиль); поэтому heap уменьшен до 320MiB и нагрузка повторена. Итог: upload-summary.json. Дискретный docker stats может пропустить краткий пик. CPU во времени, p50/p95/p99 и максимальный throughput upload не измерялись: опыт проверяет RAM. Один локальный прогон без длительного прогрева.

На уровне операций: S3 list, один индексированный exists на объект, HEAD старых метаданных, страницы БД. SQL OFFSET и count страниц добавляют стоимость; линейную асимптотику для большого набора не заявляем. Длительности записанных циклов apply (ms): [2709, 682, 552, 1896, 795, 676]. Это небольшой учебный набор. Объёмы — environment.json. Экстраполяция на большой bucket не проверена.

Воздействие Что ожидаем Что наблюдали Восстановление / потеря данных
API stop другая API обслуживает данные failover stdout Метрики восстановления в stdout
Restart DB/Redis/S3/API/LB данные и сессия сохраняются persistence, StartedAt Volumes сохранены
S3 stop 503 без ложного 201 faults.py После start S3, старые объекты сохранены
DB reject после PUT rollback / orphan / compensation нет 201 и новых метаданных Сверка после grace
Orphan/missing безопасный ремонт и повтор track2.py Удалённые инъекцией bytes не восстанавливаются

Ограничения и следующие шаги

Локальный стенд без HA для БД/S3/LB/host, без распределённой транзакции БД/S3. Внешний оператор может удалить bytes; сверка обнаруживает потерю, но не восстанавливает их. Блокировки координируют приложение, не сторонние S3 clients. При постоянных загрузках цикл может пропускаться; срок ремонта зависит от свободного окна/grace/интервала. Большой обход держит exclusive lock и задерживает upload. Следующие шаги: per-key fencing/leases, keyset-обход и ограничение persistence context; они пока не реализованы. Ссылка на PR будет доступна после публикации.

Повторная проверка замечаний — 06.11.2026

Проверены все пять замечаний к commit 057143dd на текущем изменённом рабочем дереве. Новые изменения production-кода для этой проверки не потребовались. Тест, stdout, контекст, команда и SHA-256. Требуется Pillow для синтетического JPEG.

Результаты: 10 PNG/JPEG upload → 201, metadata → 200, download идентичен, ровно 10 новых метаданных, обе API-реплики. Message без файлов содержит attachment_ids=[], с файлом и пустым текстом → 201; чужой чат/неизвестный ID/посторонний → 404. Десять sample.png[:33] → 415, filename=../x.png → 400; БД и S3 до/после отклонённых загрузок не изменились. Валидный PNG ровно 1770843 bytes → 201 через nginx, checksum скачанного оригинала совпадает.

Windows зарезервировала TCP 8057–8156, поэтому host:8080 недоступен для bind Docker. Проверка выполнена через тот же LB на 127.0.0.1:18080: compose.review.yaml меняет только публикацию порта. Запуск: docker compose -f docker-compose.yml -f compose.review.yaml up -d; затем BASE_URL=http://127.0.0.1:18080 py tests/review_regressions.py. Для PowerShell задавать BASE_URL через $env:BASE_URL. Стенд оставлен на этом порту. Исправления рабочего дерева не меняют содержимое удалённого commit 057143dd.