33 KiB
Лабораторная 3 — балансировка и отказ API-реплики
Автор: Майорова Софья, БВТ2301. Целевая оценка: 5. Трек 1: цена масштабирования.
Репозиторий: https://gitea.privcloud.tech/mayorovasonya/mtusi2026lab3, ветка solution/BVT2301-Mayorova.
Предыдущая собственная работа: ЛР 2, PR 86; ЛР 1, MR 140.
Запуск из чистого clone
Требуются Docker с Compose v2+ и Python 3.9+ для клиентских проверок. На macOS используется Colima, профиль mtusi-labs. На Linux команды Colima/выбор контекста не нужны. Все зависимости приложения находятся в Docker; нужны доступ к реестру образов и PyPI при первой сборке.
colima start --profile mtusi-labs
export DOCKER_CONTEXT=colima-mtusi-labs
cd "/Users/ssmayorova/Documents/Учеба/Высоконагруженные приложения/lab3"
python3 scripts/bootstrap.py
docker compose build api
docker compose up -d --wait
export BASE_URL=http://127.0.0.1:18087
python3 scripts/wait_ready.py
make check test test-student BASE_URL=$BASE_URL
На другой машине путь cd — каталог собственного clone. На macOS каталог должен быть доступен Colima: HOME смонтирован по умолчанию, произвольный /private/tmp — нет. Сначала явно собирается общий локальный образ mtusi-messenger:lab3, затем Compose запускает PostgreSQL → один migrate → API × 2 → HAProxy. Секреты генерируются случайно один раз; повторный bootstrap не заменяет их. .env, secrets/ и volumes не коммитятся. Секреты не выводятся и не передаются в аргументах команд. Каталог secrets имеет режим 0700; URL-файлы читаемы контейнерным UID 10001.
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=$BASE_URL
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=$BASE_URL
# Hook оставляет выбранную реплику остановленной; восстановить её:
docker compose up -d --wait --no-deps api
make test-faults test-durability test-dependencies BASE_URL=$BASE_URL
Отказ/перезапуск меняют только учебный проект mtusi-lab3, volumes сохраняются. test-faults требует штатные две реплики и возвращает обе в работу. Исследование автоматически меняет число реплик/ресурсы и в finally восстанавливает штатные две API по 1 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8.
make research BASE_URL=$BASE_URL
# Необязательная перерисовка готовых графиков: Python 3.11+ в отдельном venv
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-research.txt
.venv/bin/python student-tests/plot.py
Остановка с сохранением данных: docker compose down. Только для намеренного удаления всех данных этого учебного проекта: docker compose down -v. Эта команда не применяется в проверках сохранности и отказов.
Архитектура
Клиент → 127.0.0.1:18087 → HAProxy → API × 2 (допустимо 1–4)
├→ PostgreSQL: пользователи, чаты, сообщения,
│ сессии, идемпотентность
└→ Redis: необязательный кеш профилей, TTL 60 с
API не публикуют порты на хост; PostgreSQL/Redis доступны только в backend с internal: true. Наружу опубликован только LB на loopback. Нет container_name и sticky sessions. X-Instance-Id — случайный alias, постоянный в течение жизни Python-процесса. Один Bearer работает через разные реальные контейнеры.
Из своей lab2 перенесены src, миграции 001/002, Dockerfile, зависимости и собственные тесты. Сохранены scrypt, UTF-8 пароли с двоеточиями, Unicode/U+0000 через BYTEA, курсоры, ограничения полей, проверка членства, logout/expiry, Redis fallback. Исходные README/COURSE/CONTRIBUTING/контракты/публичные tests текущей lab3 не изменены.
Общие данные, определяющие корректность, хранятся в PostgreSQL. Redis не является источником действительности сессии: каждый защищённый запрос проверяет expiry/revocation в общей БД. Потеря кеша допустима; потеря PostgreSQL делает readiness и обязательный путь недоступными.
Идемпотентность
Ключ валидируется по ASCII [A-Za-z0-9._:-], 1–128 символов; отсутствующий/дублированный заголовок — 400. Уникальный PK: (user_id, chat_id, key); таблица используется только для POST /api/v1/chats/{chat_id}/messages, что задаёт метод/путь. Другой пользователь или чат имеют независимую область ключа.
Хеш SHA-256 вычисляется по каноническому JSON с нормализованным attachment_ids=[]. В lab3 непустые вложения не поддерживаются. Различия порядка JSON-полей и экранирования Unicode не меняют смысл запроса.
Одна транзакция: проверка членства → INSERT ... ON CONFLICT ключа → блокировка строки чата/назначение времени → сообщение → привязка результата к ключу → COMMIT. При конкурентном запросе уникальный индекс ждёт исходную транзакцию. После её COMMIT повтор получает исходное сообщение и тот же 201; другой body — 409. При rollback не остаётся ни сообщения, ни зафиксированного результата 5xx. Истёкший ключ можно занять заново; старое сообщение сохраняется. Результат хранится 24 часа от первой успешной операции, повтор не продлевает срок.
Повтор сначала проходит действительность сессии и проверку доступа. История не кешируется; следующий запрос через любую реплику видит подтверждённый COMMIT. UPDATE chats.last_message_at сериализует записи одного чата, время берётся у общей БД и строго увеличивается минимум на 1 мкс. Между страницами нет общей snapshot-транзакции; новые сообщения получают позицию после уже подтверждённых.
Миграции, балансировка, остановка
Только сервис migrate запускает DDL: миграции отмечаются в schema_migrations, защищены транзакцией/advisory lock. API проверяет наличие 003, но не выполняет миграции. При чистом старте применяются 001/002/003. 003 добавляет отдельную таблицу/индекс; во время проверенной последовательной замены схема не меняется. Это не обещание совместимости любых будущих DDL: несовместимые изменения требуют отдельного плана и окна обслуживания. База lab3 имеет собственный volume, база lab2 не меняется.
HAProxy: round-robin для HTTP-запросов, http-server-close без привязки клиентского keep-alive к реплике; Docker DNS 127.0.0.11, hold valid/obsolete=1s, четыре server-template слота. Новые контейнеры обнаруживаются без перезапуска LB. Проверка GET /health/ready каждую 1 с, fall=2, rise=2; connect/check timeout по 500 мс. Консервативный расчётный бюджет обнаружения одного отказа — до 4 с при работающем планировщике/сети; это не realtime SLA. Измеренный public failover: 1,214 с до первой подтверждённой записи после завершения hook.
LB: очередь 1 с, server timeout 5 с, client 10 с. Повторы LB ограничены ошибкой установления соединения (conn-failure); нет прозрачного retry POST после неоднозначного ответа/таймаута. Такой запрос клиент повторяет с теми же body/key.
Python: 16 workers, максимум 32 принятых соединения на реплику, socket timeout 3 с, pool максимум 8, pool wait 2 с, statement timeout 2 с, lock timeout 1,5 с. SIGTERM прекращает приём соединений; drain ограничен 5 с, Compose stop grace 10 с. HAProxy hard-stop 10 с, stop grace 12 с. API работает от UID/GID 10001. SIGUSR1 пишет только числовую статистику пула и alias; секреты и тела сообщений не логируются.
Версии и настройки
Python 3.12.8-slim-bookworm, PostgreSQL 17.2-bookworm, Redis 7.4.1-bookworm, HAProxy 3.0.5-alpine; все базовые образы закреплены SHA-256 в Dockerfile/compose. psycopg 3.2.3, psycopg-pool 3.2.4, redis-py 5.2.1. Хостовый генератор Python 3.9.6; Matplotlib 3.11.2 для графиков.
Переменная .env |
Смысл / штатное значение |
|---|---|
| APP_PORT | Только внешний порт LB: 18087; внутренний API всегда 8080 |
| API_REPLICAS | 2; исследуемый диапазон 1–4 |
| API_CPUS / API_MEMORY | 1 CPU / 256m на API |
| POSTGRES_CPUS | 1; 0.1 используется только в явном исследовании насыщения |
| HTTP_WORKERS / DB_POOL_MAX | 16 / 8 на API |
| DB_ACCESS_MODE | optimized; baseline — воспроизводимый контроль эксперимента |
| SESSION_TTL_SECONDS | 3600; сессии сохраняют исходный expiry после рестарта |
PostgreSQL: 512 MiB / 1 CPU; LB: 64 MiB / 0,5 CPU; Redis: 64 MiB / 0,25 CPU. Для Redis задан maxmemory 32 MiB и LRU; он disposable cache. Диск PostgreSQL — именованный volume.
Доказательства критериев
| Критерий | Проверка / результат | Доказательство |
|---|---|---|
| Чистый bootstrap и ≥2 API | build api → compose up; реальные ID, лимиты, сети и порты | compose.yaml, evidence/runtime.json, evidence/clean-clone.txt |
| Публичный контракт | check, OpenAPI validation и smoke PASS | evidence/tests.txt, evidence/validation.txt |
| Общие сессии, X-Instance-Id | одна сессия, ≥2 alias при 32 параллельных повторах | test_idempotency_concurrent_replicas, evidence/tests.txt |
| Идемпотентность через реплики | ровно одно сообщение; конфликтующий body 409, области независимы | 15 собственных тестов, все PASS |
| Atomic rollback / lost reply | синтетический сбой не оставляет ключ; непрочитанный ответ можно повторить | evidence/durability.txt |
| Сохранность | API/LB/PostgreSQL/Redis действительно перезапущены; старые токены/сообщения/ключи сохранены | evidence/persistence.txt, restart-before.json, restart-after.json, durability.txt |
| Отказ API ≤10 с | public: ≥2 реплики, 117 успешных записей, 2 ошибки, восстановление 1,214 с | evidence/public-failover.txt, stopped-instances.jsonl |
| Остановка каждой реплики | каждая реальная API по очереди остановлена и восстановлена, данные/сессия прежние | evidence/faults.json, faults.txt |
| Таймауты/readiness/graceful | согласованные настройки; реальный ExitCode 0 при остановке; БД критична, кеш нет | infra/haproxy.cfg, src/server.py, stopped-instances.jsonl, durability.txt |
| Лимиты/нет обхода LB | CPU/RAM у всех сервисов; нет host-портов у API/БД/Redis, нет container_name | compose.yaml, runtime.json |
| Поочерёдная замена под нагрузкой | старые реальные контейнеры удалены, новые alias видны через тот же LB | evidence/faults.json, faults.png |
| Однократные миграции | один completed migration job, API DDL не делает; 001/002/003 | src/migrate.py, evidence/clean-clone.txt |
| Трек 5 целиком | 54 прогона: 1/2/4, фикс./растущие ресурсы, конкуренция/пул/БД, подтверждённое улучшение | evidence/scaling.json, графики ниже |
Исследование: цена масштабирования
Гипотезы: дробление фиксированного CPU между процессами само по себе не ускоряет API; дополнительные ресурсы помогают до общей зависимости. Лишние проверки доступа из lab2 создают дополнительные SQL/транзакции и уменьшают throughput. Увеличение числа соединений пула не обязано помогать CPU-ограниченной Python-реплике.
Окружение: macOS arm64, Colima Linux VM 4 vCPU / 4 094 001 152 байта RAM, Ubuntu 24.04.4 LTS. Клиент на хосте, только через LB. Профиль: 80% GET истории, 20% POST сообщений, 8 синтетических чатов по 100 начальных сообщений, текст 64 символа, history limit=50. Для каждого прогона создаётся отдельная такая фикстура; warmup/записи увеличивают историю, GET читает неизменные первые 50 записей. Данные предыдущих прогонов не удаляются, что отражает небольшое накопление общего объёма.
2 с прогрева, затем 8 с измерения, 3 повтора каждой конфигурации, всего 54. HTTP/1.1 клиентские соединения переиспользуются, одновременность задаётся явно. POST в нагрузке без retry: timeout может скрыть COMMIT, поэтому RPS — подтверждения HTTP, не точное число созданных строк. Ошибки считаются по статусам/типам исключений. В отказных сценариях, в отличие от benchmark, неоднозначная запись повторяется с прежним ключом.
Docker stats снимает CPU и used memory по сервисам; это не RSS/не peak RAM. Статистика PostgreSQL включает только агрегаты state/wait_event без текста SQL. Дополнительные pool/cgroup counters — в прогонах с полями pool_before/after. Таблицы ниже — медианы трёх отдельных RPS/percentile; это не percentile объединённой выборки. Колонка ошибок — сумма трёх прогонов. Исходные error_fraction, p50/p95/p99, времена, CPU/RAM и распределение alias сохранены в JSON. Усы на графиках — min/max трёх повторов.
1. Фиксированные и растущие ресурсы
В fixed суммарно API 1 CPU / 512 MiB: 1×1 CPU/512, 2×0,5/256, 4×0,25/128. PostgreSQL/LB/Redis неизменны, значит суммарный бюджет всего работающего стенда тоже фиксирован. В growing каждая API 0,5 CPU / 256 MiB: общий API CPU 0,5→1→2, RAM 256→512→1024 MiB. Максимальные лимиты работающих компонентов в growing — 3,75 CPU, внутри 4-vCPU VM.
| Серия | API | Всего API CPU / MiB | RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|---|---|
| fixed | 1 | 1 / 512 | 608.0 | 21.09 | 47.00 | 72.48 | 0 |
| fixed | 2 | 1 / 512 | 630.9 | 13.99 | 80.00 | 90.83 | 0 |
| fixed | 4 | 1 / 512 | 441.0 | 3.12 | 177.25 | 380.46 | 0 |
| growing | 1 | 0.5 / 256 | 258.5 | 77.51 | 104.98 | 216.89 | 0 |
| growing | 2 | 1 / 512 | 638.3 | 11.92 | 80.32 | 91.72 | 0 |
| growing | 4 | 2 / 1024 | 1643.6 | 4.38 | 49.14 | 69.90 | 0 |
При фиксированных ресурсах 4 реплики хуже 1/2: дробление CPU-квоты и дополнительные Python-процессы/пулы создают издержки, рост числа реплик не добавляет вычислительный бюджет. В growing дополнительные CPU помогают. Само это наблюдение не доказывает достижение предела PostgreSQL — отдельное вмешательство ниже проверяет именно его.
2. Конкуренция и насыщение
4 API по 0,5 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8. Уже после четырёх клиентов рост конкуренции не даёт устойчивого роста successful RPS, p99 увеличивается; на 32/64 есть 503. Нельзя объявлять один наибольший RPS универсальной максимальной мощностью системы.
| Клиенты | RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|
| 1 | 546.9 | 1.68 | 2.31 | 2.94 | 0 |
| 4 | 1989.9 | 1.83 | 2.62 | 3.81 | 0 |
| 16 | 1643.6 | 4.38 | 49.14 | 69.90 | 0 |
| 32 | 1610.6 | 5.22 | 76.32 | 94.39 | 11 |
| 64 | 1924.8 | 31.14 | 71.38 | 100.26 | 629 |
Дополнительный стресс с одной API и 32 клиентами упирается в лимит 32 принятых соединений и конкурирует с health-check; LB может временно исключить перегруженный backend и быстро отдавать 503. Это связанное насыщение admission/пула/readiness, а не чистый тест эффективности пула. Ошибки не скрыты. После нагрузки генератор ждёт восстановления LB перед созданием следующей фикстуры. В research-initial.txt сохранён первоначальный сбой именно этапа подготовки после перегрузки; --resume дополнил недостающие измерения, не удаляя уже собранные ошибки.
Чтобы отделить этот эффект, пул также сравнивается при 16 клиентах:
| Клиенты | Pool max | RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|---|
| 16 | 1 | 960.8 | 15.90 | 18.41 | 43.28 | 0 |
| 16 | 8 | 590.4 | 21.53 | 48.28 | 75.65 | 0 |
| 32 | 1 | 564.3 | 31.08 | 37.14 | 80.34 | 117848 |
| 32 | 8 | 466.1 | 53.26 | 72.84 | 101.95 | 61903 |
При 1 CPU pool=1 оказался быстрее pool=8. У pool=1 очередь действительно насыщена: в трёх измерениях 13–16 тысяч ожиданий получения соединения; среднее суммарное ожидание одного обращения порядка 6,6–7,9 мс. Но pool=8 усиливает конкуренцию потоков и CPU-throttling: около 80 throttled periods за 8 с против 3–8 у pool=1. Поэтому увеличение пула здесь не лечит CPU-ограничение. Это вывод об этом профиле, не рекомендация всегда ставить pool=1.
3. Контролируемое насыщение общей БД
Тот же growing-профиль, но PostgreSQL явно ограничен 0,1 CPU; API по 0,5 CPU / 256 MiB. Это отдельная учебная конфигурация, штатная БД остаётся 1 CPU.
| API | RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|
| 1 | 147.6 | 81.38 | 397.31 | 698.23 | 0 |
| 2 | 104.1 | 94.13 | 602.16 | 987.58 | 0 |
| 4 | 83.5 | 95.62 | 604.32 | 998.03 | 0 |
БД потребляет около 9,8% одного ядра, то есть практически весь свой лимит 10%, тогда как API/LB недогружены. evidence/postgres-throttling.json: quota 10000 100000, рост nr_throttled на 375 между первой и последней пробами. При 2/4 API больше ожиданий общей БД; RPS не растёт, p99 приближается к секунде. Возвращение БД 1 CPU при тех же API даёт серию growing выше — вмешательство подтверждает, что общая БД действительно может стать пределом масштабирования. Предел зависит от выделенной квоты, а не является универсальным числом RPS PostgreSQL.
4. Подтверждённое улучшение
Исходная схема проверок из lab2 сохранена как DB_ACCESS_MODE=baseline. Она загружает чат/список участников в роутере, затем повторяет это в операции. optimized убирает повторный вызов и проверяет членство через SELECT 1; права доступа остаются прежними и проверяются в операции с БД.
При тёплом кеше профиля GET истории: 6→3 SQL-запроса, новый POST сообщения: 9→6, без учёта BEGIN/COMMIT/health. Ключевые транзакционные границы и общая проверка сессии сохранены.
2 API × 0,5 CPU / 256 MiB, PostgreSQL 1 CPU, pool=8, 16 клиентов:
| Вариант | RPS | p50, мс | p95, мс | p99, мс | Ошибки |
|---|---|---|---|---|---|
| baseline | 444.7 | 18.50 | 96.39 | 140.87 | 0 |
| optimized | 630.9 | 13.99 | 80.00 | 90.83 | 0 |
Выигрыш successful RPS 1.42× при одинаковых ресурсах. По умолчанию используется optimized. Это выигрыш смешанного профиля чтения/записи, не обещание ускорения любой операции.
Наблюдавшиеся ресурсы
Медианы выборочных замеров; CPU — % одного ядра, память — MiB Docker used. Для API указана сумма реплик. Redis во всех сериях присутствует в исходном JSON.
| Конфигурация | API CPU / MiB | PostgreSQL CPU / MiB | LB CPU / MiB |
|---|---|---|---|
| fixed, 1 API | 105.6% / 61.2 | 19.1% / 45.7 | 6.5% / 7.9 |
| fixed, 2 API | 81.0% / 106.2 | 16.8% / 67.5 | 5.6% / 8.1 |
| fixed, 4 API | 65.4% / 179.3 | 16.4% / 108.8 | 4.9% / 8.1 |
| growing, 1 API | 51.5% / 45.3 | 8.2% / 54.5 | 3.0% / 8.0 |
| growing, 2 API | 81.0% / 106.2 | 16.2% / 76.8 | 5.5% / 8.0 |
| growing, 4 API | 162.2% / 212.2 | 37.1% / 122.1 | 12.0% / 8.4 |
| database_limit, 1 API | 28.9% / 61.1 | 9.7% / 46.8 | 3.4% / 8.6 |
| database_limit, 2 API | 30.5% / 106.1 | 9.9% / 69.3 | 3.6% / 8.6 |
| database_limit, 4 API | 34.1% / 195.2 | 9.7% / 108.7 | 3.6% / 8.6 |
Отказы и поочерёдная замена
Четыре клиента: два пишут, два читают; пауза между операциями 20 мс. Воздействие на 2-й секунде. Остановка — 12 с нагрузки, замена — 18 с. После каждой фазы вся история сверяется с подтверждёнными сообщениями, проверяется отсутствие дублей; используется исходная сессия. Предыдущая реплика восстанавливается перед остановкой следующей.
Время восстановления ниже считается от начала воздействия до успешной записи через другую реплику после завершения action, а не по ответу ещё останавливаемого процесса. У замены action включает ожидание нового контейнера — survivor обслуживает запросы и до завершения замены.
| Воздействие | Успешные RPS | Ошибки | p95 / p99, мс | Восстановление, с | Подтверждённых сообщений сверено | |
|---|---|---|---|---|---|---|
| Остановка 1 | 108.5 | 5 | 15.60 / 17.71 | 1.883 | 649 | |
| Остановка 2 | 114.2 | 5 | 14.31 / 18.87 | 2.111 | 684 | |
| Замена 1 | 120.0 | 1 | 14.92 / 19.75 | 6.605 | 1080 | |
| Замена 2 | 120.7 | 1 | 13.90 / 17.58 | 6.088 | 1085 |
scripts/stop-one.sh сопоставляет TARGET_INSTANCE_ID фактическому API-контейнеру через его внутренний health, останавливает именно его и проверяет Running=false. Доказательства содержат container ID, alias, время и exit code. Последовательная замена действительно удаляет старые контейнеры и создаёт новые; LB не перезапускается, общий volume не удаляется. Это эквивалент rolling replacement той же версии, а не доказательство совместимости разных бизнес-версий.
Дополнительные сценарии: Redis stop → fallback; PostgreSQL stop → readiness 503 → восстановление → прежний Bearer и сообщение доступны; ключ/сообщение с U+0000 сохраняются после полного restart. SQL-trigger синтетически ломает ровно одну тестовую запись: rollback удаляет claim, повтор с тем же ключом успешен после снятия воздействия. HTTP-ответ намеренно не читается и соединение закрывается, затем повтор не создаёт дубль. Истечение ключа моделируется только для синтетической записи прямым сдвигом expiry, не изменением часов стенда.
Ограничения
- Один Docker-host, один HAProxy и один PostgreSQL остаются SPOF. Доказан отказ API-процесса/контейнера, не потеря host/БД/LB и не multi-node HA.
- Исследование короткое, локальное, closed-loop с coordinated omission; pXX только успешных ответов. Фоновая нагрузка хоста не изолирована; это не production SLA/длительный soak/open-loop capacity test. При лавине быстрых 503 сам генератор достигает высокого CPU; такие RPS нельзя считать чистым пределом сервера.
- При перегрузке возможны временные 503/оборванные соединения. LB/readiness/admission взаимно влияют друг на друга; результаты 32 клиентов/одной API специально это показывают. Функциональные проверки и спокойные серии проходят, подтверждённые данные сохраняются.
- Пул и workers задаются на реплику; рост реплик увеличивает число соединений к общей БД. Один горячий чат сериализует отправку по строке chats. CPU/GIL/квоты/пул/БД могут ограничивать разные профили.
- Нет автоматического удаления старых сообщений/истёкших строк ключей и сессий; для долгой эксплуатации нужны housekeeping, контроль диска, метрики и retention. Истёкший ключ корректно переиспользуется, но это не ограничивает суммарный размер БД.
- HTTP разрешён только для локального изолированного стенда с синтетическими пользователями; TLS/production-hardening — отдельные задачи курса.
- Оценку подтверждает преподаватель; PASS тестов не выставляет её автоматически. CI может ждать разрешения владельца на запуск кода из fork.
Источники и помощь
Собственная реализация lab2, исходный skeleton/контракт lab3. Стандартная библиотека Python, psycopg/pool, redis-py, Matplotlib. Codex использован для реализации, собственных тестов, экспериментов и текста; чужие студенческие решения не использовались.
- HAProxy 3.0: server-template, resolvers, health checks и retry
- PostgreSQL 17: INSERT / ON CONFLICT
- Docker Compose services
Проверка чистого клона
Отдельный clone без локальных secrets/.env, новый Compose project, новый volume и порт 18088: сборка, миграции 001/002/003, публичный smoke, все 15 собственных тестов и полный restart с прежним токеном прошли. Одноразовые контейнеры/volume/clone удалены; основной стенд и lab1-demo не затронуты. Вывод — evidence/clean-clone.txt. Первую попытку из несмонтированного Colima системного tmp сохраняет clean-clone-initial.txt; она остановилась до запуска приложения на bind-mount, повтор выполнен внутри HOME.



