Завершить трек 2: доказать согласованность хранилищ и оформить графики и отчёт
This commit is contained in:
@@ -16,6 +16,7 @@ jobs:
|
||||
- run: docker compose up -d
|
||||
- run: python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
|
||||
- run: make check test PYTHON=python BASE_URL=http://localhost:8084
|
||||
- run: docker compose stop reconciler
|
||||
- run: docker compose run --rm --no-deps -T -v "$PWD:/suite:ro" -w /suite api python student-tests/test_attachments.py
|
||||
- run: docker compose run --rm --no-deps -T -v "$PWD:/suite:ro" -w /suite api python student-tests/test_reconcile.py
|
||||
- run: chmod +x scripts/restart.sh scripts/stop-one.sh
|
||||
|
||||
@@ -1,37 +1,269 @@
|
||||
# Отчёт — лабораторная 4
|
||||
# Отчёт — лабораторная работа №4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Автор: **Ляхонов Сергей**, группа **БВТ2301**. Дата: **30 октября 2026 года**.
|
||||
Целевая оценка: **5**, выбран **трек 2 — согласованность двух хранилищ**. Пользователь выбрал трек до реализации.
|
||||
Ветка: `solution/BVT2301-lyakhonov`. Только локальные русскоязычные коммиты; push и PR не выполнялись.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker Engine/Compose с Linux-контейнерами, Python 3.9+ и make (либо прямые эквивалентные Python-команды ниже).
|
||||
Проверено: Windows, Python хоста 3.13.7, Docker Engine 28.5.1 / Docker Desktop, i5-1340P, 16 логических CPU и 16 GB RAM.
|
||||
Docker VM: 16 CPU, 8 126 664 704 bytes RAM. См. [CPU](evidence/cpu.json), [RAM](evidence/hardware.json), [Docker](evidence/docker-resources.json).
|
||||
Для сборки исходников S3 и всех экспериментов разумно выделить Docker около 8 GB RAM и иметь около 10 GB свободного диска под build cache/образы/учебные данные.
|
||||
Постоянные runtime-лимиты стенда: суммарно 4 CPU и 2816 MiB; генератор и одноразовые сервисы требуют дополнительного ресурса.
|
||||
Это лимиты, а не гарантированное фактическое потребление.
|
||||
|
||||
## Архитектура и решения
|
||||
PowerShell, из корня лабораторной 4:
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
```powershell
|
||||
$env:PYTHONUTF8='1'
|
||||
python scripts/bootstrap.py
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env build api s3
|
||||
docker compose --env-file .env up -d
|
||||
python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
|
||||
make check test PYTHON=python BASE_URL=http://localhost:8084
|
||||
python -m venv .venv
|
||||
.venv/Scripts/python -m pip install -r requirements-research.txt
|
||||
make validate PYTHON=.venv/Scripts/python
|
||||
```
|
||||
|
||||
Bootstrap создаёт случайные DB/S3 secrets и `.env` из `lab4.env.example` **только при отсутствии**; существующие файлы сохраняются.
|
||||
Пароли и ключи не выводятся и не попадают в Git. Отдельный migrate применяет версии 001–003 под advisory lock до старта API.
|
||||
Bucket-init создаёт приватный bucket и ограниченного пользователя приложения; повтор безопасен.
|
||||
Все зависимости запускаются из этого репозитория; установленные ранее БД/S3 не используются.
|
||||
|
||||
Реестр отказал в скачивании официальных образов MinIO/mc (Docker Hub denied, Quay 401), поэтому окончательный стенд
|
||||
собирает S3 из исходников через `Dockerfile.s3`: MinIO commit `07c3a429bfed433e49018cb0f78a52145d4bedeb`
|
||||
(исходники RELEASE.2025-09-07T16-13-09Z), mc RELEASE.2025-04-16T18-13-26Z.
|
||||
Оба архива закреплены SHA-256 в ADD; Go и Debian закреплены digest, Go-зависимости проверяются go.sum.
|
||||
Первичная сборка реально прошла, повтор использует build cache. Нужен доступ к GitHub, Docker Hub и Go module proxy;
|
||||
наличие локального старого MinIO-образа не требуется. Версия самосборного бинарника может выводиться как DEVELOPMENT.GOGET;
|
||||
точная идентичность задаётся commit и архивом, не этой строкой. Лицензии MinIO/mc AGPL включены в образ.
|
||||
[Контрольные суммы](evidence/s3-source-hashes.json), [рецепт](Dockerfile.s3).
|
||||
|
||||
Остановка без удаления данных: `docker compose down`. Стенд №3 не затрагивается.
|
||||
Только при намеренном удалении собственных учебных данных: `docker compose down --volumes`.
|
||||
Последняя команда необратима; в проверках она не используется. Внешние volumes и чужие Compose projects не удаляются.
|
||||
На POSIX использовать python3 и executable `.sh` hooks (`chmod +x scripts/restart.sh scripts/stop-one.sh`).
|
||||
|
||||
## Архитектура и конфигурация
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
Client[Клиент] --> LB[HAProxy localhost:8084]
|
||||
LB --> API1[API 1]
|
||||
LB --> API2[API 2]
|
||||
API1 --> DB[(PostgreSQL: метаданные и сессии)]
|
||||
API2 --> DB
|
||||
API1 --> S3[(MinIO: приватные оригиналы)]
|
||||
API2 --> S3
|
||||
API1 --> Redis[(Redis: необязательный кэш профилей)]
|
||||
API2 --> Redis
|
||||
Reconciler[Периодическая сверка] --> DB
|
||||
Reconciler --> S3
|
||||
```
|
||||
|
||||
| Роль → service | Версия / CPU / RAM | Готовность / durable state / доступ |
|
||||
| --- | --- | --- |
|
||||
| API → api ×2 | Python 3.11.10, lock dependencies; 0.5 CPU / 512 MiB каждая | `/health/ready`: PostgreSQL + S3; без durable локальных оригиналов; только внутренняя сеть |
|
||||
| БД → db | PostgreSQL 16.6-alpine; 1 CPU / 512 MiB | pg_isready; отдельный postgres_data; порт не опубликован |
|
||||
| S3 → s3 | Собственная сборка из закреплённых исходников; 1 CPU / 768 MiB | bootstrap ждёт S3; API проверяет LIST рабочего prefix; отдельный s3_data; без внешних портов |
|
||||
| LB → lb | HAProxy 3.0.6-alpine; 0.5 CPU / 128 MiB | HTTP readiness API; только 127.0.0.1:8084 |
|
||||
| Кэш → redis | Redis 7.4.1-alpine; 0.25 CPU / 128 MiB | Необязателен; профили, без сессий/истории; persistence отключён |
|
||||
| Миграции → migrate | Тот же исходный образ; 0.5 CPU / 512 MiB | Одноразовый exit 0 до API, schema_migrations |
|
||||
| Bucket bootstrap → bucket-init | Тот же S3-образ, mc; 0.25 CPU / 128 MiB | Одноразовый exit 0; приватность и политика; root secrets доступны только здесь и S3 |
|
||||
| Сверка → reconciler | Тот же исходный образ; 0.25 CPU / 256 MiB | Apply каждые 300 с, grace 3600 с; отдельный процесс, restart unless-stopped |
|
||||
|
||||
Compose project `lyakhonov-lab4`, собственные сеть, `lyakhonov-lab4_postgres_data`, `lyakhonov-lab4_s3_data`,
|
||||
образы `lyakhonov-messenger:lab4` и `lyakhonov-storage:lab4`. Нет container_name и наружных портов API/БД/S3/Redis.
|
||||
Консоль MinIO слушает только loopback самого S3-контейнера. Пароли передаются через read-only Compose secrets files.
|
||||
Приложение имеет S3 LIST только своего bucket/prefix и Get/Put/Delete только `attachments/originals/*`;
|
||||
не имеет административного доступа, list buckets, delete bucket или записи вне prefix. Bucket — `attachments`, публичного чтения нет.
|
||||
API работает без root. Единственные PostgreSQL, S3, LB и Docker-host остаются SPOF.
|
||||
|
||||
`lab4.env.example` задаёт реальные пользовательские параметры LAB4_PORT, API_REPLICAS, API_CPUS, API_MEMORY,
|
||||
POOL_SIZE, SESSION_TTL_SECONDS и OPTIMIZED_WRITES. Исходный `.env.example` skeleton сохранён как список логических интерфейсов:
|
||||
APP_HOST/APP_PORT соответствуют фиксированному listener 0.0.0.0:8080; APP_ENV не используется; SESSION_STORE=postgres фиксирован;
|
||||
CACHE_URL_FILE заменён внутренним CACHE_URL=redis://redis:6379/0; DATABASE_URL_FILE совпадает.
|
||||
S3_ENDPOINT и регион совпадают; S3_BUCKET в решении фиксирован `attachments` вместо предложенного messenger-attachments.
|
||||
S3_ACCESS_KEY_ID_FILE/S3_SECRET_ACCESS_KEY_FILE отображаются на внутренние S3_ACCESS_KEY_FILE/S3_SECRET_KEY_FILE.
|
||||
IDEMPOTENCY_TTL_SECONDS=86400, MAX_UPLOAD_BYTES=10485760, MAX_IMAGE_PIXELS=40000000 — обязательные фиксированные лимиты,
|
||||
не произвольные пользовательские настройки. Изменение старого `.env.example` не меняет эти внутренние значения.
|
||||
|
||||
## Перенос и границы транзакций
|
||||
|
||||
Источник: собственная лабораторная №3, HEAD `374c43e`, только чтение. Оба рабочих дерева до начала были чистыми.
|
||||
Перенесены исходники, миграции, зависимости, Dockerfile и необходимые конфигурации/scripts.
|
||||
README, COURSE, обязательные contracts, публичные tests и fixture лабораторной №4 сохранены.
|
||||
Не переносились .git, .env, secrets, volumes, venv, старые измерения/графики. [Акт переноса](evidence/transfer.md).
|
||||
|
||||
Сохранены PostgreSQL-сессии, Argon2id, ACL чатов, пагинация, две реплики и общая транзакционная идемпотентность.
|
||||
В отличие от lab3, Message теперь всегда содержит attachment_ids; допускает пустой текст с вложениями.
|
||||
Ключ сравнивает полный нормализованный body, включая порядок ID; отсутствующее attachment_ids равно [].
|
||||
Результат ключа, Message и связи вложений фиксируются атомарно. Конкурентные повторы сериализуются общей блокировкой.
|
||||
Миграция 003 переносит старые текстовые результаты ключей в JSON и добавляет Attachment/message_attachments.
|
||||
Обратное смешивание lab3/lab4 API после этой миграции не поддерживается: требуется согласованный переход.
|
||||
В этой работе использован новый отдельный volume, исходная БД lab3 не изменялась.
|
||||
|
||||
Upload: авторизация/ACL → bounded temporary spool → MIME/размер/пиксели/verify/load → уникальный S3 PUT → INSERT → COMMIT → 201 ready.
|
||||
Оригинал сохраняется побайтно. Приём <=10 MiB, <=40 млн px; один декодер на реплику, <=20 с на body, <=25 с ожидания слота.
|
||||
Только временный spool живёт локально до PUT; download читает S3 блоками 64 KiB без redirect.
|
||||
S3 timeout connect=2/read=5 с и без retry, LB client=60/server=45 с и без повторов POST.
|
||||
Неопределённый COMMIT не вызывает слепое удаление объекта. Подробный протокол и инварианты: [infra/reconciliation.md](infra/reconciliation.md).
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| Критерий | Команда/сценарий | Реальный результат / доказательство |
|
||||
| --- | --- | --- |
|
||||
| Обязательная база lab3 и контракт lab4 | make check/test/validate | PASS: [make](evidence/make-check-test.txt), [validate](evidence/validate.txt) |
|
||||
| Upload 201 ready, сообщение, checksum, ACL | публичный smoke | PASS: [smoke](evidence/smoke.txt); PNG/JPEG неизменны |
|
||||
| ≥2 API, остановка именно загрузившей реплики | python student-tests/test_operations.py | Обе разные реальные реплики остановлены по очереди; другой процесс вернул оригинал: [JSON](evidence/operations.json) |
|
||||
| Retry и сохранность при failover | публичный resilience --mode failover | PASS, ошибки перехода учтены: [1](evidence/failover-1.txt), [2](evidence/failover-2.txt) |
|
||||
| Рестарт с volumes и прежней сессией | публичный persistence + test_operations.py | PASS, реальные StartedAt до/после API/БД/Redis/S3/LB: [persistence](evidence/persistence.txt), [operations](evidence/operations.json) |
|
||||
| S3 недоступен / восстановлен | test_operations.py | Ограниченный 503, после восстановления те же bytes и сессия |
|
||||
| Bytes/пиксели/MIME/filename/повреждения | test_attachments.py | PASS, включая chunked body >10 MiB, >40 млн px и допустимые ровно 40 млн px: [negative suite](evidence/attachments.txt) |
|
||||
| Чужой ID, другой чат, дубли ID | test_attachments.py | 404/400, без 500 |
|
||||
| Обрыв body | реальный TCP disconnect | Постоянный объект не создан |
|
||||
| Сбой после PUT до INSERT | ограниченный synthetic DB trigger | Получен 500, объект найден сверкой как orphan; trigger снят в finally |
|
||||
| Ограничение RAM при ≥10 загрузках | python scripts/run_upload_load.py | 60/60 успешно, два размера, cgroup peak и Docker stats: [raw](evidence/upload-load.json), [CSV](evidence/upload-summary.csv) |
|
||||
| Приватность и минимальные S3-права | unsigned GET + запрещённые S3 API | 403; отдельные credentials приложения: [suite](evidence/attachments.txt) |
|
||||
| Идемпотентный bucket bootstrap | docker compose run --rm --no-deps bucket-init | Повтор exit 0: [вывод](evidence/bootstrap-repeat.txt) |
|
||||
| Orphan/missing/corrupt | test_reconcile.py | Найдены; old orphan удалены; missing/corrupt изолированы без удаления метаданных |
|
||||
| Dry-run, повтор и конкуренция | test_reconcile.py | Все метаданные до/после dry-run совпали; блокировка/свежесть/ссылки сохранены; два прохода безопасны |
|
||||
| Безопасное восстановление | неверный, затем правильный оригинал | Неверные bytes не вернули ready; проверенный оригинал восстановил его: [исследование](evidence/reconcile.json) |
|
||||
| Стоимость обхода | 0/50/200 дополнительных объектов ×3 | Время, LIST/HEAD/GET и bytes измерены, график ниже |
|
||||
|
||||
## Эксперимент загрузки и память
|
||||
|
||||
Фиксированный seed, PNG RGB 1024² и 1792², один прогрев на размер. Три партии по 10 клиентов на размер через LB,
|
||||
прозрачных retry нет. Клиенты готовы до начала измерительного окна; все одновременно отпускаются event.
|
||||
Суммарное timed elapsed для шести партий — 6.966 с; это короткий опыт, не steady-state soak test.
|
||||
Elapsed включает завершение всех запросов, не подготовку клиентов и не последующее скачивание подтверждённых оригиналов.
|
||||
p50/p95/p99 интерполируются линейно по успешным запросам; при 10 наблюдениях хвост оценён грубо.
|
||||
Генератор — отдельный контейнер с 0.5 CPU / 512 MiB. API пересозданы перед замером; фоновая сверка остановлена и затем восстановлена.
|
||||
Не менялись ресурсы/версии между размерами. Это closed-loop партии, без контроля arrival rate и с coordinated omission;
|
||||
универсальная максимальная пропускная способность не заявляется. Ранние пилоты с подготовкой клиента внутри окна заменены этой серией.
|
||||
|
||||
| Размер PNG, bytes | Успехи / попытки | RPS, медиана | p50 / p95 / p99, с (медианы) |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| 3151219 | 30 / 30 | 16.73 | 0.408 / 0.585 / 0.591 |
|
||||
| 9648062 | 30 / 30 | 5.63 | 1.061 / 1.716 / 1.764 |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||

|
||||
|
||||
## Эксперименты и отказы
|
||||

|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Docker stats показывает выборочный working set, cgroup memory.peak — kernel high-water mark за жизнь новых API-контейнеров
|
||||
(включает старт, прогрев, загрузки и проверку скачивания). Эти два показателя различаются учётом cache и частотой наблюдения.
|
||||
- API `68ab8db39c84`: kernel peak **167.95 MiB** при лимите 512 MiB.
|
||||
- API `a6106479affd`: kernel peak **156.98 MiB** при лимите 512 MiB.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
Для CPU 100% Docker stats означает одно логическое ядро. Сырые CPU%/RAM, временные метки и cpu.stat сохранены
|
||||
в upload-load.json; sampled memory для API ниже лимита. Выборки включают прогрев, подготовку клиентов и скачивание, поэтому это не интеграл CPU только внутри timed batches.
|
||||
|
||||
| Служба | CPU%, медиана / максимум выборок |
|
||||
| --- | --- |
|
||||
| lyakhonov-lab4-api-1 | 7.90 / 49.68 |
|
||||
| lyakhonov-lab4-api-2 | 7.60 / 51.60 |
|
||||
| lyakhonov-lab4-db-1 | 1.54 / 4.78 |
|
||||
| lyakhonov-lab4-lb-1 | 2.25 / 12.86 |
|
||||
| lyakhonov-lab4-s3-1 | 1.21 / 27.30 |
|
||||
|
||||
Это не доказательство нулевых аллокаций:
|
||||
декодер допустимого 40 MP изображения может занять порядка 160 MB дополнительно; одновременно декодируется одна картинка на процесс.
|
||||
|
||||
## Исследование согласованности: гипотеза и результаты
|
||||
|
||||
Гипотеза: PostgreSQL/S3 нельзя объединить обычным локальным COMMIT; безопасная периодическая сверка с общей блокировкой
|
||||
и защитным интервалом убирает orphan и отмечает missing, сохраняя свежие и используемые вложения.
|
||||
Цена — обход всех объектов/строк и чтение подтверждаемых bytes, поэтому она растёт с числом объектов и объёмом оригиналов.
|
||||
|
||||
Методика: реальный INSERT отказал после PUT; отдельно удалён S3-оригинал уже привязанного к сообщению вложения.
|
||||
Созданы старый orphan, свежий orphan и объект под удерживаемой общей блокировкой (имитация окна upload до COMMIT).
|
||||
Dry-run сверяет полный снимок id/state/updated_at; apply удаляет только безопасные orphan и ставит missing.
|
||||
Следующий проход не дублирует изменение state. После снятия блокировки/истечения grace ранее защищённые orphan могут быть удалены —
|
||||
это ожидаемое продолжение очистки, а не ошибка идемпотентности. Существующие строки Attachment защищаются независимо от возраста и наличия сообщения.
|
||||
Два конкурентных reconciler пропускают занятые ключи. Неверные bytes оставляют missing; корректные bytes возвращают ready;
|
||||
связь с исходным сообщением сохраняется. Тестовый grace=5 с, ожидание старения=6 с; рабочий default=3600 с.
|
||||
[Полные агрегаты](evidence/reconcile.json), [сценарий](student-tests/test_reconcile.py).
|
||||
|
||||
Измерение стоимости: фиксированный набор метаданных и оригиналов, добавляются 0/50/200 неучтённых объектов по 1 KiB.
|
||||
По три dry-run на точку, page_size=50; сервис периодической сверки остановлен, другая нагрузка не запускается.
|
||||
Порядок 0→50→200; cache состояния не сбрасывался. Выигрыш/регрессию оптимизации этот опыт не измеряет.
|
||||
|
||||
| Всего объектов | Время, медиана [min; max], с | LIST / HEAD / GET | Проверено bytes за проход |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| 221 | 4.964 [4.835; 5.073] | 5 / 221 / 221 | 1193831654 |
|
||||
| 271 | 5.185 [4.994; 5.314] | 6 / 271 / 221 | 1193831654 |
|
||||
| 421 | 6.356 [6.225; 6.826] | 9 / 421 / 221 | 1193831654 |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||

|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
В этой серии GET/проверенные bytes постоянны, рост дополнительных orphan увеличивает HEAD и LIST.
|
||||
Это подтверждает рост цены обхода; три повтора и небольшой bucket не доказывают асимптотическую производительность большой инсталляции.
|
||||
Чтение всех оригиналов ради проверки SHA-256 может доминировать над числом объектов. RAM ограничена страницей и chunk 64 KiB,
|
||||
но трафик и общее время не являются константными. Между страницами нет общего snapshot: проход eventually consistent,
|
||||
новые записи/пропуски блокировок проверяются следующим запуском.
|
||||
|
||||
## Воспроизведение и отказы
|
||||
|
||||
```powershell
|
||||
docker compose stop reconciler
|
||||
docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_attachments.py
|
||||
docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_reconcile.py
|
||||
docker compose start reconciler
|
||||
python student-tests/test_operations.py
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
|
||||
docker compose start api
|
||||
docker compose up -d --no-deps --force-recreate api
|
||||
python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
|
||||
python scripts/run_upload_load.py
|
||||
.venv/Scripts/python scripts/plot_results.py
|
||||
# Dry-run вручную:
|
||||
docker compose run --rm --no-deps api python -m src.reconcile
|
||||
```
|
||||
|
||||
Собственные suites создают данные; повтор увеличивает набор и меняет результаты времени, это не фиксированный golden benchmark.
|
||||
Графики Matplotlib 3.10.7 построены из сохранённых JSON, PNG и SVG лежат в evidence/figures.
|
||||
Отключённый сервис после ручных опытов следует восстановить; нагрузочный runner делает это в finally.
|
||||
Подробности, включая временный DB trigger и восстановление после аварийного завершения suite: [student-tests/README.md](student-tests/README.md).
|
||||
|
||||
| Воздействие | Наблюдение | Сохранность / граница |
|
||||
| --- | --- | --- |
|
||||
| Остановлена lyakhonov-lab4-api-1 | Download через другую API за 1.286 с от начала действия | SHA-256 совпал, target реально остановлен |
|
||||
| Остановлена lyakhonov-lab4-api-2 | Download через другую API за 1.406 с от начала действия | SHA-256 совпал, target реально остановлен |
|
||||
| Остановка S3 | Первый 503 за 4.043 с | После восстановления прежние bytes/сессия; при исключении обеих API весь LB недоступен |
|
||||
| Рестарт API/БД/Redis/S3/LB | StartedAt изменились у всех | Подтверждённые данные и прежний токен сохранены |
|
||||
| PUT прошёл, INSERT отказал | 500 + orphan | Reconciler удалил после grace; слепой rollback S3 не применяется |
|
||||
| Утрата/порча используемого оригинала | missing / API 503 | Метаданные/ссылки не удалены; нужен правильный оригинал из backup |
|
||||
|
||||
В ранних публичных failover-прогонах: 109 подтверждённых записей в каждом, 2 и 3 ошибки перехода,
|
||||
первая успешная запись после начала hook через 2.439 и 2.442 с. Пользовательские операции не выдаются за мгновенный failover.
|
||||
Публичный hook выбирает заданный процесс; отдельный test_operations доказывает остановку обеих именно загрузивших реплик.
|
||||
|
||||
## Ограничения и источники
|
||||
|
||||
Один Docker-host и диск, единственные БД/S3/LB: отказ узла или утрата диска не покрыты.
|
||||
Сверка обнаруживает утрату и возвращает состояние после восстановления из внешней копии, но не создаёт потерянные bytes из hash.
|
||||
Ни репликация, ни backup/DR, ни production TLS/secret manager не реализованы; HTTP только localhost и синтетические данные.
|
||||
Ключевые инварианты предполагают, что все писатели рабочего S3 namespace соблюдают общий протокол блокировки;
|
||||
администратор с root credentials может его нарушить. Обрыв download после отправки headers может оборвать поток:
|
||||
200 headers сами по себе не гарантируют полный файл, клиент проверяет длину/checksum.
|
||||
Нагрузочные результаты зависят от Docker Desktop, CPU-квот, клиента и dataset; SLA и максимальные RPS не заявляются.
|
||||
Удалённый CI не запускался, так как push запрещён. Добавлен отдельный application workflow без production secrets/privileged PR trigger.
|
||||
|
||||
Использованы собственная лабораторная 3 и материалы курса; FastAPI/Uvicorn/Pydantic, psycopg, Redis, Argon2, boto3/botocore,
|
||||
Pillow (версии в requirements.lock.txt), Matplotlib для графиков. Реализация, проверки, анализ и отчёт подготовлены с помощью Codex.
|
||||
Исходный контракт и публичные проверки преподавателя не ослаблялись.
|
||||
|
||||
Первичные источники: [Pillow Image / verify / pixel limits](https://pillow.readthedocs.io/en/stable/reference/Image.html),
|
||||
[S3 PUT и условная запись](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/client/put_object.html),
|
||||
[LIST pagination](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/paginator/ListObjectsV2.html),
|
||||
[исходники MinIO](https://github.com/minio/minio/tree/07c3a429bfed433e49018cb0f78a52145d4bedeb),
|
||||
[исходники mc](https://github.com/minio/mc/tree/RELEASE.2025-04-16T18-13-26Z),
|
||||
[PostgreSQL advisory locks](https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS).
|
||||
|
||||
Этапы истории: `2e5f5bf` — перенос; `4f85fb9` — обязательный минимум; `9dded97` — уровень 4;
|
||||
финальный коммит исследования/отчёта и последующая проверка чистого экспорта видны в git log.
|
||||
|
||||
@@ -64,6 +64,8 @@ services:
|
||||
bucket-init:
|
||||
image: lyakhonov-storage:lab4
|
||||
pull_policy: never
|
||||
cpus: 0.25
|
||||
mem_limit: 128m
|
||||
entrypoint: [/bin/sh, /bootstrap/bucket.sh]
|
||||
secrets: [s3_root_user, s3_root_password, s3_access_key, s3_secret_key]
|
||||
volumes: [./infra/bucket.sh:/bootstrap/bucket.sh:ro, ./infra/s3-policy.json:/bootstrap/policy.json:ro]
|
||||
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 78 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 63 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 58 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 46 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 81 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 53 KiB |
File diff suppressed because one or more lines are too long
@@ -0,0 +1,99 @@
|
||||
[
|
||||
{
|
||||
"id": "af9f952b1304",
|
||||
"service": "api",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
|
||||
"started_at": "2026-10-30T14:46:59.471200143Z",
|
||||
"memory_limit": 536870912,
|
||||
"nano_cpus": 500000000,
|
||||
"volumes": [],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "99f4403277a7",
|
||||
"service": "api",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
|
||||
"started_at": "2026-10-30T14:46:59.269605492Z",
|
||||
"memory_limit": 536870912,
|
||||
"nano_cpus": 500000000,
|
||||
"volumes": [],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "10138b5c0bee",
|
||||
"service": "db",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:1d04b9ba1d4996401f2552b51beda8187f175c0645c091e4781134fc9c9a3eef",
|
||||
"started_at": "2026-10-30T14:45:44.07685361Z",
|
||||
"memory_limit": 536870912,
|
||||
"nano_cpus": 1000000000,
|
||||
"volumes": [
|
||||
"lyakhonov-lab4_postgres_data"
|
||||
],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "e9682a892ad3",
|
||||
"service": "lb",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:c22c8710886104a48b920306f063401f0d11811858e3c6b9d87d88a7556b2e61",
|
||||
"started_at": "2026-10-30T14:45:44.017393725Z",
|
||||
"memory_limit": 134217728,
|
||||
"nano_cpus": 500000000,
|
||||
"volumes": [],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "7523f15dc398",
|
||||
"service": "reconciler",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
|
||||
"started_at": "2026-10-30T14:49:08.477185174Z",
|
||||
"memory_limit": 268435456,
|
||||
"nano_cpus": 250000000,
|
||||
"volumes": [],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "68997bbba33b",
|
||||
"service": "redis",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:c1e88455c85225310bbea54816e9c3f4b5295815e6dbf80c34d40afc6df28275",
|
||||
"started_at": "2026-10-30T14:45:43.846575438Z",
|
||||
"memory_limit": 134217728,
|
||||
"nano_cpus": 250000000,
|
||||
"volumes": [
|
||||
"c2c6f149717b708d82beb471b6464d27f0c63cb02c7f97c1d8380274e7604f21"
|
||||
],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": "a6482b44d70a",
|
||||
"service": "s3",
|
||||
"project": "lyakhonov-lab4",
|
||||
"image": "sha256:4222244a8b6792dac783b2bca633b34636e4b853092b3a0d805f9283562a83c5",
|
||||
"started_at": "2026-10-30T14:45:43.938532131Z",
|
||||
"memory_limit": 805306368,
|
||||
"nano_cpus": 1000000000,
|
||||
"volumes": [
|
||||
"lyakhonov-lab4_s3_data"
|
||||
],
|
||||
"networks": [
|
||||
"lyakhonov-lab4_default"
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"src/app.py": "0cb5d0151e73166aed98acfe151415a93f18221cf27ebd8e39f433cda30b8f13",
|
||||
"src/cache.py": "bfc8f1aa90bee4625b3887a3487be085560b7a2705cc94dcb557dd6c03062028",
|
||||
"src/config.py": "aafa2db508658d2d5467d2c57ed5f4dea11609ab5928f86abc1e35fc8ba923d7",
|
||||
"src/main.py": "3f49c442758f1a4c3a156a4555f2b3f6d8dff0529fc62cb763f11eaaa2d2760b",
|
||||
"src/migrate.py": "48c2819b34e22ee099a97d8742a65c87bc0abf9cd617cf6b6caae8a1ad145af5",
|
||||
"src/models.py": "afc5b651059a440904e1c4ac509ac8e24796bceac5869a6421e42d388f2fe6d6",
|
||||
"src/objects.py": "75f15c13be0b5eecf441a437a8250a0d6367b7b098b288a2cd1994c0b1a4321a",
|
||||
"src/reconcile.py": "228a7994ce5b4110d7391734b0885c01ece754912c285c7f530427ec2674f133",
|
||||
"src/storage.py": "81f5bcb0bc6ce356c76f1ea0b90d74566d436ca6f2dcc35e80cc0ae512588979",
|
||||
"src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"src/routes/attachments.py": "5518b8a264b8b0454e30606123119e83382159f2f031864e33a3e48a62496c84",
|
||||
"src/routes/chats.py": "46ef834fce05037c2ecab26192ed58c28be81afc6a1db1375560f11bb9d63c12",
|
||||
"src/routes/common.py": "fa2df76c819abe9a99b8b380a50b2aa4556aa43ac84afa95cac574aab8468a7e",
|
||||
"src/routes/health.py": "a2d7aef51d4fff4f4c8523a4b1d1b894747f945ac3dd4d26b521d6a228cb88be",
|
||||
"src/routes/messages.py": "7dc016d1252f07538c06b7c155d3efb8af02ac2a2a9867267168a74e7cf0bd3c",
|
||||
"src/routes/users.py": "f5d4c7e4c4e5b1abfde7869a46e8a81a935b32f4809ddb8b2a4cb13175a24f50",
|
||||
"src/routes/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
|
||||
"migrations/001_initial.sql": "d4c044482ba61b6a59b35cb02cff16b650fa0fb813242c0678d45a3564e86340",
|
||||
"migrations/002_idempotency.sql": "b3938061613446d1676dfdf41af1b8417dd0396d2a65e4d3d6b263d311ccdbce",
|
||||
"migrations/003_attachments.sql": "4137877de095ca8cb590582bfa59758c31248f013e9b99ddcf6a2e2bedaff125",
|
||||
"student-tests/README.md": "eb43baa6868c409f71905c7ab11b0bb187a8e9a87fc4842909949b270107e354",
|
||||
"student-tests/test_attachments.py": "e26fece8adc6a63bcccfe6c1de53e3899f0c43d0c8c9fd6502c988403a9a95e5",
|
||||
"student-tests/test_operations.py": "7a62d819afdaea80767cb2ff4e8141eebce9e564ec20241c7d3f5b645d742999",
|
||||
"student-tests/test_reconcile.py": "f1e0f7461f57fa0aad2a16e118fe86ed5852ec1d86caac07ea81a829c7f2f787",
|
||||
"student-tests/upload_load.py": "022eea2772fcbf780042b3959c516788929dfde4968dcd9f7caa2531999c52e9"
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
{
|
||||
"uploads": [
|
||||
{
|
||||
"size_bytes": 3151219,
|
||||
"successful_rps_median": 16.729828936800814,
|
||||
"p50_seconds_median": 0.4081998335022945,
|
||||
"p95_seconds_median": 0.584588757907477,
|
||||
"p99_seconds_median": 0.5914236595887633,
|
||||
"errors": 0,
|
||||
"attempts": 30,
|
||||
"elapsed_seconds": 1.8537453600001754
|
||||
},
|
||||
{
|
||||
"size_bytes": 9648062,
|
||||
"successful_rps_median": 5.626450903085569,
|
||||
"p50_seconds_median": 1.0610903210035758,
|
||||
"p95_seconds_median": 1.7164175714497103,
|
||||
"p99_seconds_median": 1.7635092142925715,
|
||||
"errors": 0,
|
||||
"attempts": 30,
|
||||
"elapsed_seconds": 5.111771299998509
|
||||
}
|
||||
],
|
||||
"cost": [
|
||||
{
|
||||
"objects": 221,
|
||||
"elapsed_median": 4.963795,
|
||||
"elapsed_min": 4.835272,
|
||||
"elapsed_max": 5.07319,
|
||||
"counts": {
|
||||
"list_requests": 5,
|
||||
"objects_scanned": 221,
|
||||
"referenced_kept": 221,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"head_requests": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
},
|
||||
{
|
||||
"objects": 271,
|
||||
"elapsed_median": 5.184831,
|
||||
"elapsed_min": 4.994448,
|
||||
"elapsed_max": 5.314212,
|
||||
"counts": {
|
||||
"list_requests": 6,
|
||||
"objects_scanned": 271,
|
||||
"referenced_kept": 221,
|
||||
"head_requests": 271,
|
||||
"fresh_kept": 50,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
},
|
||||
{
|
||||
"objects": 421,
|
||||
"elapsed_median": 6.356231,
|
||||
"elapsed_min": 6.225256,
|
||||
"elapsed_max": 6.826461,
|
||||
"counts": {
|
||||
"list_requests": 9,
|
||||
"objects_scanned": 421,
|
||||
"referenced_kept": 221,
|
||||
"head_requests": 421,
|
||||
"fresh_kept": 200,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
}
|
||||
],
|
||||
"sampled_memory_max_mib": {
|
||||
"lyakhonov-lab4-api-1": 157.2,
|
||||
"lyakhonov-lab4-api-2": 149.2,
|
||||
"lyakhonov-lab4-db-1": 40.3,
|
||||
"lyakhonov-lab4-lb-1": 17.27,
|
||||
"lyakhonov-lab4-s3-1": 312.1
|
||||
},
|
||||
"kernel_memory_peak_mib": {
|
||||
"68ab8db39c84": 167.9453125,
|
||||
"a6106479affd": 156.98046875
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
{
|
||||
"uploads": [
|
||||
{
|
||||
"size_bytes": 3151219,
|
||||
"successful_rps_median": 16.729828936800814,
|
||||
"p50_seconds_median": 0.4081998335022945,
|
||||
"p95_seconds_median": 0.584588757907477,
|
||||
"p99_seconds_median": 0.5914236595887633,
|
||||
"errors": 0,
|
||||
"attempts": 30,
|
||||
"elapsed_seconds": 1.8537453600001754
|
||||
},
|
||||
{
|
||||
"size_bytes": 9648062,
|
||||
"successful_rps_median": 5.626450903085569,
|
||||
"p50_seconds_median": 1.0610903210035758,
|
||||
"p95_seconds_median": 1.7164175714497103,
|
||||
"p99_seconds_median": 1.7635092142925715,
|
||||
"errors": 0,
|
||||
"attempts": 30,
|
||||
"elapsed_seconds": 5.111771299998509
|
||||
}
|
||||
],
|
||||
"cost": [
|
||||
{
|
||||
"objects": 221,
|
||||
"elapsed_median": 4.963795,
|
||||
"elapsed_min": 4.835272,
|
||||
"elapsed_max": 5.07319,
|
||||
"counts": {
|
||||
"list_requests": 5,
|
||||
"objects_scanned": 221,
|
||||
"referenced_kept": 221,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"head_requests": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
},
|
||||
{
|
||||
"objects": 271,
|
||||
"elapsed_median": 5.184831,
|
||||
"elapsed_min": 4.994448,
|
||||
"elapsed_max": 5.314212,
|
||||
"counts": {
|
||||
"list_requests": 6,
|
||||
"objects_scanned": 271,
|
||||
"referenced_kept": 221,
|
||||
"head_requests": 271,
|
||||
"fresh_kept": 50,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
},
|
||||
{
|
||||
"objects": 421,
|
||||
"elapsed_median": 6.356231,
|
||||
"elapsed_min": 6.225256,
|
||||
"elapsed_max": 6.826461,
|
||||
"counts": {
|
||||
"list_requests": 9,
|
||||
"objects_scanned": 421,
|
||||
"referenced_kept": 221,
|
||||
"head_requests": 421,
|
||||
"fresh_kept": 200,
|
||||
"db_pages": 5,
|
||||
"metadata_scanned": 221,
|
||||
"get_requests": 221,
|
||||
"bytes_verified": 1193831654,
|
||||
"valid_objects": 221
|
||||
}
|
||||
}
|
||||
],
|
||||
"sampled_memory_max_mib": {
|
||||
"lyakhonov-lab4-api-1": 157.2,
|
||||
"lyakhonov-lab4-api-2": 149.2,
|
||||
"lyakhonov-lab4-db-1": 40.3,
|
||||
"lyakhonov-lab4-lb-1": 17.27,
|
||||
"lyakhonov-lab4-s3-1": 312.1
|
||||
},
|
||||
"kernel_memory_peak_mib": {
|
||||
"68ab8db39c84": 167.9453125,
|
||||
"a6106479affd": 156.98046875
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
size_bytes,side,repeat,concurrency,attempts,successes,errors,elapsed_seconds,successful_rps,p50_seconds,p95_seconds,p99_seconds
|
||||
3151219,1024,1,10,10,10,0,0.7838622859999305,12.75734293970215,0.4336575634952169,0.7340192681040206,0.7722596784304188
|
||||
3151219,1024,2,10,10,10,0,0.597734743001638,16.729828936800814,0.4081998335022945,0.584588757907477,0.5914236595887633
|
||||
3151219,1024,3,10,10,10,0,0.472148330998607,21.179784706322522,0.2796381600055611,0.4425103257497539,0.4638570675504161
|
||||
9648062,1792,1,10,10,10,0,1.5366208479972556,6.507786233040787,1.0274780609979643,1.4637623943453943,1.5201743212681322
|
||||
9648062,1792,2,10,10,10,0,1.7978311129991198,5.56225772693305,1.1837765999953263,1.746605640908092,1.784828035391838
|
||||
9648062,1792,3,10,10,10,0,1.7773193390021333,5.626450903085569,1.0610903210035758,1.7164175714497103,1.7635092142925715
|
||||
|
@@ -0,0 +1,8 @@
|
||||
# Public settings only. Copy to .env; secrets are generated separately.
|
||||
LAB4_PORT=8084
|
||||
API_REPLICAS=2
|
||||
API_CPUS=0.5
|
||||
API_MEMORY=512m
|
||||
POOL_SIZE=10
|
||||
SESSION_TTL_SECONDS=3600
|
||||
OPTIMIZED_WRITES=1
|
||||
@@ -12,9 +12,13 @@ url_file = folder / 'database_url'
|
||||
if not url_file.exists():
|
||||
password = password_file.read_text(encoding='utf-8').strip()
|
||||
url_file.write_text(f'postgresql://messenger:{password}@db:5432/messenger', encoding='utf-8')
|
||||
print('Локальные секреты готовы; значения не выводятся.')
|
||||
|
||||
for name in ('s3_root_user', 's3_root_password', 's3_access_key', 's3_secret_key'):
|
||||
target = folder / name
|
||||
if not target.exists():
|
||||
target.write_text(secrets.token_hex(24), encoding='utf-8')
|
||||
|
||||
env_file = root / '.env'
|
||||
if not env_file.exists():
|
||||
env_file.write_bytes((root / 'lab4.env.example').read_bytes())
|
||||
print('Локальные настройки и секреты готовы; существующие файлы сохранены.')
|
||||
|
||||
@@ -0,0 +1,68 @@
|
||||
"""Static research figures from recorded evidence only; no new measurements."""
|
||||
import csv
|
||||
import json
|
||||
from pathlib import Path
|
||||
import re
|
||||
import statistics
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
OUT=ROOT/'evidence/figures';OUT.mkdir(exist_ok=True)
|
||||
plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
|
||||
def save(fig,name):
|
||||
fig.tight_layout()
|
||||
fig.savefig(OUT/(name+'.png'),dpi=170)
|
||||
fig.savefig(OUT/(name+'.svg'))
|
||||
plt.close(fig)
|
||||
def bands(ax,x,groups,label,color):
|
||||
med=[statistics.median(v) for v in groups]
|
||||
ax.errorbar(x,med,yerr=[[m-min(v) for m,v in zip(med,groups)],[max(v)-m for m,v in zip(med,groups)]],fmt='o-',capsize=4,label=label,color=color)
|
||||
r=json.loads((ROOT/'evidence/reconcile.json').read_text(encoding='utf-8-sig'))
|
||||
points=sorted({v['extra_objects'] for v in r['cost']})
|
||||
groups=[[v for v in r['cost'] if v['extra_objects']==n] for n in points]
|
||||
x=[v[0]['counts']['objects_scanned'] for v in groups]
|
||||
fig,axes=plt.subplots(1,2,figsize=(10.5,4))
|
||||
bands(axes[0],x,[[v['elapsed_seconds'] for v in vs] for vs in groups],'Медиана и min–max (3 повтора)','#286D8C')
|
||||
axes[0].set(xlabel='Объектов в bucket',ylabel='Время dry-run, с',title='Стоимость полной сверки')
|
||||
axes[0].legend(fontsize=8)
|
||||
for field,label in [('head_requests','HEAD'),('get_requests','GET'),('list_requests','LIST')]:
|
||||
axes[1].plot(x,[v[0]['counts'][field] for v in groups],'o-',label=label)
|
||||
axes[1].set(xlabel='Объектов в bucket',ylabel='Число S3-запросов',title='Цена обхода: запросы')
|
||||
axes[1].legend();save(fig,'reconcile-cost')
|
||||
u=json.loads((ROOT/'evidence/upload-load.json').read_text(encoding='utf-8-sig'))
|
||||
sizes=sorted({v['size_bytes'] for v in u['runs']}); x=[s/1048576 for s in sizes]
|
||||
groups=[[v for v in u['runs'] if v['size_bytes']==s] for s in sizes]
|
||||
fig,axes=plt.subplots(1,2,figsize=(10.5,4))
|
||||
bands(axes[0],x,[[v['successful_rps'] for v in vs] for vs in groups],'3 партии × 10 клиентов','#286D8C')
|
||||
axes[0].set(xlabel='PNG, MiB',ylabel='Успешных загрузок/с',title='Синхронный upload через API')
|
||||
bands(axes[1],x,[[v['p95_seconds'] for v in vs] for vs in groups],'p95 успешных запросов','#B15E38')
|
||||
axes[1].set(xlabel='PNG, MiB',ylabel='Задержка, с',title='p95 внутри партии (10 запросов)')
|
||||
for ax in axes: ax.legend(fontsize=8)
|
||||
save(fig,'upload-throughput')
|
||||
def mib(value):
|
||||
match=re.match(r'([0-9.]+)([A-Za-z]+)',value.strip())
|
||||
amount=float(match[1]);unit=match[2]
|
||||
return amount*{'B':1/1048576,'KiB':1/1024,'MiB':1,'GiB':1024,'kB':1000/1048576,'MB':1000000/1048576,'GB':1000000000/1048576}[unit]
|
||||
fig,ax=plt.subplots(figsize=(10.5,4))
|
||||
first=u['samples'][0]['time']
|
||||
for name in sorted({c['Name'] for s in u['samples'] for c in s['containers'] if '-api-' in c['Name']}):
|
||||
pairs=[(s['time']-first,mib(c['MemUsage'].split('/')[0])) for s in u['samples'] for c in s['containers'] if c['Name']==name]
|
||||
ax.plot([a for a,b in pairs],[b for a,b in pairs],'o-',label=name)
|
||||
ax.axhline(512,color='#B15E38',linestyle='--',label='Лимит одной API: 512 MiB')
|
||||
ax.set(xlabel='Время от первой выборки, с',ylabel='Docker working set, MiB',title='Память API: прогрев, загрузки и проверка оригиналов')
|
||||
ax.legend(fontsize=8);save(fig,'upload-memory')
|
||||
with (ROOT/'evidence/upload-summary.csv').open('w',newline='',encoding='utf-8') as f:
|
||||
writer=csv.DictWriter(f,fieldnames=list(u['runs'][0]));writer.writeheader();writer.writerows(u['runs'])
|
||||
summary={'uploads':[], 'cost':[],'sampled_memory_max_mib':{},'kernel_memory_peak_mib':{}}
|
||||
for size,vs in zip(sizes,groups):
|
||||
summary['uploads'].append({'size_bytes':size,'successful_rps_median':statistics.median(v['successful_rps'] for v in vs),'p50_seconds_median':statistics.median(v['p50_seconds'] for v in vs),'p95_seconds_median':statistics.median(v['p95_seconds'] for v in vs),'p99_seconds_median':statistics.median(v['p99_seconds'] for v in vs),'errors':sum(v['errors'] for v in vs),'attempts':sum(v['attempts'] for v in vs),'elapsed_seconds':sum(v['elapsed_seconds'] for v in vs)})
|
||||
for n in points:
|
||||
vs=[v for v in r['cost'] if v['extra_objects']==n]
|
||||
summary['cost'].append({'objects':vs[0]['counts']['objects_scanned'],'elapsed_median':statistics.median(v['elapsed_seconds'] for v in vs),'elapsed_min':min(v['elapsed_seconds'] for v in vs),'elapsed_max':max(v['elapsed_seconds'] for v in vs),'counts':vs[0]['counts']})
|
||||
for s in u['samples']:
|
||||
for c in s['containers']:
|
||||
name=c['Name'];summary['sampled_memory_max_mib'][name]=max(summary['sampled_memory_max_mib'].get(name,0),mib(c['MemUsage'].split('/')[0]))
|
||||
for c in u.get('cgroup_after',[]):summary['kernel_memory_peak_mib'][c['id']]=int(c['memory.peak'])/1048576
|
||||
(ROOT/'evidence/summary.json').write_text(json.dumps(summary,indent=2),encoding='utf-8')
|
||||
print(json.dumps(summary,indent=2))
|
||||
@@ -0,0 +1,56 @@
|
||||
# Собственные проверки лабораторной 4
|
||||
|
||||
Ляхонов Сергей, БВТ2301. Все данные синтетические, только отдельный Compose project `lyakhonov-lab4`.
|
||||
Команды выполнять из корня лабораторной 4. На Windows установить `$env:PYTHONUTF8='1'`.
|
||||
|
||||
## HTTP и отказы
|
||||
|
||||
```powershell
|
||||
python tests/smoke.py --base-url http://localhost:8084
|
||||
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
|
||||
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
|
||||
docker compose start api
|
||||
python student-tests/test_operations.py
|
||||
```
|
||||
|
||||
Последний тест сам останавливает и восстанавливает обе именно загрузившие API-реплики, затем S3 и весь стенд.
|
||||
Сохраняет реальные container IDs, StartedAt, SHA-256 и времена в evidence/operations.json. Тома не удаляет.
|
||||
При отсутствии S3 readiness исключает обе API из LB: после обнаружения недоступен весь API. Прежняя сессия проверяется после восстановления.
|
||||
|
||||
```powershell
|
||||
docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_attachments.py
|
||||
```
|
||||
|
||||
Проверяет PNG/JPEG, порчу, MIME, filename, размер/пиксели, ACL, чужой чат, семантику и конкурентность идемпотентности,
|
||||
приватный bucket и отсутствие административных/вне-prefix прав у приложения.
|
||||
Отправляет реальный оборванный HTTP body и временно ставит триггер только для нового тестового чата,
|
||||
чтобы отказать в INSERT после S3 PUT. Триггер снимается в finally. Если процесс аварийно убит,
|
||||
оператор должен снять lab4_test_failure перед продолжением; не запускать одновременно с другими тестами.
|
||||
Созданный orphan предназначен для следующей проверки сверки.
|
||||
|
||||
## Сверка и стоимость обхода
|
||||
|
||||
```powershell
|
||||
docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_reconcile.py
|
||||
```
|
||||
|
||||
Dry-run не меняет объекты/метаданные. Apply удаляет только старые orphan, пропускает активную блокировку и свежий объект.
|
||||
Missing/corrupt переводятся во внутреннее missing без удаления метаданных/ссылок сообщений.
|
||||
Неверные bytes не восстанавливают ready; корректный размер/SHA-256/MIME восстанавливают. Проверены повторный и два конкурентных запуска.
|
||||
В тесте grace=5 секунд, ожидание=6 секунд; обычный grace=3600 секунд, уменьшать на рабочем стенде не следует.
|
||||
Стоимость: добавляются 0/50/200 объектов по 1 KiB, по три dry-run с page_size=50 при неизменном наборе метаданных;
|
||||
сохраняются elapsed, LIST/HEAD/GET, проверенные bytes, число строк/страниц. Тестовые cost-объекты удаляются явно по своему уникальному prefix.
|
||||
|
||||
## Нагрузка загрузки
|
||||
|
||||
```powershell
|
||||
python scripts/run_upload_load.py
|
||||
```
|
||||
|
||||
Два PNG из фиксированного seed: 1024² и 1792² RGB, примерно 3 и 9.2 MiB. По одному прогреву на размер и по три партии
|
||||
из десяти одновременных загрузок через LB. Повторов POST нет. После партии скачиваются все подтверждённые оригиналы.
|
||||
Измерительное elapsed включает завершение запросов, но не последующее скачивание. p50/p95/p99 — только успешные запросы;
|
||||
при 10 наблюдениях хвостовые перцентили грубые, не production SLA. Closed-loop, coordinated omission не исправлена.
|
||||
Хост собирает Docker stats и kernel cgroup memory.peak до/после; peak включает всю жизнь этих контейнеров.
|
||||
Для отделения опыта от прежней активности сначала пересоздать только API (`docker compose up -d --no-deps --force-recreate api`), дождаться двух реплик.
|
||||
Генератор использует тот же образ/API resource limits, но отдельный одноразовый контейнер. Другие нагрузочные тесты одновременно не запускать.
|
||||
@@ -0,0 +1,82 @@
|
||||
"""Real two-store failures, dry-run, locking, grace period, retry and traversal cost."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
from client import Client,check
|
||||
from src.storage import storage
|
||||
from src.objects import client,BUCKET,object_lock
|
||||
from src.reconcile import reconcile
|
||||
|
||||
def keys(s3):
|
||||
return {o['Key'] for p in s3.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix='originals/') for o in p.get('Contents',[])}
|
||||
|
||||
def main():
|
||||
storage.pool.open(wait=True)
|
||||
s3=client(); c=Client('http://lb:8080',timeout=30)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
att,data=c.attachment(alice,chat)
|
||||
message=c.message(alice,chat,'used',attachments=[att['id']])['json']
|
||||
with storage.pool.connection() as conn:
|
||||
key=conn.execute('SELECT object_key FROM attachments WHERE id=%s',(att['id'],)).fetchone()['object_key']
|
||||
prefix='originals/research-'+uuid.uuid4().hex+'/'
|
||||
orphan=prefix+'old'; locked=prefix+'locked'; fresh=prefix+'fresh'
|
||||
for name in (orphan,locked): s3.put_object(Bucket=BUCKET,Key=name,Body=b'orphan')
|
||||
time.sleep(6)
|
||||
s3.put_object(Bucket=BUCKET,Key=fresh,Body=b'fresh')
|
||||
s3.delete_object(Bucket=BUCKET,Key=key) # metadata and used message survive missing bytes
|
||||
with storage.pool.connection() as conn:
|
||||
object_lock(conn,locked)
|
||||
before=keys(s3)
|
||||
with storage.pool.connection() as snapshot_conn:
|
||||
metadata_before=snapshot_conn.execute('SELECT id,state,updated_at FROM attachments ORDER BY id').fetchall()
|
||||
dry=reconcile(False,5,page_size=7)
|
||||
check(keys(s3)==before,'dry-run deleted an object')
|
||||
with storage.pool.connection() as snapshot_conn:
|
||||
check(snapshot_conn.execute('SELECT id,state,updated_at FROM attachments ORDER BY id').fetchall()==metadata_before,'dry-run changed metadata snapshot')
|
||||
with storage.pool.connection() as other:
|
||||
check(other.execute('SELECT state FROM attachments WHERE id=%s',(att['id'],)).fetchone()['state']=='ready','dry-run changed metadata')
|
||||
check(dry['counts'].get('locked_skipped',0)>=1,'in-flight lock ignored')
|
||||
s3.put_object(Bucket=BUCKET,Key=fresh,Body=b'fresh')
|
||||
applied=reconcile(True,5,page_size=7)
|
||||
remaining=keys(s3)
|
||||
check(orphan not in remaining,'old orphan not removed')
|
||||
check(locked in remaining and fresh in remaining,'fresh or locked object deleted')
|
||||
with storage.pool.connection() as conn:
|
||||
check(conn.execute('SELECT state FROM attachments WHERE id=%s',(att['id'],)).fetchone()['state']=='missing','missing not marked')
|
||||
check(conn.execute('SELECT count(*) AS n FROM message_attachments WHERE message_id=%s',(message['id'],)).fetchone()['n']==1,'used metadata removed')
|
||||
c.call('GET','/api/v1/attachments/'+att['id'],503,actor=bob)
|
||||
repeated=reconcile(True,5,page_size=7)
|
||||
check(repeated['counts'].get('metadata_marked_missing',0)==0,'not idempotent')
|
||||
s3.put_object(Bucket=BUCKET,Key=key,Body=b'corrupt',ContentType='image/png')
|
||||
corrupt=reconcile(True,5,page_size=7)
|
||||
check(corrupt['counts'].get('corrupt_objects',0)>=1,'corruption not found')
|
||||
c.call('GET','/api/v1/attachments/'+att['id'],503,actor=bob)
|
||||
s3.put_object(Bucket=BUCKET,Key=key,Body=data,ContentType='image/png')
|
||||
restored=reconcile(True,5,page_size=7)
|
||||
check(restored['counts'].get('metadata_restored',0)==1,'verified object not restored')
|
||||
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'restore changed bytes')
|
||||
# Two repeated concurrent workers must not delete referenced rows/objects.
|
||||
with ThreadPoolExecutor(max_workers=2) as pool:
|
||||
concurrent=list(pool.map(lambda _:reconcile(True,5,page_size=11),range(2)))
|
||||
check(key in keys(s3),'used object removed')
|
||||
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'concurrent reconciliation damaged data')
|
||||
# Fixed-seed count sweep, 3 dry runs per point, same image/data and resources.
|
||||
cost=[]; created=[]
|
||||
for count in (0,50,200):
|
||||
while len(created)<count:
|
||||
name=prefix+'cost-'+str(len(created)); s3.put_object(Bucket=BUCKET,Key=name,Body=b'x'*1024); created.append(name)
|
||||
for repeat in range(3):
|
||||
measurement=reconcile(False,3600,page_size=50)
|
||||
cost.append({'extra_objects':count,'repeat':repeat+1,**measurement})
|
||||
for name in created+[orphan,locked,fresh]: s3.delete_object(Bucket=BUCKET,Key=name)
|
||||
final=reconcile(True,3600,page_size=50)
|
||||
result={'result':'PASS','dry_run':dry,'apply':applied,'repeat':repeated,'corrupt':corrupt,'restored':restored,'concurrent':concurrent,'cost':cost,'final':final,'scope':'isolated lab4, metadata retained, no backup reconstruction claimed'}
|
||||
print(json.dumps(result))
|
||||
storage.pool.close()
|
||||
if __name__=='__main__': main()
|
||||
Reference in New Issue
Block a user