docs(storage): document consistency boundaries and reproducible checks
This commit is contained in:
@@ -31,3 +31,5 @@ contracts
|
||||
*.md
|
||||
Makefile
|
||||
compose.yaml
|
||||
|
||||
.work*
|
||||
|
||||
+3
-3
@@ -13,9 +13,9 @@ API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
S3_BUCKET=messenger
|
||||
S3_ACCESS_KEY_FILE=/run/secrets/s3_access_key
|
||||
S3_SECRET_KEY_FILE=/run/secrets/s3_secret_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
|
||||
|
||||
@@ -1,18 +1,15 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Маслов / БВТ2301
|
||||
Целевая оценка: 5
|
||||
Трек: 2 — согласованность PostgreSQL/S3
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Перенесена собственная база ЛР3: Bearer, ACL, PostgreSQL/Valkey, две API, HAProxy и идемпотентность сообщений. Добавлены private MinIO, синхронный upload201ready, byte/pixel/MIME/filename limits, авторизованный streaming download, atomic Message links, durable pending intent и dry-run/apply reconciler с grace≥300s.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`. Полные команды и архитектура — [REPORT.md](../REPORT.md), [SCHEMA.md](../SCHEMA.md).
|
||||
|
||||
Результаты runtime-проверок собираются; этот промежуточный шаблон должен быть обновлён после выполнения HTTP/storage/cluster/clean-clone сценариев. Контракт/публичные tests сохранены. Статический check/полная OpenAPI validation/lint прошли.
|
||||
|
||||
Ограничения: один host, LB/PG/S3 — SPOF; HEAD не заменяет periodic checksum audit; inventory reconciler O(objects+rows); удалённый CI не подтверждён.
|
||||
|
||||
Источники: актуальное задание/контракты, собственная ЛР3, официальные библиотеки и исходники MinIO/mc. При разработке кода, тестов и отчёта использовалась помощь ИИ; результаты измерений получаются реальными командами.
|
||||
|
||||
@@ -0,0 +1,23 @@
|
||||
name: Application integration
|
||||
on: [push, pull_request, workflow_dispatch]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 60
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: astral-sh/setup-uv@v6
|
||||
with:
|
||||
version: 0.13.7
|
||||
- run: uv sync --locked
|
||||
- run: make bootstrap check validate lint PYTHON=.venv/bin/python
|
||||
- run: VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
|
||||
- run: make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
|
||||
env:
|
||||
NO_PROXY: localhost,127.0.0.1
|
||||
no_proxy: localhost,127.0.0.1
|
||||
- run: make verify VERIFY_OUTPUT=evidence/storage-ci.json
|
||||
- if: always()
|
||||
run: docker compose down --volumes --remove-orphans
|
||||
@@ -1,37 +1,167 @@
|
||||
# Отчёт — лабораторная 4
|
||||
# Лабораторная 4 — Маслов, БВТ2301
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Цель — **5, трек 2: согласованность PostgreSQL и S3**. Основа — собственная
|
||||
реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL,
|
||||
keyset pagination, общий Idempotency-Key, HAProxy и две независимые API.
|
||||
Добавлены приватный S3, вложения и повторяемый reconciler.
|
||||
|
||||
Публикация и окончательные результаты будут внесены после проверок.
|
||||
Сейчас завершены реализация и статические проверки; runtime-доказательства
|
||||
ещё собираются. Этот промежуточный статус не является заявлением PASS.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv.
|
||||
Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host).
|
||||
Первичная компиляция MinIO/клиента требует сеть и время; Go parallelism
|
||||
ограничен двумя потоками, зависимости и компилятор используют BuildKit cache.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
uv sync --locked
|
||||
make bootstrap
|
||||
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
|
||||
make check validate lint PYTHON=.venv/bin/python
|
||||
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
|
||||
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
|
||||
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
`bootstrap` создаёт отсутствующие `.env`/secret files, существующие сохраняет.
|
||||
Secret directory имеет mode 0700; files читаются непривилегированными UID
|
||||
контейнеров через read-only mounts. Их значения не должны попадать в Git.
|
||||
Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку
|
||||
с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy
|
||||
и переносит повторный запуск. После этого две API, reconciler и LB.
|
||||
|
||||
## Доказательства критериев
|
||||
URL стенда: `http://127.0.0.1:8084`. API/S3/PG/cache не имеют host ports.
|
||||
Безопасная остановка: `docker compose down` (volumes остаются).
|
||||
Намеренное удаление **данных только текущего учебного проекта**:
|
||||
`docker compose down --volumes`; это не обычный restart.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
```sh
|
||||
# Dry-run: без изменений
|
||||
docker compose run --rm --no-deps reconciler python -m src.reconcile
|
||||
# Оператор явно разрешает изменения
|
||||
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
|
||||
# Реальные рестарты всех state services, с прежними volumes
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084
|
||||
```
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Не запускать fault scripts параллельно друг с другом или HTTP pytest:
|
||||
они намеренно останавливают реальные сервисы и временно устанавливают
|
||||
PostgreSQL triggers. Все их пользователи/картинки синтетические.
|
||||
Evidence filename должен быть новым, предыдущие результаты сохраняются.
|
||||
|
||||
## Эксперименты и отказы
|
||||
## Версии и ограничения ресурсов
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile:
|
||||
Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3,
|
||||
HAProxy 3.2.1 alpine. MinIO собирается из commit
|
||||
`9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a`, release
|
||||
`2025-10-15T17-29-55Z`; mc — из
|
||||
`7394ce0dd2a80935aded936b09fa12cbb3cb8096` (2025-08-13).
|
||||
Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы.
|
||||
Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Процесс | CPU | RAM |
|
||||
| --- | --- | --- |
|
||||
| Каждая из двух API | 0.5 | 768 MiB |
|
||||
| PostgreSQL | 1 | 512 MiB |
|
||||
| MinIO | 1 | 1024 MiB |
|
||||
| Valkey | 0.25 | 128 MiB |
|
||||
| HAProxy | 0.5 | 128 MiB |
|
||||
| Reconciler | 0.25 | 256 MiB |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
API: read-only root, UID 10001, no capabilities, no-new-privileges,
|
||||
128 PIDs, bounded `/tmp` tmpfs 128 MiB. At most two uploads/process,
|
||||
одна декодируемая картинка/process. Spooled file после 1 MiB переносится в
|
||||
tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат
|
||||
содержимого, фактический decode, filename; SHA-256 считается на входе.
|
||||
S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget
|
||||
4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не
|
||||
прерывает нативный decode, поэтому существенны также pixel/RAM limits.
|
||||
Download передаёт chunks 64 KiB с закрытием S3 connection.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
`.env.example`: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/
|
||||
SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file
|
||||
names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose;
|
||||
endpoint `s3:9000`, region us-east-1, bucket messenger, byte/pixel limits и
|
||||
24 h idempotency заданы сервером. Это фиксированные параметры реализации,
|
||||
логические подсказки skeleton не делают их автоматически настраиваемыми.
|
||||
Сессии — PostgreSQL; Valkey хранит только disposable user cache.
|
||||
|
||||
## Архитектура и критерии
|
||||
|
||||
Подробные переходы и схема: [SCHEMA.md](SCHEMA.md).
|
||||
`src/attachments.py` коммитит pending intent **до PUT**, затем ready;
|
||||
201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет.
|
||||
Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и
|
||||
вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.
|
||||
|
||||
Таблица наблюдений и ссылки на evidence будут заполнены после выполнения
|
||||
storage, cluster, HTTP и clean-clone проверок.
|
||||
|
||||
## Методика исследования
|
||||
|
||||
Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой
|
||||
исправлять окна отказов PG/S3 без удаления свежих/используемых bytes.
|
||||
Полный обход имеет линейную стоимость по числу объектов и metadata.
|
||||
|
||||
`scripts/verify_storage.py --research`: реальные отказы INSERT/ready UPDATE
|
||||
через временные PG triggers, недоступность S3, abort HTTP, отсутствие
|
||||
используемого оригинала, old orphan и fresh orphan. Объект orphan реально
|
||||
стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply.
|
||||
Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run
|
||||
на одном стенде, без warmup, последовательно по возрастанию; учитываются
|
||||
objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода,
|
||||
не измерение максимальной пропускной способности S3. Dataset создаётся под
|
||||
уникальным test prefix и удаляется только в своей области.
|
||||
|
||||
10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700,
|
||||
каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS,
|
||||
cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat
|
||||
до/после. Duration/RPS включают downloads и sampler; latency — upload only.
|
||||
memory.peak может включать прежние запросы, поэтому отдельно показан
|
||||
максимум memory.current в окне. Небольшая серия не является production SLA.
|
||||
|
||||
## Вопросы защиты
|
||||
|
||||
**Почему volume API не равно S3?** Volume принадлежит контейнеру/host и сам
|
||||
по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и
|
||||
независимый lifecycle. В этой реализации у API вообще нет persistent volume;
|
||||
другая реплика читает общий S3 по metadata PostgreSQL.
|
||||
|
||||
**Когда можно вернуть 201?** После фактической проверки изображения,
|
||||
успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать
|
||||
201. Клиент может потерять ответ после успешной записи; upload не имеет
|
||||
Idempotency-Key, поэтому слепой повтор может создать другое вложение.
|
||||
|
||||
**PUT прошёл, COMMIT не прошёл?** Уже есть durable pending intent. После
|
||||
grace reconciler проверяет размер/checksum и переводит в ready. При
|
||||
отсутствующих/других bytes ставит internal failed. Очищать файл вслепую
|
||||
при неизвестном результате COMMIT опасно. Восстановление уже пропавших
|
||||
bytes только из checksum невозможно.
|
||||
|
||||
**Почему случайный key/private bucket не заменяют ACL?** Пользователи
|
||||
могут узнать ID из сообщения; key не доказывает membership. Каждый GET
|
||||
сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404.
|
||||
Private bucket защищает обход API; application IAM ограничивает последствия
|
||||
ошибок backend, но не принимает пользовательские решения о доступе.
|
||||
|
||||
## Источники, помощь и границы
|
||||
|
||||
Использованы задание и неизменённые контракты текущего репозитория,
|
||||
собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow,
|
||||
[исходники MinIO](https://github.com/minio/minio),
|
||||
[исходники mc](https://github.com/minio/mc),
|
||||
[S3 uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html).
|
||||
При проектировании, написании кода, тестов и отчёта использована помощь ИИ;
|
||||
фактические результаты должны подтверждаться сохранёнными командами.
|
||||
Код и данные других студентов не использовались.
|
||||
|
||||
Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска,
|
||||
backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum
|
||||
на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed
|
||||
сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии.
|
||||
CI workflow приложен; удалённый запуск не подтверждён.
|
||||
|
||||
@@ -0,0 +1,76 @@
|
||||
# Бинарные данные и два независимых хранилища
|
||||
|
||||
```mermaid
|
||||
flowchart LR
|
||||
C[Клиент] --> L[HAProxy :8084]
|
||||
L --> A[API × 2]
|
||||
A --> P[(PostgreSQL)]
|
||||
A --> S[(Приватный MinIO)]
|
||||
A --> V[(Valkey: кэш пользователей)]
|
||||
R[Reconciler: 60 секунд] --> P
|
||||
R --> S
|
||||
```
|
||||
|
||||
`users/chats/members/messages/sessions/idempotency` перенесены из собственной
|
||||
ЛР3. Новые таблицы: `attachments` и `message_attachments`. Состав участников
|
||||
чата неизменяемый. PostgreSQL хранит metadata и ACL, S3 — оригинальные bytes.
|
||||
Временный файл в API ограничен размером, удаляется при закрытии запроса и
|
||||
не является источником истины. API-процессы не обмениваются локальными файлами.
|
||||
|
||||
```mermaid
|
||||
sequenceDiagram
|
||||
participant C as Клиент
|
||||
participant A as API
|
||||
participant P as PostgreSQL
|
||||
participant S as S3
|
||||
C->>A: Bearer, filename, PNG/JPEG bytes
|
||||
A->>A: ACL, лимиты bytes/pixels, decode, SHA-256
|
||||
A->>P: COMMIT pending intent, UUID/key, срок 120 с
|
||||
A->>S: PUT оригинала
|
||||
A->>P: COMMIT ready при действующем намерении
|
||||
A-->>C: 201 ready
|
||||
```
|
||||
|
||||
Общей транзакции PostgreSQL+S3 нет. Если INSERT намерения не прошёл, PUT не
|
||||
выполняется. Если PUT не прошёл, остаётся pending без объекта. Если PUT
|
||||
прошёл, а ready UPDATE/COMMIT нет, остаётся pending с bytes. Неопределённый
|
||||
результат COMMIT нельзя исправлять безусловным DELETE файла: COMMIT мог
|
||||
успешно завершиться, хотя клиент потерял ответ.
|
||||
|
||||
Reconciler по умолчанию выполняет **dry-run**. `--apply` разрешает изменения.
|
||||
Автоматический процесс запускает apply каждые 60 секунд. Grace не менее
|
||||
300 секунд; возраст берётся из PostgreSQL clock и S3 LastModified.
|
||||
|
||||
| Состояние | Действие после grace |
|
||||
| --- | --- |
|
||||
| Объект без metadata | Повторная проверка metadata и HEAD; удалить старый orphan |
|
||||
| pending + корректные размер/SHA-256 bytes | ready |
|
||||
| pending без bytes / с другим размером/checksum | failed с безопасной причиной |
|
||||
| ready с bytes, включая файл без Message | Сохранить |
|
||||
| ready без bytes | failed, сохранить ID, metadata и Message links |
|
||||
| failed, связанный с Message | Сохранить |
|
||||
| failed без Message со старым объектом | Повторно проверить свежесть HEAD; удалить bytes |
|
||||
| Свежий объект | Сохранить |
|
||||
| AccessDenied / 5xx / network error | Завершить проход с ошибкой; не считать объект отсутствующим |
|
||||
|
||||
Во внешнем контракте ЛР4 Attachment имеет только статус `ready`. Внутренние
|
||||
pending/failed возвращают `409 conflict`, после проверки ACL. ЛР5 меняет
|
||||
этот контракт на четыре публичных состояния и требует другого обработчика.
|
||||
|
||||
Связь Message↔Attachment вставляется в одной PostgreSQL-транзакции с Message
|
||||
и Idempotency-Key. Композитные FK проверяют одинаковый chat_id; FOR SHARE
|
||||
на вложении защищает проверку ready от конкурентного изменения состояния.
|
||||
Несколько сообщений могут использовать одно вложение своего чата.
|
||||
|
||||
S3 app-user разрешены ListBucket/GetBucketLocation и object CRUD только
|
||||
`messenger/objects/*`. Root credentials доступны лишь серверу и bootstrap.
|
||||
Bucket private, S3-порт не опубликован на host, console слушает container
|
||||
loopback. Авторизованный download проксируется через API; случайный key
|
||||
не заменяет проверку membership.
|
||||
|
||||
Ограничения: полный LIST и выборка metadata имеют стоимость O(objects+rows)
|
||||
и линейную память reconciler. Ready-проверка использует HEAD, не полный
|
||||
периодический аудит битовой целостности. Metadata failed сохраняются для
|
||||
диагностики. Reconciler обнаруживает пропажу bytes, но не восстанавливает
|
||||
данные из checksum. Единственный Docker-host, LB, PostgreSQL и MinIO —
|
||||
общие точки отказа; репликация API этого не устраняет.
|
||||
+5
-2
@@ -3,8 +3,11 @@ ENV CGO_ENABLED=0 GOMAXPROCS=2 GOFLAGS=-p=2 GOTOOLCHAIN=local
|
||||
|
||||
FROM toolchain AS minio-build
|
||||
WORKDIR /source
|
||||
RUN git init . && git remote add origin https://github.com/minio/minio.git && \
|
||||
git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a && git checkout --detach FETCH_HEAD
|
||||
RUN curl --http1.1 -fsSL --connect-timeout 10 --max-time 1800 --retry 2 \
|
||||
--speed-time 60 --speed-limit 1024 \
|
||||
https://codeload.github.com/minio/minio/tar.gz/9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
|
||||
-o /tmp/source.tgz && \
|
||||
tar xzf /tmp/source.tgz --strip-components=1 && rm /tmp/source.tgz
|
||||
RUN --mount=type=cache,target=/go/pkg/mod,sharing=locked \
|
||||
--mount=type=cache,target=/root/.cache/go-build,sharing=locked \
|
||||
go build -trimpath -ldflags='-s -w -X github.com/minio/minio/cmd.Version=2025-10-15T17:29:55Z -X github.com/minio/minio/cmd.ReleaseTag=RELEASE.2025-10-15T17-29-55Z -X github.com/minio/minio/cmd.CommitID=9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a' -o /out/minio .
|
||||
|
||||
@@ -0,0 +1,58 @@
|
||||
"""Plot only measured storage evidence; no reconstructed timing samples."""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
import matplotlib
|
||||
|
||||
matplotlib.use("Agg")
|
||||
import matplotlib.pyplot as plt
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("input")
|
||||
parser.add_argument("--output", default="evidence/storage-research.png")
|
||||
args = parser.parse_args()
|
||||
data = json.loads(Path(args.input).read_text())
|
||||
assert data["complete"]
|
||||
series = data["cost_research"]
|
||||
fig, axes = plt.subplots(1, 2, figsize=(11, 4), layout="constrained")
|
||||
for cell in series["cells"]:
|
||||
axes[0].scatter(
|
||||
cell["objects_scanned"],
|
||||
cell["duration_seconds"],
|
||||
color="#176b87",
|
||||
alpha=0.65,
|
||||
)
|
||||
axes[0].set(
|
||||
xlabel="Objects scanned (including real attachments)",
|
||||
ylabel="Dry-run duration, seconds",
|
||||
title="Inventory cost: 3 repeats per dataset",
|
||||
)
|
||||
measured = data["concurrent_uploads"]
|
||||
ids = sorted({s["container"] for s in measured["memory_samples"]})
|
||||
for i, cid in enumerate(ids):
|
||||
points = [
|
||||
s for s in measured["memory_samples"] if s["container"] == cid
|
||||
]
|
||||
axes[1].plot(
|
||||
[s["at"] for s in points],
|
||||
[s["memory.current"] / 2**20 for s in points],
|
||||
label=f"API {i + 1} cgroup current",
|
||||
)
|
||||
axes[1].set(
|
||||
xlabel="Time, seconds",
|
||||
ylabel="Memory, MiB",
|
||||
title="10 simultaneous uploads, verified downloads",
|
||||
)
|
||||
axes[1].legend(fontsize=8)
|
||||
for ax in axes:
|
||||
ax.grid(alpha=0.2)
|
||||
fig.savefig(args.output, dpi=160)
|
||||
print("Saved measured inventory and memory figure")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -182,6 +182,9 @@ def main():
|
||||
"complete": False,
|
||||
}
|
||||
ready()
|
||||
from scripts.verify_cluster import snapshot
|
||||
|
||||
result["runtime"] = snapshot()
|
||||
compose("stop", "reconciler")
|
||||
orphan = "objects/verification-" + uuid4().hex + "/orphan"
|
||||
fresh = "objects/verification-" + uuid4().hex + "/fresh"
|
||||
@@ -209,6 +212,14 @@ def main():
|
||||
r = upload(client, session, chat)
|
||||
assert r.status_code == 201
|
||||
saved, uploader = r.json(), r.headers["x-instance-id"]
|
||||
failed_old = upload(client, session, chat).json()
|
||||
sql(
|
||||
"UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='"
|
||||
+ failed_old["id"]
|
||||
+ "'"
|
||||
)
|
||||
age(failed_old["id"])
|
||||
grace_started = time.monotonic()
|
||||
target = next(
|
||||
c
|
||||
for c in cluster.containers()
|
||||
@@ -241,7 +252,12 @@ def main():
|
||||
)
|
||||
ready()
|
||||
private_code = f"""
|
||||
from src.errors import DomainError
|
||||
checks={{}}
|
||||
try:
|
||||
s.head(key='forbidden'); raise AssertionError('HEAD outside IAM prefix')
|
||||
except DomainError as e:
|
||||
assert e.status==503; checks['denied_head_is_not_missing']=e.status
|
||||
try:
|
||||
urllib.request.urlopen('http://s3:9000/messenger/{key(saved["id"])}',timeout=3)
|
||||
raise AssertionError('public object')
|
||||
@@ -367,17 +383,26 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
|
||||
age(used["id"])
|
||||
age(saved["id"])
|
||||
result["concurrent_uploads"] = concurrency(client, session, chat)
|
||||
while time.monotonic() - orphan_started < 302:
|
||||
while time.monotonic() - grace_started < 302:
|
||||
print(
|
||||
"Waiting for genuine S3 LastModified grace: "
|
||||
+ str(round(302 - (time.monotonic() - orphan_started)))
|
||||
+ str(round(302 - (time.monotonic() - grace_started)))
|
||||
+ "s",
|
||||
flush=True,
|
||||
)
|
||||
time.sleep(min(20, 302 - (time.monotonic() - orphan_started)))
|
||||
time.sleep(
|
||||
min(20, max(0, 302 - (time.monotonic() - grace_started)))
|
||||
)
|
||||
inside(
|
||||
f"s.put(key={fresh!r},stream=io.BytesIO(b'fresh'),size=5,content_type='application/octet-stream',sha256=hashlib.sha256(b'fresh').hexdigest()); print('true')"
|
||||
)
|
||||
failed_fresh = upload(client, session, chat).json()
|
||||
sql(
|
||||
"UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='"
|
||||
+ failed_fresh["id"]
|
||||
+ "'"
|
||||
)
|
||||
age(failed_fresh["id"])
|
||||
before_states = [
|
||||
state(i)
|
||||
for i in [pending, missing_pending, used["id"], saved["id"]]
|
||||
@@ -395,6 +420,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
|
||||
"fail_pending_missing",
|
||||
"mark_missing",
|
||||
"delete_orphan",
|
||||
"delete_failed_object",
|
||||
]:
|
||||
assert dry["actions"].get(action, 0) >= 1, dry
|
||||
applied = run_reconcile(True)
|
||||
@@ -430,6 +456,9 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
|
||||
assert inside(
|
||||
f"print(json.dumps(s.head(key={orphan!r}) is None and s.head(key={fresh!r}) is not None and s.head(key={key(saved['id'])!r}) is not None))"
|
||||
)
|
||||
assert inside(
|
||||
f"print(json.dumps(s.head(key={key(failed_old['id'])!r}) is None and s.head(key={key(failed_fresh['id'])!r}) is not None))"
|
||||
)
|
||||
repeat = run_reconcile(True)
|
||||
assert not repeat["applied"].get("delete_orphan")
|
||||
assert repeat["linked_protected"] >= 1
|
||||
@@ -441,6 +470,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
|
||||
time.monotonic() - orphan_started, 3
|
||||
),
|
||||
"fresh_and_ready_unlinked_protected": True,
|
||||
"old_failed_unlinked_deleted_and_fresh_failed_protected": True,
|
||||
"missing_used_id_and_link_preserved": True,
|
||||
"dry_run_unchanged": True,
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user