From c82383e72dbfa60114f09f5bda2892d5f505766a Mon Sep 17 00:00:00 2001 From: Sunrise443 Date: Thu, 12 Nov 2026 18:37:11 +0300 Subject: [PATCH] better report --- REPORT.md | 90 ++++++++++++++++----------------- evidence/failover.txt | 26 ++++++++++ evidence/persistence.txt | 23 +++++++++ evidence/reconcile-apply.json | 34 +++++++++---- evidence/reconcile-dry-run.json | 32 +++++++++--- scripts/restart.sh | 0 scripts/stop-one.sh | 0 7 files changed, 143 insertions(+), 62 deletions(-) create mode 100644 evidence/failover.txt create mode 100644 evidence/persistence.txt mode change 100644 => 100755 scripts/restart.sh mode change 100644 => 100755 scripts/stop-one.sh diff --git a/REPORT.md b/REPORT.md index 82f3916b..1aa18106 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,9 +1,9 @@ # Отчёт — лабораторная 4 -- Автор, группа: Sunrise443 (указать группу) -- Целевая оценка; выбранный трек 5, если нужен: **5**; трек 2, согласованность PostgreSQL и S3 -- Commit/PR: TODO после публикации (рабочее дерево поверх `c594b88`) -- Использованные источники, библиотеки и помощь ИИ: OpenAPI/семантика курса; документация MinIO, boto3, HAProxy 3.2; FastAPI/Starlette; реализация с помощью Cursor (Grok) +- Автор, группа: Тимаева М.П., БПИ2302 +- Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 +- Commit/PR: TODO +- Использованные источники, библиотеки и помощь ИИ: OpenAPI/семантика курса; документация MinIO, boto3, HAProxy 3.2; FastAPI/Starlette; Cursor помогал переносить старый код в новый репозиторий и с составление отчетов ## Запуск из чистого clone @@ -28,15 +28,15 @@ docker compose --env-file .env down -v Образы (закреплены тегом+digest в `compose.yaml` / `Dockerfile`): -| Роль | Service | Образ | Volume | Сеть | Порт на host | Credentials | -| --- | --- | --- | --- | --- | --- | --- | -| LB | lb | haproxy:3.2.26-alpine@sha256:96ec… | — | edge | 127.0.0.1 / ::1 `LB_PORT` | нет | -| API | api ×2 | messenger-lab4-app (python:3.14.8-slim) | нет оригиналов | edge+data | нет | DB и S3 из secret files uid 10001 | -| PostgreSQL | postgres | postgres:16.10-alpine@sha256:0296… | pgdata | data (internal) | нет | POSTGRES_PASSWORD_FILE | -| S3 | minio | minio RELEASE.2025-09-07…@sha256:14ce… | miniodata | data, alias `s3` | нет | root только у minio-init | -| Bootstrap | minio-init | тот же MinIO + `infra/minio/bootstrap.sh` | — | data | — | root + API keys | -| Сверка | reconcile (profile `ops`) | тот же app image | — | data | — | те же API S3 keys | -| Private probe | check-private-bucket (profile `ops`) | тот же MinIO | — | data | — | root + API keys | +| Роль | Service | Образ | Volume | Сеть | Порт на host | Credentials | +| ------------- | ------------------------------------ | ----------------------------------------- | -------------- | ---------------- | ------------------------- | --------------------------------- | +| LB | lb | haproxy:3.2.26-alpine@sha256:96ec… | — | edge | 127.0.0.1 / ::1 `LB_PORT` | нет | +| API | api ×2 | messenger-lab4-app (python:3.14.8-slim) | нет оригиналов | edge+data | нет | DB и S3 из secret files uid 10001 | +| PostgreSQL | postgres | postgres:16.10-alpine@sha256:0296… | pgdata | data (internal) | нет | POSTGRES_PASSWORD_FILE | +| S3 | minio | minio RELEASE.2025-09-07…@sha256:14ce… | miniodata | data, alias `s3` | нет | root только у minio-init | +| Bootstrap | minio-init | тот же MinIO + `infra/minio/bootstrap.sh` | — | data | — | root + API keys | +| Сверка | reconcile (profile `ops`) | тот же app image | — | data | — | те же API S3 keys | +| Private probe | check-private-bucket (profile `ops`) | тот же MinIO | — | data | — | root + API keys | Локально на этой машине `LB_PORT=8084`, потому что 8080 занят стендом lab3. @@ -56,19 +56,19 @@ Upload не держит весь файл в Python heap: чанки счита ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8084` | PASS lab4 public API | [evidence/smoke.txt](evidence/smoke.txt) | -| S3 в стенде, байты не в БД/диске API | compose: minio без host ports, API без volume оригиналов, ключ `originals/{uuid}` | minio ports `[]`, API не публикует 9000 | [evidence/compose-minio-exposure.json](evidence/compose-minio-exposure.json) | -| PNG/JPEG ≤10 MiB / 40M px, MIME по содержимому | smoke fixture + negative suite | 201 на sample.png; 413/415 на отказ | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) | -| Другая реплика / restart volumes | `scripts/restart.sh`, `scripts/stop-one.sh` (уровень 3, сохранено) | hook перезапускает postgres+minio+api+lb; stop-one гасит одну реплику | scripts/restart.sh, scripts/stop-one.sh | -| Негативные вложения, не 500 | `make test-attachments BASE_URL=http://localhost:8084` | oversized CL и chunked → 413; corrupt/MIME spoof → 415; pixel bomb → 413; чужой id и чужой чат → 404 | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) | -| Компенсация / сверка / grace | `docker compose --profile ops run --rm reconcile --seed-orphan` затем `--apply --grace-seconds 0` | dry-run: сирота в `orphans_protected_by_grace`; apply: ключ удалён; живые originals не тронуты | [evidence/reconcile-dry-run.json](evidence/reconcile-dry-run.json), [evidence/reconcile-apply.json](evidence/reconcile-apply.json) | -| RAM, ≥10 одновременных upload | `python scripts/upload_mem.py --base-url http://localhost:8084` | 10/10 ок, ~1.9 MiB PNG, пик RSS api 93.66 MiB при лимите 256M (N×size ≈ 19 MiB) | [evidence/upload-concurrency.json](evidence/upload-concurrency.json) | -| Идемпотентный bootstrap | два `docker compose --env-file .env run --rm --no-deps minio-init` | оба: `bucket messenger-attachments is private`, exit 0 | [evidence/minio-init-rerun.txt](evidence/minio-init-rerun.txt) | -| Узкие S3 creds, консоль закрыта, private bucket вне API | `python scripts/check_private_bucket.py` | anonymous GET 403; API user не листит чужой bucket; MINIO_BROWSER=off; нет host ports; не в edge | [evidence/private-bucket.txt](evidence/private-bucket.txt) | -| Трек 2: обе стороны, dry-run, повтор, защита | `make reconcile-track2` | `ok: true`. Grace 900 не удалил свежий orphan и свежую непривязанную строку; привязанная строка без объекта осталась. После сдвига `created_at` на 2 ч `--apply` удалил только её, второй прогон пуст. Grace 0 после preflight удалил только посеянный orphan; повтор снова пуст. SHA-256 здорового объекта совпал со строкой | [evidence/reconcile-track2.json](evidence/reconcile-track2.json) | -| Трек 2: стоимость обхода | тот же прогон, `--bench 10,100,400` | 51 ключ: list объектов 13 ms; 141 ключ: 180 ms; 441 ключ: 75 ms. Метаданные 1–5 ms. Свои ключи бенча удалены, в `--apply` не передавались | [evidence/reconcile-walk.json](evidence/reconcile-walk.json) | +| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| ------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- | +| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8084` | PASS lab4 public API | [evidence/smoke.txt](evidence/smoke.txt) | +| S3 в стенде, байты не в БД/диске API | compose: minio без host ports, API без volume оригиналов, ключ `originals/{uuid}` | minio ports `[]`, API не публикует 9000 | [evidence/compose-minio-exposure.json](evidence/compose-minio-exposure.json) | +| PNG/JPEG ≤10 MiB / 40M px, MIME по содержимому | smoke fixture + negative suite | 201 на sample.png; 413/415 на отказ | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) | +| Другая реплика / restart volumes | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, BASE_URL `http://127.0.0.1:8084` | persistence: PASS, тот же токен и тот же оригинал; id контейнеров не сменились, StartedAt обновился у postgres, minio, обеих API и LB. failover: 2 реплики до отказа, 128 успешных записей, 0 ошибок, восстановление за 5.699 с; api-2 осталась exited, postgres/minio/lb/api-1 не перезапускались | [evidence/persistence.txt](evidence/persistence.txt), [evidence/failover.txt](evidence/failover.txt) | +| Негативные вложения, не 500 | `make test-attachments BASE_URL=http://localhost:8084` | oversized CL и chunked → 413; corrupt/MIME spoof → 415; pixel bomb → 413; чужой id и чужой чат → 404 | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) | +| Компенсация / сверка / grace | `docker compose --profile ops run --rm -T reconcile --seed-orphan`, затем `--apply --grace-seconds 0` | dry-run, grace 900: посеянный ключ в `orphans_protected_by_grace`, `deleted` пуст. apply, grace 0: удалён только `originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab`. Строка сообщения без объекта осталась в `missing_in_use`, ключи вне `originals/` — в `ignored_outside_prefix` | [evidence/reconcile-dry-run.json](evidence/reconcile-dry-run.json), [evidence/reconcile-apply.json](evidence/reconcile-apply.json) | +| RAM, ≥10 одновременных upload | `python scripts/upload_mem.py --base-url http://localhost:8084` | 10/10 ок, ~1.9 MiB PNG, пик RSS api 93.66 MiB при лимите 256M (N×size ≈ 19 MiB) | [evidence/upload-concurrency.json](evidence/upload-concurrency.json) | +| Идемпотентный bootstrap | два `docker compose --env-file .env run --rm --no-deps minio-init` | оба: `bucket messenger-attachments is private`, exit 0 | [evidence/minio-init-rerun.txt](evidence/minio-init-rerun.txt) | +| Узкие S3 creds, консоль закрыта, private bucket вне API | `python scripts/check_private_bucket.py` | anonymous GET 403; API user не листит чужой bucket; MINIO_BROWSER=off; нет host ports; не в edge | [evidence/private-bucket.txt](evidence/private-bucket.txt) | +| Трек 2: обе стороны, dry-run, повтор, защита | `make reconcile-track2` | `ok: true`. Grace 900 не удалил свежий orphan и свежую непривязанную строку; привязанная строка без объекта осталась. После сдвига `created_at` на 2 ч `--apply` удалил только её, второй прогон пуст. Grace 0 после preflight удалил только посеянный orphan; повтор снова пуст. SHA-256 здорового объекта совпал со строкой | [evidence/reconcile-track2.json](evidence/reconcile-track2.json) | +| Трек 2: стоимость обхода | тот же прогон, `--bench 10,100,400` | 51 ключ: list объектов 13 ms; 141 ключ: 180 ms; 441 ключ: 75 ms. Метаданные 1–5 ms. Свои ключи бенча удалены, в `--apply` не передавались | [evidence/reconcile-walk.json](evidence/reconcile-walk.json) | ## Эксперименты и отказы @@ -79,28 +79,28 @@ Upload не держит весь файл в Python heap: чанки счита Результат обхода: [evidence/reconcile-walk.json](evidence/reconcile-walk.json). К уже лежавшим ~41 ключам добавлялись 10, 100 и 400 объектов, каждый набор удалялся по списку своих ключей. | Посеяно | Ключей в list | list объектов, ms | list метаданных, ms | весь проход, ms | -| --- | ---: | ---: | ---: | ---: | -| 10 | 51 | 13 | 5 | 24 | -| 100 | 141 | 180 | 1 | 188 | -| 400 | 441 | 75 | 2 | 82 | +| ------- | ------------: | ----------------: | ------------------: | --------------: | +| 10 | 51 | 13 | 5 | 24 | +| 100 | 141 | 180 | 1 | 188 | +| 400 | 441 | 75 | 2 | 82 | Верхняя граница подтвердилась: все три прохода короче 200 ms. Линейный рост на этих трёх точках не подтвердился: 441 ключ обошёлся дешевле 141. `SELECT` оставался в единицах миллисекунд. Ограничение замера: один прогон, время boto/MinIO внутри compose, `elapsed_ms` включает ещё и `ListMultipartUploads`. Это не стоимость обхода миллиона ключей. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| Content-Length > 10 MiB | 413 на LB, тело не читается | 413 `payload_too_large` | нет записи | -| Chunked тело > 10 MiB | 413 на API по счётчику чанков | 413 `payload_too_large` | нет объекта | -| Повреждённый PNG/JPEG, подмена MIME | 415 | 415 `unsupported_media_type` | нет объекта | -| IHDR 10000×5000 (50M px) | 413 до decode | 413 | нет объекта | -| GET чужого attachment_id | 404, без утечки | 404 `not_found` | — | -| attachment_id другого чата в POST message | 404 | 404 | сообщение не создано | -| S3 PUT прошёл, INSERT нет | компенсация DELETE; иначе orphan до сверки | `_discard_object`; сирота удаляется `--apply` после grace | объект без метаданных не вечный | -| Объект есть, строки нет, объект моложе grace | не удалять | age 0 остался в `orphans_protected_by_grace` при `--apply` | объект на месте | -| Строка есть, объекта нет, строка в сообщении | не удалять даже при grace 0 | осталась в `missing_in_use`; `metadata_deleted` её не содержит | строка на месте, байтов нет | -| Строка есть, объекта нет, строка старше grace и не в сообщении | удалить строку; повтор пуст | удалена одна строка с age 7200; второй `--apply` пуст | строка снята | -| Grace 0 при чужом orphan | не удалять ничего | preflight сравнивает `orphans_stale` с посеянным ключом | в этом прогоне чужих не было, удаление прошло | -| Повтор minio-init | no-op, bucket private | два exit 0 | нет | -| Unauthenticated GET объекта | 403 мимо API | 403 | — | +| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +| -------------------------------------------------------------- | ------------------------------------------ | -------------------------------------------------------------- | --------------------------------------------- | +| Content-Length > 10 MiB | 413 на LB, тело не читается | 413 `payload_too_large` | нет записи | +| Chunked тело > 10 MiB | 413 на API по счётчику чанков | 413 `payload_too_large` | нет объекта | +| Повреждённый PNG/JPEG, подмена MIME | 415 | 415 `unsupported_media_type` | нет объекта | +| IHDR 10000×5000 (50M px) | 413 до decode | 413 | нет объекта | +| GET чужого attachment_id | 404, без утечки | 404 `not_found` | — | +| attachment_id другого чата в POST message | 404 | 404 | сообщение не создано | +| S3 PUT прошёл, INSERT нет | компенсация DELETE; иначе orphan до сверки | `_discard_object`; сирота удаляется `--apply` после grace | объект без метаданных не вечный | +| Объект есть, строки нет, объект моложе grace | не удалять | age 0 остался в `orphans_protected_by_grace` при `--apply` | объект на месте | +| Строка есть, объекта нет, строка в сообщении | не удалять даже при grace 0 | осталась в `missing_in_use`; `metadata_deleted` её не содержит | строка на месте, байтов нет | +| Строка есть, объекта нет, строка старше grace и не в сообщении | удалить строку; повтор пуст | удалена одна строка с age 7200; второй `--apply` пуст | строка снята | +| Grace 0 при чужом orphan | не удалять ничего | preflight сравнивает `orphans_stale` с посеянным ключом | в этом прогоне чужих не было, удаление прошло | +| Повтор minio-init | no-op, bucket private | два exit 0 | нет | +| Unauthenticated GET объекта | 403 мимо API | 403 | — | Две старые строки с ключами без prefix `originals/` на каждом проходе остаются в `ignored_outside_prefix` и не удаляются. Живая пара «строка + объект» в списки расхождений не попадает. diff --git a/evidence/failover.txt b/evidence/failover.txt new file mode 100644 index 00000000..ad74a618 --- /dev/null +++ b/evidence/failover.txt @@ -0,0 +1,26 @@ +# python tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8084 +# Same public test as: make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084 +# On this Windows host the hook process was Git bash, because CreateProcess cannot exec a #!/bin/sh file. +# The script and its arguments are scripts/stop-one.sh. git index mode of the hook is 100755. + +=== before === +api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z +api-2 2d9cb0ed8adc status=running started=2026-11-12T15:27:00.68343251Z +lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z +postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z +minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z + +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 5.699} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +=== after the hook, before any restore === +api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z +api-2 2d9cb0ed8adc status=exited finished=2026-11-12T15:27:30.226687078Z +lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z +postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z +minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z + +The test saw two instance ids before the stop. Writes recovered in 5.699 s, with 128 successes and 0 failures. api-2 stayed exited. PostgreSQL, MinIO, the LB and api-1 kept the start times from before the hook. + +After this snapshot the stopped replica was started again with `docker compose --env-file .env up -d --wait api`. Both API replicas were healthy. That restore is not part of the hook: the hook left api-2 exited. diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 00000000..0f28ded2 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1,23 @@ +# python tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8084 +# Same public test as: make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084 +# On this Windows host the hook process was Git bash, because CreateProcess cannot exec a #!/bin/sh file. +# The script and its arguments are scripts/restart.sh. git index mode of the hook is 100755. + +=== before, docker inspect StartedAt === +api-1 606d8436f093 status=running started=2026-11-12T15:25:28.188004778Z +api-2 2d9cb0ed8adc status=running started=2026-11-12T15:25:27.827643637Z +lb-1 a708afda6620 status=running started=2026-11-12T15:25:34.521198734Z +postgres-1 9c54ddd911ba status=running started=2026-11-12T15:25:18.149534309Z +minio-1 4aa69397a7e9 status=running started=2026-11-12T15:25:18.110830021Z + +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +=== after, same container ids, new StartedAt === +api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z +api-2 2d9cb0ed8adc status=running started=2026-11-12T15:27:00.68343251Z +lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z +postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z +minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z + +Container ids did not change, so the named volumes stayed. PostgreSQL, MinIO, both API replicas and the LB all received a new start time. diff --git a/evidence/reconcile-apply.json b/evidence/reconcile-apply.json index 05339834..2ac245a5 100644 --- a/evidence/reconcile-apply.json +++ b/evidence/reconcile-apply.json @@ -2,28 +2,44 @@ "apply": true, "grace_seconds": 0, "seeded": null, - "scanned_originals": 37, - "referenced": 38, + "scanned_originals": 48, + "referenced": 50, "orphans_protected_by_grace": [], "orphans_stale": [ { - "key": "originals/44d0830b-a013-482c-ae07-83805b6470c1", - "age_seconds": 10, + "key": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab", + "age_seconds": 648, "size": 12 } ], "multipart_protected_by_grace": [], "multipart_stale": [], "deleted": [ - "originals/44d0830b-a013-482c-ae07-83805b6470c1" + "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab" ], "aborted_multipart": [], - "missing_objects": [ + "missing_protected_by_grace": [], + "missing_in_use": [ { - "key": "a93d1b7ab79245ec95f792b569c3ee46" + "id": "c9877ebc-08b1-46ba-9cb9-d9d42240db71", + "key": "originals/c9877ebc-08b1-46ba-9cb9-d9d42240db71", + "age_seconds": 168553, + "in_use": true + } + ], + "missing_stale": [], + "ignored_outside_prefix": [ + { + "id": "28bbf1a8-866e-4b03-a22f-d7daa2e36157", + "key": "c96e4c9da2114c9e837c372ef9e75e15" }, { - "key": "c96e4c9da2114c9e837c372ef9e75e15" + "id": "69c98e0c-0660-4dc2-ae9f-1ecb52650b60", + "key": "a93d1b7ab79245ec95f792b569c3ee46" } - ] + ], + "metadata_deleted": [], + "list_objects_ms": 14, + "list_metadata_ms": 2, + "elapsed_ms": 31 } diff --git a/evidence/reconcile-dry-run.json b/evidence/reconcile-dry-run.json index fca06a4a..e62f21e3 100644 --- a/evidence/reconcile-dry-run.json +++ b/evidence/reconcile-dry-run.json @@ -1,12 +1,12 @@ { "apply": false, "grace_seconds": 900, - "seeded": "originals/44d0830b-a013-482c-ae07-83805b6470c1", - "scanned_originals": 37, - "referenced": 38, + "seeded": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab", + "scanned_originals": 45, + "referenced": 47, "orphans_protected_by_grace": [ { - "key": "originals/44d0830b-a013-482c-ae07-83805b6470c1", + "key": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab", "age_seconds": 0, "size": 12 } @@ -16,12 +16,28 @@ "multipart_stale": [], "deleted": [], "aborted_multipart": [], - "missing_objects": [ + "missing_protected_by_grace": [], + "missing_in_use": [ { - "key": "a93d1b7ab79245ec95f792b569c3ee46" + "id": "c9877ebc-08b1-46ba-9cb9-d9d42240db71", + "key": "originals/c9877ebc-08b1-46ba-9cb9-d9d42240db71", + "age_seconds": 167904, + "in_use": true + } + ], + "missing_stale": [], + "ignored_outside_prefix": [ + { + "id": "28bbf1a8-866e-4b03-a22f-d7daa2e36157", + "key": "c96e4c9da2114c9e837c372ef9e75e15" }, { - "key": "c96e4c9da2114c9e837c372ef9e75e15" + "id": "69c98e0c-0660-4dc2-ae9f-1ecb52650b60", + "key": "a93d1b7ab79245ec95f792b569c3ee46" } - ] + ], + "metadata_deleted": [], + "list_objects_ms": 20, + "list_metadata_ms": 7, + "elapsed_ms": 30 } diff --git a/scripts/restart.sh b/scripts/restart.sh old mode 100644 new mode 100755 diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh old mode 100644 new mode 100755