docs(storage): document consistency boundaries and reproducible checks

This commit is contained in:
2026-11-15 20:33:49 +03:00
parent 8e120ec937
commit fba6b6334e
9 changed files with 364 additions and 45 deletions
+2
View File
@@ -31,3 +31,5 @@ contracts
*.md
Makefile
compose.yaml
.work*
+3 -3
View File
@@ -13,9 +13,9 @@ API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
S3_BUCKET=messenger
S3_ACCESS_KEY_FILE=/run/secrets/s3_access_key
S3_SECRET_KEY_FILE=/run/secrets/s3_secret_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
+11 -14
View File
@@ -1,18 +1,15 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Маслов / БВТ2301
Целевая оценка: 5
Трек: 2 — согласованность PostgreSQL/S3
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Перенесена собственная база ЛР3: Bearer, ACL, PostgreSQL/Valkey, две API, HAProxy и идемпотентность сообщений. Добавлены private MinIO, синхронный upload201ready, byte/pixel/MIME/filename limits, авторизованный streaming download, atomic Message links, durable pending intent и dry-run/apply reconciler с grace≥300s.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`. Полные команды и архитектура — [REPORT.md](../REPORT.md), [SCHEMA.md](../SCHEMA.md).
Результаты runtime-проверок собираются; этот промежуточный шаблон должен быть обновлён после выполнения HTTP/storage/cluster/clean-clone сценариев. Контракт/публичные tests сохранены. Статический check/полная OpenAPI validation/lint прошли.
Ограничения: один host, LB/PG/S3 — SPOF; HEAD не заменяет periodic checksum audit; inventory reconciler O(objects+rows); удалённый CI не подтверждён.
Источники: актуальное задание/контракты, собственная ЛР3, официальные библиотеки и исходники MinIO/mc. При разработке кода, тестов и отчёта использовалась помощь ИИ; результаты измерений получаются реальными командами.
+23
View File
@@ -0,0 +1,23 @@
name: Application integration
on: [push, pull_request, workflow_dispatch]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-latest
timeout-minutes: 60
steps:
- uses: actions/checkout@v4
- uses: astral-sh/setup-uv@v6
with:
version: 0.13.7
- run: uv sync --locked
- run: make bootstrap check validate lint PYTHON=.venv/bin/python
- run: VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
- run: make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
env:
NO_PROXY: localhost,127.0.0.1
no_proxy: localhost,127.0.0.1
- run: make verify VERIFY_OUTPUT=evidence/storage-ci.json
- if: always()
run: docker compose down --volumes --remove-orphans
+153 -23
View File
@@ -1,37 +1,167 @@
# Отчёт — лабораторная 4
# Лабораторная 4 — Маслов, БВТ2301
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Цель — **5, трек 2: согласованность PostgreSQL и S3**. Основа — собственная
реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL,
keyset pagination, общий Idempotency-Key, HAProxy и две независимые API.
Добавлены приватный S3, вложения и повторяемый reconciler.
Публикация и окончательные результаты будут внесены после проверок.
Сейчас завершены реализация и статические проверки; runtime-доказательства
ещё собираются. Этот промежуточный статус не является заявлением PASS.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv.
Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host).
Первичная компиляция MinIO/клиента требует сеть и время; Go parallelism
ограничен двумя потоками, зависимости и компилятор используют BuildKit cache.
## Архитектура и решения
```sh
uv sync --locked
make bootstrap
VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait
make check validate lint PYTHON=.venv/bin/python
make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084
uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json
uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
`bootstrap` создаёт отсутствующие `.env`/secret files, существующие сохраняет.
Secret directory имеет mode 0700; files читаются непривилегированными UID
контейнеров через read-only mounts. Их значения не должны попадать в Git.
Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку
с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy
и переносит повторный запуск. После этого две API, reconciler и LB.
## Доказательства критериев
URL стенда: `http://127.0.0.1:8084`. API/S3/PG/cache не имеют host ports.
Безопасная остановка: `docker compose down` (volumes остаются).
Намеренное удаление **данных только текущего учебного проекта**:
`docker compose down --volumes`; это не обычный restart.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
```sh
# Dry-run: без изменений
docker compose run --rm --no-deps reconciler python -m src.reconcile
# Оператор явно разрешает изменения
docker compose run --rm --no-deps reconciler python -m src.reconcile --apply
# Реальные рестарты всех state services, с прежними volumes
make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084
```
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Не запускать fault scripts параллельно друг с другом или HTTP pytest:
они намеренно останавливают реальные сервисы и временно устанавливают
PostgreSQL triggers. Все их пользователи/картинки синтетические.
Evidence filename должен быть новым, предыдущие результаты сохраняются.
## Эксперименты и отказы
## Версии и ограничения ресурсов
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile:
Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3,
HAProxy 3.2.1 alpine. MinIO собирается из commit
`9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a`, release
`2025-10-15T17-29-55Z`; mc — из
`7394ce0dd2a80935aded936b09fa12cbb3cb8096` (2025-08-13).
Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы.
Python dependency lock включает minio 7.2.20 и Pillow 13.0.0.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Процесс | CPU | RAM |
| --- | --- | --- |
| Каждая из двух API | 0.5 | 768 MiB |
| PostgreSQL | 1 | 512 MiB |
| MinIO | 1 | 1024 MiB |
| Valkey | 0.25 | 128 MiB |
| HAProxy | 0.5 | 128 MiB |
| Reconciler | 0.25 | 256 MiB |
## Ограничения и следующие шаги
API: read-only root, UID 10001, no capabilities, no-new-privileges,
128 PIDs, bounded `/tmp` tmpfs 128 MiB. At most two uploads/process,
одна декодируемая картинка/process. Spooled file после 1 MiB переносится в
tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат
содержимого, фактический decode, filename; SHA-256 считается на входе.
S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget
4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не
прерывает нативный decode, поэтому существенны также pixel/RAM limits.
Download передаёт chunks 64 KiB с закрытием S3 connection.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
`.env.example`: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/
SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file
names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose;
endpoint `s3:9000`, region us-east-1, bucket messenger, byte/pixel limits и
24 h idempotency заданы сервером. Это фиксированные параметры реализации,
логические подсказки skeleton не делают их автоматически настраиваемыми.
Сессии — PostgreSQL; Valkey хранит только disposable user cache.
## Архитектура и критерии
Подробные переходы и схема: [SCHEMA.md](SCHEMA.md).
`src/attachments.py` коммитит pending intent **до PUT**, затем ready;
201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет.
Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и
вернуть собственный 503; прямой внутренний API возвращает JSON unavailable.
Таблица наблюдений и ссылки на evidence будут заполнены после выполнения
storage, cluster, HTTP и clean-clone проверок.
## Методика исследования
Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой
исправлять окна отказов PG/S3 без удаления свежих/используемых bytes.
Полный обход имеет линейную стоимость по числу объектов и metadata.
`scripts/verify_storage.py --research`: реальные отказы INSERT/ready UPDATE
через временные PG triggers, недоступность S3, abort HTTP, отсутствие
используемого оригинала, old orphan и fresh orphan. Объект orphan реально
стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply.
Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run
на одном стенде, без warmup, последовательно по возрастанию; учитываются
objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода,
не измерение максимальной пропускной способности S3. Dataset создаётся под
уникальным test prefix и удаляется только в своей области.
10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700,
каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS,
cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat
до/после. Duration/RPS включают downloads и sampler; latency — upload only.
memory.peak может включать прежние запросы, поэтому отдельно показан
максимум memory.current в окне. Небольшая серия не является production SLA.
## Вопросы защиты
**Почему volume API не равно S3?** Volume принадлежит контейнеру/host и сам
по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и
независимый lifecycle. В этой реализации у API вообще нет persistent volume;
другая реплика читает общий S3 по metadata PostgreSQL.
**Когда можно вернуть 201?** После фактической проверки изображения,
успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать
201. Клиент может потерять ответ после успешной записи; upload не имеет
Idempotency-Key, поэтому слепой повтор может создать другое вложение.
**PUT прошёл, COMMIT не прошёл?** Уже есть durable pending intent. После
grace reconciler проверяет размер/checksum и переводит в ready. При
отсутствующих/других bytes ставит internal failed. Очищать файл вслепую
при неизвестном результате COMMIT опасно. Восстановление уже пропавших
bytes только из checksum невозможно.
**Почему случайный key/private bucket не заменяют ACL?** Пользователи
могут узнать ID из сообщения; key не доказывает membership. Каждый GET
сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404.
Private bucket защищает обход API; application IAM ограничивает последствия
ошибок backend, но не принимает пользовательские решения о доступе.
## Источники, помощь и границы
Использованы задание и неизменённые контракты текущего репозитория,
собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow,
[исходники MinIO](https://github.com/minio/minio),
[исходники mc](https://github.com/minio/mc),
[S3 uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html).
При проектировании, написании кода, тестов и отчёта использована помощь ИИ;
фактические результаты должны подтверждаться сохранёнными командами.
Код и данные других студентов не использовались.
Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска,
backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum
на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed
сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии.
CI workflow приложен; удалённый запуск не подтверждён.
+76
View File
@@ -0,0 +1,76 @@
# Бинарные данные и два независимых хранилища
```mermaid
flowchart LR
C[Клиент] --> L[HAProxy :8084]
L --> A[API × 2]
A --> P[(PostgreSQL)]
A --> S[(Приватный MinIO)]
A --> V[(Valkey: кэш пользователей)]
R[Reconciler: 60 секунд] --> P
R --> S
```
`users/chats/members/messages/sessions/idempotency` перенесены из собственной
ЛР3. Новые таблицы: `attachments` и `message_attachments`. Состав участников
чата неизменяемый. PostgreSQL хранит metadata и ACL, S3 — оригинальные bytes.
Временный файл в API ограничен размером, удаляется при закрытии запроса и
не является источником истины. API-процессы не обмениваются локальными файлами.
```mermaid
sequenceDiagram
participant C as Клиент
participant A as API
participant P as PostgreSQL
participant S as S3
C->>A: Bearer, filename, PNG/JPEG bytes
A->>A: ACL, лимиты bytes/pixels, decode, SHA-256
A->>P: COMMIT pending intent, UUID/key, срок 120 с
A->>S: PUT оригинала
A->>P: COMMIT ready при действующем намерении
A-->>C: 201 ready
```
Общей транзакции PostgreSQL+S3 нет. Если INSERT намерения не прошёл, PUT не
выполняется. Если PUT не прошёл, остаётся pending без объекта. Если PUT
прошёл, а ready UPDATE/COMMIT нет, остаётся pending с bytes. Неопределённый
результат COMMIT нельзя исправлять безусловным DELETE файла: COMMIT мог
успешно завершиться, хотя клиент потерял ответ.
Reconciler по умолчанию выполняет **dry-run**. `--apply` разрешает изменения.
Автоматический процесс запускает apply каждые 60 секунд. Grace не менее
300 секунд; возраст берётся из PostgreSQL clock и S3 LastModified.
| Состояние | Действие после grace |
| --- | --- |
| Объект без metadata | Повторная проверка metadata и HEAD; удалить старый orphan |
| pending + корректные размер/SHA-256 bytes | ready |
| pending без bytes / с другим размером/checksum | failed с безопасной причиной |
| ready с bytes, включая файл без Message | Сохранить |
| ready без bytes | failed, сохранить ID, metadata и Message links |
| failed, связанный с Message | Сохранить |
| failed без Message со старым объектом | Повторно проверить свежесть HEAD; удалить bytes |
| Свежий объект | Сохранить |
| AccessDenied / 5xx / network error | Завершить проход с ошибкой; не считать объект отсутствующим |
Во внешнем контракте ЛР4 Attachment имеет только статус `ready`. Внутренние
pending/failed возвращают `409 conflict`, после проверки ACL. ЛР5 меняет
этот контракт на четыре публичных состояния и требует другого обработчика.
Связь Message↔Attachment вставляется в одной PostgreSQL-транзакции с Message
и Idempotency-Key. Композитные FK проверяют одинаковый chat_id; FOR SHARE
на вложении защищает проверку ready от конкурентного изменения состояния.
Несколько сообщений могут использовать одно вложение своего чата.
S3 app-user разрешены ListBucket/GetBucketLocation и object CRUD только
`messenger/objects/*`. Root credentials доступны лишь серверу и bootstrap.
Bucket private, S3-порт не опубликован на host, console слушает container
loopback. Авторизованный download проксируется через API; случайный key
не заменяет проверку membership.
Ограничения: полный LIST и выборка metadata имеют стоимость O(objects+rows)
и линейную память reconciler. Ready-проверка использует HEAD, не полный
периодический аудит битовой целостности. Metadata failed сохраняются для
диагностики. Reconciler обнаруживает пропажу bytes, но не восстанавливает
данные из checksum. Единственный Docker-host, LB, PostgreSQL и MinIO —
общие точки отказа; репликация API этого не устраняет.
+5 -2
View File
@@ -3,8 +3,11 @@ ENV CGO_ENABLED=0 GOMAXPROCS=2 GOFLAGS=-p=2 GOTOOLCHAIN=local
FROM toolchain AS minio-build
WORKDIR /source
RUN git init . && git remote add origin https://github.com/minio/minio.git && \
git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a && git checkout --detach FETCH_HEAD
RUN curl --http1.1 -fsSL --connect-timeout 10 --max-time 1800 --retry 2 \
--speed-time 60 --speed-limit 1024 \
https://codeload.github.com/minio/minio/tar.gz/9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \
-o /tmp/source.tgz && \
tar xzf /tmp/source.tgz --strip-components=1 && rm /tmp/source.tgz
RUN --mount=type=cache,target=/go/pkg/mod,sharing=locked \
--mount=type=cache,target=/root/.cache/go-build,sharing=locked \
go build -trimpath -ldflags='-s -w -X github.com/minio/minio/cmd.Version=2025-10-15T17:29:55Z -X github.com/minio/minio/cmd.ReleaseTag=RELEASE.2025-10-15T17-29-55Z -X github.com/minio/minio/cmd.CommitID=9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a' -o /out/minio .
+58
View File
@@ -0,0 +1,58 @@
"""Plot only measured storage evidence; no reconstructed timing samples."""
import argparse
import json
from pathlib import Path
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
def main():
parser = argparse.ArgumentParser()
parser.add_argument("input")
parser.add_argument("--output", default="evidence/storage-research.png")
args = parser.parse_args()
data = json.loads(Path(args.input).read_text())
assert data["complete"]
series = data["cost_research"]
fig, axes = plt.subplots(1, 2, figsize=(11, 4), layout="constrained")
for cell in series["cells"]:
axes[0].scatter(
cell["objects_scanned"],
cell["duration_seconds"],
color="#176b87",
alpha=0.65,
)
axes[0].set(
xlabel="Objects scanned (including real attachments)",
ylabel="Dry-run duration, seconds",
title="Inventory cost: 3 repeats per dataset",
)
measured = data["concurrent_uploads"]
ids = sorted({s["container"] for s in measured["memory_samples"]})
for i, cid in enumerate(ids):
points = [
s for s in measured["memory_samples"] if s["container"] == cid
]
axes[1].plot(
[s["at"] for s in points],
[s["memory.current"] / 2**20 for s in points],
label=f"API {i + 1} cgroup current",
)
axes[1].set(
xlabel="Time, seconds",
ylabel="Memory, MiB",
title="10 simultaneous uploads, verified downloads",
)
axes[1].legend(fontsize=8)
for ax in axes:
ax.grid(alpha=0.2)
fig.savefig(args.output, dpi=160)
print("Saved measured inventory and memory figure")
if __name__ == "__main__":
main()
+33 -3
View File
@@ -182,6 +182,9 @@ def main():
"complete": False,
}
ready()
from scripts.verify_cluster import snapshot
result["runtime"] = snapshot()
compose("stop", "reconciler")
orphan = "objects/verification-" + uuid4().hex + "/orphan"
fresh = "objects/verification-" + uuid4().hex + "/fresh"
@@ -209,6 +212,14 @@ def main():
r = upload(client, session, chat)
assert r.status_code == 201
saved, uploader = r.json(), r.headers["x-instance-id"]
failed_old = upload(client, session, chat).json()
sql(
"UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='"
+ failed_old["id"]
+ "'"
)
age(failed_old["id"])
grace_started = time.monotonic()
target = next(
c
for c in cluster.containers()
@@ -241,7 +252,12 @@ def main():
)
ready()
private_code = f"""
from src.errors import DomainError
checks={{}}
try:
s.head(key='forbidden'); raise AssertionError('HEAD outside IAM prefix')
except DomainError as e:
assert e.status==503; checks['denied_head_is_not_missing']=e.status
try:
urllib.request.urlopen('http://s3:9000/messenger/{key(saved["id"])}',timeout=3)
raise AssertionError('public object')
@@ -367,17 +383,26 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
age(used["id"])
age(saved["id"])
result["concurrent_uploads"] = concurrency(client, session, chat)
while time.monotonic() - orphan_started < 302:
while time.monotonic() - grace_started < 302:
print(
"Waiting for genuine S3 LastModified grace: "
+ str(round(302 - (time.monotonic() - orphan_started)))
+ str(round(302 - (time.monotonic() - grace_started)))
+ "s",
flush=True,
)
time.sleep(min(20, 302 - (time.monotonic() - orphan_started)))
time.sleep(
min(20, max(0, 302 - (time.monotonic() - grace_started)))
)
inside(
f"s.put(key={fresh!r},stream=io.BytesIO(b'fresh'),size=5,content_type='application/octet-stream',sha256=hashlib.sha256(b'fresh').hexdigest()); print('true')"
)
failed_fresh = upload(client, session, chat).json()
sql(
"UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='"
+ failed_fresh["id"]
+ "'"
)
age(failed_fresh["id"])
before_states = [
state(i)
for i in [pending, missing_pending, used["id"], saved["id"]]
@@ -395,6 +420,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
"fail_pending_missing",
"mark_missing",
"delete_orphan",
"delete_failed_object",
]:
assert dry["actions"].get(action, 0) >= 1, dry
applied = run_reconcile(True)
@@ -430,6 +456,9 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
assert inside(
f"print(json.dumps(s.head(key={orphan!r}) is None and s.head(key={fresh!r}) is not None and s.head(key={key(saved['id'])!r}) is not None))"
)
assert inside(
f"print(json.dumps(s.head(key={key(failed_old['id'])!r}) is None and s.head(key={key(failed_fresh['id'])!r}) is not None))"
)
repeat = run_reconcile(True)
assert not repeat["applied"].get("delete_orphan")
assert repeat["linked_protected"] >= 1
@@ -441,6 +470,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j
time.monotonic() - orphan_started, 3
),
"fresh_and_ready_unlinked_protected": True,
"old_failed_unlinked_deleted_and_fresh_failed_protected": True,
"missing_used_id_and_link_preserved": True,
"dry_run_unchanged": True,
}