diff --git a/.dockerignore b/.dockerignore index 163b0987..8e5d3661 100644 --- a/.dockerignore +++ b/.dockerignore @@ -31,3 +31,5 @@ contracts *.md Makefile compose.yaml + +.work* diff --git a/.env.example b/.env.example index fdf0138f..2ff55ac9 100644 --- a/.env.example +++ b/.env.example @@ -13,9 +13,9 @@ API_REPLICAS=2 IDEMPOTENCY_TTL_SECONDS=86400 S3_ENDPOINT=http://s3:9000 S3_REGION=us-east-1 -S3_BUCKET=messenger-attachments -S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id -S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key +S3_BUCKET=messenger +S3_ACCESS_KEY_FILE=/run/secrets/s3_access_key +S3_SECRET_KEY_FILE=/run/secrets/s3_secret_key MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 1bec5472..2f9afa91 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,15 @@ ## Лабораторная 4 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Маслов / БВТ2301 +Целевая оценка: 5 +Трек: 2 — согласованность PostgreSQL/S3 -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +Перенесена собственная база ЛР3: Bearer, ACL, PostgreSQL/Valkey, две API, HAProxy и идемпотентность сообщений. Добавлены private MinIO, синхронный upload201ready, byte/pixel/MIME/filename limits, авторизованный streaming download, atomic Message links, durable pending intent и dry-run/apply reconciler с grace≥300s. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +Запуск: `uv sync --locked`, `make bootstrap`, `VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait`. Полные команды и архитектура — [REPORT.md](../REPORT.md), [SCHEMA.md](../SCHEMA.md). + +Результаты runtime-проверок собираются; этот промежуточный шаблон должен быть обновлён после выполнения HTTP/storage/cluster/clean-clone сценариев. Контракт/публичные tests сохранены. Статический check/полная OpenAPI validation/lint прошли. + +Ограничения: один host, LB/PG/S3 — SPOF; HEAD не заменяет periodic checksum audit; inventory reconciler O(objects+rows); удалённый CI не подтверждён. + +Источники: актуальное задание/контракты, собственная ЛР3, официальные библиотеки и исходники MinIO/mc. При разработке кода, тестов и отчёта использовалась помощь ИИ; результаты измерений получаются реальными командами. diff --git a/.github/workflows/application.yml b/.github/workflows/application.yml new file mode 100644 index 00000000..7dc59f0e --- /dev/null +++ b/.github/workflows/application.yml @@ -0,0 +1,23 @@ +name: Application integration +on: [push, pull_request, workflow_dispatch] +permissions: + contents: read +jobs: + application: + runs-on: ubuntu-latest + timeout-minutes: 60 + steps: + - uses: actions/checkout@v4 + - uses: astral-sh/setup-uv@v6 + with: + version: 0.13.7 + - run: uv sync --locked + - run: make bootstrap check validate lint PYTHON=.venv/bin/python + - run: VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait + - run: make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084 + env: + NO_PROXY: localhost,127.0.0.1 + no_proxy: localhost,127.0.0.1 + - run: make verify VERIFY_OUTPUT=evidence/storage-ci.json + - if: always() + run: docker compose down --volumes --remove-orphans diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..7c7dc074 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,167 @@ -# Отчёт — лабораторная 4 +# Лабораторная 4 — Маслов, БВТ2301 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +Цель — **5, трек 2: согласованность PostgreSQL и S3**. Основа — собственная +реализация ЛР3. Сохранены Bearer-сессии в PostgreSQL, Argon2id, ACL, +keyset pagination, общий Idempotency-Key, HAProxy и две независимые API. +Добавлены приватный S3, вложения и повторяемый reconciler. + +Публикация и окончательные результаты будут внесены после проверок. +Сейчас завершены реализация и статические проверки; runtime-доказательства +ещё собираются. Этот промежуточный статус не является заявлением PASS. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Git, Docker с Compose v2 и uv 0.13.7. Python 3.14.7 загружается через uv. +Docker Desktop использует около 6 GiB памяти на Apple M1 (8 CPU, 8 GiB host). +Первичная компиляция MinIO/клиента требует сеть и время; Go parallelism +ограничен двумя потоками, зависимости и компилятор используют BuildKit cache. -## Архитектура и решения +```sh +uv sync --locked +make bootstrap +VCS_REF=$(git rev-parse HEAD) docker compose up -d --build --wait +make check validate lint PYTHON=.venv/bin/python +make test test-student PYTHON=.venv/bin/python BASE_URL=http://127.0.0.1:8084 +uv run python -m scripts.verify_storage --research --output evidence/storage-repeat.json +uv run python -m scripts.verify_cluster --output evidence/cluster-repeat.json +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +`bootstrap` создаёт отсутствующие `.env`/secret files, существующие сохраняет. +Secret directory имеет mode 0700; files читаются непривилегированными UID +контейнеров через read-only mounts. Их значения не должны попадать в Git. +Сначала стартует PostgreSQL, одноразовый migration применяет SQL по порядку +с checksum и advisory lock. Bootstrap S3 создаёт private bucket/app-user/policy +и переносит повторный запуск. После этого две API, reconciler и LB. -## Доказательства критериев +URL стенда: `http://127.0.0.1:8084`. API/S3/PG/cache не имеют host ports. +Безопасная остановка: `docker compose down` (volumes остаются). +Намеренное удаление **данных только текущего учебного проекта**: +`docker compose down --volumes`; это не обычный restart. -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +```sh +# Dry-run: без изменений +docker compose run --rm --no-deps reconciler python -m src.reconcile +# Оператор явно разрешает изменения +docker compose run --rm --no-deps reconciler python -m src.reconcile --apply +# Реальные рестарты всех state services, с прежними volumes +make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084 +make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084 +``` -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Не запускать fault scripts параллельно друг с другом или HTTP pytest: +они намеренно останавливают реальные сервисы и временно устанавливают +PostgreSQL triggers. Все их пользователи/картинки синтетические. +Evidence filename должен быть новым, предыдущие результаты сохраняются. -## Эксперименты и отказы +## Версии и ограничения ресурсов -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Полные image digests закреплены в Dockerfile/compose.yaml/infra/s3.Dockerfile: +Python 3.14.7 slim-trixie, uv 0.13.7, PostgreSQL 18.3, Valkey 8.1.3, +HAProxy 3.2.1 alpine. MinIO собирается из commit +`9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a`, release +`2025-10-15T17-29-55Z`; mc — из +`7394ce0dd2a80935aded936b09fa12cbb3cb8096` (2025-08-13). +Go 1.24.8 bookworm закреплён digest, исходные LICENSE включены в образы. +Python dependency lock включает minio 7.2.20 и Pillow 13.0.0. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Процесс | CPU | RAM | +| --- | --- | --- | +| Каждая из двух API | 0.5 | 768 MiB | +| PostgreSQL | 1 | 512 MiB | +| MinIO | 1 | 1024 MiB | +| Valkey | 0.25 | 128 MiB | +| HAProxy | 0.5 | 128 MiB | +| Reconciler | 0.25 | 256 MiB | -## Ограничения и следующие шаги +API: read-only root, UID 10001, no capabilities, no-new-privileges, +128 PIDs, bounded `/tmp` tmpfs 128 MiB. At most two uploads/process, +одна декодируемая картинка/process. Spooled file после 1 MiB переносится в +tmpfs; максимум bytes 10 MiB, pixels 40 млн до decode. Проверяются формат +содержимого, фактический decode, filename; SHA-256 считается на входе. +S3 timeout connect 1/read 3 s, без transparent retry; DB transaction budget +4 s, statement 2.5 s; async ingress deadline 20 s. Отмена Python thread не +прерывает нативный decode, поэтому существенны также pixel/RAM limits. +Download передаёт chunks 64 KiB с закрытием S3 connection. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +`.env.example`: PUBLIC_PORT/API_REPLICAS/API_CPUS/API_MEMORY/DB_POOL_SIZE/ +SESSION_TTL_SECONDS/RECONCILE_GRACE_SECONDS используются Compose. Secret file +names указаны в compose.yaml. APP_HOST/APP_PORT задаются для API в Compose; +endpoint `s3:9000`, region us-east-1, bucket messenger, byte/pixel limits и +24 h idempotency заданы сервером. Это фиксированные параметры реализации, +логические подсказки skeleton не делают их автоматически настраиваемыми. +Сессии — PostgreSQL; Valkey хранит только disposable user cache. + +## Архитектура и критерии + +Подробные переходы и схема: [SCHEMA.md](SCHEMA.md). +`src/attachments.py` коммитит pending intent **до PUT**, затем ready; +201 означает подтверждённые bytes и metadata. Общей PG/S3 транзакции нет. +Readiness проверяет PG и S3. При потере S3 HAProxy может исключить все API и +вернуть собственный 503; прямой внутренний API возвращает JSON unavailable. + +Таблица наблюдений и ссылки на evidence будут заполнены после выполнения +storage, cluster, HTTP и clean-clone проверок. + +## Методика исследования + +Гипотеза: сохранённое до PUT намерение и grace позволяют повторной сверкой +исправлять окна отказов PG/S3 без удаления свежих/используемых bytes. +Полный обход имеет линейную стоимость по числу объектов и metadata. + +`scripts/verify_storage.py --research`: реальные отказы INSERT/ready UPDATE +через временные PG triggers, недоступность S3, abort HTTP, отсутствие +используемого оригинала, old orphan и fresh orphan. Объект orphan реально +стареет ≥300 s по S3 LastModified. Dry-run, apply, повторный apply. +Cost: 0/100/1100 дополнительных свежих объектов по 1 byte, по три dry-run +на одном стенде, без warmup, последовательно по возрастанию; учитываются +objects/rows scanned, HEAD/bytes read/duration. Это стоимость обхода, +не измерение максимальной пропускной способности S3. Dataset создаётся под +уникальным test prefix и удаляется только в своей области. + +10 потоков одновременно загружают одинаковое синтетическое PNG 1700×1700, +каждый сравнивает оригинал. Измеряются upload p50/p95/p99, ошибки/RPS, +cgroup memory.current samples и lifetime memory.peak обеих API, cpu.stat +до/после. Duration/RPS включают downloads и sampler; latency — upload only. +memory.peak может включать прежние запросы, поэтому отдельно показан +максимум memory.current в окне. Небольшая серия не является production SLA. + +## Вопросы защиты + +**Почему volume API не равно S3?** Volume принадлежит контейнеру/host и сам +по себе не задаёт объектный HTTP API, bucket policy, общую адресацию и +независимый lifecycle. В этой реализации у API вообще нет persistent volume; +другая реплика читает общий S3 по metadata PostgreSQL. + +**Когда можно вернуть 201?** После фактической проверки изображения, +успешного PUT и COMMIT ready. Если COMMIT не подтверждён, нельзя обещать +201. Клиент может потерять ответ после успешной записи; upload не имеет +Idempotency-Key, поэтому слепой повтор может создать другое вложение. + +**PUT прошёл, COMMIT не прошёл?** Уже есть durable pending intent. После +grace reconciler проверяет размер/checksum и переводит в ready. При +отсутствующих/других bytes ставит internal failed. Очищать файл вслепую +при неизвестном результате COMMIT опасно. Восстановление уже пропавших +bytes только из checksum невозможно. + +**Почему случайный key/private bucket не заменяют ACL?** Пользователи +могут узнать ID из сообщения; key не доказывает membership. Каждый GET +сначала проверяет Bearer и JOIN members, чужой/отсутствующий объект — 404. +Private bucket защищает обход API; application IAM ограничивает последствия +ошибок backend, но не принимает пользовательские решения о доступе. + +## Источники, помощь и границы + +Использованы задание и неизменённые контракты текущего репозитория, +собственный код ЛР3, FastAPI/Pydantic, psycopg, minio SDK, Pillow, +[исходники MinIO](https://github.com/minio/minio), +[исходники mc](https://github.com/minio/mc), +[S3 uploads](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html). +При проектировании, написании кода, тестов и отчёта использована помощь ИИ; +фактические результаты должны подтверждаться сохранёнными командами. +Код и данные других студентов не использовались. + +Один host/LB/PG/S3 — SPOF; нет защиты от потери единственного диска, +backup/restore S3, TLS и monitoring. Ready HEAD не проверяет весь checksum +на каждом проходе. Reconciler хранит полный inventory в RAM, metadata failed +сохраняет для диагностики. Повреждение S3 нельзя исправить без резервной копии. +CI workflow приложен; удалённый запуск не подтверждён. diff --git a/SCHEMA.md b/SCHEMA.md new file mode 100644 index 00000000..bc1f3277 --- /dev/null +++ b/SCHEMA.md @@ -0,0 +1,76 @@ +# Бинарные данные и два независимых хранилища + +```mermaid +flowchart LR + C[Клиент] --> L[HAProxy :8084] + L --> A[API × 2] + A --> P[(PostgreSQL)] + A --> S[(Приватный MinIO)] + A --> V[(Valkey: кэш пользователей)] + R[Reconciler: 60 секунд] --> P + R --> S +``` + +`users/chats/members/messages/sessions/idempotency` перенесены из собственной +ЛР3. Новые таблицы: `attachments` и `message_attachments`. Состав участников +чата неизменяемый. PostgreSQL хранит metadata и ACL, S3 — оригинальные bytes. +Временный файл в API ограничен размером, удаляется при закрытии запроса и +не является источником истины. API-процессы не обмениваются локальными файлами. + +```mermaid +sequenceDiagram + participant C as Клиент + participant A as API + participant P as PostgreSQL + participant S as S3 + C->>A: Bearer, filename, PNG/JPEG bytes + A->>A: ACL, лимиты bytes/pixels, decode, SHA-256 + A->>P: COMMIT pending intent, UUID/key, срок 120 с + A->>S: PUT оригинала + A->>P: COMMIT ready при действующем намерении + A-->>C: 201 ready +``` + +Общей транзакции PostgreSQL+S3 нет. Если INSERT намерения не прошёл, PUT не +выполняется. Если PUT не прошёл, остаётся pending без объекта. Если PUT +прошёл, а ready UPDATE/COMMIT нет, остаётся pending с bytes. Неопределённый +результат COMMIT нельзя исправлять безусловным DELETE файла: COMMIT мог +успешно завершиться, хотя клиент потерял ответ. + +Reconciler по умолчанию выполняет **dry-run**. `--apply` разрешает изменения. +Автоматический процесс запускает apply каждые 60 секунд. Grace не менее +300 секунд; возраст берётся из PostgreSQL clock и S3 LastModified. + +| Состояние | Действие после grace | +| --- | --- | +| Объект без metadata | Повторная проверка metadata и HEAD; удалить старый orphan | +| pending + корректные размер/SHA-256 bytes | ready | +| pending без bytes / с другим размером/checksum | failed с безопасной причиной | +| ready с bytes, включая файл без Message | Сохранить | +| ready без bytes | failed, сохранить ID, metadata и Message links | +| failed, связанный с Message | Сохранить | +| failed без Message со старым объектом | Повторно проверить свежесть HEAD; удалить bytes | +| Свежий объект | Сохранить | +| AccessDenied / 5xx / network error | Завершить проход с ошибкой; не считать объект отсутствующим | + +Во внешнем контракте ЛР4 Attachment имеет только статус `ready`. Внутренние +pending/failed возвращают `409 conflict`, после проверки ACL. ЛР5 меняет +этот контракт на четыре публичных состояния и требует другого обработчика. + +Связь Message↔Attachment вставляется в одной PostgreSQL-транзакции с Message +и Idempotency-Key. Композитные FK проверяют одинаковый chat_id; FOR SHARE +на вложении защищает проверку ready от конкурентного изменения состояния. +Несколько сообщений могут использовать одно вложение своего чата. + +S3 app-user разрешены ListBucket/GetBucketLocation и object CRUD только +`messenger/objects/*`. Root credentials доступны лишь серверу и bootstrap. +Bucket private, S3-порт не опубликован на host, console слушает container +loopback. Авторизованный download проксируется через API; случайный key +не заменяет проверку membership. + +Ограничения: полный LIST и выборка metadata имеют стоимость O(objects+rows) +и линейную память reconciler. Ready-проверка использует HEAD, не полный +периодический аудит битовой целостности. Metadata failed сохраняются для +диагностики. Reconciler обнаруживает пропажу bytes, но не восстанавливает +данные из checksum. Единственный Docker-host, LB, PostgreSQL и MinIO — +общие точки отказа; репликация API этого не устраняет. diff --git a/infra/s3.Dockerfile b/infra/s3.Dockerfile index d0f0b99c..783ba43e 100644 --- a/infra/s3.Dockerfile +++ b/infra/s3.Dockerfile @@ -3,8 +3,11 @@ ENV CGO_ENABLED=0 GOMAXPROCS=2 GOFLAGS=-p=2 GOTOOLCHAIN=local FROM toolchain AS minio-build WORKDIR /source -RUN git init . && git remote add origin https://github.com/minio/minio.git && \ - git fetch --depth 1 origin 9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a && git checkout --detach FETCH_HEAD +RUN curl --http1.1 -fsSL --connect-timeout 10 --max-time 1800 --retry 2 \ + --speed-time 60 --speed-limit 1024 \ + https://codeload.github.com/minio/minio/tar.gz/9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a \ + -o /tmp/source.tgz && \ + tar xzf /tmp/source.tgz --strip-components=1 && rm /tmp/source.tgz RUN --mount=type=cache,target=/go/pkg/mod,sharing=locked \ --mount=type=cache,target=/root/.cache/go-build,sharing=locked \ go build -trimpath -ldflags='-s -w -X github.com/minio/minio/cmd.Version=2025-10-15T17:29:55Z -X github.com/minio/minio/cmd.ReleaseTag=RELEASE.2025-10-15T17-29-55Z -X github.com/minio/minio/cmd.CommitID=9e49d5e7a648f00e26f2246f4dc28e6b07f8c84a' -o /out/minio . diff --git a/research/analyze.py b/research/analyze.py new file mode 100644 index 00000000..384d9eab --- /dev/null +++ b/research/analyze.py @@ -0,0 +1,58 @@ +"""Plot only measured storage evidence; no reconstructed timing samples.""" + +import argparse +import json +from pathlib import Path + +import matplotlib + +matplotlib.use("Agg") +import matplotlib.pyplot as plt + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument("input") + parser.add_argument("--output", default="evidence/storage-research.png") + args = parser.parse_args() + data = json.loads(Path(args.input).read_text()) + assert data["complete"] + series = data["cost_research"] + fig, axes = plt.subplots(1, 2, figsize=(11, 4), layout="constrained") + for cell in series["cells"]: + axes[0].scatter( + cell["objects_scanned"], + cell["duration_seconds"], + color="#176b87", + alpha=0.65, + ) + axes[0].set( + xlabel="Objects scanned (including real attachments)", + ylabel="Dry-run duration, seconds", + title="Inventory cost: 3 repeats per dataset", + ) + measured = data["concurrent_uploads"] + ids = sorted({s["container"] for s in measured["memory_samples"]}) + for i, cid in enumerate(ids): + points = [ + s for s in measured["memory_samples"] if s["container"] == cid + ] + axes[1].plot( + [s["at"] for s in points], + [s["memory.current"] / 2**20 for s in points], + label=f"API {i + 1} cgroup current", + ) + axes[1].set( + xlabel="Time, seconds", + ylabel="Memory, MiB", + title="10 simultaneous uploads, verified downloads", + ) + axes[1].legend(fontsize=8) + for ax in axes: + ax.grid(alpha=0.2) + fig.savefig(args.output, dpi=160) + print("Saved measured inventory and memory figure") + + +if __name__ == "__main__": + main() diff --git a/scripts/verify_storage.py b/scripts/verify_storage.py index 1626728d..7ed61de4 100644 --- a/scripts/verify_storage.py +++ b/scripts/verify_storage.py @@ -182,6 +182,9 @@ def main(): "complete": False, } ready() + from scripts.verify_cluster import snapshot + + result["runtime"] = snapshot() compose("stop", "reconciler") orphan = "objects/verification-" + uuid4().hex + "/orphan" fresh = "objects/verification-" + uuid4().hex + "/fresh" @@ -209,6 +212,14 @@ def main(): r = upload(client, session, chat) assert r.status_code == 201 saved, uploader = r.json(), r.headers["x-instance-id"] + failed_old = upload(client, session, chat).json() + sql( + "UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='" + + failed_old["id"] + + "'" + ) + age(failed_old["id"]) + grace_started = time.monotonic() target = next( c for c in cluster.containers() @@ -241,7 +252,12 @@ def main(): ) ready() private_code = f""" +from src.errors import DomainError checks={{}} +try: + s.head(key='forbidden'); raise AssertionError('HEAD outside IAM prefix') +except DomainError as e: + assert e.status==503; checks['denied_head_is_not_missing']=e.status try: urllib.request.urlopen('http://s3:9000/messenger/{key(saved["id"])}',timeout=3) raise AssertionError('public object') @@ -367,17 +383,26 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j age(used["id"]) age(saved["id"]) result["concurrent_uploads"] = concurrency(client, session, chat) - while time.monotonic() - orphan_started < 302: + while time.monotonic() - grace_started < 302: print( "Waiting for genuine S3 LastModified grace: " - + str(round(302 - (time.monotonic() - orphan_started))) + + str(round(302 - (time.monotonic() - grace_started))) + "s", flush=True, ) - time.sleep(min(20, 302 - (time.monotonic() - orphan_started))) + time.sleep( + min(20, max(0, 302 - (time.monotonic() - grace_started))) + ) inside( f"s.put(key={fresh!r},stream=io.BytesIO(b'fresh'),size=5,content_type='application/octet-stream',sha256=hashlib.sha256(b'fresh').hexdigest()); print('true')" ) + failed_fresh = upload(client, session, chat).json() + sql( + "UPDATE attachments SET state='failed',error_code='synthetic' WHERE id='" + + failed_fresh["id"] + + "'" + ) + age(failed_fresh["id"]) before_states = [ state(i) for i in [pending, missing_pending, used["id"], saved["id"]] @@ -395,6 +420,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j "fail_pending_missing", "mark_missing", "delete_orphan", + "delete_failed_object", ]: assert dry["actions"].get(action, 0) >= 1, dry applied = run_reconcile(True) @@ -430,6 +456,9 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j assert inside( f"print(json.dumps(s.head(key={orphan!r}) is None and s.head(key={fresh!r}) is not None and s.head(key={key(saved['id'])!r}) is not None))" ) + assert inside( + f"print(json.dumps(s.head(key={key(failed_old['id'])!r}) is None and s.head(key={key(failed_fresh['id'])!r}) is not None))" + ) repeat = run_reconcile(True) assert not repeat["applied"].get("delete_orphan") assert repeat["linked_protected"] >= 1 @@ -441,6 +470,7 @@ except urllib.error.HTTPError as e: print(json.dumps({{'status':e.code,'error':j time.monotonic() - orphan_started, 3 ), "fresh_and_ready_unlinked_protected": True, + "old_failed_unlinked_deleted_and_fresh_failed_protected": True, "missing_used_id_and_link_preserved": True, "dry_run_unchanged": True, }