diff --git a/.env.example b/.env.example index d99d26a2..eb30c66b 100644 --- a/.env.example +++ b/.env.example @@ -1,20 +1,20 @@ -# Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. -APP_HOST=0.0.0.0 -APP_PORT=8080 -APP_ENV=lab -SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url +# Copying is optional: make up runs scripts/bootstrap.py and creates .env once. +# Never put credentials in this file. Bootstrap writes ignored ./secrets/ files. +PUBLIC_PORT=8084 API_REPLICAS=2 -IDEMPOTENCY_TTL_SECONDS=86400 -S3_ENDPOINT=http://s3:9000 -S3_REGION=us-east-1 -S3_BUCKET=messenger-attachments -S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id -S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key -MAX_UPLOAD_BYTES=10485760 -MAX_IMAGE_PIXELS=40000000 +API_CPUS=0.5 +API_MEMORY=512m +POOL_MAX_SIZE=8 +SESSION_TTL_SECONDS=3600 +# Optional custom tag; default is mtusi-vasilev:lab4. +API_IMAGE=mtusi-vasilev:lab4 + +# Fixed internal topology in compose.yaml (comments, not .env overrides): +# API binds 0.0.0.0:8080; only LB publishes 127.0.0.1:${PUBLIC_PORT}:8080. +# PostgreSQL host=postgres, database/user=messenger; DATABASE_URL_FILE is mounted. +# CACHE_URL_FILE points to redis://cache:6379/0, public user cards only. +# S3_ENDPOINT=http://s3:8333, S3_BUCKET=messenger. +# S3_ACCESS_KEY_FILE=/run/secrets/s3_access_key +# S3_SECRET_KEY_FILE=/run/secrets/s3_secret_key +# Bootstrap alone receives S3_ADMIN_ACCESS_KEY_FILE/S3_ADMIN_SECRET_KEY_FILE. +# Storage backend/filer/master are on the isolated storage_backend network. diff --git a/Dockerfile b/Dockerfile index 57926cb8..6b171bc6 100644 --- a/Dockerfile +++ b/Dockerfile @@ -5,7 +5,7 @@ COPY pyproject.toml uv.lock ./ RUN uv sync --locked --no-dev --no-install-project --python /usr/local/bin/python FROM python:3.12-slim@sha256:646fb0bca3dd3ea1bcc6feb72c17ed16eed6e10cffc732fcc1478bd3e7f02d7b -RUN apt-get update && apt-get install -y --no-install-recommends libjpeg-turbo-progs && rm -rf /var/lib/apt/lists/* +RUN apt-get update && apt-get install -y --no-install-recommends libjpeg-turbo-progs=1:2.1.5-4 && rm -rf /var/lib/apt/lists/* ARG VCS_REF=uncommitted LABEL org.opencontainers.image.revision=$VCS_REF ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1 PYTHONPATH=/app/src PATH=/app/.venv/bin:$PATH diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..0ca71e35 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,142 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +**Васильев Никита, БВТ2301. Целевая оценка: 5. Трек 2 — согласованность двух хранилищ.** + +Локальное выполнение без публикации PR. Оригинальные README, COURSE, CONTRIBUTING, contracts и публичные tests сохранены. Собственный код ЛР3 перенесён в отдельный skeleton ЛР4; добавлены вложения и исследование согласованности. Использована помощь ИИ при реализации, тестировании и подготовке отчёта. Замечания преподавателей изучены заранее, ссылки и регрессии — в [REVIEW_NOTES.md](REVIEW_NOTES.md). Код и чужие измерения не заимствованы. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker Engine с Compose v2, Python 3.12 и uv, make. Для публичных тестов достаточно системного Python 3.9+. API и все хранилища запускаются из этого репозитория; ручная установка PostgreSQL/S3 не нужна. -## Архитектура и решения +```sh +uv sync --locked --python 3.12 +make up +make check validate PYTHON=.venv/bin/python +make test +make student-test +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +`make up` создаёт локальные секреты один раз, сохраняет существующие значения, собирает образ, ждёт PostgreSQL, применяет миграции и идемпотентно создаёт приватный bucket. Затем запускаются две API-реплики и HAProxy. На хост опубликован только `127.0.0.1:8084` балансировщика; API и storage напрямую не публикуются. -## Доказательства критериев +Обычная остановка с сохранением данных: -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +```sh +make down +``` -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Намеренное удаление учебных данных выполняется отдельно командой `docker compose down --volumes`; она не нужна для restart и не применяется к основному стенду при проверке сохранности. -## Эксперименты и отказы +Полная проверка рестарта и отказа одной API: -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +```sh +make test-persistence ACTION_SCRIPT=scripts/restart.sh +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +docker compose up -d --wait --no-recreate +``` -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +После восстановления первой реплики failover повторяется для другой. Hook использует TARGET_INSTANCE_ID, читает действительный alias процесса и останавливает соответствующий контейнер. Сопоставление alias/контейнера и timestamps до/после фиксируются в evidence. -## Ограничения и следующие шаги +Переменные: `PUBLIC_PORT=8084`, `API_REPLICAS=2`, `API_CPUS=0.5`, `API_MEMORY=512m`, `POOL_MAX_SIZE=8`, `SESSION_TTL_SECONDS=3600`. DSN, S3 access/secret keys читаются из файлов Compose secrets; app и admin keys разделены. `.env`, secrets и volumes не находятся в Git. `.env.example` содержит поддерживаемые переменные и комментарии с фиксированными внутренними адресами; реальные секреты генерирует scripts/bootstrap.py. Изменение S3 bucket/endpoint требует согласованного изменения Compose и bucket-scoped identity, а не только строки в .env. -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +## Версии и ограничения ресурсов + +- Python 3.12, Python-зависимости закреплены в uv.lock (FastAPI 0.162.0, Pillow 12.3.0, boto3/botocore 1.43.125 и прочие). +- Python base закреплён digest, uv в Docker 0.11.7. Native decoder libjpeg-turbo-progs 1:2.1.5-4 закреплён явно. +- PostgreSQL 17.10-alpine: 1 CPU, 768 MiB, durable WAL settings включены. +- Valkey 8.1.3-alpine: 0.5 CPU, 128 MiB; кэш публичных пользователей, не сессий. +- HAProxy 3.2-alpine закреплён digest: 0.5 CPU, 128 MiB; stream forwarding без полного буферирования тела. +- SeaweedFS 4.15 закреплён digest: backend 1 CPU/512 MiB, S3 gateway 0.5 CPU/256 MiB. +- Каждая API: 0.5 CPU/512 MiB, один worker, non-root UID10001, read-only FS, tmpfs16MiB, drop capabilities, no-new-privileges. + +При первоначальном переносе bytea-миграция несовместима со старым runtime ЛР2: такой переход требует maintenance window. Поочерёдная замена одинаковой версии с уже применённой схемой не требует повторной миграции. + +## Архитектура и источник истины + +```text +Клиент → HAProxy → API × 2 → PostgreSQL (сессии/данные/метаданные/intent) + ↘ Valkey (кэш публичных карточек пользователей) + ↘ S3 gateway → Seaweed backend (bytes) +``` + +Seaweed backend подключён только к отдельной `storage_backend` internal network. API к ней не подключается: filer/master/volume интерфейсы недоступны из общей API-сети. S3 gateway подключён к обеим сетям и предоставляет только S3-интерфейс на общей сети; публичных host ports у него нет. Admin identity присутствует только у gateway и bootstrap/research, API получает bucket-scoped Read/Write/List identity. + +Ни случайный UUID, ни приватный bucket не заменяют ACL: метаданные и content выдаются только после проверки PostgreSQL-сессии и членства в чате. Сессии не кэшируются. Валидный токен не открывает чужой чат. Оригинал скачивается через авторизованный API без redirect. + +Сообщения сохраняют порядок attachment_ids в message_attachments.position. Идемпотентность из ЛР3 атомарно сохраняет сообщение, связи и точный ответ; перестановка вложений при том же ключе считается другим body. Пропущенный attachment_ids и [] эквивалентны. UTF-8 поля сообщений/имён хранятся lossless в bytea, включая NUL, который PostgreSQL text не принимает. + +## Upload и download + +1. Проверяются сессия, чат, filename, MIME. +2. Тело читается частями в spool: первые 256 KiB в RAM, далее временный файл в ограниченном tmpfs. Максимум 10 MiB, таймаут чтения 15 секунд. +3. По одному upload slot на API, лишняя работа получает 429/Retry-After. Размеры изображения проверяются до decode: максимум 40 млн пикселей. +4. Pillow verify и повторный полный load проверяют PNG/JPEG. Для JPEG djpeg -strict дополнительно отклоняет недодекодируемые изображения, которые Pillow может принять с предупреждением; timeout5s, maxmemory192m. +5. После полной валидации фиксируется durable upload_intent. Под его row lock выполняются S3 PUT и транзакция ready metadata + удаление intent. +6. Только успешное завершение COMMIT даёт 201 ready с variants=[] и error_code=null. SHA-256/size/MIME относятся к исходным bytes. + +Filename не используется в object key. Отклоняются slash, backslash, все Unicode Cc (включая C0, C1 и DEL), пустые/пробельные имена и длина вне1..255. MIME сравнивается с фактическим PNG/JPEG. Download получает S3 stream заранее и отдаёт части по64KiB; отсутствие variant у ready возвращает404, failed content409. Ошибка S3 до начала ответа переводится в503. Если сеть оборвётся после отправки HTTP headers, клиент увидит оборванный поток и должен проверить размер/checksum. + +Прерванный HTTP приём закрывает spool и освобождает slot до создания intent/объекта. Неопределённый COMMIT не приводит к немедленному удалению S3: возможно, ready уже зафиксирован. Остатки очищаются сверкой после grace. + +## Согласованность и исследование на 5 + +Подробная гипотеза, окна отказа и команды находятся в [research/README.md](research/README.md). + +Reconciler по умолчанию dry-run. Явный apply может удалять старые orphan objects и завершать очистку abandoned intent; live intent защищён row lock, свежие bytes — независимой проверкой LastModified. Перед мутацией выполняется актуальный HEAD, не используется только старый LIST snapshot. Пропавший оригинал старой ready metadata помечается failed/storage_missing, но запись и связи сообщений сохраняются. Валидные ready вложения не удаляются даже без сообщения. + +```sh +# Обычная сверка основного стенда — без изменений: +docker compose run --rm --no-deps api python -m messenger.reconcile +# Явное исправление после просмотра dry-run: +docker compose run --rm --no-deps api python -m messenger.reconcile --apply --grace-seconds 3600 +# Изолированное исследование в новых временных БД и bucket: +docker compose run --rm --no-deps research +``` + +Проверяются реальные PG INSERT failure после PUT, ошибка подключения S3, потеря подтверждения после успешного COMMIT, PG DELETE failure после удаления S3, повторный dry-run после частичного удаления, S3 delete failure/recovery, fresh orphan, old intent с fresh bytes, live writer lock, missing used metadata. Временные исследовательские ресурсы удаляются в finally, рабочая messenger не очищается. + +Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput. + +### Результат исследовательского прогона + +[reconcile-study.json](evidence/reconcile-study.json) содержит **30 успешных проверок**, девять замеров обхода и hashes runtime. Первый apply удалил остатки двух старых intent и orphan, пометил один missing original failed; повтор не сделал новых изменений. Проверены также ошибка DELETE после удаления bytes и последующий read-only dry-run. Временные БД и bucket удалены. + +| Добавлено intact | Фактически просмотрено metadata | Медиана трёх обходов | +|---:|---:|---:| +| 10 | 13 | 0,018528 с | +| 100 | 103 | 0,126891 с | +| 1000 | 1003 | 1,684725 с | + +Рост близок к росту числа HEAD/SQL round trips. Это локальная стоимость консервативного обхода; нет утверждения о линейности для любой БД/сети. Помимо добавленных строк остаются три intact fault fixtures; missing failed исключён из ready scan. + +### Результат десяти конкурентных upload + +После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 130342912 и130285568 байт, LB18243584 байт. Лимиты соответственно512/512/128MiB. + +Before/after peaks не выросли: начальная загрузка приложения/Argon2 уже создала больший high-water. Поэтому опыт доказывает ограниченное поведение выбранной нагрузки без OOM, но не выделяет точную память одной загрузки и не доказывает экономию RAM самим spool. + +## Проверки и доказательства + +| Критерий | Сценарий | Доказательство | +|---|---|---| +| Контракт и схема | make check validate | evidence/contract-checks.txt | +| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-strict.txt | +| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-strict.txt: 88 passed | +| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-strict.txt | +| Независимая проверка реального HTTP | root external regression | Отдельная итоговая проверка общего пакета | +| Десять одновременных upload | research/upload_memory.py | evidence/upload-memory-final.json | +| Reconciler/fault-injection/стоимость | tools profile research | evidence/reconcile-study.json | +| Сохранность/переключение/отказы | публичные resilience + собственные реальные stop/pause | Итоговые evidence persistence/failover/storage-checks | + +## Ограничения + +- Один host, LB, PostgreSQL и Seaweed backend остаются точками отказа; две API-реплики не создают HA всех зависимостей. +- Сверка может пометить потерянные bytes failed, но не восстановить их без backup. Здесь не настраивается внешнее резервное копирование S3. +- Нет распределённого COMMIT через PostgreSQL и S3: остатки допустимы до grace/apply. Уникальные immutable server keys и intent делают выбранную очистку безопасной для штатного API; конкурентное ручное изменение администратором после HEAD находится вне этой гарантии. +- Очереди обработки изображений нет: ЛР4 синхронная, thumbnail/crop/optimized относятся к ЛР5. +- HTTP допустим для локального изолированного стенда с синтетическими данными. Удалённая передача секретов требует TLS. +- Native decoder/libjpeg ограничен memory/time/cgroup; полная корректность каждого экзотического изображения зависит от библиотечного декодера. Специально проверены конкретные повреждения из замечаний преподавателя. +- Client-side deadline ограничивает ожидание одного обращения к PostgreSQL, а не весь HTTP-путь; при неопределённом результате записи ключ идемпотентности защищает повтор сообщения. Upload не имеет такого ключа и не должен автоматически повторяться как будто это тот же объект. + +## Источники + +Оригинальные contracts/README и OpenAPI текущего skeleton, Docker Compose reference, документация PostgreSQL/psycopg, boto3 S3 client и SeaweedFS S3 configuration, Pillow Image API и libjpeg-turbo djpeg. Проверки кода опираются на сохранённые версии зависимостей и реальные ответы стенда. diff --git a/SCHEMA.md b/SCHEMA.md new file mode 100644 index 00000000..b9ee9804 --- /dev/null +++ b/SCHEMA.md @@ -0,0 +1,37 @@ +# Схема PostgreSQL и связь с S3 + +Основной источник истины — PostgreSQL. В S3 находятся только исходные bytes вложения. Valkey содержит временные копии публичных пользователей, TTL60, без сессий и истории. + +| Таблица | Ключи и назначение | +|---|---| +| users | UUID PK, username UNIQUE, Argon2id password_hash, UTF-8 display_name в bytea | +| chats | UUID PK, UTF-8 title в bytea, server UTC created_at | +| members | PK(chat_id,user_id), FK к chats/users, UNIQUE(chat_id,position) | +| messages | UUID PK, FK(chat_id,sender_id)→members, UTF-8 text в bytea, UTC created_at | +| message_requests | Уникальный scope(actor_id,chat_id,key), body_digest, точный JSON response в bytea, expires_at24h | +| sessions | SHA-256 token_digest PK, user FK, абсолютный expires_at | +| attachments | UUID PK, chat/owner FK, filename/MIME/size/SHA-256, status/error, created_at/updated_at, object_key UNIQUE | +| message_attachments | PK(message_id,attachment_id), FK к message/attachment, UNIQUE(message_id,position), position0..9 | +| upload_intents | UUID PK, object_key UNIQUE, created_at; durable запись до PUT | +| attachment_reconcile_audit | Генерируемый PK, безопасный event, внутренний object_key и время apply | +| schema_migrations | Имя SQL-файла PK и SHA-256 применённого содержимого | + +## Миграции + +1. 001_initial: базовые таблицы/ограничения/индексы ЛР2. +2. 002_idempotency: общий результат POST message для всех API-реплик. +3. 003_unicode_storage: lossless UTF-8 в bytea для полей, допускающих NUL; старому runtime нужна остановка на переход. +4. 004_attachments: attachments, links, durable intents и audit. +5. 005_attachment_only_message: допускает нулевую длину bytea text; API требует хотя бы одно вложение для пустого/пробельного текста. + +Мигратор применяет файлы последовательно в транзакции под advisory lock. Повторный запуск пропускает неизменившиеся миграции; изменённый применённый файл вызывает ошибку. + +## Индексы и транзакции + +История читается keyset по `(chat_id,created_at,id)` с соответствующим B-tree. ID разрешает совпадения времени. Cursor scoped к чату и валидируется до SQL; он не создаёт snapshot между страницами. + +`message_attachments_attachment_idx` помогает находить ссылки на вложение. `upload_intents_created_idx` поддерживает обход старых intent через `(created_at,id)` без OFFSET. Публичный порядок вложений берётся из position, не сортируется по UUID. + +Создание чата с участниками атомарно. Отправка сообщения, проверка вложений того же чата под row lock, связи и сохранённый ответ идемпотентности выполняются одной транзакцией. Read-after-write обеспечивается чтением общего PostgreSQL, история не кэшируется. + +Upload сначала фиксирует intent, затем держит его `FOR UPDATE` во время S3 PUT и финализации ready metadata. PostgreSQL и S3 не имеют общей транзакции. Неопределённый COMMIT не запускает delete; только консервативная сверка после grace может убрать abandoned остаток. Публичный API не раскрывает object_key, внутренние адреса или credentials. diff --git a/compose.yaml b/compose.yaml index cd46a693..ddf84003 100644 --- a/compose.yaml +++ b/compose.yaml @@ -79,7 +79,7 @@ services: retries: 20 s3: image: chrislusf/seaweedfs:4.15@sha256:1593bd2a98964f5d4df83fa7db2b3d4ee7b20190813cc5bf8c3200e0e70d346e - command: [s3, -filer=storage:8888, -ip.bind=0.0.0.0, -config=/run/secrets/s3_config, -port=8333] + command: [s3, -filer=storage:8888, -ip.bind=0.0.0.0, -config=/run/secrets/s3_config, -port=8333, -port.iceberg=0] secrets: [s3_config] networks: [default, storage_backend] depends_on: diff --git a/scripts/verify_storage.py b/scripts/verify_storage.py new file mode 100644 index 00000000..2921400b --- /dev/null +++ b/scripts/verify_storage.py @@ -0,0 +1,143 @@ +#!/usr/bin/env python3 +"""Real storage ACL and dependency failure checks; tokens never leave memory/stdin.""" + +import hashlib +import json +import subprocess +import sys +import time +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests")) +from client import Client + +ROOT = Path(__file__).resolve().parents[1] + + +def compose(*args): + return subprocess.run( + ["docker", "compose", *args], cwd=ROOT, check=True, capture_output=True, text=True + ) + + +def inside(code, payload=None): + result = subprocess.run( + ["docker", "compose", "exec", "-T", "--index", "1", "api", "python", "-c", code], + cwd=ROOT, + input=json.dumps(payload or {}), + capture_output=True, + text=True, + check=True, + ) + return json.loads(result.stdout) + + +def request(path, token=None): + return inside( + """import json,sys,time,urllib.request,urllib.error +p=json.load(sys.stdin);h={"Authorization":"Bearer "+p["token"]} if p.get("token") else {} +start=time.monotonic() +try:r=urllib.request.urlopen(urllib.request.Request("http://127.0.0.1:8080"+p["path"],headers=h),timeout=8) +except urllib.error.HTTPError as e:r=e +data=r.read() +print(json.dumps({"status":r.code,"elapsed":time.monotonic()-start,"json":json.loads(data) if r.headers.get_content_type()=="application/json" else None,"sha256":__import__("hashlib").sha256(data).hexdigest()})) +""", + {"path": path, "token": token}, + ) + + +def main(): + c = Client("http://127.0.0.1:8084") + alice, _, _, chat = c.bootstrap() + attachment, content = c.attachment(alice, chat) + report = {"checks": [], "faults": []} + + def check(name, condition): + if not condition: + raise AssertionError(name) + report["checks"].append({"name": name, "passed": True}) + + security = inside( + """import json,sys,os,socket,urllib.request,urllib.error,uuid +from pathlib import Path +from messenger.storage import ObjectStorage +from messenger.postgres import PostgresStore +from botocore.exceptions import ClientError +p=json.load(sys.stdin);s=ObjectStorage();db=PostgresStore() +with db.connection() as conn:key=conn.execute("SELECT object_key FROM attachments WHERE id=%s",(p["id"],)).fetchone()["object_key"] +try:r=urllib.request.urlopen(os.getenv("S3_ENDPOINT")+"/"+s.bucket+"/"+key,timeout=3);anon=r.code;r.close() +except urllib.error.HTTPError as e:anon=e.code +try:s.client.create_bucket(Bucket="forbidden-"+uuid.uuid4().hex);denied=False +except ClientError as e:denied=e.response["ResponseMetadata"]["HTTPStatusCode"]==403 +try:socket.create_connection(("storage",8888),timeout=.5).close();backend=False +except OSError:backend=True +try:socket.create_connection(("s3",8888),timeout=.5).close();gateway=False +except OSError:gateway=True +print(json.dumps({"anonymous_status":anon,"unrelated_bucket_denied":denied,"backend_unreachable":backend,"gateway_filer_unreachable":gateway,"no_admin_secrets":not Path("/run/secrets/s3_admin_access_key").exists() and not any(k.startswith("S3_ADMIN") for k in os.environ)}));db.close();s.close() +""", + {"id": attachment["id"]}, + ) + report["security"] = security + for key in [ + "unrelated_bucket_denied", + "backend_unreachable", + "gateway_filer_unreachable", + "no_admin_secrets", + ]: + check(key, security[key]) + check("anonymous_original_denied", security["anonymous_status"] in {401, 403}) + compose("run", "--rm", "--no-deps", "s3-bootstrap") + check("bucket_bootstrap_repeatable", True) + try: + compose("stop", "s3") + ready = request("/health/ready") + download = request(f"/api/v1/attachments/{attachment['id']}/content", alice["token"]) + check("s3_down_ready_503", ready["status"] == 503 and ready["elapsed"] < 8) + check("s3_down_content_503", download["status"] == 503 and download["elapsed"] < 8) + report["faults"].append({"service": "s3", "ready": ready, "download": download}) + finally: + compose("start", "s3") + for _ in range(30): + try: + downloaded = request(f"/api/v1/attachments/{attachment['id']}/content", alice["token"]) + if downloaded["status"] == 200: + break + except (AssertionError, subprocess.CalledProcessError): + pass + time.sleep(0.5) + else: + raise AssertionError("S3 recovery timed out") + check( + "s3_restart_original_unchanged", downloaded["sha256"] == hashlib.sha256(content).hexdigest() + ) + try: + compose("pause", "postgres") + ready = request("/health/ready") + me = request("/api/v1/users/me", alice["token"]) + check( + "paused_pg_ready_503_with_client_deadline", + ready["status"] == 503 and ready["elapsed"] < 8, + ) + check("paused_pg_auth_503_with_client_deadline", me["status"] == 503 and me["elapsed"] < 8) + report["faults"].append({"service": "paused_postgres", "ready": ready, "me": me}) + finally: + compose("unpause", "postgres") + for _ in range(30): + try: + me = request("/api/v1/users/me", alice["token"]) + if me["status"] == 200: + break + except subprocess.CalledProcessError: + pass + time.sleep(0.5) + else: + raise AssertionError("PostgreSQL recovery timed out") + check("old_session_recovers_after_unpause", me["json"]["id"] == alice["id"]) + Path(ROOT / "evidence/storage-checks.json").write_text( + json.dumps(report, ensure_ascii=False, indent=2) + "\n" + ) + print(json.dumps({"passed": len(report["checks"])})) + + +if __name__ == "__main__": + main()