docs: explain attachment lifecycle, research and reproducible setup

This commit is contained in:
2026-11-06 18:04:38 +03:00
parent ca9570f495
commit 6ac558ee08
6 changed files with 328 additions and 43 deletions
+19 -19
View File
@@ -1,20 +1,20 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
# Copying is optional: make up runs scripts/bootstrap.py and creates .env once.
# Never put credentials in this file. Bootstrap writes ignored ./secrets/ files.
PUBLIC_PORT=8084
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
API_CPUS=0.5
API_MEMORY=512m
POOL_MAX_SIZE=8
SESSION_TTL_SECONDS=3600
# Optional custom tag; default is mtusi-vasilev:lab4.
API_IMAGE=mtusi-vasilev:lab4
# Fixed internal topology in compose.yaml (comments, not .env overrides):
# API binds 0.0.0.0:8080; only LB publishes 127.0.0.1:${PUBLIC_PORT}:8080.
# PostgreSQL host=postgres, database/user=messenger; DATABASE_URL_FILE is mounted.
# CACHE_URL_FILE points to redis://cache:6379/0, public user cards only.
# S3_ENDPOINT=http://s3:8333, S3_BUCKET=messenger.
# S3_ACCESS_KEY_FILE=/run/secrets/s3_access_key
# S3_SECRET_KEY_FILE=/run/secrets/s3_secret_key
# Bootstrap alone receives S3_ADMIN_ACCESS_KEY_FILE/S3_ADMIN_SECRET_KEY_FILE.
# Storage backend/filer/master are on the isolated storage_backend network.
+1 -1
View File
@@ -5,7 +5,7 @@ COPY pyproject.toml uv.lock ./
RUN uv sync --locked --no-dev --no-install-project --python /usr/local/bin/python
FROM python:3.12-slim@sha256:646fb0bca3dd3ea1bcc6feb72c17ed16eed6e10cffc732fcc1478bd3e7f02d7b
RUN apt-get update && apt-get install -y --no-install-recommends libjpeg-turbo-progs && rm -rf /var/lib/apt/lists/*
RUN apt-get update && apt-get install -y --no-install-recommends libjpeg-turbo-progs=1:2.1.5-4 && rm -rf /var/lib/apt/lists/*
ARG VCS_REF=uncommitted
LABEL org.opencontainers.image.revision=$VCS_REF
ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1 PYTHONPATH=/app/src PATH=/app/.venv/bin:$PATH
+127 -22
View File
@@ -1,37 +1,142 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
**Васильев Никита, БВТ2301. Целевая оценка: 5. Трек 2 — согласованность двух хранилищ.**
Локальное выполнение без публикации PR. Оригинальные README, COURSE, CONTRIBUTING, contracts и публичные tests сохранены. Собственный код ЛР3 перенесён в отдельный skeleton ЛР4; добавлены вложения и исследование согласованности. Использована помощь ИИ при реализации, тестировании и подготовке отчёта. Замечания преподавателей изучены заранее, ссылки и регрессии — в [REVIEW_NOTES.md](REVIEW_NOTES.md). Код и чужие измерения не заимствованы.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker Engine с Compose v2, Python 3.12 и uv, make. Для публичных тестов достаточно системного Python 3.9+. API и все хранилища запускаются из этого репозитория; ручная установка PostgreSQL/S3 не нужна.
## Архитектура и решения
```sh
uv sync --locked --python 3.12
make up
make check validate PYTHON=.venv/bin/python
make test
make student-test
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
`make up` создаёт локальные секреты один раз, сохраняет существующие значения, собирает образ, ждёт PostgreSQL, применяет миграции и идемпотентно создаёт приватный bucket. Затем запускаются две API-реплики и HAProxy. На хост опубликован только `127.0.0.1:8084` балансировщика; API и storage напрямую не публикуются.
## Доказательства критериев
Обычная остановка с сохранением данных:
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
```sh
make down
```
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Намеренное удаление учебных данных выполняется отдельно командой `docker compose down --volumes`; она не нужна для restart и не применяется к основному стенду при проверке сохранности.
## Эксперименты и отказы
Полная проверка рестарта и отказа одной API:
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
```sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --wait --no-recreate
```
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
После восстановления первой реплики failover повторяется для другой. Hook использует TARGET_INSTANCE_ID, читает действительный alias процесса и останавливает соответствующий контейнер. Сопоставление alias/контейнера и timestamps до/после фиксируются в evidence.
## Ограничения и следующие шаги
Переменные: `PUBLIC_PORT=8084`, `API_REPLICAS=2`, `API_CPUS=0.5`, `API_MEMORY=512m`, `POOL_MAX_SIZE=8`, `SESSION_TTL_SECONDS=3600`. DSN, S3 access/secret keys читаются из файлов Compose secrets; app и admin keys разделены. `.env`, secrets и volumes не находятся в Git. `.env.example` содержит поддерживаемые переменные и комментарии с фиксированными внутренними адресами; реальные секреты генерирует scripts/bootstrap.py. Изменение S3 bucket/endpoint требует согласованного изменения Compose и bucket-scoped identity, а не только строки в .env.
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
## Версии и ограничения ресурсов
- Python 3.12, Python-зависимости закреплены в uv.lock (FastAPI 0.162.0, Pillow 12.3.0, boto3/botocore 1.43.125 и прочие).
- Python base закреплён digest, uv в Docker 0.11.7. Native decoder libjpeg-turbo-progs 1:2.1.5-4 закреплён явно.
- PostgreSQL 17.10-alpine: 1 CPU, 768 MiB, durable WAL settings включены.
- Valkey 8.1.3-alpine: 0.5 CPU, 128 MiB; кэш публичных пользователей, не сессий.
- HAProxy 3.2-alpine закреплён digest: 0.5 CPU, 128 MiB; stream forwarding без полного буферирования тела.
- SeaweedFS 4.15 закреплён digest: backend 1 CPU/512 MiB, S3 gateway 0.5 CPU/256 MiB.
- Каждая API: 0.5 CPU/512 MiB, один worker, non-root UID10001, read-only FS, tmpfs16MiB, drop capabilities, no-new-privileges.
При первоначальном переносе bytea-миграция несовместима со старым runtime ЛР2: такой переход требует maintenance window. Поочерёдная замена одинаковой версии с уже применённой схемой не требует повторной миграции.
## Архитектура и источник истины
```text
Клиент → HAProxy → API × 2 → PostgreSQL (сессии/данные/метаданные/intent)
↘ Valkey (кэш публичных карточек пользователей)
↘ S3 gateway → Seaweed backend (bytes)
```
Seaweed backend подключён только к отдельной `storage_backend` internal network. API к ней не подключается: filer/master/volume интерфейсы недоступны из общей API-сети. S3 gateway подключён к обеим сетям и предоставляет только S3-интерфейс на общей сети; публичных host ports у него нет. Admin identity присутствует только у gateway и bootstrap/research, API получает bucket-scoped Read/Write/List identity.
Ни случайный UUID, ни приватный bucket не заменяют ACL: метаданные и content выдаются только после проверки PostgreSQL-сессии и членства в чате. Сессии не кэшируются. Валидный токен не открывает чужой чат. Оригинал скачивается через авторизованный API без redirect.
Сообщения сохраняют порядок attachment_ids в message_attachments.position. Идемпотентность из ЛР3 атомарно сохраняет сообщение, связи и точный ответ; перестановка вложений при том же ключе считается другим body. Пропущенный attachment_ids и [] эквивалентны. UTF-8 поля сообщений/имён хранятся lossless в bytea, включая NUL, который PostgreSQL text не принимает.
## Upload и download
1. Проверяются сессия, чат, filename, MIME.
2. Тело читается частями в spool: первые 256 KiB в RAM, далее временный файл в ограниченном tmpfs. Максимум 10 MiB, таймаут чтения 15 секунд.
3. По одному upload slot на API, лишняя работа получает 429/Retry-After. Размеры изображения проверяются до decode: максимум 40 млн пикселей.
4. Pillow verify и повторный полный load проверяют PNG/JPEG. Для JPEG djpeg -strict дополнительно отклоняет недодекодируемые изображения, которые Pillow может принять с предупреждением; timeout5s, maxmemory192m.
5. После полной валидации фиксируется durable upload_intent. Под его row lock выполняются S3 PUT и транзакция ready metadata + удаление intent.
6. Только успешное завершение COMMIT даёт 201 ready с variants=[] и error_code=null. SHA-256/size/MIME относятся к исходным bytes.
Filename не используется в object key. Отклоняются slash, backslash, все Unicode Cc (включая C0, C1 и DEL), пустые/пробельные имена и длина вне1..255. MIME сравнивается с фактическим PNG/JPEG. Download получает S3 stream заранее и отдаёт части по64KiB; отсутствие variant у ready возвращает404, failed content409. Ошибка S3 до начала ответа переводится в503. Если сеть оборвётся после отправки HTTP headers, клиент увидит оборванный поток и должен проверить размер/checksum.
Прерванный HTTP приём закрывает spool и освобождает slot до создания intent/объекта. Неопределённый COMMIT не приводит к немедленному удалению S3: возможно, ready уже зафиксирован. Остатки очищаются сверкой после grace.
## Согласованность и исследование на 5
Подробная гипотеза, окна отказа и команды находятся в [research/README.md](research/README.md).
Reconciler по умолчанию dry-run. Явный apply может удалять старые orphan objects и завершать очистку abandoned intent; live intent защищён row lock, свежие bytes — независимой проверкой LastModified. Перед мутацией выполняется актуальный HEAD, не используется только старый LIST snapshot. Пропавший оригинал старой ready metadata помечается failed/storage_missing, но запись и связи сообщений сохраняются. Валидные ready вложения не удаляются даже без сообщения.
```sh
# Обычная сверка основного стенда — без изменений:
docker compose run --rm --no-deps api python -m messenger.reconcile
# Явное исправление после просмотра dry-run:
docker compose run --rm --no-deps api python -m messenger.reconcile --apply --grace-seconds 3600
# Изолированное исследование в новых временных БД и bucket:
docker compose run --rm --no-deps research
```
Проверяются реальные PG INSERT failure после PUT, ошибка подключения S3, потеря подтверждения после успешного COMMIT, PG DELETE failure после удаления S3, повторный dry-run после частичного удаления, S3 delete failure/recovery, fresh orphan, old intent с fresh bytes, live writer lock, missing used metadata. Временные исследовательские ресурсы удаляются в finally, рабочая messenger не очищается.
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
### Результат исследовательского прогона
[reconcile-study.json](evidence/reconcile-study.json) содержит **30 успешных проверок**, девять замеров обхода и hashes runtime. Первый apply удалил остатки двух старых intent и orphan, пометил один missing original failed; повтор не сделал новых изменений. Проверены также ошибка DELETE после удаления bytes и последующий read-only dry-run. Временные БД и bucket удалены.
| Добавлено intact | Фактически просмотрено metadata | Медиана трёх обходов |
|---:|---:|---:|
| 10 | 13 | 0,018528 с |
| 100 | 103 | 0,126891 с |
| 1000 | 1003 | 1,684725 с |
Рост близок к росту числа HEAD/SQL round trips. Это локальная стоимость консервативного обхода; нет утверждения о линейности для любой БД/сети. Помимо добавленных строк остаются три intact fault fixtures; missing failed исключён из ready scan.
### Результат десяти конкурентных upload
После рестарта API с сохранением старого токена проверены PNG 788100 и 8683594 байт. На каждом размере десять клиентов начали одновременно; **2 получили 201, 8 — контролируемый 429**, затем readiness200. У API и LB `oom=0`, `oom_kill=0`, процессы остались живы. Cgroup lifetime peaks: API 130342912 и130285568 байт, LB18243584 байт. Лимиты соответственно512/512/128MiB.
Before/after peaks не выросли: начальная загрузка приложения/Argon2 уже создала больший high-water. Поэтому опыт доказывает ограниченное поведение выбранной нагрузки без OOM, но не выделяет точную память одной загрузки и не доказывает экономию RAM самим spool.
## Проверки и доказательства
| Критерий | Сценарий | Доказательство |
|---|---|---|
| Контракт и схема | make check validate | evidence/contract-checks.txt |
| Обязательный API, PNG/ACL/checksum/idempotency | make test | evidence/smoke-strict.txt |
| Негативные/параллельные/Unicode/вложения | make student-test | evidence/tests-strict.txt: 88 passed |
| Повреждённый JPEG с поддельным EOI | regression до исправления и полный тест после djpeg | evidence/attachments-before-strict-jpeg.txt; evidence/tests-strict.txt |
| Независимая проверка реального HTTP | root external regression | Отдельная итоговая проверка общего пакета |
| Десять одновременных upload | research/upload_memory.py | evidence/upload-memory-final.json |
| Reconciler/fault-injection/стоимость | tools profile research | evidence/reconcile-study.json |
| Сохранность/переключение/отказы | публичные resilience + собственные реальные stop/pause | Итоговые evidence persistence/failover/storage-checks |
## Ограничения
- Один host, LB, PostgreSQL и Seaweed backend остаются точками отказа; две API-реплики не создают HA всех зависимостей.
- Сверка может пометить потерянные bytes failed, но не восстановить их без backup. Здесь не настраивается внешнее резервное копирование S3.
- Нет распределённого COMMIT через PostgreSQL и S3: остатки допустимы до grace/apply. Уникальные immutable server keys и intent делают выбранную очистку безопасной для штатного API; конкурентное ручное изменение администратором после HEAD находится вне этой гарантии.
- Очереди обработки изображений нет: ЛР4 синхронная, thumbnail/crop/optimized относятся к ЛР5.
- HTTP допустим для локального изолированного стенда с синтетическими данными. Удалённая передача секретов требует TLS.
- Native decoder/libjpeg ограничен memory/time/cgroup; полная корректность каждого экзотического изображения зависит от библиотечного декодера. Специально проверены конкретные повреждения из замечаний преподавателя.
- Client-side deadline ограничивает ожидание одного обращения к PostgreSQL, а не весь HTTP-путь; при неопределённом результате записи ключ идемпотентности защищает повтор сообщения. Upload не имеет такого ключа и не должен автоматически повторяться как будто это тот же объект.
## Источники
Оригинальные contracts/README и OpenAPI текущего skeleton, Docker Compose reference, документация PostgreSQL/psycopg, boto3 S3 client и SeaweedFS S3 configuration, Pillow Image API и libjpeg-turbo djpeg. Проверки кода опираются на сохранённые версии зависимостей и реальные ответы стенда.
+37
View File
@@ -0,0 +1,37 @@
# Схема PostgreSQL и связь с S3
Основной источник истины — PostgreSQL. В S3 находятся только исходные bytes вложения. Valkey содержит временные копии публичных пользователей, TTL60, без сессий и истории.
| Таблица | Ключи и назначение |
|---|---|
| users | UUID PK, username UNIQUE, Argon2id password_hash, UTF-8 display_name в bytea |
| chats | UUID PK, UTF-8 title в bytea, server UTC created_at |
| members | PK(chat_id,user_id), FK к chats/users, UNIQUE(chat_id,position) |
| messages | UUID PK, FK(chat_id,sender_id)→members, UTF-8 text в bytea, UTC created_at |
| message_requests | Уникальный scope(actor_id,chat_id,key), body_digest, точный JSON response в bytea, expires_at24h |
| sessions | SHA-256 token_digest PK, user FK, абсолютный expires_at |
| attachments | UUID PK, chat/owner FK, filename/MIME/size/SHA-256, status/error, created_at/updated_at, object_key UNIQUE |
| message_attachments | PK(message_id,attachment_id), FK к message/attachment, UNIQUE(message_id,position), position0..9 |
| upload_intents | UUID PK, object_key UNIQUE, created_at; durable запись до PUT |
| attachment_reconcile_audit | Генерируемый PK, безопасный event, внутренний object_key и время apply |
| schema_migrations | Имя SQL-файла PK и SHA-256 применённого содержимого |
## Миграции
1. 001_initial: базовые таблицы/ограничения/индексы ЛР2.
2. 002_idempotency: общий результат POST message для всех API-реплик.
3. 003_unicode_storage: lossless UTF-8 в bytea для полей, допускающих NUL; старому runtime нужна остановка на переход.
4. 004_attachments: attachments, links, durable intents и audit.
5. 005_attachment_only_message: допускает нулевую длину bytea text; API требует хотя бы одно вложение для пустого/пробельного текста.
Мигратор применяет файлы последовательно в транзакции под advisory lock. Повторный запуск пропускает неизменившиеся миграции; изменённый применённый файл вызывает ошибку.
## Индексы и транзакции
История читается keyset по `(chat_id,created_at,id)` с соответствующим B-tree. ID разрешает совпадения времени. Cursor scoped к чату и валидируется до SQL; он не создаёт snapshot между страницами.
`message_attachments_attachment_idx` помогает находить ссылки на вложение. `upload_intents_created_idx` поддерживает обход старых intent через `(created_at,id)` без OFFSET. Публичный порядок вложений берётся из position, не сортируется по UUID.
Создание чата с участниками атомарно. Отправка сообщения, проверка вложений того же чата под row lock, связи и сохранённый ответ идемпотентности выполняются одной транзакцией. Read-after-write обеспечивается чтением общего PostgreSQL, история не кэшируется.
Upload сначала фиксирует intent, затем держит его `FOR UPDATE` во время S3 PUT и финализации ready metadata. PostgreSQL и S3 не имеют общей транзакции. Неопределённый COMMIT не запускает delete; только консервативная сверка после grace может убрать abandoned остаток. Публичный API не раскрывает object_key, внутренние адреса или credentials.
+1 -1
View File
@@ -79,7 +79,7 @@ services:
retries: 20
s3:
image: chrislusf/seaweedfs:4.15@sha256:1593bd2a98964f5d4df83fa7db2b3d4ee7b20190813cc5bf8c3200e0e70d346e
command: [s3, -filer=storage:8888, -ip.bind=0.0.0.0, -config=/run/secrets/s3_config, -port=8333]
command: [s3, -filer=storage:8888, -ip.bind=0.0.0.0, -config=/run/secrets/s3_config, -port=8333, -port.iceberg=0]
secrets: [s3_config]
networks: [default, storage_backend]
depends_on:
+143
View File
@@ -0,0 +1,143 @@
#!/usr/bin/env python3
"""Real storage ACL and dependency failure checks; tokens never leave memory/stdin."""
import hashlib
import json
import subprocess
import sys
import time
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "tests"))
from client import Client
ROOT = Path(__file__).resolve().parents[1]
def compose(*args):
return subprocess.run(
["docker", "compose", *args], cwd=ROOT, check=True, capture_output=True, text=True
)
def inside(code, payload=None):
result = subprocess.run(
["docker", "compose", "exec", "-T", "--index", "1", "api", "python", "-c", code],
cwd=ROOT,
input=json.dumps(payload or {}),
capture_output=True,
text=True,
check=True,
)
return json.loads(result.stdout)
def request(path, token=None):
return inside(
"""import json,sys,time,urllib.request,urllib.error
p=json.load(sys.stdin);h={"Authorization":"Bearer "+p["token"]} if p.get("token") else {}
start=time.monotonic()
try:r=urllib.request.urlopen(urllib.request.Request("http://127.0.0.1:8080"+p["path"],headers=h),timeout=8)
except urllib.error.HTTPError as e:r=e
data=r.read()
print(json.dumps({"status":r.code,"elapsed":time.monotonic()-start,"json":json.loads(data) if r.headers.get_content_type()=="application/json" else None,"sha256":__import__("hashlib").sha256(data).hexdigest()}))
""",
{"path": path, "token": token},
)
def main():
c = Client("http://127.0.0.1:8084")
alice, _, _, chat = c.bootstrap()
attachment, content = c.attachment(alice, chat)
report = {"checks": [], "faults": []}
def check(name, condition):
if not condition:
raise AssertionError(name)
report["checks"].append({"name": name, "passed": True})
security = inside(
"""import json,sys,os,socket,urllib.request,urllib.error,uuid
from pathlib import Path
from messenger.storage import ObjectStorage
from messenger.postgres import PostgresStore
from botocore.exceptions import ClientError
p=json.load(sys.stdin);s=ObjectStorage();db=PostgresStore()
with db.connection() as conn:key=conn.execute("SELECT object_key FROM attachments WHERE id=%s",(p["id"],)).fetchone()["object_key"]
try:r=urllib.request.urlopen(os.getenv("S3_ENDPOINT")+"/"+s.bucket+"/"+key,timeout=3);anon=r.code;r.close()
except urllib.error.HTTPError as e:anon=e.code
try:s.client.create_bucket(Bucket="forbidden-"+uuid.uuid4().hex);denied=False
except ClientError as e:denied=e.response["ResponseMetadata"]["HTTPStatusCode"]==403
try:socket.create_connection(("storage",8888),timeout=.5).close();backend=False
except OSError:backend=True
try:socket.create_connection(("s3",8888),timeout=.5).close();gateway=False
except OSError:gateway=True
print(json.dumps({"anonymous_status":anon,"unrelated_bucket_denied":denied,"backend_unreachable":backend,"gateway_filer_unreachable":gateway,"no_admin_secrets":not Path("/run/secrets/s3_admin_access_key").exists() and not any(k.startswith("S3_ADMIN") for k in os.environ)}));db.close();s.close()
""",
{"id": attachment["id"]},
)
report["security"] = security
for key in [
"unrelated_bucket_denied",
"backend_unreachable",
"gateway_filer_unreachable",
"no_admin_secrets",
]:
check(key, security[key])
check("anonymous_original_denied", security["anonymous_status"] in {401, 403})
compose("run", "--rm", "--no-deps", "s3-bootstrap")
check("bucket_bootstrap_repeatable", True)
try:
compose("stop", "s3")
ready = request("/health/ready")
download = request(f"/api/v1/attachments/{attachment['id']}/content", alice["token"])
check("s3_down_ready_503", ready["status"] == 503 and ready["elapsed"] < 8)
check("s3_down_content_503", download["status"] == 503 and download["elapsed"] < 8)
report["faults"].append({"service": "s3", "ready": ready, "download": download})
finally:
compose("start", "s3")
for _ in range(30):
try:
downloaded = request(f"/api/v1/attachments/{attachment['id']}/content", alice["token"])
if downloaded["status"] == 200:
break
except (AssertionError, subprocess.CalledProcessError):
pass
time.sleep(0.5)
else:
raise AssertionError("S3 recovery timed out")
check(
"s3_restart_original_unchanged", downloaded["sha256"] == hashlib.sha256(content).hexdigest()
)
try:
compose("pause", "postgres")
ready = request("/health/ready")
me = request("/api/v1/users/me", alice["token"])
check(
"paused_pg_ready_503_with_client_deadline",
ready["status"] == 503 and ready["elapsed"] < 8,
)
check("paused_pg_auth_503_with_client_deadline", me["status"] == 503 and me["elapsed"] < 8)
report["faults"].append({"service": "paused_postgres", "ready": ready, "me": me})
finally:
compose("unpause", "postgres")
for _ in range(30):
try:
me = request("/api/v1/users/me", alice["token"])
if me["status"] == 200:
break
except subprocess.CalledProcessError:
pass
time.sleep(0.5)
else:
raise AssertionError("PostgreSQL recovery timed out")
check("old_session_recovers_after_unpause", me["json"]["id"] == alice["id"])
Path(ROOT / "evidence/storage-checks.json").write_text(
json.dumps(report, ensure_ascii=False, indent=2) + "\n"
)
print(json.dumps({"passed": len(report["checks"])}))
if __name__ == "__main__":
main()