#!/usr/bin/env python3 """Build the lab4 report only from a successfully completed acceptance run.""" import json from pathlib import Path import statistics ROOT=Path(__file__).resolve().parents[1] E=ROOT/'evidence' def read(name):return json.loads((E/(name+'.json')).read_text()) a=read('acceptance');env=read('environment') if not a.get('passed') or a.get('run_id')!=env.get('run_id'): raise SystemExit('A completed matching acceptance run is required before writing REPORT.md') f=read('failures');uploads=read('uploads');scans=read('reconciliation');safety=read('reconciliation-safety') limit=env['limits'];hw=env['docker'] rows=[] for x in uploads: peak=max(v['memory_peak_bytes'] for v in x['memory'])/1048576 cpu=', '.join(v['cpu_percent'] for v in x['cpu']) fmt=lambda value: '-' if value is None else f'{value*1000:.1f}' rows.append(f"| {x['bytes']} | {x['trial']} | {x['duration_seconds']:.3f} | {x['successful']}/10 | {x['successful_rps']:.1f} | {x['error_rate']:.0%} | {fmt(x['p50'])}/{fmt(x['p95'])}/{fmt(x['p99'])} | {peak:.1f} | {cpu} |") scan_rows=[] for x in scans: sample=x['dry_runs'][0] duration=statistics.median(v['duration_ms'] for v in x['dry_runs']) scan_rows.append(f"| {x['seeded']} | {sample['objects']} / {sample['metadata']} | {duration:.0f} | {sample['s3_requests']} | {sample['db_checks']} | {sample['lock_attempts']} | {x['apply']['deleted']} | {x['repeat_apply']['deleted']} |") max_peak=max(v['memory_peak_bytes'] for x in uploads for v in x['memory'])/1048576 failover_rows=[] for i,x in enumerate(f['failover'],1): failover_rows.append(f"| Uploader {i} | Остановлен именно процесс `{x['upload_instance']}` | Скачал `{x['download_instance']}`; SHA-256 совпал |") report=f'''# Отчёт — лабораторная 4: S3 и согласованность двух хранилищ - Автор, группа: Поликарпов Даниил Александрович, БПИ2303. - Целевая оценка: **5, трек 2 — согласованность PostgreSQL/S3**. - Измерения: {env['date_utc']}; окончание проверки: {a['timestamp_utc']}. - HEAD репозитория на момент проверки: `{env['git_head']}`; рабочее дерево содержит незакоммиченную реализацию. Это HEAD основы, а не опубликованный commit решения. Commit/PR ещё не созданы. - Идентификатор полного прогона: `{a['run_id']}`; итог — [acceptance.json](evidence/acceptance.json). - Реализация, диагностика и подготовка отчёта выполнены с помощью OpenAI Codex. Исходники проверок и методики включены в репозиторий. ## Запуск из чистого clone Нужны Docker Engine и Compose v2+, Go 1.27+, Python 3.9+, Bash, OpenSSL и Git. Проверено: {env['host']}, Docker {hw['ServerVersion']}, {hw['Architecture']}, {hw['NCPU']} vCPU и {hw['MemTotal']/1073741824:.2f} GiB памяти Docker VM. Нужны свободные loopback-порты 18081 и 18082. Соседние репозитории не требуются. ```sh python3 -m venv .venv .venv/bin/python -m pip install -r requirements-dev.txt make up make check validate PYTHON=.venv/bin/python make build vet test test-go test-storage make test-persistence ACTION_SCRIPT=./scripts/restart.sh make test-failover ACTION_SCRIPT=./scripts/stop-one.sh make restore make reconcile # Полный изолированный прогон, включая отказы и исследование: make evidence PYTHON=.venv/bin/python python3 scripts/write-report.py # Безопасная остановка основного стенда, данные сохраняются: make down ``` `make up` идемпотентно создаёт `.env.lab4`, JWT-ключи и отдельные S3 admin/API-ключи в `secrets/lab4`; существующие пароли и ключи не заменяются. Файлы игнорируются Git и исключены из Docker build context. API монтирует только JWT и собственные S3-ключи, admin-ключи в API не попадают. Единственная публикация основного стенда — `127.0.0.1:18081` через HAProxy. Для **намеренного удаления только учебных данных основного стенда** оператор может выполнить `./scripts/compose.sh down -v`. При обычном restart/failover эта команда не применяется. Экспериментальный проект — `mtusi2026lab4-evidence`; его volumes также сохраняются после проверки. Повторная приёмка добавляет синтетические данные к существующим, что отражено в фактических размерах наборов. ## Архитектура и конфигурация Клиент → HAProxy → API × 2 → PostgreSQL + приватный SeaweedFS. Redis хранит кэш неизменного состава чата; серверные сессии остаются в PostgreSQL. Перенесены регистрация/сессии, чаты, keyset-пагинация, общая БД и идемпотентность lab3. Добавлены Attachment, связи с сообщениями, HTTP endpoints, S3, reconciler и операторское восстановление. | Роль | Образ / версия | Готовность и сохранность | Доступ | | --- | --- | --- | --- | | API × 2 / migrator | Сборка исходников: Go 1.27.2-alpine3.23 → Alpine 3.23.6 | `/health/live`; `/health/ready` проверяет PostgreSQL и S3 | API-порты не опубликованы; migrator — отдельный одноразовый процесс | | PostgreSQL | 17.11-alpine3.23 | `pg_isready`; `postgres_data` | Только сеть Compose | | Redis | 8.2.11-alpine3.22 | AUTH PING; AOF в `redis_data` | Только сеть Compose | | HAProxy | 3.2-alpine | Проверяет readiness каждой API-реплики | Только loopback 18081 | | SeaweedFS | 4.52 | `s3_data` содержит master/volume/filer; bootstrap проверяет bucket и PUT/DELETE | Только internal-сеть storage, без публикации gateway/master/filer | Все digest закреплены в `compose.yaml` и Dockerfile. SeaweedFS: `sha256:57877e32bb90073b37dc109b438ba66e84fd5ed9ced5f5c04f56444ef243ce59`. `s3-init` использует admin identity и создаёт приватный bucket. В его JSON нет anonymous identity. API identity ограничена Read/Write/List конкретного bucket и не имеет Admin; создание другого bucket отвергается. Образы и точные зависимости Go зафиксированы manifest/lock-файлами проекта. `.env.example` описывает параметры Compose: HOST_PORT/API_REPLICAS, пароли PostgreSQL/Redis, лимиты API и пула, SESSION_TTL_SECONDS, S3_BUCKET, MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS, UPLOAD_TIMEOUT и RECONCILE_GRACE_PERIOD. Их изменения задаются в `.env.lab4` или окружении оператора. S3_ENDPOINT, S3_REGION и пути credentials зафиксированы в `compose.yaml`; одноимённые переменные в `.env.lab4` их не переопределяют. В примере они приведены как комментарии для справки. Для нестандартного bucket нужно также экспортировать `S3_BUCKET` перед `make up`: генератор S3-политики читает окружение процесса, а не `.env.lab4`. Для сдачи и приёмки используется стандартный `messenger-attachments`. Основной и экспериментальный проекты используют общие локальные файлы credentials; менять bucket/политику при работающем основном стенде не следует. По умолчанию: API — 1 CPU/512 MiB каждая, четыре upload slots, один decoder, `GOMEMLIMIT=384MiB`; PostgreSQL — 2 CPU/1 GiB, Redis — 0.25 CPU/128 MiB, S3 — 1 CPU/512 MiB, LB — 0.5 CPU/128 MiB. Это лимиты контейнеров, а не гарантия высокой доступности единственного Docker-host. ## Синхронная загрузка и транзакционные границы 1. Проверить сессию и членство в чате; неизвестный и чужой ресурс одинаково дают 404. Проверить отображаемое filename, MIME и Content-Length. 2. Прочитать не более 10 MiB через MaxBytesReader во временный файл, одновременно вычисляя SHA-256. Проверить формат и размеры через DecodeConfig, затем полностью декодировать PNG/JPEG под отдельным semaphore. Лимит 40 млн пикселей проверяется до полной распаковки. 3. Сервер генерирует уникальный ключ `originals/` и получает advisory session lock этого ключа. Filename не участвует ни в локальном пути, ни в S3 key. 4. Сохранить оригинал в S3, затем атомарно вставить метаданные в PostgreSQL. Только после подтверждённого сохранения вернуть 201, `status=ready`, `variants=[]`, `error_code=null`. 5. Удалить временный файл. После ответа скачивание зависит от S3 и БД, а не от файловой системы загрузившей реплики. Скачивание проходит через авторизованный API без redirect; Content-Length позволяет клиенту обнаружить обрыв передачи. Атомарной транзакции PostgreSQL+S3 нет. При неопределённом результате COMMIT API возвращает ошибку, **не выполняя слепой S3 DELETE**: COMMIT мог пройти. Reconciler позже проверяет наличие метаданных. Обрыв тела до завершения чтения не создаёт готовый Attachment. Повтор самостоятельного upload может создать ещё один объект; прозрачных повторов публичного POST нет. Сообщение, все связи вложений и результат идемпотентности записываются одной PostgreSQL-транзакцией. Правило «текст или вложение», UTF-8/4000 символов, максимум 10 уникальных ID и доступность вложений проверяет Go-сервис; функции и триггера `message_content` в миграциях нет. FK сохраняют ссылочную целостность. При проверке вложений используются row locks до COMMIT. Версия хеша хранится в `hash_version`: legacy v1 учитывает текст, v2 — канонический текст и упорядоченный список ID. Отсутствующий список и `[]` равнозначны. Старые текстовые ключи продолжают воспроизводиться; изменение текста или вложений при том же ключе даёт 409. Порядок вложений сохраняется. ## Reconciler и восстановление ```sh make reconcile # По умолчанию dry-run make reconcile-apply # Применить безопасные изменения ./scripts/compose.sh run --rm -T operator storage restore \\ --id --source /fixtures/sample.png ``` Сверка читает S3 страницами по 100 объектов и БД keyset-страницами по 100 метаданных. Обрабатываются только серверные ключи `originals/`. Для каждого ключа используется та же advisory lock, что при upload/restore; под ней проверяются метаданные и актуальный HEAD объекта. Если метаданные существуют, объект защищён, даже если он ещё не прикреплён к сообщению. Отсутствующие метаданные плюс возраст старше grace позволяют удалить orphan. В обычном стенде upload timeout — 120 секунд, grace — один час; конфигурация требует grace больше удвоенного timeout. Это запас для отменённого запроса/потерянной DB-сессии. Предполагаются синхронизированные часы локального стенда. При неопределённом получении или освобождении lock соединение закрывается, а не возвращается в pool с потенциально удерживаемой блокировкой. Missing — метаданные без оригинала. Dry-run только сообщает проблему; apply выставляет внутренний `integrity_missing`, сохраняя metadata, ID и ссылки сообщений. Клиент с доступом получает 503; публичный enum статуса lab4 не меняется. Восстановление требует предоставленного оригинала с совпадающими размером, MIME и SHA-256. После PUT выполняется контрольное чтение; только затем снимается признак повреждения. Неверный оригинал отвергается, повторный restore безопасен. При ошибке любой зависимости проход завершается ненулевым кодом, сохраняя частичные счётчики. Уже выполненные безопасные действия не откатываются: общего COMMIT между хранилищами нет. Повторный запуск продолжает исправление. Для регулярной очистки оператору нужно запускать `make reconcile-apply`, например каждые 10 минут через свой планировщик; автоматическое cron-расписание не устанавливается. ## Доказательства критериев | Критерий | Команда / наблюдение | Доказательство | | --- | --- | --- | | Структура и полный OpenAPI | `make check build vet`, `make validate` — PASS | [build-checks](evidence/build-checks.txt), [validate](evidence/validate.txt) | | Возможности lab3 и идемпотентность | Go race suite: история/пагинация, 32 конкурентных повтора через 2 реплики | [go-tests](evidence/go-tests.txt) | | Обязательный API lab4 | Публичный smoke: файл, attachment-only message, checksum, ACL — PASS | [smoke](evidence/smoke.txt) | | PNG/JPEG, bytes/pixels, filename | Exact 10 MiB — 201; превышение bytes, chunked и pixels — 413; MIME/corruption — 415; filename — 400 | [go-tests](evidence/go-tests.txt) | | Чужой файл и чат | Metadata/content и cross-chat attachment — 404; duplicate/null ID list — 400 | [go-tests](evidence/go-tests.txt) | | Только Go-проверка содержимого | Пустое сообщение отклоняется; attachment-only сохраняется; триггер отсутствует | [storage-tests](evidence/storage-tests.txt) | | Атомарность сообщений | Ошибка FK/записи ключа откатывает сообщение, связи и результат; legacy replay сохранён | [storage-tests](evidence/storage-tests.txt) | | Приватность и ограниченные ключи | Unsigned GET известного объекта — {f['private_bucket']['anonymous_status']}; API CreateBucket запрещён | [failures](evidence/failures.json) | | Persistence | Прежний token и исходный файл пережили restart; до/после видны реальные процессы всех stores | [persistence](evidence/persistence.txt), [snapshots](evidence/failures.json) | | Остановка загрузившей реплики | Поочерёдно остановлены обе; файл скачан другой репликой с тем же SHA-256 | [failures](evidence/failures.json) | | Публичный failover | Запись во время отказа, повторы без дубля, прежняя сессия — PASS | [failover](evidence/failover.txt) | | Недоступность S3 | Liveness 200, readiness/upload 503; reconciler не удаляет/не помечает | [failures](evidence/failures.json), [S3 down](evidence/reconcile-s3-down.txt) | | Отказ PostgreSQL | Сверка прекращается без изменений; после восстановления метаданные сохранены | [failures](evidence/failures.json), [DB down](evidence/reconcile-db-down.txt) | | Прерывание и PUT → ошибка БД | Незавершённый body не создаёт строку; timeout после PUT даёт диагностируемый orphan | [failures](evidence/failures.json) | | Missing и восстановление | Обнаружен; неверный оригинал отвергнут; верный восстановлен дважды без потери ссылки | [failures](evidence/failures.json) | | Память при 10 клиентах | Два размера, три повтора; ограничение admission учитывается в ошибках | [uploads](evidence/uploads.json) | | Безопасная сверка | Fresh и использованные объекты сохранены, старые orphan удалены, повтор ничего не удаляет | [safety](evidence/reconciliation-safety.json), [scans](evidence/reconciliation.json) | | Bootstrap | Повтор сохраняет ключи; существующий bucket допускает bootstrap и проверку записи | [bootstrap-repeat](evidence/bootstrap-repeat.txt), [bucket repeat](evidence/bucket-bootstrap-repeat.txt) | Полная команда воспроизведения — `make evidence`. PASS означает завершение перечисленных локальных сценариев, а не автоматическое выставление оценки. Секреты, tokens и raw HTTP-запросы в evidence не сохраняются. ## Эксперименты Гипотеза: при неизменяемых серверных ключах, общей блокировке и grace можно повторяемо удалить orphan, сохранив свежие и используемые вложения; missing обнаруживаются, а внешний оригинал позволяет восстановить данные без смены ссылок. Изолированный проект использует те же образы и контейнерные ресурсы, но `UPLOAD_TIMEOUT=5s`, `RECONCILE_GRACE_PERIOD=15s`, чтобы ждать grace без часовой паузы. Обычные defaults остаются 120s/1h. Защита свежего объекта отдельно проверяется с grace 1h, независимо от длительности массового заполнения. Наборы содержат также ранее загруженные файлы — фактические размеры указаны ниже. ### Upload: bytes и память Перед каждым из трёх повторов для каждого размера API-контейнеры создаются заново, выполняется одна прогревочная загрузка исходного малого файла, затем barrier запускает 10 клиентов одновременно. Отдельного длительного прогрева нет. Оригинал — RGB PNG 320×200, {uploads[0]['bytes']} байт; вариант 5 MiB содержит валидный ancillary PNG chunk и имеет те же декодированные размеры. Это сравнение стоимости передачи bytes, а не исследование больших изображений. | Bytes | Повтор | Длительность, s | Успехи | Успешные RPS | Ошибки | p50/p95/p99, ms | Max peak одной API, MiB | CPU samples API | | --- | --- | --- | --- | --- | --- | --- | --- | --- | {chr(10).join(rows)} Максимальный наблюдавшийся пик одной API: **{max_peak:.1f} MiB** при лимите 512 MiB. Сняты `memory.current` и kernel `memory.peak` cgroup v2: peak относится ко всей жизни заново созданного контейнера, включая startup и прогрев, а не только к интервалу burst. CPU — короткий `docker stats --no-stream` sample; он не даёт надёжной оценки steady-state CPU для столь короткого burst. В errors отдельно учитываются 429, повторов скрыто нет. Percentiles относятся только к успешным запросам; 10 наблюдений недостаточно для устойчивой оценки хвоста. RPS включает клиентскую подготовку, не доказывает максимальную пропускную способность сервера. ### Стоимость сверки После заполнения выдерживается 16 секунд, выполняются три dry-run, apply и повторный apply. В таблице — медиана времени dry-run; счётчики вызовов приведены для первого прохода. | Добавлено orphan | Объекты / metadata | Dry-run median, ms | Вызовы S3 | Проверки/страницы БД | Попытки session lock | Удалено apply | Удалено повторно | | --- | --- | --- | --- | --- | --- | --- | --- | {chr(10).join(scan_rows)} `db_checks` считает проверки наличия, страницы метаданных и изменения; это не все сетевые round trips PostgreSQL. Каждая успешная session lock добавляет SQL получения и освобождения; отдельно показан `lock_attempts`. S3-счётчик включает HEAD bucket, List pages, Head objects и Delete. Стоимость растёт с фактическим числом объектов и метаданных; общий snapshot двух хранилищ не создаётся. Вставка UUID позади keyset cursor может попасть в следующий периодический проход. Безопасность проверена предметными наблюдениями: свежий orphan остался, referenced originals не удалялись, invalid key и объект вне prefix остались, после очистки второй apply удалил ноль объектов и missing не появилось. Во время отдельного прохода выполнялся upload; его подтверждённый оригинал скачан с тем же checksum. Это конкурентный прогон, а детерминированное ожидание и отмена advisory lock отдельно проверены на реальном PostgreSQL в storage suite. | Воздействие | Наблюдение | Доказательство | | --- | --- | --- | {chr(10).join(failover_rows)} | Restart PostgreSQL/Redis/S3/API/LB | Прежние данные, session и bytes сохранены; процессы перезапущены или заменены | persistence + snapshots | | S3 остановлен | 200 live, 503 ready/upload; после bootstrap путь записи восстановлен | failures | | PostgreSQL остановлен | Reconciler завершился без удаления, после запуска данные сохранены | failures | | Тело upload оборвано | Строка Attachment не появилась | failures | | PUT успешен, INSERT заблокирован | Upload 503, метаданные не появились, orphan найден и очищен после grace | failures + reconciliation | | Оригинал удалён из S3 | Missing отмечен, затем исходник восстановлен с тем же ID/checksum и ссылкой | failures | В этих сценариях потери подтверждённых данных после restart/failover не обнаружены. Время восстановления отдельно не измерялось: проверки подтверждают восстановление в пределах своих таймаутов, но не дают оценки RTO. ## Ограничения и источники Один Docker-host, PostgreSQL, Redis, S3 и LB остаются одиночными точками отказа. Сессии хранятся в БД, Redis — необязательный cache; отказ S3 выводит API из readiness. Ошибки, сформированные самим LB при отсутствии здоровых backend, могут не иметь JSON/identity headers приложения. HTTP допустим только для локального стенда с синтетическими данными; TLS — задание lab7. Reconciler не делает резервное копирование, не восстанавливает bytes из SHA-256 и не проверяет checksum каждого существующего объекта при обычном HEAD-обходе. Если оригинала/backup нет, missing остаётся невосстановимым. Временный локальный файл используется до сохранения, но не является долговременным источником оригинала. `GOMEMLIMIT` — мягкий бюджет Go, а не жёсткая гарантия RSS; предел процесса задаёт cgroup, полная распаковка всё ещё ограничена количеством пикселей и одним decoder. Периодическую сверку запускает оператор. Потеря БД сессии/сетевые разделения покрываются блокировками, ограничением времени запроса и grace в рамках заявленного локального стенда; глобальной транзакции или защиты от произвольных внешних writers с admin-ключами нет. Нагрузочные результаты привязаны к этому hardware, размерам изображений и короткому burst-профилю. Первичные материалы: [SeaweedFS 4.52](https://github.com/seaweedfs/seaweedfs/releases/tag/4.52), [S3 credentials/configuration](https://github.com/seaweedfs/seaweedfs/wiki/S3-Configuration), [AWS SDK for Go v2 endpoints](https://docs.aws.amazon.com/sdk-for-go/v2/developer-guide/configure-endpoints.html), [S3 upload semantics](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html). Использованы стандартные Go image/png/jpeg, AWS SDK v2, pgx, chi и oapi-codegen; версии — в go.mod/go.sum и generated header. Обязательный контракт и fixture предоставлены материалами курса. ''' (ROOT/'REPORT.md').write_text(report) print('REPORT.md generated from successful acceptance evidence.')