diff --git a/.github/workflows/application.yml b/.github/workflows/application.yml
index 7ac092b9..e2098231 100644
--- a/.github/workflows/application.yml
+++ b/.github/workflows/application.yml
@@ -16,6 +16,7 @@ jobs:
- run: docker compose up -d
- run: python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
- run: make check test PYTHON=python BASE_URL=http://localhost:8084
+ - run: docker compose stop reconciler
- run: docker compose run --rm --no-deps -T -v "$PWD:/suite:ro" -w /suite api python student-tests/test_attachments.py
- run: docker compose run --rm --no-deps -T -v "$PWD:/suite:ro" -w /suite api python student-tests/test_reconcile.py
- run: chmod +x scripts/restart.sh scripts/stop-one.sh
diff --git a/REPORT.md b/REPORT.md
index 9ad2b84f..e0558414 100644
--- a/REPORT.md
+++ b/REPORT.md
@@ -1,37 +1,269 @@
-# Отчёт — лабораторная 4
+# Отчёт — лабораторная работа №4
-- Автор, группа: TODO
-- Целевая оценка; выбранный трек 5, если нужен: TODO
-- Commit/PR: TODO после публикации
-- Использованные источники, библиотеки и помощь ИИ: TODO
+Автор: **Ляхонов Сергей**, группа **БВТ2301**. Дата: **30 октября 2026 года**.
+Целевая оценка: **5**, выбран **трек 2 — согласованность двух хранилищ**. Пользователь выбрал трек до реализации.
+Ветка: `solution/BVT2301-lyakhonov`. Только локальные русскоязычные коммиты; push и PR не выполнялись.
## Запуск из чистого clone
-TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
+Нужны Docker Engine/Compose с Linux-контейнерами, Python 3.9+ и make (либо прямые эквивалентные Python-команды ниже).
+Проверено: Windows, Python хоста 3.13.7, Docker Engine 28.5.1 / Docker Desktop, i5-1340P, 16 логических CPU и 16 GB RAM.
+Docker VM: 16 CPU, 8 126 664 704 bytes RAM. См. [CPU](evidence/cpu.json), [RAM](evidence/hardware.json), [Docker](evidence/docker-resources.json).
+Для сборки исходников S3 и всех экспериментов разумно выделить Docker около 8 GB RAM и иметь около 10 GB свободного диска под build cache/образы/учебные данные.
+Постоянные runtime-лимиты стенда: суммарно 4 CPU и 2816 MiB; генератор и одноразовые сервисы требуют дополнительного ресурса.
+Это лимиты, а не гарантированное фактическое потребление.
-## Архитектура и решения
+PowerShell, из корня лабораторной 4:
-TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
+```powershell
+$env:PYTHONUTF8='1'
+python scripts/bootstrap.py
+docker compose --env-file .env config --quiet
+docker compose --env-file .env build api s3
+docker compose --env-file .env up -d
+python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
+make check test PYTHON=python BASE_URL=http://localhost:8084
+python -m venv .venv
+.venv/Scripts/python -m pip install -r requirements-research.txt
+make validate PYTHON=.venv/Scripts/python
+```
+
+Bootstrap создаёт случайные DB/S3 secrets и `.env` из `lab4.env.example` **только при отсутствии**; существующие файлы сохраняются.
+Пароли и ключи не выводятся и не попадают в Git. Отдельный migrate применяет версии 001–003 под advisory lock до старта API.
+Bucket-init создаёт приватный bucket и ограниченного пользователя приложения; повтор безопасен.
+Все зависимости запускаются из этого репозитория; установленные ранее БД/S3 не используются.
+
+Реестр отказал в скачивании официальных образов MinIO/mc (Docker Hub denied, Quay 401), поэтому окончательный стенд
+собирает S3 из исходников через `Dockerfile.s3`: MinIO commit `07c3a429bfed433e49018cb0f78a52145d4bedeb`
+(исходники RELEASE.2025-09-07T16-13-09Z), mc RELEASE.2025-04-16T18-13-26Z.
+Оба архива закреплены SHA-256 в ADD; Go и Debian закреплены digest, Go-зависимости проверяются go.sum.
+Первичная сборка реально прошла, повтор использует build cache. Нужен доступ к GitHub, Docker Hub и Go module proxy;
+наличие локального старого MinIO-образа не требуется. Версия самосборного бинарника может выводиться как DEVELOPMENT.GOGET;
+точная идентичность задаётся commit и архивом, не этой строкой. Лицензии MinIO/mc AGPL включены в образ.
+[Контрольные суммы](evidence/s3-source-hashes.json), [рецепт](Dockerfile.s3).
+
+Остановка без удаления данных: `docker compose down`. Стенд №3 не затрагивается.
+Только при намеренном удалении собственных учебных данных: `docker compose down --volumes`.
+Последняя команда необратима; в проверках она не используется. Внешние volumes и чужие Compose projects не удаляются.
+На POSIX использовать python3 и executable `.sh` hooks (`chmod +x scripts/restart.sh scripts/stop-one.sh`).
+
+## Архитектура и конфигурация
+
+```mermaid
+flowchart LR
+ Client[Клиент] --> LB[HAProxy localhost:8084]
+ LB --> API1[API 1]
+ LB --> API2[API 2]
+ API1 --> DB[(PostgreSQL: метаданные и сессии)]
+ API2 --> DB
+ API1 --> S3[(MinIO: приватные оригиналы)]
+ API2 --> S3
+ API1 --> Redis[(Redis: необязательный кэш профилей)]
+ API2 --> Redis
+ Reconciler[Периодическая сверка] --> DB
+ Reconciler --> S3
+```
+
+| Роль → service | Версия / CPU / RAM | Готовность / durable state / доступ |
+| --- | --- | --- |
+| API → api ×2 | Python 3.11.10, lock dependencies; 0.5 CPU / 512 MiB каждая | `/health/ready`: PostgreSQL + S3; без durable локальных оригиналов; только внутренняя сеть |
+| БД → db | PostgreSQL 16.6-alpine; 1 CPU / 512 MiB | pg_isready; отдельный postgres_data; порт не опубликован |
+| S3 → s3 | Собственная сборка из закреплённых исходников; 1 CPU / 768 MiB | bootstrap ждёт S3; API проверяет LIST рабочего prefix; отдельный s3_data; без внешних портов |
+| LB → lb | HAProxy 3.0.6-alpine; 0.5 CPU / 128 MiB | HTTP readiness API; только 127.0.0.1:8084 |
+| Кэш → redis | Redis 7.4.1-alpine; 0.25 CPU / 128 MiB | Необязателен; профили, без сессий/истории; persistence отключён |
+| Миграции → migrate | Тот же исходный образ; 0.5 CPU / 512 MiB | Одноразовый exit 0 до API, schema_migrations |
+| Bucket bootstrap → bucket-init | Тот же S3-образ, mc; 0.25 CPU / 128 MiB | Одноразовый exit 0; приватность и политика; root secrets доступны только здесь и S3 |
+| Сверка → reconciler | Тот же исходный образ; 0.25 CPU / 256 MiB | Apply каждые 300 с, grace 3600 с; отдельный процесс, restart unless-stopped |
+
+Compose project `lyakhonov-lab4`, собственные сеть, `lyakhonov-lab4_postgres_data`, `lyakhonov-lab4_s3_data`,
+образы `lyakhonov-messenger:lab4` и `lyakhonov-storage:lab4`. Нет container_name и наружных портов API/БД/S3/Redis.
+Консоль MinIO слушает только loopback самого S3-контейнера. Пароли передаются через read-only Compose secrets files.
+Приложение имеет S3 LIST только своего bucket/prefix и Get/Put/Delete только `attachments/originals/*`;
+не имеет административного доступа, list buckets, delete bucket или записи вне prefix. Bucket — `attachments`, публичного чтения нет.
+API работает без root. Единственные PostgreSQL, S3, LB и Docker-host остаются SPOF.
+
+`lab4.env.example` задаёт реальные пользовательские параметры LAB4_PORT, API_REPLICAS, API_CPUS, API_MEMORY,
+POOL_SIZE, SESSION_TTL_SECONDS и OPTIMIZED_WRITES. Исходный `.env.example` skeleton сохранён как список логических интерфейсов:
+APP_HOST/APP_PORT соответствуют фиксированному listener 0.0.0.0:8080; APP_ENV не используется; SESSION_STORE=postgres фиксирован;
+CACHE_URL_FILE заменён внутренним CACHE_URL=redis://redis:6379/0; DATABASE_URL_FILE совпадает.
+S3_ENDPOINT и регион совпадают; S3_BUCKET в решении фиксирован `attachments` вместо предложенного messenger-attachments.
+S3_ACCESS_KEY_ID_FILE/S3_SECRET_ACCESS_KEY_FILE отображаются на внутренние S3_ACCESS_KEY_FILE/S3_SECRET_KEY_FILE.
+IDEMPOTENCY_TTL_SECONDS=86400, MAX_UPLOAD_BYTES=10485760, MAX_IMAGE_PIXELS=40000000 — обязательные фиксированные лимиты,
+не произвольные пользовательские настройки. Изменение старого `.env.example` не меняет эти внутренние значения.
+
+## Перенос и границы транзакций
+
+Источник: собственная лабораторная №3, HEAD `374c43e`, только чтение. Оба рабочих дерева до начала были чистыми.
+Перенесены исходники, миграции, зависимости, Dockerfile и необходимые конфигурации/scripts.
+README, COURSE, обязательные contracts, публичные tests и fixture лабораторной №4 сохранены.
+Не переносились .git, .env, secrets, volumes, venv, старые измерения/графики. [Акт переноса](evidence/transfer.md).
+
+Сохранены PostgreSQL-сессии, Argon2id, ACL чатов, пагинация, две реплики и общая транзакционная идемпотентность.
+В отличие от lab3, Message теперь всегда содержит attachment_ids; допускает пустой текст с вложениями.
+Ключ сравнивает полный нормализованный body, включая порядок ID; отсутствующее attachment_ids равно [].
+Результат ключа, Message и связи вложений фиксируются атомарно. Конкурентные повторы сериализуются общей блокировкой.
+Миграция 003 переносит старые текстовые результаты ключей в JSON и добавляет Attachment/message_attachments.
+Обратное смешивание lab3/lab4 API после этой миграции не поддерживается: требуется согласованный переход.
+В этой работе использован новый отдельный volume, исходная БД lab3 не изменялась.
+
+Upload: авторизация/ACL → bounded temporary spool → MIME/размер/пиксели/verify/load → уникальный S3 PUT → INSERT → COMMIT → 201 ready.
+Оригинал сохраняется побайтно. Приём <=10 MiB, <=40 млн px; один декодер на реплику, <=20 с на body, <=25 с ожидания слота.
+Только временный spool живёт локально до PUT; download читает S3 блоками 64 KiB без redirect.
+S3 timeout connect=2/read=5 с и без retry, LB client=60/server=45 с и без повторов POST.
+Неопределённый COMMIT не вызывает слепое удаление объекта. Подробный протокол и инварианты: [infra/reconciliation.md](infra/reconciliation.md).
## Доказательства критериев
-| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
+| Критерий | Команда/сценарий | Реальный результат / доказательство |
+| --- | --- | --- |
+| Обязательная база lab3 и контракт lab4 | make check/test/validate | PASS: [make](evidence/make-check-test.txt), [validate](evidence/validate.txt) |
+| Upload 201 ready, сообщение, checksum, ACL | публичный smoke | PASS: [smoke](evidence/smoke.txt); PNG/JPEG неизменны |
+| ≥2 API, остановка именно загрузившей реплики | python student-tests/test_operations.py | Обе разные реальные реплики остановлены по очереди; другой процесс вернул оригинал: [JSON](evidence/operations.json) |
+| Retry и сохранность при failover | публичный resilience --mode failover | PASS, ошибки перехода учтены: [1](evidence/failover-1.txt), [2](evidence/failover-2.txt) |
+| Рестарт с volumes и прежней сессией | публичный persistence + test_operations.py | PASS, реальные StartedAt до/после API/БД/Redis/S3/LB: [persistence](evidence/persistence.txt), [operations](evidence/operations.json) |
+| S3 недоступен / восстановлен | test_operations.py | Ограниченный 503, после восстановления те же bytes и сессия |
+| Bytes/пиксели/MIME/filename/повреждения | test_attachments.py | PASS, включая chunked body >10 MiB, >40 млн px и допустимые ровно 40 млн px: [negative suite](evidence/attachments.txt) |
+| Чужой ID, другой чат, дубли ID | test_attachments.py | 404/400, без 500 |
+| Обрыв body | реальный TCP disconnect | Постоянный объект не создан |
+| Сбой после PUT до INSERT | ограниченный synthetic DB trigger | Получен 500, объект найден сверкой как orphan; trigger снят в finally |
+| Ограничение RAM при ≥10 загрузках | python scripts/run_upload_load.py | 60/60 успешно, два размера, cgroup peak и Docker stats: [raw](evidence/upload-load.json), [CSV](evidence/upload-summary.csv) |
+| Приватность и минимальные S3-права | unsigned GET + запрещённые S3 API | 403; отдельные credentials приложения: [suite](evidence/attachments.txt) |
+| Идемпотентный bucket bootstrap | docker compose run --rm --no-deps bucket-init | Повтор exit 0: [вывод](evidence/bootstrap-repeat.txt) |
+| Orphan/missing/corrupt | test_reconcile.py | Найдены; old orphan удалены; missing/corrupt изолированы без удаления метаданных |
+| Dry-run, повтор и конкуренция | test_reconcile.py | Все метаданные до/после dry-run совпали; блокировка/свежесть/ссылки сохранены; два прохода безопасны |
+| Безопасное восстановление | неверный, затем правильный оригинал | Неверные bytes не вернули ready; проверенный оригинал восстановил его: [исследование](evidence/reconcile.json) |
+| Стоимость обхода | 0/50/200 дополнительных объектов ×3 | Время, LIST/HEAD/GET и bytes измерены, график ниже |
+
+## Эксперимент загрузки и память
+
+Фиксированный seed, PNG RGB 1024² и 1792², один прогрев на размер. Три партии по 10 клиентов на размер через LB,
+прозрачных retry нет. Клиенты готовы до начала измерительного окна; все одновременно отпускаются event.
+Суммарное timed elapsed для шести партий — 6.966 с; это короткий опыт, не steady-state soak test.
+Elapsed включает завершение всех запросов, не подготовку клиентов и не последующее скачивание подтверждённых оригиналов.
+p50/p95/p99 интерполируются линейно по успешным запросам; при 10 наблюдениях хвост оценён грубо.
+Генератор — отдельный контейнер с 0.5 CPU / 512 MiB. API пересозданы перед замером; фоновая сверка остановлена и затем восстановлена.
+Не менялись ресурсы/версии между размерами. Это closed-loop партии, без контроля arrival rate и с coordinated omission;
+универсальная максимальная пропускная способность не заявляется. Ранние пилоты с подготовкой клиента внутри окна заменены этой серией.
+
+| Размер PNG, bytes | Успехи / попытки | RPS, медиана | p50 / p95 / p99, с (медианы) |
| --- | --- | --- | --- |
-| Публичный smoke | make test | TODO | TODO |
-| Остальные пункты уровня 3 | TODO | TODO | TODO |
-| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
-| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
+| 3151219 | 30 / 30 | 16.73 | 0.408 / 0.585 / 0.591 |
+| 9648062 | 30 / 30 | 5.63 | 1.061 / 1.716 / 1.764 |
-TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
+
-## Эксперименты и отказы
+
-TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
+Docker stats показывает выборочный working set, cgroup memory.peak — kernel high-water mark за жизнь новых API-контейнеров
+(включает старт, прогрев, загрузки и проверку скачивания). Эти два показателя различаются учётом cache и частотой наблюдения.
+- API `68ab8db39c84`: kernel peak **167.95 MiB** при лимите 512 MiB.
+- API `a6106479affd`: kernel peak **156.98 MiB** при лимите 512 MiB.
-| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
+Для CPU 100% Docker stats означает одно логическое ядро. Сырые CPU%/RAM, временные метки и cpu.stat сохранены
+в upload-load.json; sampled memory для API ниже лимита. Выборки включают прогрев, подготовку клиентов и скачивание, поэтому это не интеграл CPU только внутри timed batches.
+
+| Служба | CPU%, медиана / максимум выборок |
+| --- | --- |
+| lyakhonov-lab4-api-1 | 7.90 / 49.68 |
+| lyakhonov-lab4-api-2 | 7.60 / 51.60 |
+| lyakhonov-lab4-db-1 | 1.54 / 4.78 |
+| lyakhonov-lab4-lb-1 | 2.25 / 12.86 |
+| lyakhonov-lab4-s3-1 | 1.21 / 27.30 |
+
+ Это не доказательство нулевых аллокаций:
+декодер допустимого 40 MP изображения может занять порядка 160 MB дополнительно; одновременно декодируется одна картинка на процесс.
+
+## Исследование согласованности: гипотеза и результаты
+
+Гипотеза: PostgreSQL/S3 нельзя объединить обычным локальным COMMIT; безопасная периодическая сверка с общей блокировкой
+и защитным интервалом убирает orphan и отмечает missing, сохраняя свежие и используемые вложения.
+Цена — обход всех объектов/строк и чтение подтверждаемых bytes, поэтому она растёт с числом объектов и объёмом оригиналов.
+
+Методика: реальный INSERT отказал после PUT; отдельно удалён S3-оригинал уже привязанного к сообщению вложения.
+Созданы старый orphan, свежий orphan и объект под удерживаемой общей блокировкой (имитация окна upload до COMMIT).
+Dry-run сверяет полный снимок id/state/updated_at; apply удаляет только безопасные orphan и ставит missing.
+Следующий проход не дублирует изменение state. После снятия блокировки/истечения grace ранее защищённые orphan могут быть удалены —
+это ожидаемое продолжение очистки, а не ошибка идемпотентности. Существующие строки Attachment защищаются независимо от возраста и наличия сообщения.
+Два конкурентных reconciler пропускают занятые ключи. Неверные bytes оставляют missing; корректные bytes возвращают ready;
+связь с исходным сообщением сохраняется. Тестовый grace=5 с, ожидание старения=6 с; рабочий default=3600 с.
+[Полные агрегаты](evidence/reconcile.json), [сценарий](student-tests/test_reconcile.py).
+
+Измерение стоимости: фиксированный набор метаданных и оригиналов, добавляются 0/50/200 неучтённых объектов по 1 KiB.
+По три dry-run на точку, page_size=50; сервис периодической сверки остановлен, другая нагрузка не запускается.
+Порядок 0→50→200; cache состояния не сбрасывался. Выигрыш/регрессию оптимизации этот опыт не измеряет.
+
+| Всего объектов | Время, медиана [min; max], с | LIST / HEAD / GET | Проверено bytes за проход |
| --- | --- | --- | --- |
-| TODO | TODO | TODO | TODO |
+| 221 | 4.964 [4.835; 5.073] | 5 / 221 / 221 | 1193831654 |
+| 271 | 5.185 [4.994; 5.314] | 6 / 271 / 221 | 1193831654 |
+| 421 | 6.356 [6.225; 6.826] | 9 / 421 / 221 | 1193831654 |
-## Ограничения и следующие шаги
+
-TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
+В этой серии GET/проверенные bytes постоянны, рост дополнительных orphan увеличивает HEAD и LIST.
+Это подтверждает рост цены обхода; три повтора и небольшой bucket не доказывают асимптотическую производительность большой инсталляции.
+Чтение всех оригиналов ради проверки SHA-256 может доминировать над числом объектов. RAM ограничена страницей и chunk 64 KiB,
+но трафик и общее время не являются константными. Между страницами нет общего snapshot: проход eventually consistent,
+новые записи/пропуски блокировок проверяются следующим запуском.
+
+## Воспроизведение и отказы
+
+```powershell
+docker compose stop reconciler
+docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_attachments.py
+docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_reconcile.py
+docker compose start reconciler
+python student-tests/test_operations.py
+python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
+python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
+docker compose start api
+docker compose up -d --no-deps --force-recreate api
+python scripts/wait_ready.py --base-url http://localhost:8084 --replicas 2
+python scripts/run_upload_load.py
+.venv/Scripts/python scripts/plot_results.py
+# Dry-run вручную:
+docker compose run --rm --no-deps api python -m src.reconcile
+```
+
+Собственные suites создают данные; повтор увеличивает набор и меняет результаты времени, это не фиксированный golden benchmark.
+Графики Matplotlib 3.10.7 построены из сохранённых JSON, PNG и SVG лежат в evidence/figures.
+Отключённый сервис после ручных опытов следует восстановить; нагрузочный runner делает это в finally.
+Подробности, включая временный DB trigger и восстановление после аварийного завершения suite: [student-tests/README.md](student-tests/README.md).
+
+| Воздействие | Наблюдение | Сохранность / граница |
+| --- | --- | --- |
+| Остановлена lyakhonov-lab4-api-1 | Download через другую API за 1.286 с от начала действия | SHA-256 совпал, target реально остановлен |
+| Остановлена lyakhonov-lab4-api-2 | Download через другую API за 1.406 с от начала действия | SHA-256 совпал, target реально остановлен |
+| Остановка S3 | Первый 503 за 4.043 с | После восстановления прежние bytes/сессия; при исключении обеих API весь LB недоступен |
+| Рестарт API/БД/Redis/S3/LB | StartedAt изменились у всех | Подтверждённые данные и прежний токен сохранены |
+| PUT прошёл, INSERT отказал | 500 + orphan | Reconciler удалил после grace; слепой rollback S3 не применяется |
+| Утрата/порча используемого оригинала | missing / API 503 | Метаданные/ссылки не удалены; нужен правильный оригинал из backup |
+
+В ранних публичных failover-прогонах: 109 подтверждённых записей в каждом, 2 и 3 ошибки перехода,
+первая успешная запись после начала hook через 2.439 и 2.442 с. Пользовательские операции не выдаются за мгновенный failover.
+Публичный hook выбирает заданный процесс; отдельный test_operations доказывает остановку обеих именно загрузивших реплик.
+
+## Ограничения и источники
+
+Один Docker-host и диск, единственные БД/S3/LB: отказ узла или утрата диска не покрыты.
+Сверка обнаруживает утрату и возвращает состояние после восстановления из внешней копии, но не создаёт потерянные bytes из hash.
+Ни репликация, ни backup/DR, ни production TLS/secret manager не реализованы; HTTP только localhost и синтетические данные.
+Ключевые инварианты предполагают, что все писатели рабочего S3 namespace соблюдают общий протокол блокировки;
+администратор с root credentials может его нарушить. Обрыв download после отправки headers может оборвать поток:
+200 headers сами по себе не гарантируют полный файл, клиент проверяет длину/checksum.
+Нагрузочные результаты зависят от Docker Desktop, CPU-квот, клиента и dataset; SLA и максимальные RPS не заявляются.
+Удалённый CI не запускался, так как push запрещён. Добавлен отдельный application workflow без production secrets/privileged PR trigger.
+
+Использованы собственная лабораторная 3 и материалы курса; FastAPI/Uvicorn/Pydantic, psycopg, Redis, Argon2, boto3/botocore,
+Pillow (версии в requirements.lock.txt), Matplotlib для графиков. Реализация, проверки, анализ и отчёт подготовлены с помощью Codex.
+Исходный контракт и публичные проверки преподавателя не ослаблялись.
+
+Первичные источники: [Pillow Image / verify / pixel limits](https://pillow.readthedocs.io/en/stable/reference/Image.html),
+[S3 PUT и условная запись](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/client/put_object.html),
+[LIST pagination](https://docs.aws.amazon.com/boto3/latest/reference/services/s3/paginator/ListObjectsV2.html),
+[исходники MinIO](https://github.com/minio/minio/tree/07c3a429bfed433e49018cb0f78a52145d4bedeb),
+[исходники mc](https://github.com/minio/mc/tree/RELEASE.2025-04-16T18-13-26Z),
+[PostgreSQL advisory locks](https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS).
+
+Этапы истории: `2e5f5bf` — перенос; `4f85fb9` — обязательный минимум; `9dded97` — уровень 4;
+финальный коммит исследования/отчёта и последующая проверка чистого экспорта видны в git log.
diff --git a/compose.yaml b/compose.yaml
index e8773ac6..38546b68 100644
--- a/compose.yaml
+++ b/compose.yaml
@@ -64,6 +64,8 @@ services:
bucket-init:
image: lyakhonov-storage:lab4
pull_policy: never
+ cpus: 0.25
+ mem_limit: 128m
entrypoint: [/bin/sh, /bootstrap/bucket.sh]
secrets: [s3_root_user, s3_root_password, s3_access_key, s3_secret_key]
volumes: [./infra/bucket.sh:/bootstrap/bucket.sh:ro, ./infra/s3-policy.json:/bootstrap/policy.json:ro]
diff --git a/evidence/figures/reconcile-cost.png b/evidence/figures/reconcile-cost.png
new file mode 100644
index 00000000..458e0b8c
Binary files /dev/null and b/evidence/figures/reconcile-cost.png differ
diff --git a/evidence/figures/reconcile-cost.svg b/evidence/figures/reconcile-cost.svg
new file mode 100644
index 00000000..8c6f7f6e
--- /dev/null
+++ b/evidence/figures/reconcile-cost.svg
@@ -0,0 +1,2322 @@
+
+
+
diff --git a/evidence/figures/upload-memory.png b/evidence/figures/upload-memory.png
new file mode 100644
index 00000000..81968138
Binary files /dev/null and b/evidence/figures/upload-memory.png differ
diff --git a/evidence/figures/upload-memory.svg b/evidence/figures/upload-memory.svg
new file mode 100644
index 00000000..fca43770
--- /dev/null
+++ b/evidence/figures/upload-memory.svg
@@ -0,0 +1,1715 @@
+
+
+
diff --git a/evidence/figures/upload-throughput.png b/evidence/figures/upload-throughput.png
new file mode 100644
index 00000000..126c709a
Binary files /dev/null and b/evidence/figures/upload-throughput.png differ
diff --git a/evidence/figures/upload-throughput.svg b/evidence/figures/upload-throughput.svg
new file mode 100644
index 00000000..3ff1bf44
--- /dev/null
+++ b/evidence/figures/upload-throughput.svg
@@ -0,0 +1,2006 @@
+
+
+
diff --git a/evidence/reconcile.json b/evidence/reconcile.json
new file mode 100644
index 00000000..ea3ee8c7
--- /dev/null
+++ b/evidence/reconcile.json
@@ -0,0 +1 @@
+{"result": "PASS", "dry_run": {"apply": false, "grace_seconds": 5, "page_size": 7, "elapsed_seconds": 4.696135, "counts": {"list_requests": 33, "objects_scanned": 225, "referenced_kept": 220, "head_requests": 225, "orphan_candidates": 3, "fresh_kept": 1, "locked_skipped": 1, "db_pages": 32, "metadata_scanned": 221, "get_requests": 220, "bytes_verified": 1193719837, "valid_objects": 220, "missing_objects": 1, "mark_missing_candidates": 1}}, "apply": {"apply": true, "grace_seconds": 5, "page_size": 7, "elapsed_seconds": 5.253011, "counts": {"list_requests": 33, "objects_scanned": 225, "referenced_kept": 220, "head_requests": 225, "orphan_candidates": 3, "objects_deleted": 3, "fresh_kept": 1, "locked_skipped": 1, "db_pages": 32, "metadata_scanned": 221, "get_requests": 220, "bytes_verified": 1193719837, "valid_objects": 220, "missing_objects": 1, "mark_missing_candidates": 1, "metadata_marked_missing": 1}}, "repeat": {"apply": true, "grace_seconds": 5, "page_size": 7, "elapsed_seconds": 5.53207, "counts": {"list_requests": 32, "objects_scanned": 222, "referenced_kept": 220, "head_requests": 223, "orphan_candidates": 2, "objects_deleted": 2, "db_pages": 32, "metadata_scanned": 221, "get_requests": 220, "bytes_verified": 1193719837, "valid_objects": 220, "missing_objects": 1}}, "corrupt": {"apply": true, "grace_seconds": 5, "page_size": 7, "elapsed_seconds": 4.835876, "counts": {"list_requests": 32, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 32, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193719844, "valid_objects": 220, "corrupt_objects": 1}}, "restored": {"apply": true, "grace_seconds": 5, "page_size": 7, "elapsed_seconds": 4.8535, "counts": {"list_requests": 32, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 32, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221, "restore_candidates": 1, "metadata_restored": 1}}, "concurrent": [{"apply": true, "grace_seconds": 5, "page_size": 11, "elapsed_seconds": 11.069536, "counts": {"list_requests": 21, "objects_scanned": 221, "locked_skipped": 70, "referenced_kept": 163, "db_pages": 21, "metadata_scanned": 221, "head_requests": 209, "get_requests": 209, "bytes_verified": 1107081684, "valid_objects": 209}}, {"apply": true, "grace_seconds": 5, "page_size": 11, "elapsed_seconds": 10.992802, "counts": {"list_requests": 21, "objects_scanned": 221, "referenced_kept": 166, "locked_skipped": 68, "db_pages": 21, "metadata_scanned": 221, "head_requests": 208, "get_requests": 208, "bytes_verified": 1100891063, "valid_objects": 208}}], "cost": [{"extra_objects": 0, "repeat": 1, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 4.963795, "counts": {"list_requests": 5, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 5, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 0, "repeat": 2, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 4.835272, "counts": {"list_requests": 5, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 5, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 0, "repeat": 3, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 5.07319, "counts": {"list_requests": 5, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 5, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 50, "repeat": 1, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 5.184831, "counts": {"list_requests": 6, "objects_scanned": 271, "referenced_kept": 221, "head_requests": 271, "fresh_kept": 50, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 50, "repeat": 2, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 5.314212, "counts": {"list_requests": 6, "objects_scanned": 271, "referenced_kept": 221, "head_requests": 271, "fresh_kept": 50, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 50, "repeat": 3, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 4.994448, "counts": {"list_requests": 6, "objects_scanned": 271, "referenced_kept": 221, "head_requests": 271, "fresh_kept": 50, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 200, "repeat": 1, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 6.356231, "counts": {"list_requests": 9, "objects_scanned": 421, "referenced_kept": 221, "head_requests": 421, "fresh_kept": 200, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 200, "repeat": 2, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 6.826461, "counts": {"list_requests": 9, "objects_scanned": 421, "referenced_kept": 221, "head_requests": 421, "fresh_kept": 200, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, {"extra_objects": 200, "repeat": 3, "apply": false, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 6.225256, "counts": {"list_requests": 9, "objects_scanned": 421, "referenced_kept": 221, "head_requests": 421, "fresh_kept": 200, "db_pages": 5, "metadata_scanned": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}], "final": {"apply": true, "grace_seconds": 3600, "page_size": 50, "elapsed_seconds": 5.115164, "counts": {"list_requests": 5, "objects_scanned": 221, "referenced_kept": 221, "db_pages": 5, "metadata_scanned": 221, "head_requests": 221, "get_requests": 221, "bytes_verified": 1193831654, "valid_objects": 221}}, "scope": "isolated lab4, metadata retained, no backup reconstruction claimed"}
diff --git a/evidence/runtime.json b/evidence/runtime.json
new file mode 100644
index 00000000..4a053dce
--- /dev/null
+++ b/evidence/runtime.json
@@ -0,0 +1,99 @@
+[
+ {
+ "id": "af9f952b1304",
+ "service": "api",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
+ "started_at": "2026-10-30T14:46:59.471200143Z",
+ "memory_limit": 536870912,
+ "nano_cpus": 500000000,
+ "volumes": [],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "99f4403277a7",
+ "service": "api",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
+ "started_at": "2026-10-30T14:46:59.269605492Z",
+ "memory_limit": 536870912,
+ "nano_cpus": 500000000,
+ "volumes": [],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "10138b5c0bee",
+ "service": "db",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:1d04b9ba1d4996401f2552b51beda8187f175c0645c091e4781134fc9c9a3eef",
+ "started_at": "2026-10-30T14:45:44.07685361Z",
+ "memory_limit": 536870912,
+ "nano_cpus": 1000000000,
+ "volumes": [
+ "lyakhonov-lab4_postgres_data"
+ ],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "e9682a892ad3",
+ "service": "lb",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:c22c8710886104a48b920306f063401f0d11811858e3c6b9d87d88a7556b2e61",
+ "started_at": "2026-10-30T14:45:44.017393725Z",
+ "memory_limit": 134217728,
+ "nano_cpus": 500000000,
+ "volumes": [],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "7523f15dc398",
+ "service": "reconciler",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:da31f98a9d1c6e6cc39e2f28e3a1de410451a7941d84d6ca46fccff13f23a2b6",
+ "started_at": "2026-10-30T14:49:08.477185174Z",
+ "memory_limit": 268435456,
+ "nano_cpus": 250000000,
+ "volumes": [],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "68997bbba33b",
+ "service": "redis",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:c1e88455c85225310bbea54816e9c3f4b5295815e6dbf80c34d40afc6df28275",
+ "started_at": "2026-10-30T14:45:43.846575438Z",
+ "memory_limit": 134217728,
+ "nano_cpus": 250000000,
+ "volumes": [
+ "c2c6f149717b708d82beb471b6464d27f0c63cb02c7f97c1d8380274e7604f21"
+ ],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ },
+ {
+ "id": "a6482b44d70a",
+ "service": "s3",
+ "project": "lyakhonov-lab4",
+ "image": "sha256:4222244a8b6792dac783b2bca633b34636e4b853092b3a0d805f9283562a83c5",
+ "started_at": "2026-10-30T14:45:43.938532131Z",
+ "memory_limit": 805306368,
+ "nano_cpus": 1000000000,
+ "volumes": [
+ "lyakhonov-lab4_s3_data"
+ ],
+ "networks": [
+ "lyakhonov-lab4_default"
+ ]
+ }
+]
\ No newline at end of file
diff --git a/evidence/sources-manifest.json b/evidence/sources-manifest.json
new file mode 100644
index 00000000..24a532e5
--- /dev/null
+++ b/evidence/sources-manifest.json
@@ -0,0 +1,27 @@
+{
+ "src/app.py": "0cb5d0151e73166aed98acfe151415a93f18221cf27ebd8e39f433cda30b8f13",
+ "src/cache.py": "bfc8f1aa90bee4625b3887a3487be085560b7a2705cc94dcb557dd6c03062028",
+ "src/config.py": "aafa2db508658d2d5467d2c57ed5f4dea11609ab5928f86abc1e35fc8ba923d7",
+ "src/main.py": "3f49c442758f1a4c3a156a4555f2b3f6d8dff0529fc62cb763f11eaaa2d2760b",
+ "src/migrate.py": "48c2819b34e22ee099a97d8742a65c87bc0abf9cd617cf6b6caae8a1ad145af5",
+ "src/models.py": "afc5b651059a440904e1c4ac509ac8e24796bceac5869a6421e42d388f2fe6d6",
+ "src/objects.py": "75f15c13be0b5eecf441a437a8250a0d6367b7b098b288a2cd1994c0b1a4321a",
+ "src/reconcile.py": "228a7994ce5b4110d7391734b0885c01ece754912c285c7f530427ec2674f133",
+ "src/storage.py": "81f5bcb0bc6ce356c76f1ea0b90d74566d436ca6f2dcc35e80cc0ae512588979",
+ "src/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
+ "src/routes/attachments.py": "5518b8a264b8b0454e30606123119e83382159f2f031864e33a3e48a62496c84",
+ "src/routes/chats.py": "46ef834fce05037c2ecab26192ed58c28be81afc6a1db1375560f11bb9d63c12",
+ "src/routes/common.py": "fa2df76c819abe9a99b8b380a50b2aa4556aa43ac84afa95cac574aab8468a7e",
+ "src/routes/health.py": "a2d7aef51d4fff4f4c8523a4b1d1b894747f945ac3dd4d26b521d6a228cb88be",
+ "src/routes/messages.py": "7dc016d1252f07538c06b7c155d3efb8af02ac2a2a9867267168a74e7cf0bd3c",
+ "src/routes/users.py": "f5d4c7e4c4e5b1abfde7869a46e8a81a935b32f4809ddb8b2a4cb13175a24f50",
+ "src/routes/__init__.py": "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855",
+ "migrations/001_initial.sql": "d4c044482ba61b6a59b35cb02cff16b650fa0fb813242c0678d45a3564e86340",
+ "migrations/002_idempotency.sql": "b3938061613446d1676dfdf41af1b8417dd0396d2a65e4d3d6b263d311ccdbce",
+ "migrations/003_attachments.sql": "4137877de095ca8cb590582bfa59758c31248f013e9b99ddcf6a2e2bedaff125",
+ "student-tests/README.md": "eb43baa6868c409f71905c7ab11b0bb187a8e9a87fc4842909949b270107e354",
+ "student-tests/test_attachments.py": "e26fece8adc6a63bcccfe6c1de53e3899f0c43d0c8c9fd6502c988403a9a95e5",
+ "student-tests/test_operations.py": "7a62d819afdaea80767cb2ff4e8141eebce9e564ec20241c7d3f5b645d742999",
+ "student-tests/test_reconcile.py": "f1e0f7461f57fa0aad2a16e118fe86ed5852ec1d86caac07ea81a829c7f2f787",
+ "student-tests/upload_load.py": "022eea2772fcbf780042b3959c516788929dfde4968dcd9f7caa2531999c52e9"
+}
\ No newline at end of file
diff --git a/evidence/summary-output.txt b/evidence/summary-output.txt
new file mode 100644
index 00000000..33fd2b71
--- /dev/null
+++ b/evidence/summary-output.txt
@@ -0,0 +1,90 @@
+{
+ "uploads": [
+ {
+ "size_bytes": 3151219,
+ "successful_rps_median": 16.729828936800814,
+ "p50_seconds_median": 0.4081998335022945,
+ "p95_seconds_median": 0.584588757907477,
+ "p99_seconds_median": 0.5914236595887633,
+ "errors": 0,
+ "attempts": 30,
+ "elapsed_seconds": 1.8537453600001754
+ },
+ {
+ "size_bytes": 9648062,
+ "successful_rps_median": 5.626450903085569,
+ "p50_seconds_median": 1.0610903210035758,
+ "p95_seconds_median": 1.7164175714497103,
+ "p99_seconds_median": 1.7635092142925715,
+ "errors": 0,
+ "attempts": 30,
+ "elapsed_seconds": 5.111771299998509
+ }
+ ],
+ "cost": [
+ {
+ "objects": 221,
+ "elapsed_median": 4.963795,
+ "elapsed_min": 4.835272,
+ "elapsed_max": 5.07319,
+ "counts": {
+ "list_requests": 5,
+ "objects_scanned": 221,
+ "referenced_kept": 221,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "head_requests": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ },
+ {
+ "objects": 271,
+ "elapsed_median": 5.184831,
+ "elapsed_min": 4.994448,
+ "elapsed_max": 5.314212,
+ "counts": {
+ "list_requests": 6,
+ "objects_scanned": 271,
+ "referenced_kept": 221,
+ "head_requests": 271,
+ "fresh_kept": 50,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ },
+ {
+ "objects": 421,
+ "elapsed_median": 6.356231,
+ "elapsed_min": 6.225256,
+ "elapsed_max": 6.826461,
+ "counts": {
+ "list_requests": 9,
+ "objects_scanned": 421,
+ "referenced_kept": 221,
+ "head_requests": 421,
+ "fresh_kept": 200,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ }
+ ],
+ "sampled_memory_max_mib": {
+ "lyakhonov-lab4-api-1": 157.2,
+ "lyakhonov-lab4-api-2": 149.2,
+ "lyakhonov-lab4-db-1": 40.3,
+ "lyakhonov-lab4-lb-1": 17.27,
+ "lyakhonov-lab4-s3-1": 312.1
+ },
+ "kernel_memory_peak_mib": {
+ "68ab8db39c84": 167.9453125,
+ "a6106479affd": 156.98046875
+ }
+}
diff --git a/evidence/summary.json b/evidence/summary.json
new file mode 100644
index 00000000..9a7efa00
--- /dev/null
+++ b/evidence/summary.json
@@ -0,0 +1,90 @@
+{
+ "uploads": [
+ {
+ "size_bytes": 3151219,
+ "successful_rps_median": 16.729828936800814,
+ "p50_seconds_median": 0.4081998335022945,
+ "p95_seconds_median": 0.584588757907477,
+ "p99_seconds_median": 0.5914236595887633,
+ "errors": 0,
+ "attempts": 30,
+ "elapsed_seconds": 1.8537453600001754
+ },
+ {
+ "size_bytes": 9648062,
+ "successful_rps_median": 5.626450903085569,
+ "p50_seconds_median": 1.0610903210035758,
+ "p95_seconds_median": 1.7164175714497103,
+ "p99_seconds_median": 1.7635092142925715,
+ "errors": 0,
+ "attempts": 30,
+ "elapsed_seconds": 5.111771299998509
+ }
+ ],
+ "cost": [
+ {
+ "objects": 221,
+ "elapsed_median": 4.963795,
+ "elapsed_min": 4.835272,
+ "elapsed_max": 5.07319,
+ "counts": {
+ "list_requests": 5,
+ "objects_scanned": 221,
+ "referenced_kept": 221,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "head_requests": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ },
+ {
+ "objects": 271,
+ "elapsed_median": 5.184831,
+ "elapsed_min": 4.994448,
+ "elapsed_max": 5.314212,
+ "counts": {
+ "list_requests": 6,
+ "objects_scanned": 271,
+ "referenced_kept": 221,
+ "head_requests": 271,
+ "fresh_kept": 50,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ },
+ {
+ "objects": 421,
+ "elapsed_median": 6.356231,
+ "elapsed_min": 6.225256,
+ "elapsed_max": 6.826461,
+ "counts": {
+ "list_requests": 9,
+ "objects_scanned": 421,
+ "referenced_kept": 221,
+ "head_requests": 421,
+ "fresh_kept": 200,
+ "db_pages": 5,
+ "metadata_scanned": 221,
+ "get_requests": 221,
+ "bytes_verified": 1193831654,
+ "valid_objects": 221
+ }
+ }
+ ],
+ "sampled_memory_max_mib": {
+ "lyakhonov-lab4-api-1": 157.2,
+ "lyakhonov-lab4-api-2": 149.2,
+ "lyakhonov-lab4-db-1": 40.3,
+ "lyakhonov-lab4-lb-1": 17.27,
+ "lyakhonov-lab4-s3-1": 312.1
+ },
+ "kernel_memory_peak_mib": {
+ "68ab8db39c84": 167.9453125,
+ "a6106479affd": 156.98046875
+ }
+}
\ No newline at end of file
diff --git a/evidence/upload-summary.csv b/evidence/upload-summary.csv
new file mode 100644
index 00000000..502bb44c
--- /dev/null
+++ b/evidence/upload-summary.csv
@@ -0,0 +1,7 @@
+size_bytes,side,repeat,concurrency,attempts,successes,errors,elapsed_seconds,successful_rps,p50_seconds,p95_seconds,p99_seconds
+3151219,1024,1,10,10,10,0,0.7838622859999305,12.75734293970215,0.4336575634952169,0.7340192681040206,0.7722596784304188
+3151219,1024,2,10,10,10,0,0.597734743001638,16.729828936800814,0.4081998335022945,0.584588757907477,0.5914236595887633
+3151219,1024,3,10,10,10,0,0.472148330998607,21.179784706322522,0.2796381600055611,0.4425103257497539,0.4638570675504161
+9648062,1792,1,10,10,10,0,1.5366208479972556,6.507786233040787,1.0274780609979643,1.4637623943453943,1.5201743212681322
+9648062,1792,2,10,10,10,0,1.7978311129991198,5.56225772693305,1.1837765999953263,1.746605640908092,1.784828035391838
+9648062,1792,3,10,10,10,0,1.7773193390021333,5.626450903085569,1.0610903210035758,1.7164175714497103,1.7635092142925715
diff --git a/lab4.env.example b/lab4.env.example
new file mode 100644
index 00000000..9c0dd097
--- /dev/null
+++ b/lab4.env.example
@@ -0,0 +1,8 @@
+# Public settings only. Copy to .env; secrets are generated separately.
+LAB4_PORT=8084
+API_REPLICAS=2
+API_CPUS=0.5
+API_MEMORY=512m
+POOL_SIZE=10
+SESSION_TTL_SECONDS=3600
+OPTIMIZED_WRITES=1
diff --git a/scripts/bootstrap.py b/scripts/bootstrap.py
index 4824cfcd..6362fc1b 100644
--- a/scripts/bootstrap.py
+++ b/scripts/bootstrap.py
@@ -12,9 +12,13 @@ url_file = folder / 'database_url'
if not url_file.exists():
password = password_file.read_text(encoding='utf-8').strip()
url_file.write_text(f'postgresql://messenger:{password}@db:5432/messenger', encoding='utf-8')
-print('Локальные секреты готовы; значения не выводятся.')
for name in ('s3_root_user', 's3_root_password', 's3_access_key', 's3_secret_key'):
target = folder / name
if not target.exists():
target.write_text(secrets.token_hex(24), encoding='utf-8')
+
+env_file = root / '.env'
+if not env_file.exists():
+ env_file.write_bytes((root / 'lab4.env.example').read_bytes())
+print('Локальные настройки и секреты готовы; существующие файлы сохранены.')
diff --git a/scripts/plot_results.py b/scripts/plot_results.py
new file mode 100644
index 00000000..784d69e6
--- /dev/null
+++ b/scripts/plot_results.py
@@ -0,0 +1,68 @@
+"""Static research figures from recorded evidence only; no new measurements."""
+import csv
+import json
+from pathlib import Path
+import re
+import statistics
+import matplotlib
+matplotlib.use('Agg')
+import matplotlib.pyplot as plt
+ROOT=Path(__file__).resolve().parents[1]
+OUT=ROOT/'evidence/figures';OUT.mkdir(exist_ok=True)
+plt.rcParams.update({'font.family':'DejaVu Sans','font.size':10,'axes.spines.top':False,'axes.spines.right':False})
+def save(fig,name):
+ fig.tight_layout()
+ fig.savefig(OUT/(name+'.png'),dpi=170)
+ fig.savefig(OUT/(name+'.svg'))
+ plt.close(fig)
+def bands(ax,x,groups,label,color):
+ med=[statistics.median(v) for v in groups]
+ ax.errorbar(x,med,yerr=[[m-min(v) for m,v in zip(med,groups)],[max(v)-m for m,v in zip(med,groups)]],fmt='o-',capsize=4,label=label,color=color)
+r=json.loads((ROOT/'evidence/reconcile.json').read_text(encoding='utf-8-sig'))
+points=sorted({v['extra_objects'] for v in r['cost']})
+groups=[[v for v in r['cost'] if v['extra_objects']==n] for n in points]
+x=[v[0]['counts']['objects_scanned'] for v in groups]
+fig,axes=plt.subplots(1,2,figsize=(10.5,4))
+bands(axes[0],x,[[v['elapsed_seconds'] for v in vs] for vs in groups],'Медиана и min–max (3 повтора)','#286D8C')
+axes[0].set(xlabel='Объектов в bucket',ylabel='Время dry-run, с',title='Стоимость полной сверки')
+axes[0].legend(fontsize=8)
+for field,label in [('head_requests','HEAD'),('get_requests','GET'),('list_requests','LIST')]:
+ axes[1].plot(x,[v[0]['counts'][field] for v in groups],'o-',label=label)
+axes[1].set(xlabel='Объектов в bucket',ylabel='Число S3-запросов',title='Цена обхода: запросы')
+axes[1].legend();save(fig,'reconcile-cost')
+u=json.loads((ROOT/'evidence/upload-load.json').read_text(encoding='utf-8-sig'))
+sizes=sorted({v['size_bytes'] for v in u['runs']}); x=[s/1048576 for s in sizes]
+groups=[[v for v in u['runs'] if v['size_bytes']==s] for s in sizes]
+fig,axes=plt.subplots(1,2,figsize=(10.5,4))
+bands(axes[0],x,[[v['successful_rps'] for v in vs] for vs in groups],'3 партии × 10 клиентов','#286D8C')
+axes[0].set(xlabel='PNG, MiB',ylabel='Успешных загрузок/с',title='Синхронный upload через API')
+bands(axes[1],x,[[v['p95_seconds'] for v in vs] for vs in groups],'p95 успешных запросов','#B15E38')
+axes[1].set(xlabel='PNG, MiB',ylabel='Задержка, с',title='p95 внутри партии (10 запросов)')
+for ax in axes: ax.legend(fontsize=8)
+save(fig,'upload-throughput')
+def mib(value):
+ match=re.match(r'([0-9.]+)([A-Za-z]+)',value.strip())
+ amount=float(match[1]);unit=match[2]
+ return amount*{'B':1/1048576,'KiB':1/1024,'MiB':1,'GiB':1024,'kB':1000/1048576,'MB':1000000/1048576,'GB':1000000000/1048576}[unit]
+fig,ax=plt.subplots(figsize=(10.5,4))
+first=u['samples'][0]['time']
+for name in sorted({c['Name'] for s in u['samples'] for c in s['containers'] if '-api-' in c['Name']}):
+ pairs=[(s['time']-first,mib(c['MemUsage'].split('/')[0])) for s in u['samples'] for c in s['containers'] if c['Name']==name]
+ ax.plot([a for a,b in pairs],[b for a,b in pairs],'o-',label=name)
+ax.axhline(512,color='#B15E38',linestyle='--',label='Лимит одной API: 512 MiB')
+ax.set(xlabel='Время от первой выборки, с',ylabel='Docker working set, MiB',title='Память API: прогрев, загрузки и проверка оригиналов')
+ax.legend(fontsize=8);save(fig,'upload-memory')
+with (ROOT/'evidence/upload-summary.csv').open('w',newline='',encoding='utf-8') as f:
+ writer=csv.DictWriter(f,fieldnames=list(u['runs'][0]));writer.writeheader();writer.writerows(u['runs'])
+summary={'uploads':[], 'cost':[],'sampled_memory_max_mib':{},'kernel_memory_peak_mib':{}}
+for size,vs in zip(sizes,groups):
+ summary['uploads'].append({'size_bytes':size,'successful_rps_median':statistics.median(v['successful_rps'] for v in vs),'p50_seconds_median':statistics.median(v['p50_seconds'] for v in vs),'p95_seconds_median':statistics.median(v['p95_seconds'] for v in vs),'p99_seconds_median':statistics.median(v['p99_seconds'] for v in vs),'errors':sum(v['errors'] for v in vs),'attempts':sum(v['attempts'] for v in vs),'elapsed_seconds':sum(v['elapsed_seconds'] for v in vs)})
+for n in points:
+ vs=[v for v in r['cost'] if v['extra_objects']==n]
+ summary['cost'].append({'objects':vs[0]['counts']['objects_scanned'],'elapsed_median':statistics.median(v['elapsed_seconds'] for v in vs),'elapsed_min':min(v['elapsed_seconds'] for v in vs),'elapsed_max':max(v['elapsed_seconds'] for v in vs),'counts':vs[0]['counts']})
+for s in u['samples']:
+ for c in s['containers']:
+ name=c['Name'];summary['sampled_memory_max_mib'][name]=max(summary['sampled_memory_max_mib'].get(name,0),mib(c['MemUsage'].split('/')[0]))
+for c in u.get('cgroup_after',[]):summary['kernel_memory_peak_mib'][c['id']]=int(c['memory.peak'])/1048576
+(ROOT/'evidence/summary.json').write_text(json.dumps(summary,indent=2),encoding='utf-8')
+print(json.dumps(summary,indent=2))
diff --git a/student-tests/README.md b/student-tests/README.md
new file mode 100644
index 00000000..bbd9e1f4
--- /dev/null
+++ b/student-tests/README.md
@@ -0,0 +1,56 @@
+# Собственные проверки лабораторной 4
+
+Ляхонов Сергей, БВТ2301. Все данные синтетические, только отдельный Compose project `lyakhonov-lab4`.
+Команды выполнять из корня лабораторной 4. На Windows установить `$env:PYTHONUTF8='1'`.
+
+## HTTP и отказы
+
+```powershell
+python tests/smoke.py --base-url http://localhost:8084
+python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://localhost:8084
+python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://localhost:8084
+docker compose start api
+python student-tests/test_operations.py
+```
+
+Последний тест сам останавливает и восстанавливает обе именно загрузившие API-реплики, затем S3 и весь стенд.
+Сохраняет реальные container IDs, StartedAt, SHA-256 и времена в evidence/operations.json. Тома не удаляет.
+При отсутствии S3 readiness исключает обе API из LB: после обнаружения недоступен весь API. Прежняя сессия проверяется после восстановления.
+
+```powershell
+docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_attachments.py
+```
+
+Проверяет PNG/JPEG, порчу, MIME, filename, размер/пиксели, ACL, чужой чат, семантику и конкурентность идемпотентности,
+приватный bucket и отсутствие административных/вне-prefix прав у приложения.
+Отправляет реальный оборванный HTTP body и временно ставит триггер только для нового тестового чата,
+чтобы отказать в INSERT после S3 PUT. Триггер снимается в finally. Если процесс аварийно убит,
+оператор должен снять lab4_test_failure перед продолжением; не запускать одновременно с другими тестами.
+Созданный orphan предназначен для следующей проверки сверки.
+
+## Сверка и стоимость обхода
+
+```powershell
+docker compose run --rm --no-deps -T -v "${PWD}:/suite:ro" -w /suite api python student-tests/test_reconcile.py
+```
+
+Dry-run не меняет объекты/метаданные. Apply удаляет только старые orphan, пропускает активную блокировку и свежий объект.
+Missing/corrupt переводятся во внутреннее missing без удаления метаданных/ссылок сообщений.
+Неверные bytes не восстанавливают ready; корректный размер/SHA-256/MIME восстанавливают. Проверены повторный и два конкурентных запуска.
+В тесте grace=5 секунд, ожидание=6 секунд; обычный grace=3600 секунд, уменьшать на рабочем стенде не следует.
+Стоимость: добавляются 0/50/200 объектов по 1 KiB, по три dry-run с page_size=50 при неизменном наборе метаданных;
+сохраняются elapsed, LIST/HEAD/GET, проверенные bytes, число строк/страниц. Тестовые cost-объекты удаляются явно по своему уникальному prefix.
+
+## Нагрузка загрузки
+
+```powershell
+python scripts/run_upload_load.py
+```
+
+Два PNG из фиксированного seed: 1024² и 1792² RGB, примерно 3 и 9.2 MiB. По одному прогреву на размер и по три партии
+из десяти одновременных загрузок через LB. Повторов POST нет. После партии скачиваются все подтверждённые оригиналы.
+Измерительное elapsed включает завершение запросов, но не последующее скачивание. p50/p95/p99 — только успешные запросы;
+при 10 наблюдениях хвостовые перцентили грубые, не production SLA. Closed-loop, coordinated omission не исправлена.
+Хост собирает Docker stats и kernel cgroup memory.peak до/после; peak включает всю жизнь этих контейнеров.
+Для отделения опыта от прежней активности сначала пересоздать только API (`docker compose up -d --no-deps --force-recreate api`), дождаться двух реплик.
+Генератор использует тот же образ/API resource limits, но отдельный одноразовый контейнер. Другие нагрузочные тесты одновременно не запускать.
diff --git a/student-tests/test_reconcile.py b/student-tests/test_reconcile.py
new file mode 100644
index 00000000..9d63ec57
--- /dev/null
+++ b/student-tests/test_reconcile.py
@@ -0,0 +1,82 @@
+"""Real two-store failures, dry-run, locking, grace period, retry and traversal cost."""
+from concurrent.futures import ThreadPoolExecutor
+import hashlib
+import json
+from pathlib import Path
+import sys
+import time
+import uuid
+sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
+sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
+from client import Client,check
+from src.storage import storage
+from src.objects import client,BUCKET,object_lock
+from src.reconcile import reconcile
+
+def keys(s3):
+ return {o['Key'] for p in s3.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix='originals/') for o in p.get('Contents',[])}
+
+def main():
+ storage.pool.open(wait=True)
+ s3=client(); c=Client('http://lb:8080',timeout=30)
+ alice,bob,eve,chat=c.bootstrap()
+ att,data=c.attachment(alice,chat)
+ message=c.message(alice,chat,'used',attachments=[att['id']])['json']
+ with storage.pool.connection() as conn:
+ key=conn.execute('SELECT object_key FROM attachments WHERE id=%s',(att['id'],)).fetchone()['object_key']
+ prefix='originals/research-'+uuid.uuid4().hex+'/'
+ orphan=prefix+'old'; locked=prefix+'locked'; fresh=prefix+'fresh'
+ for name in (orphan,locked): s3.put_object(Bucket=BUCKET,Key=name,Body=b'orphan')
+ time.sleep(6)
+ s3.put_object(Bucket=BUCKET,Key=fresh,Body=b'fresh')
+ s3.delete_object(Bucket=BUCKET,Key=key) # metadata and used message survive missing bytes
+ with storage.pool.connection() as conn:
+ object_lock(conn,locked)
+ before=keys(s3)
+ with storage.pool.connection() as snapshot_conn:
+ metadata_before=snapshot_conn.execute('SELECT id,state,updated_at FROM attachments ORDER BY id').fetchall()
+ dry=reconcile(False,5,page_size=7)
+ check(keys(s3)==before,'dry-run deleted an object')
+ with storage.pool.connection() as snapshot_conn:
+ check(snapshot_conn.execute('SELECT id,state,updated_at FROM attachments ORDER BY id').fetchall()==metadata_before,'dry-run changed metadata snapshot')
+ with storage.pool.connection() as other:
+ check(other.execute('SELECT state FROM attachments WHERE id=%s',(att['id'],)).fetchone()['state']=='ready','dry-run changed metadata')
+ check(dry['counts'].get('locked_skipped',0)>=1,'in-flight lock ignored')
+ s3.put_object(Bucket=BUCKET,Key=fresh,Body=b'fresh')
+ applied=reconcile(True,5,page_size=7)
+ remaining=keys(s3)
+ check(orphan not in remaining,'old orphan not removed')
+ check(locked in remaining and fresh in remaining,'fresh or locked object deleted')
+ with storage.pool.connection() as conn:
+ check(conn.execute('SELECT state FROM attachments WHERE id=%s',(att['id'],)).fetchone()['state']=='missing','missing not marked')
+ check(conn.execute('SELECT count(*) AS n FROM message_attachments WHERE message_id=%s',(message['id'],)).fetchone()['n']==1,'used metadata removed')
+ c.call('GET','/api/v1/attachments/'+att['id'],503,actor=bob)
+ repeated=reconcile(True,5,page_size=7)
+ check(repeated['counts'].get('metadata_marked_missing',0)==0,'not idempotent')
+ s3.put_object(Bucket=BUCKET,Key=key,Body=b'corrupt',ContentType='image/png')
+ corrupt=reconcile(True,5,page_size=7)
+ check(corrupt['counts'].get('corrupt_objects',0)>=1,'corruption not found')
+ c.call('GET','/api/v1/attachments/'+att['id'],503,actor=bob)
+ s3.put_object(Bucket=BUCKET,Key=key,Body=data,ContentType='image/png')
+ restored=reconcile(True,5,page_size=7)
+ check(restored['counts'].get('metadata_restored',0)==1,'verified object not restored')
+ check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'restore changed bytes')
+ # Two repeated concurrent workers must not delete referenced rows/objects.
+ with ThreadPoolExecutor(max_workers=2) as pool:
+ concurrent=list(pool.map(lambda _:reconcile(True,5,page_size=11),range(2)))
+ check(key in keys(s3),'used object removed')
+ check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'concurrent reconciliation damaged data')
+ # Fixed-seed count sweep, 3 dry runs per point, same image/data and resources.
+ cost=[]; created=[]
+ for count in (0,50,200):
+ while len(created)