From ec277e7e6419b3705166260b14864184a7f450d4 Mon Sep 17 00:00:00 2001 From: wpyatzy Date: Fri, 20 Nov 2026 18:47:04 +0300 Subject: [PATCH 1/3] =?UTF-8?q?=D0=92=D1=8B=D0=BF=D0=BE=D0=BB=D0=BD=D0=B8?= =?UTF-8?q?=D1=82=D1=8C=20=D0=BB=D0=B0=D0=B1=D0=BE=D1=80=D0=B0=D1=82=D0=BE?= =?UTF-8?q?=D1=80=D0=BD=D1=83=D1=8E=205:=20=D0=B0=D1=81=D0=B8=D0=BD=D1=85?= =?UTF-8?q?=D1=80=D0=BE=D0=BD=D0=BD=D1=8B=D0=B9=20pipeline=20=D0=B8=20?= =?UTF-8?q?=D0=B8=D1=81=D1=81=D0=BB=D0=B5=D0=B4=D0=BE=D0=B2=D0=B0=D0=BD?= =?UTF-8?q?=D0=B8=D0=B5=20=D0=B8=D0=B4=D0=B5=D0=BC=D0=BF=D0=BE=D1=82=D0=B5?= =?UTF-8?q?=D0=BD=D1=82=D0=BD=D0=BE=D1=81=D1=82=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- DEFENSE_CHEATSHEET.md | 95 ++ Dockerfile | 22 + Makefile | 28 +- PR_DESCRIPTION.md | 18 + REPORT.md | 246 +++- RESEARCH.md | 37 + app.py | 896 +++++++++++++ attachments.py | 240 ++++ compose.yaml | 143 +++ evidence/README.md | 18 +- evidence/backpressure.json | 11 + evidence/cache-consistency.txt | 11 + evidence/check.txt | 2 + evidence/cleanup-and-limits.json | 23 + evidence/containers.json | 197 +++ evidence/failover.txt | 4 + evidence/fault-summary.csv | 6 + evidence/idempotency.json | 1 + evidence/image-variants.json | 81 ++ evidence/lifecycle.json | 67 + evidence/persistence-after.json | 197 +++ evidence/persistence-before.json | 197 +++ evidence/persistence-verified.json | 76 ++ evidence/persistence.txt | 3 + evidence/pipeline-faults.json | 213 +++ evidence/pipeline-faults.png | Bin 0 -> 88513 bytes evidence/pipeline-faults.svg | 1929 ++++++++++++++++++++++++++++ evidence/private-storage.json | 16 + evidence/readiness.txt | 1 + evidence/runtime.json | 8 + evidence/smoke.txt | 2 + evidence/uploads-negative.json | 90 ++ evidence/validate.txt | 2 + infra/README.md | 11 +- infra/api-policy.json | 7 + infra/haproxy.cfg | 31 + infra/init-s3.sh | 17 + infra/local.env.example | 12 + janitor.py | 48 + manage.py | 19 + migrate.py | 8 + migrations/001_initial_schema.sql | 41 + migrations/002_idempotency.sql | 10 + migrations/003_attachments.sql | 27 + migrations/004_pipeline.sql | 36 + pipeline.py | 68 + publisher.py | 45 + requirements-research.txt | 2 + requirements.txt | 9 + scripts/bootstrap.sh | 12 + scripts/compose.sh | 7 + scripts/container_snapshot.py | 19 + scripts/query_pipeline.py | 14 + scripts/research.sh | 7 + scripts/restart.sh | 4 + scripts/stop-one.sh | 13 + scripts/summarize_operations.py | 29 + scripts/summarize_research.py | 80 ++ scripts/verify_persistence.py | 15 + scripts/wait_ready.py | 34 + tests/backpressure.py | 40 + tests/cache_consistency.py | 157 +++ tests/cleanup_and_limits.py | 75 ++ tests/drive_job.py | 35 + tests/idempotency_concurrent.py | 37 + tests/image_variants.py | 51 + tests/lifecycle.py | 84 ++ tests/pipeline_faults.py | 143 +++ tests/private_storage.py | 53 + tests/uploads_negative.py | 129 ++ transform.py | 56 + worker.py | 183 +++ 72 files changed, 6521 insertions(+), 27 deletions(-) create mode 100644 DEFENSE_CHEATSHEET.md create mode 100644 Dockerfile create mode 100644 PR_DESCRIPTION.md create mode 100644 RESEARCH.md create mode 100644 app.py create mode 100644 attachments.py create mode 100644 compose.yaml create mode 100644 evidence/backpressure.json create mode 100644 evidence/cache-consistency.txt create mode 100644 evidence/check.txt create mode 100644 evidence/cleanup-and-limits.json create mode 100644 evidence/containers.json create mode 100644 evidence/failover.txt create mode 100644 evidence/fault-summary.csv create mode 100644 evidence/idempotency.json create mode 100644 evidence/image-variants.json create mode 100644 evidence/lifecycle.json create mode 100644 evidence/persistence-after.json create mode 100644 evidence/persistence-before.json create mode 100644 evidence/persistence-verified.json create mode 100644 evidence/persistence.txt create mode 100644 evidence/pipeline-faults.json create mode 100644 evidence/pipeline-faults.png create mode 100644 evidence/pipeline-faults.svg create mode 100644 evidence/private-storage.json create mode 100644 evidence/readiness.txt create mode 100644 evidence/runtime.json create mode 100644 evidence/smoke.txt create mode 100644 evidence/uploads-negative.json create mode 100644 evidence/validate.txt create mode 100644 infra/api-policy.json create mode 100644 infra/haproxy.cfg create mode 100755 infra/init-s3.sh create mode 100644 infra/local.env.example create mode 100644 janitor.py create mode 100644 manage.py create mode 100644 migrate.py create mode 100644 migrations/001_initial_schema.sql create mode 100644 migrations/002_idempotency.sql create mode 100644 migrations/003_attachments.sql create mode 100644 migrations/004_pipeline.sql create mode 100644 pipeline.py create mode 100644 publisher.py create mode 100644 requirements-research.txt create mode 100644 requirements.txt create mode 100755 scripts/bootstrap.sh create mode 100755 scripts/compose.sh create mode 100644 scripts/container_snapshot.py create mode 100644 scripts/query_pipeline.py create mode 100755 scripts/research.sh create mode 100755 scripts/restart.sh create mode 100755 scripts/stop-one.sh create mode 100644 scripts/summarize_operations.py create mode 100644 scripts/summarize_research.py create mode 100644 scripts/verify_persistence.py create mode 100644 scripts/wait_ready.py create mode 100644 tests/backpressure.py create mode 100644 tests/cache_consistency.py create mode 100644 tests/cleanup_and_limits.py create mode 100644 tests/drive_job.py create mode 100644 tests/idempotency_concurrent.py create mode 100644 tests/image_variants.py create mode 100644 tests/lifecycle.py create mode 100644 tests/pipeline_faults.py create mode 100644 tests/private_storage.py create mode 100644 tests/uploads_negative.py create mode 100644 transform.py create mode 100644 worker.py diff --git a/DEFENSE_CHEATSHEET.md b/DEFENSE_CHEATSHEET.md new file mode 100644 index 00000000..ce2c316e --- /dev/null +++ b/DEFENSE_CHEATSHEET.md @@ -0,0 +1,95 @@ +# Лабораторная 5: шпаргалка для защиты + +## Что сделано + +Из четвёртой работы сохранены пользователи, сессии, чаты, сообщения, две API-реплики, PostgreSQL и приватный MinIO. В пятой работе загрузка возвращает **202 queued**, а обработку выполняет отдельный worker через устойчивую очередь. + +- **Уровень 3:** staging, broker, worker, состояния queued/processing/ready/failed, оригинал и thumbnail, ограниченные попытки, восстановление после рестарта. +- **Уровень 4:** crop и WebP, transactional outbox, retry с backoff/jitter, реестр failed и replay, lease и защита от дублей, очистка staging. +- **Уровень 5, трек 2:** версии обработки и автоматические аварийные сценарии: дубли, изменение порядка, падения до/после записи результата и устаревшее задание после новой версии. + +## Как идёт загрузка + +1. Клиент передаёт все байты в API. API проверяет сессию, участие в чате, размер и формат. +2. API записывает оригинал в приватный `staging/` в MinIO. +3. В одной транзакции PostgreSQL создаются вложение, job и outbox. Только после COMMIT возвращается 202. +4. Publisher читает outbox и выполняет XADD в Valkey Streams. +5. Worker получает ID задания, читает доверенные параметры из БД и исходник из staging. +6. В отдельном процессе Pillow создаёт варианты. Оригинал остаётся побайтно неизменным. +7. Worker записывает четыре объекта в `results//v/`, затем одной транзакцией публикует ready и метаданные вариантов. +8. После COMMIT выполняется consumer ack. Клиент узнаёт готовность через GET метаданных. + +## Кто за что отвечает и где настроить + +| Компонент | Задача | Где смотреть | +| --- | --- | --- | +| Docker Compose | Запускает отдельные процессы и постоянные volumes | `compose.yaml` | +| HAProxy | Распределяет запросы между двумя API | `infra/haproxy.cfg` | +| API | Авторизация, приём и проверка файла, staging и job | `app.py`, `attachments.py` | +| PostgreSQL | Источник истины: пользователи, сообщения, статусы, версии, jobs/outbox/audit | `migrations/004_pipeline.sql` | +| MinIO | Приватные байты исходников и вариантов | `infra/init-s3.sh`, `infra/api-policy.json` | +| Valkey для кэша | Ускоряет сессии; корректность проверяется по PostgreSQL | сервис `valkey`, `app.py` | +| Valkey для очереди | Streams, consumer groups, pending и ack, AOF | отдельный сервис `broker` | +| Publisher | Восстанавливает публикацию задания из БД в брокер | `publisher.py` | +| Worker | Получает и обрабатывает задания | `worker.py` | +| Pillow subprocess | Ограниченная по времени и памяти обработка | `transform.py` | +| Janitor | Удаляет старые staging-объекты, сохраняя текущую работу | `janitor.py` | +| CLI оператора | Список failed, replay, новая версия | `manage.py` | + +Основные значения задаются в `.env` и используются `compose.yaml`: `API_REPLICAS=2`, `JOB_MAX_ATTEMPTS=5`, `JOB_TIMEOUT_SECONDS=20`, `JOB_LEASE_SECONDS=30`, `MAX_PENDING_JOBS=100`, `STAGING_RETENTION_SECONDS=86400`. Worker последовательный: одна задача и prefetch/count=1. Для нескольких workers можно использовать `scripts/compose.sh up -d --scale worker=2`; каждый получает собственный consumer ID. Результаты исследования относятся к одному обычному worker. + +Лимиты HTTP: 10 MiB, 40 миллионов пикселей, 30 секунд передачи, 5 секунд простоя, два принимаемых файла на API. Они находятся в `attachments.py`. Worker имеет лимит контейнера 768 MiB, дочерний обработчик — 640 MiB адресного пространства. Это разные ограничения, оба могут остановить слишком затратную обработку. + +## Что сказать на защите + +«В этой работе я отделил приём изображения от его обработки. API сохраняет полный оригинал в устойчивый S3 staging, а метаданные, задание и outbox фиксирует одной транзакцией PostgreSQL. После этого возвращает 202, даже если worker или брокер временно недоступны. + +Publisher доставляет задание в Valkey Streams с постоянным AOF. Worker делает thumbnail, центральный crop и WebP в отдельном процессе. Ready публикуется только после записи всех объектов, а ack отправляется после COMMIT. + +Повторная доставка допустима. Ключ результата состоит из attachment ID, версии pipeline и имени варианта. Блокировки БД и проверка версии защищают от одновременных дублей и старых заданий. Есть пять попыток с backoff и jitter, конечный failed, операторский replay и восстановление зависшего processing по lease. + +В исследовании я автоматически завершал worker до записи, после S3 и после COMMIT, доставлял дубли и старую версию после новой. Проверки подтвердили сохранность принятых задач и отсутствие дополнительных наборов вариантов. Это идемпотентные эффекты при at-least-once доставке». + +## Возможные вопросы + +**Зачем очередь?** Чтобы тяжёлая обработка не занимала HTTP-запрос, а временная остановка worker не теряла принятую работу. + +**202 означает готовность?** Нет. Приняты все байты, сохранены staging и намерение обработки. Готовность — только `status=ready`. + +**Почему не отправить файл в брокер?** Большие сообщения расходуют память и журнал брокера. Он передаёт только ID и служебные поля; байты находятся в S3. + +**Зачем outbox?** PostgreSQL и брокер не имеют общей транзакции. Если API упал после COMMIT, publisher позже найдёт сохранённое намерение и опубликует его. + +**Что если publish прошёл, а запись published_at не сохранилась?** Будет повторная публикация. Она безопасна благодаря идемпотентности worker. + +**Publisher confirm и consumer ack — одно и то же?** Нет. Подтверждение публикации означает приём брокером, ack — устойчивое завершение обработки потребителем. Здесь используется ответ XADD при AOF appendfsync=always, а consumer ack — XACK. + +**Почему не exactly once?** Одно сообщение может прийти несколько раз. Гарантируется один логический опубликованный результат, а не единственная доставка или единственный физический PUT. + +**Как защищены дубли?** Уникальная job на attachment/version, блокировка строки job, состояние ready, проверка версии и устойчивые ключи S3. После ready дубль ничего не меняет. + +**Что если worker упал после PUT до ack?** Доставка остаётся pending. После lease работа повторяется с тем же ключом. Если COMMIT ready уже был — повтор становится no-op. + +**Lease может истечь у работающего worker?** Да. Одного времени недостаточно: транзакционная блокировка строки не даёт другому worker одновременно публиковать эффект. Обработка изображения дополнительно ограничена тайм-аутом subprocess. + +**Что такое backoff и jitter?** Пауза между попытками растёт, а случайный множитель разводит повторы по времени, чтобы не создавать одновременную волну запросов. + +**Какие ошибки повторяются?** Тайм-ауты и временные ошибки S3. Непригодный или повреждённый исходник и превышение памяти становятся failed. После пяти временных ошибок — retry_exhausted. + +**Как повторить failed?** Через CLI `manage.py replay `. Нужен сохранённый исходник и текущая версия; ready повторять нельзя. Действие записывается в audit. + +**Как защищена новая версия?** В БД хранится текущая версия, а ключи объектов содержат `/v1/`, `/v2/`. Старый job не может опубликовать метаданные новой версии. + +**Чем отличаются v1 и v2?** Для v1 JPEG quality=85, WebP=80; для v2 и следующих JPEG=90, WebP=85. Изменяются производные варианты, оригинал сохраняется. + +**Когда удаляется staging?** После суток, если вложение больше не queued/processing. Failed-исходник также хранится сутки для replay. В тесте очистки часы janitor искусственно сдвигаются на два дня. + +**Что при переполнении?** В БД глобально ограничены 100 queued/processing jobs. Следующая загрузка получает 429 до записи нового staging. Обычные сообщения продолжают работать. + +**Почему два Valkey?** Кэш сессий и очередь имеют разные роли и независимые volumes. Очередь не должна зависеть от очистки кэша. + +**Зачем Docker volumes?** Контейнер можно пересоздать, сохранив данные PostgreSQL, MinIO и брокера. Volume не является резервной копией и не защищает от потери диска. + +**Что доказано экспериментом?** Проверенные аварийные сценарии на одном локальном стенде. Потеря диска, отказы нескольких узлов и production SLA не исследовались. + +Подробные команды и реальные результаты: [REPORT.md](REPORT.md), [RESEARCH.md](RESEARCH.md). diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..57dcc6d7 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,22 @@ +FROM python:3.11.11-slim + +ENV PYTHONDONTWRITEBYTECODE=1 \ + PYTHONUNBUFFERED=1 \ + APP_HOST=0.0.0.0 \ + APP_PORT=8080 \ + DATABASE_URL=postgresql://messenger:messenger@db:5432/messenger \ + SESSION_TTL_SECONDS=3600 + +WORKDIR /app +COPY requirements.txt /app/requirements.txt +RUN pip install --no-cache-dir -r /app/requirements.txt +ARG APP_REVISION=lab5-v1 +ENV APP_REVISION=$APP_REVISION +COPY app.py attachments.py pipeline.py worker.py publisher.py transform.py janitor.py manage.py migrate.py /app/ +COPY migrations /app/migrations +COPY scripts /app/scripts +COPY tests /app/tests +COPY contracts /app/contracts +COPY lab.json /app/lab.json +EXPOSE 8080 +CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8080"] diff --git a/Makefile b/Makefile index 5d86d171..5acbcada 100644 --- a/Makefile +++ b/Makefile @@ -1,5 +1,5 @@ PYTHON ?= python3 -BASE_URL ?= http://localhost:8080 +BASE_URL ?= http://localhost:8085 CA_FILE ?= ACTION_SCRIPT ?= TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) @@ -28,3 +28,29 @@ test-persistence: test-failover: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2) $(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) + +.PHONY: up down research test-lifecycle test-backpressure test-extra +up: + ./scripts/bootstrap.sh + ./scripts/compose.sh up -d --build + $(PYTHON) scripts/wait_ready.py --base-url "http://localhost:8085" + +down: + ./scripts/compose.sh down + +research: + ./scripts/research.sh + +# These manage real containers; run sequentially, never concurrently. +test-lifecycle: + $(PYTHON) tests/lifecycle.py + +test-backpressure: + $(PYTHON) tests/backpressure.py + +test-extra: + ./scripts/compose.sh run --rm --no-deps ops python tests/uploads_negative.py + ./scripts/compose.sh run --rm --no-deps ops python tests/image_variants.py + ./scripts/compose.sh run --rm --no-deps ops python tests/private_storage.py + ./scripts/compose.sh run --rm --no-deps -e BASE_URL=http://lb:8080 ops python tests/cache_consistency.py + $(PYTHON) tests/idempotency_concurrent.py --base-url "$(BASE_URL)" diff --git a/PR_DESCRIPTION.md b/PR_DESCRIPTION.md new file mode 100644 index 00000000..2c94afc0 --- /dev/null +++ b/PR_DESCRIPTION.md @@ -0,0 +1,18 @@ +## Лабораторная 5 + +Автор: healby; группа не указана. Целевая оценка: 5. Трек 2: идемпотентность versioned pipeline. + +Сохранён мессенджер из lab4; upload теперь возвращает 202 после устойчивого staging и транзакции metadata/job/outbox. Добавлены отдельные Valkey Streams broker, publisher, worker и cleanup; thumbnail/crop/WebP, retry/backoff/jitter, failed registry/replay, lease и защита версий. + +Запуск: `make up`, `make check`, `make test`. Полные команды и реальные доказательства: [REPORT.md](REPORT.md), исследование с таблицей/графиком: [RESEARCH.md](RESEARCH.md). + +Проверены public smoke, OpenAPI, отрицательные сценарии, приватность S3, варианты, дубли/аварии/версии, restart API/broker, реальный lease, backpressure, persistence всех сервисов и failover API. Ограничения: один host, без HA дисков/backup; ускоренные часы в части fault-матрицы обозначены отдельно. + +Источники: официальный Valkey/Pillow/PostgreSQL и исходные контракты курса; Codex использован для реализации, тестов и документации. + +- [x] Весь обязательный минимум сохранён с объявленным переходом upload 201 → 202. +- [x] Контракт и публичные тесты не ослаблены. +- [x] make check и make test выполнены, реальный вывод приложен. +- [x] Сценарии отказов/безопасности воспроизведены. +- [x] Локальные секреты исключены из Git, токены не включены в отчёт. +- [x] README задания сохранён, REPORT.md описывает именно это решение. diff --git a/REPORT.md b/REPORT.md index e98f75e9..44938599 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,245 @@ -# Отчёт — лабораторная 5 +# Лабораторная 5. Очереди и асинхронная обработка изображений -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор: healby; группа не указана. +- Целевая оценка: **5**, выполнены уровни 3 и 4; **трек 2 — доказанная идемпотентность pipeline**. +- Основа: собственная реализация `mtusi2026lab4`; необходимые файлы перенесены в этот репозиторий, запуск не требует соседних папок. +- Репозиторий: [healby/mtusi2026lab5](https://gitea.privcloud.tech/healby/mtusi2026lab5), ветка `main`. +- Задание README, контракт и исходные публичные тесты сохранены. Новые сценарии добавлены отдельными файлами. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Git, Python 3.9+ для публичных HTTP-проверок, Python 3.11+ для локального окружения исследования, Docker Engine с Compose v2. На macOS использована Colima, Linux arm64, 4 vCPU и около 8 GiB RAM. Docker-версии и фактические ресурсы: [runtime.json](evidence/runtime.json), [containers.json](evidence/containers.json). Синтетический HTTP-стенд доступен только на `127.0.0.1:8085`. -## Архитектура и решения +```sh +git clone https://gitea.privcloud.tech/healby/mtusi2026lab5.git +cd mtusi2026lab5 +./scripts/bootstrap.sh +./scripts/compose.sh config --quiet +make up +make check +make test -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +# Полная проверка OpenAPI и генератор графиков: +python3 -m venv .venv +.venv/bin/python -m pip install -r requirements-research.txt +make validate PYTHON=.venv/bin/python + +# Проверки предыдущих возможностей и вариантов: +make test-extra +# Автоматические crash/retry/version/cleanup-сценарии: +make research +# Эти сценарии управляют сервисами; выполнять последовательно: +python3 tests/lifecycle.py > evidence/lifecycle.json +python3 tests/backpressure.py > evidence/backpressure.json +python3 scripts/container_snapshot.py > evidence/persistence-before.json +make test-persistence ACTION_SCRIPT=scripts/restart.sh > evidence/persistence.txt +python3 scripts/container_snapshot.py > evidence/persistence-after.json +python3 scripts/verify_persistence.py > evidence/persistence-verified.json +make test-failover ACTION_SCRIPT=scripts/stop-one.sh +./scripts/compose.sh start api +python3 scripts/wait_ready.py +python3 scripts/container_snapshot.py > evidence/containers.json +.venv/bin/python scripts/summarize_research.py +python3 scripts/summarize_operations.py +``` + +`bootstrap.sh` создаёт `.env` с тремя случайными секретами и портом 8085, не перезаписывая существующий файл. `.env` исключён из Git и Docker build context. Миграции PostgreSQL и создание приватного bucket/ограниченной учётной записи S3 выполняют одноразовые сервисы `migrate` и `s3-init`. Повторный запуск безопасен. Зафиксированы PostgreSQL 16.6, Valkey 8.0.2, HAProxy 3.0.5, Python 3.11.11, MinIO/mc по digest; Python-библиотеки — в [requirements.txt](requirements.txt). + +Безопасная остановка сохраняет volumes: `make down`. Намеренное удаление **только учебных данных пятой работы**: `./scripts/compose.sh down -v`. После удаления volumes старые пользователи, сессии, очередь и файлы восстановить нельзя. Проекты лабораторных 2–4 имеют другие Compose names, порты и volumes. + +## Архитектура и переход с lab4 + +```mermaid +flowchart LR + C[Клиент] --> LB[HAProxy] + LB --> A[API ×2] + A --> DB[(PostgreSQL: metadata, jobs, outbox)] + A --> S[(MinIO: staging)] + DB --> P[Publisher] + P --> B[(Valkey Streams + AOF)] + B --> W[Worker] + W --> D[Pillow subprocess] + W --> S3[(MinIO: results/id/version)] + W --> DB + A --> K[(Valkey: кэш сессий)] +``` + +Из предыдущих работ сохранены Argon2id-пароли, устойчивые сессии и отзыв, авторизация участников чата, Unicode, keyset-пагинация, атомарная идемпотентность сообщений на 24 часа, две API-реплики и балансировка, проверка файлов, приватный S3 и авторизованная потоковая выдача оригинала. Источник истины для состояния — PostgreSQL; кэш не может подменить сессию/пользователя. Байты хранятся в MinIO. + +Объявленный переход: upload `201 ready` заменён на `202 queued`; метаданные доступны до готовности, content отвечает 409, а queued/processing можно прикрепить к сообщению. Failed прикреплять нельзя. Новая миграция переводит существующие ready/pending-вложения lab4 в очередь, используя старый оригинал как источник; новая установка получает пустые таблицы. Автоматический reconciler из исследовательского трека lab4 заменён подходящей для асинхронной работы очисткой staging; прежний алгоритм нельзя применять к текущим queued jobs. + +### Границы устойчивости + +1. API аутентифицирует клиента, проверяет чат/имя/MIME/bytes/пиксели/целостность. Приём идёт небольшими блоками в ограниченный временный spool; это ещё не durable staging. +2. Под общей advisory-блокировкой приёма проверяется лимит активных jobs. Полный оригинал записывается в приватный `staging/` MinIO на persistent volume. +3. В одной транзакции PostgreSQL создаются attachment, job и outbox. После COMMIT возвращается **снимок queued**. Падение после S3 до COMMIT может оставить только непринятый orphan; он убирается после retention. Такой запрос не получит подтверждённого 202. +4. Publisher читает outbox, выполняет XADD и только затем сохраняет published_at. Ответ XADD при `appendfsync=always` — граница подтверждения брокером. Если процесс упал после XADD до COMMIT outbox, публикация повторится. Если упал после COMMIT API до publish, сохранённый outbox будет найден при запуске publisher. +5. Worker использует consumer group и `XREADGROUP COUNT 1`. Краткая транзакция фиксирует processing, attempt и lease. Следующая транзакция блокирует job и attachment, проверяет поколение/попытку и держит блокировки до записи всех S3-эффектов и COMMIT ready. Живой worker не теряет право на эффект только из-за истечения времени lease. +6. После устойчивого результата worker выполняет XACK, затем XDEL обработанной доставки. При временной ошибке ack допустим только после сохранения нового намерения retry в БД. Необработанная доставка остаётся pending; `XAUTOCLAIM` позволяет её восстановить после остановки consumer. + +Staging уже находится в том же MinIO, что и результаты: приём файла включает S3 PUT. Асинхронная граница отделяет resize/encode и публикацию конечного `results/` от HTTP, а не устраняет передачу байтов клиентом. Readiness требует PostgreSQL и S3; брокер, worker и необязательный кэш не включены, поскольку 202 можно безопасно принять через staging/outbox и при их остановке. + +### Варианты, состояния и лимиты + +| Вариант | Правила | +| --- | --- | +| original | Побайтно исходный PNG/JPEG; SHA-256 и размер из upload | +| thumbnail | JPEG, вписан в 256×256, без увеличения, размеры округляются вниз, минимум 1 px | +| crop | JPEG, центральный квадрат 128×128, маленькие допускается увеличивать | +| optimized | WebP, вписан в 1280×1280, без увеличения | + +EXIF orientation применяется до геометрии; прозрачность компонуется на белый фон. Метаданные EXIF не переносятся в варианты; оригинал сохраняет исходные байты. Для v1 JPEG quality=85, WebP quality=80; для v2 и следующих JPEG=90, WebP=85. Optimized не обязан быть меньше каждого небольшого оригинала. + +В API доступны queued → processing → ready/failed и processing → queued при временной ошибке. Error_code безопасный, без внутренних адресов и traceback. Готовность фиксируется после оригинала и всех трёх вариантов. Content проверяет авторизацию и статус для каждого запроса; redirect или публичная ссылка S3 не используются. + +HTTP ограничен 10 MiB, 40 млн пикселей, 30 секундами передачи и 5 секундами простоя; одновременно принимаются два файла на API. Обработка выполняется в отдельном subprocess: 20 секунд на decode/encode, RLIMIT_AS 640 MiB, весь контейнер worker — 768 MiB. Процесс обработки получает минимальное окружение без credentials. Чрезмерно затратное, но формально допустимое по пикселям изображение может получить конечный resource_limit; 40 млн пикселей — защитный максимум, не обещание обработки при любом содержимом и выделенной памяти. + +Обычный worker последовательный, prefetch/count=1; число отдельных workers можно увеличить через `--scale worker=N`. Максимум 100 queued/processing jobs контролируется транзакционно на всех API. При заполнении — 429 до записи нового staging. Это ограничение текущей работы, не общий лимит хранения всей истории файлов. + +### Retry, failed, replay и cleanup + +Временные S3-сбои и timeout повторяются до 5 управляемых попыток: задержка `uniform(0.5,1.5) × min(30, 2^(attempt−1))` секунд. Сам broker redelivery не создаёт новую логическую job. Неисправный/отсутствующий staging, invalid_image или resource_limit дают failed; исчерпание временных попыток — retry_exhausted. Registry failed — таблица jobs, а не отдельная очередь с потерянным контекстом. Операторский replay сбрасывает бюджет попыток текущей failed-job, пишет audit и не допускается для ready или отсутствующего staging. + +```sh +./scripts/compose.sh run --rm --no-deps ops python manage.py failed +./scripts/compose.sh run --rm --no-deps ops python manage.py replay JOB_UUID +./scripts/compose.sh run --rm --no-deps ops python manage.py upgrade ATTACHMENT_UUID +# Очистка: безопасный dry-run по умолчанию: +./scripts/compose.sh run --rm --no-deps ops python janitor.py --once +./scripts/compose.sh run --rm --no-deps ops python janitor.py --once --apply +``` + +Lease по умолчанию 30 секунд и не меньше timeout+5. Зависшая processing после смерти worker захватывается заново; старый процесс дополнительно ограничен блокировками и версией. Повторы получают те же ключи `(attachment_id, pipeline_version, variant)`. Старый job не может откатить ready или опубликовать результат поверх новой версии. PUT после аварии может повториться — это идемпотентность эффекта, а не exactly-once доставка. + +Janitor запускается раз в минуту и удаляет staging старше суток только после проверки состояния под блокировками. Он сохраняет queued/processing независимо от возраста, удаляет orphan после неудавшегося upload и удерживает failed-источники сутки для replay. Dry-run ничего не меняет, повторный apply идемпотентен. Готовые объекты и старые опубликованные версии автоматически не удаляются. Источник новой версии может ссылаться на готовый original предыдущей версии; такой объект не попадает в staging cleanup. + +### Где настраивается + +Реальные локальные параметры показаны в [infra/local.env.example](infra/local.env.example); `bootstrap.sh` генерирует секреты отдельно. В исходном `.env.example` заданы логические интерфейсы задания, а не готовая конфигурация этого стенда. + +| Переменная/настройка | Реальная реализация | +| --- | --- | +| APP_PORT, API_REPLICAS | `.env` → Compose: порт 8085, две API | +| DATABASE_URL_FILE, CACHE_URL_FILE | Используются прямые DATABASE_URL/CACHE_URL в окружении контейнеров; значения собираются Compose из локальных секретов | +| S3_*_FILE | Прямые S3_ACCESS_KEY_ID/S3_SECRET_ACCESS_KEY в контейнерах; только s3-init получает административные credentials | +| BROKER_URL_FILE | Прямой BROKER_URL=`redis://broker:6379/0`, внутренняя сеть, порт наружу не опубликован | +| WORKER_CONCURRENCY | Внутри worker фиксировано 1, горизонтальное число задаётся `--scale worker=N` | +| JOB_MAX_ATTEMPTS | `.env`, по умолчанию 5 | +| JOB_TIMEOUT_SECONDS, JOB_LEASE_SECONDS | `.env`, 20 и 30 секунд; минимальный lease=timeout+5 | +| MAX_PENDING_JOBS | `.env`, 100 на весь проект | +| STAGING_RETENTION_SECONDS | `.env`, 86400, janitor не допускает меньше 60 секунд | +| MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS | Фиксированные контрактом 10 MiB/40 млн в `attachments.py`, пиксельный лимит также в `transform.py` | +| SESSION_TTL_SECONDS | 3600 в Compose, проверяется PostgreSQL, TTL не продлевается рестартом | ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| Критерий | Команда/сценарий | Наблюдение | Доказательство | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Структура и контракт | `make check`, `make validate PYTHON=.venv/bin/python` | PASS | [check](evidence/check.txt), [validate](evidence/validate.txt) | +| Публичный минимум 1–5 | `make test` | PASS: 202, сообщение, ready, SHA оригинала, настоящий JPEG thumbnail | [smoke](evidence/smoke.txt) | +| Сессии/кэш из lab2 | cache_consistency.py | Подделанный/устаревший кэш отвергнут, logout сохраняет отзыв, 8/8 идентификаций верны | [cache](evidence/cache-consistency.txt) | +| Две API и message idempotency | idempotency_concurrent.py | 16 запросов через две реплики → одно сообщение | [idempotency](evidence/idempotency.json) | +| Приватный S3, least privilege | private_storage.py | Анонимные list/get 403; admin/посторонний prefix запрещены; console недоступна | [private storage](evidence/private-storage.json) | +| Ограничения и авторизация файлов | uploads_negative.py | 21 отрицательный сценарий, включая обрыв HTTP без сохранения частичного файла | [negative](evidence/uploads-negative.json) | +| Worker не нужен для приёма | lifecycle.py | 202 queued, content 409, сообщение принято при остановленном worker | [lifecycle](evidence/lifecycle.json) | +| Устойчивость API/outbox | lifecycle.py | SIGKILL обеих API после 202 до publish; прежнее вложение завершается | [lifecycle](evidence/lifecycle.json) | +| Persistence брокера | lifecycle.py | Очередь сохранена после restart broker на прежнем volume | [lifecycle](evidence/lifecycle.json) | +| Thumbnail/crop/WebP | image_variants.py | EXIF, белый alpha, no-upscale, crop по центру, 1280×640, размеры/hash реальны | [variants](evidence/image-variants.json) | +| Разрыв COMMIT/publish и повтор publish | pipeline_faults.py, lifecycle.py | Outbox доставлен после восстановления; повтор не размножает эффект | [faults](evidence/pipeline-faults.json) | +| Падение после S3 до ack | drive_job.py + pipeline_faults.py | Exit 86, незавершённая broker delivery восстановлена, четыре объекта | [faults](evidence/pipeline-faults.json) | +| Lease после смерти worker | lifecycle.py | Реальное ожидание lease, та же job становится ready на второй попытке | [lifecycle](evidence/lifecycle.json) | +| Backoff/jitter/failed/replay | pipeline_faults.py | Пять попыток, retry_exhausted, безопасный replay; ready replay отвергнут | [faults](evidence/pipeline-faults.json) | +| Время/память subprocess | cleanup_and_limits.py | Реальный timeout на тестовом бюджете 50 мс и MemoryError при 32 MiB классифицированы | [limits](evidence/cleanup-and-limits.json) | +| Staging retention/cleanup | cleanup_and_limits.py | Dry-run/apply/repeat; активный staging сохранён, orphan удалён | [cleanup](evidence/cleanup-and-limits.json) | +| Backpressure и отказ брокера | backpressure.py | 100 приняты без broker, следующий 429, сообщения доступны, все 100 ready после восстановления | [backpressure](evidence/backpressure.json) | +| Перезапуск всех сервисов | `make test-persistence` + snapshots | Сессия/данные/файл сохранены; StartedAt изменён у всех 10 работающих контейнеров, volumes прежние | [persistence](evidence/persistence.txt), [проверка hook](evidence/persistence-verified.json) | +| Отказ одной API | `make test-failover` | Запись восстановлена в допустимый бюджет, подтверждённые сообщения/файл сохранены | [failover](evidence/failover.txt) | +| Уровень 5, трек 2 | `make research` | Три повтора crash/duplicates/reorder, новая версия защищена, инварианты выполнены | [RESEARCH.md](RESEARCH.md) | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Реальный вывод основных команд: -## Эксперименты и отказы +```text +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +``` -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +`make check` не запускает приложение; сквозные и инфраструктурные доказательства приведены отдельно. Снимки контейнеров намеренно не содержат окружение и credentials. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +## Исследование уровня 5 + +Гипотеза: outbox, version fencing и устойчивые ключи S3 сохраняют логический результат при дублировании/изменении порядка/аварии worker. Методика, аппаратные ограничения, размеры файлов и границы выводов изложены в [RESEARCH.md](RESEARCH.md). Сценарии включают реальный consumer-group redelivery и отдельные процессы, завершённые `os._exit(86)`. + + + +| Сценарий | Повторы | Среднее, мс | min–max, мс | SD, мс | Объектов текущей версии | Ошибки | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | +| Падение до PUT | 3 | 1550.718 | 1321.347–1786.888 | 232.845 | 4 | 0 | +| Падение после PUT | 3 | 1549.527 | 1334.593–1872.025 | 284.404 | 4 | 0 | +| Падение после COMMIT до ack | 3 | 1383.915 | 1275.246–1590.414 | 178.915 | 4 | 0 | +| 8 конкурентных дублей | 3 | 143.795 | 121.12–172.849 | 26.448 | 4 | 0 | +| Старая версия после новой | 3 | 223.21 | 109.191–440.476 | 188.235 | 4 | 0 | + +![Исследование pipeline](evidence/pipeline-faults.png) + + + +Время таблицы — длительность тестового сценария с запуском процессов; в матрице lease ускорен SQL-командой. Это не время ожидания реального lease и не production latency. Отдельный lifecycle использует реальные часы. Дополнительные результаты автоматически сведены ниже. + + + +### Восстановление и ограничения + +| Воздействие | Реальное наблюдение | Результат | +| --- | --- | --- | +| Остановка worker, SIGKILL API до publish, restart broker | Длина stream 1 → 1; ready через 3.023 с после запуска worker | PASS, исходник сохранён | +| Смерть worker после PUT, настоящий lease | Ready через 28.923 с; попыток 2 | PASS, без ускорения часов | +| Остановка broker и заполнение очереди | Принято 100; следующий HTTP 429; восстановлено 100 за 24.64 с | PASS, потеряно 0 | +| Перезапуск всего стенда | 10 реальных процессов, прежние volumes и сессия | PASS | +| Отказ API | 114 успешных записей, 2 переходных ошибок; первая успешная запись через 2.171 с | PASS | +| Тайм-аут decode, тестовый бюджет 50 мс | Время сценария 68.024 мс; retry, затем ready | PASS | +| Ограничение адресного пространства, тестовый бюджет 32 MiB | Конечный resource_limit, replay завершился | PASS | +| Staging cleanup, часы +2 дня | Кандидатов 23, повторных 0; активный исходник сохранён | PASS | + +### Проверка геометрии реальных файлов + +| Исходник/сценарий | Thumbnail | Crop | Optimized | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| small_alpha | 80×40 | 128×128 | 80×40 | +| exif_orientation | 64×256 | 128×128 | 100×400 | +| center_crop | 256×64 | 128×128 | 400×100 | +| large_fit | 256×128 | 128×128 | 1280×640 | + +### Наблюдаемые retry с jitter + +| После попытки | Сохранённая задержка до следующей, с | +| --- | ---: | +| 1 | 1.080882 | +| 2 | 2.447441 | +| 3 | 2.182634 | +| 4 | 8.307950 | + +После 5-й временной ошибки зафиксирован `retry_exhausted`; явный replay завершается ready. При проверке расписания next_at искусственно сдвигается, так что таблица показывает записанные интервалы, а не фактически выжданные паузы. + + + +Raw JSON/CSV и PNG/SVG хранятся в `evidence/`. График и таблица исследования пересобираются `scripts/summarize_research.py`, операционные таблицы — `scripts/summarize_operations.py`; ручные PASS не заменяют assert сценариев. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Один host, один PostgreSQL, один MinIO и один broker: это восстановление процессов с сохранёнными дисками, не HA хранилищ. Потеря volume не покрывается; backup не реализован. +- AOF appendfsync=always выбран ради устойчивости локального брокера и может ограничивать производительность. Новые queued-задания не публикуются бесконечно: повторная публикация нужна при восстановлении просроченной processing или несохранённом outbox. +- PostgreSQL и S3 не имеют общей транзакции. До 202 возможен orphan staging; после аварии worker возможны повторные PUT одного ключа. После COMMIT ready дубль не запускает encode повторно. +- Subprocess timeout ограничивает decode/encode, не всю жизнь job; сетевые операции отдельно имеют connect/read timeout. На ошибках инфраструктуры работа остаётся восстанавливаемой по lease и outbox. +- Версионирование демонстрирует изменение настроек кодирования. При изменении алгоритма нужен новый pipeline_version и согласованное обновление workers; смешивать несовместимый код под одной версией нельзя. +- Полная проверка готовых S3-объектов на bit rot, удаление старых готовых версий и резервное копирование не реализованы. Если после ready вручную удалить объект, download вернёт 503; восстановление байтов требует источника/backup. +- Failed-источники удаляются после retention, после чего replay невозможен. Оригиналы и история сообщений пока не имеют пользовательского удаления. +- Матрица fault injection конечна; испытания времени/памяти используют специально уменьшенные бюджеты, cleanup — сдвиг часов. Пики RSS/производительность под production-нагрузкой не измерялись; трек 1 не заявлен. +- Пользовательская группа не предоставлена и не выдумана. + +## Источники и использование ИИ + +Основа — собственная lab4 и исходные README/contracts/tests lab5. Использованы официальные материалы [Valkey persistence](https://valkey.io/topics/persistence/), [Streams introduction](https://valkey.io/topics/streams-intro/), [XAUTOCLAIM](https://valkey.io/commands/xautoclaim/), [Pillow ImageOps](https://pillow.readthedocs.io/en/stable/reference/ImageOps.html), [PostgreSQL locking](https://www.postgresql.org/docs/16/explicit-locking.html). Библиотеки: FastAPI, Uvicorn, psycopg, redis-py, boto3, Pillow, argon2-cffi; версии закреплены. Codex использован для переноса, реализации pipeline, тестов, анализа результатов и подготовки документации. Доказательства получены реальными запусками Docker-стенда; токены не включены в отчёт. + +Материал для защиты: [DEFENSE_CHEATSHEET.md](DEFENSE_CHEATSHEET.md). diff --git a/RESEARCH.md b/RESEARCH.md new file mode 100644 index 00000000..f3d62bbc --- /dev/null +++ b/RESEARCH.md @@ -0,0 +1,37 @@ +# Исследование: уровень 5, трек 2 + +## Гипотеза и инварианты + +Версионирование результатов, transactional outbox, блокировки PostgreSQL и повторяемые ключи S3 позволяют завершать принятые задачи при at-least-once доставке без дополнительных наборов вариантов и перезаписи нового результата старым. + +Инварианты проверяются assertions: каждый проверяемый upload с 202 завершается ready; оригинал побайтно совпадает с принятым; у текущей версии ровно четыре объекта; метаданные и SHA-256 каждого варианта соответствуют скачанным байтам; повтор ready не меняет метаданные; устаревшая job не изменяет новую версию. + +## Методика + +`make research` останавливает обычные worker/publisher и запускает `tests/pipeline_faults.py` в ops. Создаются реальные HTTP-вложения и настоящие consumer-group доставки Valkey Streams. В отдельном процессе вызывается `os._exit(86)` до PUT, после всех PUT до COMMIT, после COMMIT до XACK. Неподтверждённая доставка затем захватывается другим consumer. Матрица содержит три повтора каждого из пяти основных сценариев, дополнительно проверяет смену уже опубликованной v1 на v2, failed/replay, пять временных ошибок и повтор публикации outbox. + +Для ускорения матрицы lease переводится в прошлое SQL-командой; до этого отдельно проверяется отказ захвата действующего lease. Это не измерение реального времени ожидания lease. `tests/lifecycle.py` отдельно проверяет восстановление с настоящими часами, без изменения дедлайна. Конкурентные дубли запускаются восемью потоками, обычный worker последовательный. Время в таблице включает HTTP/БД, запуск Python-процессов и обработку; это время полного тестового сценария, а не latency одного изображения в production. + +Один локальный Linux Docker Engine в Colima, arm64, 4 vCPU, около 8 GiB RAM. Лимиты: worker 1 CPU/768 MiB, API 2 реплики по 2 CPU/512 MiB, PostgreSQL 1 CPU/512 MiB, MinIO 0.5 CPU/768 MiB, broker 0.25 CPU/192 MiB; ops 1 CPU/512 MiB. Ограничения CPU — верхние пределы, а не выделенные ядра. Прочие лабораторные могут работать в этой же VM. Файл матрицы — PNG 320×200 из публичных fixtures. Отдельные геометрические тесты используют PNG/JPEG от 80×40 до 1600×800. Нагрузочного прогрева нет: исследуется корректность конкретных interleavings, не максимальный throughput. Точные лимиты и образы сохранены в `evidence/containers.json` и `compose.yaml`. + +## Результаты матрицы + +| Сценарий | Повторы | Среднее, мс | min–max, мс | SD, мс | Объектов текущей версии | Ошибки | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | +| Падение до PUT | 3 | 1550.718 | 1321.347–1786.888 | 232.845 | 4 | 0 | +| Падение после PUT | 3 | 1549.527 | 1334.593–1872.025 | 284.404 | 4 | 0 | +| Падение после COMMIT до ack | 3 | 1383.915 | 1275.246–1590.414 | 178.915 | 4 | 0 | +| 8 конкурентных дублей | 3 | 143.795 | 121.12–172.849 | 26.448 | 4 | 0 | +| Старая версия после новой | 3 | 223.21 | 109.191–440.476 | 188.235 | 4 | 0 | + +![Время сценариев и количество объектов](evidence/pipeline-faults.png) + +После падения до COMMIT требуются две управляемые попытки. После COMMIT повтор не выполняет обработку: достаточно одной попытки. При восьми конкурентных доставках обрабатывает один поток, остальные видят занятость или завершённый результат. После новой версии старые задания не создают объекты v1 и не изменяют публичные метаданные v2. Отдельно проверено обновление уже существующего результата v1 на v2 с изменённым качеством кодирования. + +Raw: [pipeline-faults.json](evidence/pipeline-faults.json), [CSV](evidence/fault-summary.csv), [lifecycle.json](evidence/lifecycle.json), [backpressure.json](evidence/backpressure.json), [cleanup-and-limits.json](evidence/cleanup-and-limits.json). + +## Ограничения + +Это проверка конечного набора аварийных расписаний, а не математическое доказательство для всех interleavings. Исследование не покрывает потерю диска/volume, несколько узлов, длительные сетевые разделения и повреждение файловой системы. Локальная матрица не подтверждает SLA и не измеряет p95 под производственной нагрузкой; для выбранного трека это не заявляется. CPU/RAM ограничены конфигурацией, пиковый RSS декодера в этом исследовании не измеряется. + +Физический PUT может повториться после аварии: одинаковый ключ заменяется теми же данными. Гарантируется один текущий логический набор результатов, а доставка остаётся at least once. Объекты прежних успешно опубликованных версий сохраняются: это история версий, не дубли текущего результата. Изменение алгоритма должно сопровождаться увеличением pipeline_version; старый бинарный worker нужно вывести из эксплуатации перед изменением кода существующей версии. diff --git a/app.py b/app.py new file mode 100644 index 00000000..d8c8ec7c --- /dev/null +++ b/app.py @@ -0,0 +1,896 @@ +from __future__ import annotations + +import base64 +import json +import os +import secrets +import socket +import re +import uuid +from datetime import datetime, timedelta, timezone +from pathlib import Path +from typing import Any, Dict, List, Optional, Tuple + +import psycopg +from psycopg_pool import ConnectionPool +import redis +from argon2 import PasswordHasher +from fastapi import FastAPI, Header, HTTPException, Request +from fastapi.exceptions import RequestValidationError +from fastapi.responses import JSONResponse, Response, StreamingResponse +from starlette.concurrency import run_in_threadpool +from pydantic import BaseModel, ConfigDict, StringConstraints, ValidationError +from typing_extensions import Annotated + + +APP_HOST = os.getenv("APP_HOST", "0.0.0.0") +APP_PORT = int(os.getenv("APP_PORT", "8080")) +SESSION_TTL_SECONDS = int(os.getenv("SESSION_TTL_SECONDS", "3600")) +INSTANCE_ID = os.getenv("INSTANCE_ID", socket.gethostname()) + +USERNAME_RE = r"^[a-z0-9_]{3,32}$" + + +class ApiError(Exception): + def __init__(self, status_code: int, code: str, message: str, *, headers: Optional[Dict[str, str]] = None): + self.status_code = status_code + self.code = code + self.message = message + self.headers = headers or {} + + +class UserOut(BaseModel): + model_config = ConfigDict(extra="forbid") + + id: str + username: str + display_name: str + created_at: str + + +class SessionOut(BaseModel): + model_config = ConfigDict(extra="forbid") + + token: str + token_type: str + expires_at: str + user: UserOut + + +class ChatOut(BaseModel): + model_config = ConfigDict(extra="forbid") + + id: str + title: str + member_ids: List[str] + created_at: str + + +class MessageOut(BaseModel): + model_config = ConfigDict(extra="forbid") + + id: str + chat_id: str + sender_id: str + text: str + created_at: str + attachment_ids: List[str] + + +class CreateUserIn(BaseModel): + model_config = ConfigDict(extra="forbid") + + username: Annotated[str, StringConstraints(pattern=USERNAME_RE, min_length=3, max_length=32)] + display_name: Annotated[str, StringConstraints(min_length=1, max_length=100)] + password: Annotated[str, StringConstraints(min_length=12, max_length=128)] + + +class CreateChatIn(BaseModel): + model_config = ConfigDict(extra="forbid") + + title: Annotated[str, StringConstraints(min_length=1, max_length=100)] + member_ids: List[str] + + +class CreateMessageIn(BaseModel): + model_config = ConfigDict(extra="forbid") + + attachment_ids: List[str] = [] + text: Annotated[str, StringConstraints(max_length=4000)] + + +class Store: + def __init__(self) -> None: + self.connection_url = self._resolve_database_url() + self.cache_url = self._resolve_cache_url() + self.shared_cache = redis.Redis.from_url(self.cache_url, decode_responses=True, socket_connect_timeout=2, socket_timeout=2) + self.session_store = os.getenv("SESSION_STORE", "valkey") + self.password_hasher = PasswordHasher(time_cost=3, memory_cost=65536, parallelism=2, hash_len=32, salt_len=16) + self.pool = ConnectionPool( + self.connection_url, min_size=1, + max_size=int(os.getenv("DB_POOL_MAX_SIZE", "10")), + timeout=5, max_waiting=20, open=False, + kwargs={"connect_timeout": 5, "autocommit": False, + "options": "-c statement_timeout=5000 -c lock_timeout=500"}, + ) + + def _resolve_database_url(self) -> str: + value = os.getenv("DATABASE_URL") + if value: + return value + secret_path = os.getenv("DATABASE_URL_FILE") + if secret_path and os.path.exists(secret_path): + with open(secret_path, "r", encoding="utf-8") as handle: + return handle.read().strip() + return os.getenv("DEFAULT_DATABASE_URL", "postgresql://messenger:messenger@localhost:5432/messenger") + + def _resolve_cache_url(self) -> str: + value = os.getenv("CACHE_URL") + if value: + return value + secret_path = os.getenv("CACHE_URL_FILE") + if secret_path and os.path.exists(secret_path): + with open(secret_path, "r", encoding="utf-8") as handle: + return handle.read().strip() + return os.getenv("DEFAULT_CACHE_URL", "redis://localhost:6379/0") + + def connect(self): + return self.pool.connection() + + def cache_client(self): + if os.getenv("CACHE_CLIENT_MODE", "shared") == "shared": + return self.shared_cache + return redis.Redis.from_url(self.cache_url, decode_responses=True, socket_connect_timeout=2, socket_timeout=2) + + def cache_session(self, session: Dict[str, Any]) -> None: + if self.session_store != "valkey": + return + try: + client = self.cache_client() + ttl_seconds = max(1, int((self.parse_session_expiry(session["expires_at"]) - self.utc_now()).total_seconds())) + payload = json.dumps({ + "token": session["token"], + "user_id": session["user_id"], + "expires_at": session["expires_at"], + "revoked_at": session.get("revoked_at"), + "user": session["user"], + }, separators=(",", ":"), ensure_ascii=False) + client.setex(f"session:{session['token']}", ttl_seconds, payload) + except redis.RedisError: + return + + def get_cached_session(self, token: str, *, db_session) -> Optional[Dict[str, Any]]: + if self.session_store != "valkey": + return None + try: + client = self.cache_client() + payload = client.get(f"session:{token}") + if not payload: + return None + data = json.loads(payload) + session = { + "token": data["token"], + "user_id": data["user_id"], + "expires_at": data["expires_at"], + "revoked_at": data.get("revoked_at"), + "user": data["user"], + } + if not self.is_session_valid(session): + client.delete(f"session:{token}") + return None + if session != db_session: + client.delete(f"session:{token}") + return None + return db_session + except (redis.RedisError, KeyError, TypeError, ValueError): + return None + + def delete_cached_session(self, token: str) -> None: + if self.session_store != "valkey": + return + try: + self.cache_client().delete(f"session:{token}") + except redis.RedisError: + return + + @staticmethod + def parse_session_expiry(value: Any) -> datetime: + if isinstance(value, datetime): + return value.astimezone(timezone.utc) + if isinstance(value, str): + return datetime.fromisoformat(value.replace("Z", "+00:00")).astimezone(timezone.utc) + raise ValueError("invalid session expiry") + + def init(self) -> None: + migration_dir = Path(__file__).resolve().parent / "migrations" + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute("SELECT pg_advisory_xact_lock(202603)") + cur.execute( + """ + CREATE TABLE IF NOT EXISTS schema_migrations ( + version TEXT PRIMARY KEY, + applied_at TIMESTAMPTZ NOT NULL DEFAULT NOW() + ); + """ + ) + + applied = set() + cur.execute("SELECT version FROM schema_migrations") + for (version,) in cur.fetchall(): + applied.add(version) + + for migration_path in sorted(migration_dir.glob("*.sql")): + version = migration_path.stem + if version in applied: + continue + sql = migration_path.read_text(encoding="utf-8") + cur.execute(sql) + cur.execute( + "INSERT INTO schema_migrations(version, applied_at) VALUES (%s, %s)", + (version, self.utc_now()), + ) + conn.commit() + + def utc_now(self) -> datetime: + return datetime.now(timezone.utc) + + def isoformat_utc(self, value: datetime) -> str: + return value.astimezone(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z") + + def hash_password(self, password: str) -> str: + return self.password_hasher.hash(password) + + def verify_password(self, password_hash: str, password: str) -> bool: + try: + self.password_hasher.verify(password_hash, password) + return True + except Exception: + return False + + def require_user_by_username(self, username: str, conn): + with conn.cursor() as cur: + cur.execute("SELECT id, username, display_name, created_at, password_hash FROM users WHERE username = %s", (username,)) + row = cur.fetchone() + if row is None: + return None + return { + "id": str(row[0]), + "username": row[1], + "display_name": row[2], + "created_at": self.isoformat_utc(row[3]), + "password_hash": row[4], + } + + def fetch_user(self, user_id: str, conn): + with conn.cursor() as cur: + cur.execute("SELECT id, username, display_name, created_at FROM users WHERE id = %s", (user_id,)) + row = cur.fetchone() + if row is None: + return None + return { + "id": str(row[0]), + "username": row[1], + "display_name": row[2], + "created_at": self.isoformat_utc(row[3]), + } + + def fetch_session_by_token(self, token: str, conn): + with conn.cursor() as cur: + cur.execute( + "SELECT s.token, s.user_id, s.expires_at, s.revoked_at, u.id, u.username, u.display_name, u.created_at FROM sessions s JOIN users u ON u.id = s.user_id WHERE s.token = %s", + (token,), + ) + row = cur.fetchone() + if row is None: + return None + return { + "token": row[0], + "user_id": str(row[1]), + "expires_at": self.isoformat_utc(row[2]), + "revoked_at": row[3], + "user": { + "id": str(row[4]), + "username": row[5], + "display_name": row[6], + "created_at": self.isoformat_utc(row[7]), + }, + } + + def list_member_ids(self, chat_id: str, conn) -> List[str]: + with conn.cursor() as cur: + cur.execute("SELECT user_id FROM chat_members WHERE chat_id = %s ORDER BY user_id", (chat_id,)) + rows = cur.fetchall() + return [str(row[0]) for row in rows] + + def fetch_chat(self, chat_id: str, conn): + with conn.cursor() as cur: + cur.execute("SELECT id, title, created_at FROM chats WHERE id = %s", (chat_id,)) + row = cur.fetchone() + if row is None: + return None + return { + "id": str(row[0]), + "title": row[1], + "created_at": self.isoformat_utc(row[2]), + "member_ids": self.list_member_ids(str(row[0]), conn), + } + + def fetch_message(self, message_id: str, conn): + with conn.cursor() as cur: + cur.execute("SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE id = %s", (message_id,)) + row = cur.fetchone() + if row is None: + return None + return { + "id": str(row[0]), + "chat_id": str(row[1]), + "sender_id": str(row[2]), + "text": row[3], + "created_at": self.isoformat_utc(row[4]), + "attachment_ids": self.message_attachment_ids(str(row[0]), conn), + } + + def fetch_chat_membership(self, chat_id: str, user_id: str, conn) -> bool: + with conn.cursor() as cur: + cur.execute("SELECT 1 FROM chat_members WHERE chat_id = %s AND user_id = %s", (chat_id, user_id)) + return cur.fetchone() is not None + + def insert_user(self, username: str, display_name: str, password: str): + now = self.utc_now() + user_id = uuid.uuid4() + password_hash = self.hash_password(password) + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute( + "INSERT INTO users(id, username, display_name, password_hash, created_at) VALUES (%s,%s,%s,%s,%s)", + (user_id, username, display_name, password_hash, now), + ) + conn.commit() + return { + "id": str(user_id), + "username": username, + "display_name": display_name, + "created_at": self.isoformat_utc(now), + } + + def insert_chat(self, title: str, member_ids: List[str], actor_id: str): + now = self.utc_now() + chat_id = uuid.uuid4() + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute("INSERT INTO chats(id,title,created_at) VALUES (%s,%s,%s)", (chat_id, title, now)) + for member_id in sorted(set(member_ids)): + cur.execute("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", (chat_id, member_id)) + conn.commit() + return { + "id": str(chat_id), + "title": title, + "member_ids": sorted(set(member_ids)), + "created_at": self.isoformat_utc(now), + } + + def insert_message(self, chat_id: str, sender_id: str, text: str, key: str, attachment_ids: List[str]): + # Transaction-level lock serializes the same scope across all replicas. + scope = json.dumps([sender_id, "POST", chat_id, key]) + request_body = {"text": text, "attachment_ids": attachment_ids} + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute("SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))", (scope,)) + cur.execute("DELETE FROM message_requests WHERE sender_id=%s AND chat_id=%s AND key=%s AND expires_at <= NOW()", (sender_id, chat_id, key)) + cur.execute("SELECT body, response FROM message_requests WHERE sender_id=%s AND chat_id=%s AND key=%s", (sender_id, chat_id, key)) + previous = cur.fetchone() + if previous: + if previous[0] != request_body: + raise ApiError(409, "conflict", "idempotency key reused with different body") + return previous[1] + for aid in attachment_ids: + cur.execute("SELECT state FROM attachments WHERE id=%s AND chat_id=%s FOR SHARE", (aid, chat_id)) + att = cur.fetchone() + if att is None: + raise ApiError(404, "not_found", "attachment not found") + if att[0] == "failed": + raise ApiError(409, "conflict", "attachment unavailable") + now = self.utc_now() + message_id = str(uuid.uuid4()) + message = {"id": message_id, "chat_id": chat_id, "sender_id": sender_id, + "text": text, "created_at": self.isoformat_utc(now), "attachment_ids": attachment_ids} + cur.execute("INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES (%s,%s,%s,%s,%s)", + (message_id, chat_id, sender_id, text, now)) + for position, aid in enumerate(attachment_ids): + cur.execute("INSERT INTO message_attachments(message_id,attachment_id,position) VALUES (%s,%s,%s)", (message_id, aid, position)) + cur.execute("INSERT INTO message_requests(sender_id,chat_id,key,body,response,expires_at) VALUES (%s,%s,%s,%s::jsonb,%s::jsonb,%s)", + (sender_id, chat_id, key, json.dumps(request_body), json.dumps(message), now + timedelta(hours=24))) + conn.commit() + return message + + def message_attachment_ids(self, message_id, conn): + return [str(row[0]) for row in conn.execute("SELECT attachment_id FROM message_attachments WHERE message_id=%s ORDER BY position", (message_id,)).fetchall()] + + @staticmethod + def cursor_uuid_key(value: str) -> int: + try: + return uuid.UUID(value).int + except (ValueError, TypeError): + return 0 + + def list_chats_for_user(self, user_id: str, limit: int, cursor: Optional[str]): + with self.connect() as conn: + with conn.cursor() as cur: + query = """ + SELECT c.id, c.title, c.created_at + FROM chats c + JOIN chat_members cm ON cm.chat_id = c.id + WHERE cm.user_id = %s + """ + params: List[Any] = [user_id] + if cursor: + prefix = f"user:{user_id}|" + if not cursor.startswith(prefix): + raise ApiError(400, "invalid_request", "cursor does not match user chat list") + remainder = cursor[len(prefix):] + if not remainder: + raise ApiError(400, "invalid_request", "invalid cursor") + try: + cursor_ts_raw, cursor_id = remainder.split("|", 1) + cursor_dt = datetime.fromisoformat(cursor_ts_raw.replace("Z", "+00:00")).astimezone(timezone.utc) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid cursor") from exc + query += " AND (c.created_at > %s OR (c.created_at = %s AND c.id > %s::uuid))" + params.extend([cursor_dt, cursor_dt, cursor_id]) + query += " ORDER BY c.created_at ASC, c.id ASC LIMIT %s" + params.append(limit + 1) + cur.execute(query, tuple(params)) + rows = cur.fetchall() + items = [ + { + "id": str(row[0]), + "title": row[1], + "created_at": self.isoformat_utc(row[2]), + "member_ids": self.list_member_ids(str(row[0]), conn), + } + for row in rows + ] + + next_cursor = None + if len(items) > limit: + last_item = items[limit - 1] + next_cursor = f"user:{user_id}|{last_item['created_at']}|{last_item['id']}" + items = items[:limit] + + return {"items": items, "next_cursor": next_cursor} + + def list_messages_for_chat(self, chat_id: str, limit: int, cursor: Optional[str]): + with self.connect() as conn: + with conn.cursor() as cur: + query = "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = %s" + params: List[Any] = [chat_id] + if cursor: + prefix = f"chat:{chat_id}|" + if not cursor.startswith(prefix): + raise ApiError(400, "invalid_request", "cursor does not match chat") + remainder = cursor[len(prefix):] + if not remainder: + raise ApiError(400, "invalid_request", "invalid cursor") + try: + cursor_ts_raw, cursor_id = remainder.split("|", 1) + cursor_dt = datetime.fromisoformat(cursor_ts_raw.replace("Z", "+00:00")).astimezone(timezone.utc) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid cursor") from exc + query += " AND (created_at, id) > (%s, %s::uuid)" + params.extend([cursor_dt, cursor_id]) + query += " ORDER BY created_at ASC, id ASC LIMIT %s" + params.append(limit + 1) + cur.execute(query, tuple(params)) + rows = cur.fetchall() + links = {} + if rows: + cur.execute("SELECT message_id, attachment_id FROM message_attachments WHERE message_id=ANY(%s::uuid[]) ORDER BY message_id, position", ([str(row[0]) for row in rows],)) + for mid, aid in cur.fetchall(): + links.setdefault(str(mid), []).append(str(aid)) + + items = [{ + "id": str(row[0]), + "chat_id": str(row[1]), + "sender_id": str(row[2]), + "text": row[3], + "created_at": self.isoformat_utc(row[4]), + "attachment_ids": links.get(str(row[0]), []), + } for row in rows] + + next_cursor = None + if len(items) > limit: + last_item = items[limit - 1] + next_cursor = f"chat:{chat_id}|{last_item['created_at']}|{last_item['id']}" + items = items[:limit] + + return {"items": items, "next_cursor": next_cursor} + + def create_session(self, user_id: str, username: str): + token = secrets.token_urlsafe(32) + expires_at = self.utc_now() + timedelta(seconds=SESSION_TTL_SECONDS) + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute( + "INSERT INTO sessions(id, token, user_id, expires_at, created_at) VALUES (%s,%s,%s,%s,%s)", + (uuid.uuid4(), token, user_id, expires_at, self.utc_now()), + ) + conn.commit() + with self.connect() as conn: + user = self.fetch_user(user_id, conn) + if user is None: + raise ApiError(500, "internal_error", "session user missing") + session = { + "token": token, + "user_id": user_id, + "expires_at": self.isoformat_utc(expires_at), + "revoked_at": None, + "user": user, + } + self.cache_session(session) + return { + "token": token, + "token_type": "Bearer", + "expires_at": self.isoformat_utc(expires_at), + "user": user, + } + + def get_session_by_token(self, token: str, conn=None): + if conn is None: + with self.connect() as db_conn: + return self.get_session_by_token(token, db_conn) + db_session = self.fetch_session_by_token(token, conn) + if db_session is None or not self.is_session_valid(db_session): + self.delete_cached_session(token) + return None + cached = self.get_cached_session(token, db_session=db_session) + if cached is None: + self.cache_session(db_session) + return db_session + + def revoke_current_session(self, token: str): + with self.connect() as conn: + with conn.cursor() as cur: + cur.execute("UPDATE sessions SET revoked_at = %s WHERE token = %s AND revoked_at IS NULL", (self.utc_now(), token)) + conn.commit() + self.delete_cached_session(token) + + def is_session_valid(self, session) -> bool: + if session is None: + return False + if session.get("revoked_at") is not None: + return False + try: + expiry = self.parse_session_expiry(session["expires_at"]) + except ValueError: + return False + if expiry <= self.utc_now(): + return False + return True + + +store = Store() +from attachments import ObjectStore +object_store = ObjectStore(store, ApiError) +app = FastAPI(title="MTUSI Messenger") + + +@app.on_event("startup") +def startup_event() -> None: + store.pool.open(wait=True, timeout=10) + + + +@app.on_event("shutdown") +def shutdown_event() -> None: + store.pool.close() + store.shared_cache.close() + object_store.close() + + +@app.exception_handler(psycopg.OperationalError) +async def database_error_handler(request: Request, exc): + return await api_error_handler(request, ApiError(503, "unavailable", "database unavailable")) + + +@app.middleware("http") +async def request_id_middleware(request: Request, call_next): + request_id = uuid.uuid4().hex + request.state.request_id = request_id + response = await call_next(request) + response.headers["X-Request-Id"] = request_id + response.headers["X-Instance-Id"] = INSTANCE_ID + response.headers["X-App-Revision"] = os.getenv("APP_REVISION", "lab4-v1") + return response + + +@app.exception_handler(ApiError) +async def api_error_handler(request: Request, exc: ApiError): + body = {"error": {"code": exc.code, "message": exc.message, "request_id": getattr(request.state, "request_id", "")}} + return JSONResponse(status_code=exc.status_code, headers={**exc.headers, "X-Request-Id": getattr(request.state, "request_id", ""), "X-Instance-Id": INSTANCE_ID}, content=body) + + +@app.exception_handler(RequestValidationError) +async def validation_error_handler(request: Request, exc: RequestValidationError): + request_id = getattr(request.state, "request_id", "") + return JSONResponse( + status_code=400, + headers={"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID}, + content={"error": {"code": "invalid_request", "message": "invalid request", "request_id": request_id}}, + ) + + +@app.exception_handler(Exception) +async def generic_error_handler(request: Request, exc: Exception): + request_id = getattr(request.state, "request_id", "") + return JSONResponse( + status_code=500, + headers={"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID}, + content={"error": {"code": "internal_error", "message": "internal error", "request_id": request_id}}, + ) + + +def get_auth_header(request: Request): + auth = request.headers.get("Authorization") + if not auth: + raise ApiError(401, "unauthorized", "missing authorization", headers={"WWW-Authenticate": 'Bearer realm="messenger"'}) + scheme, _, token = auth.partition(" ") + if scheme.lower() != "bearer" or not token: + raise ApiError(401, "unauthorized", "invalid bearer token", headers={"WWW-Authenticate": 'Bearer realm="messenger"'}) + return token.strip() + + +def require_bearer_session(request: Request): + token = get_auth_header(request) + with store.connect() as conn: + session = store.get_session_by_token(token, conn) + if session is None or not store.is_session_valid(session): + raise ApiError(401, "unauthorized", "invalid or expired session", headers={"WWW-Authenticate": 'Bearer realm="messenger"'}) + return session + + +async def parse_json_body(request: Request) -> Dict[str, Any]: + try: + raw = await request.body() + if not raw: + return {} + return __import__("json").loads(raw) + except Exception as exc: + raise ApiError(400, "invalid_request", "malformed JSON") from exc + + +@app.get("/health/live") +def health_live(): + return {"status": "ok"} + + +@app.get("/health/ready") +def health_ready(): + try: + with store.connect() as conn: + with conn.cursor() as cur: + cur.execute("SELECT 1") + object_store.ready() + return {"status": "ok"} + except Exception as exc: + raise ApiError(503, "unavailable", "required storage unavailable") from exc + + +@app.post("/api/v1/users", status_code=201) +async def create_user_endpoint(request: Request): + try: + body = await request.json() + except Exception as exc: + raise ApiError(400, "invalid_request", "malformed JSON") from exc + if not isinstance(body, dict): + raise ApiError(400, "invalid_request", "invalid user payload") + try: + payload = CreateUserIn.model_validate(body) + except ValidationError as exc: + raise ApiError(400, "invalid_request", "invalid user payload") from exc + if not payload.username or not payload.display_name.strip(): + raise ApiError(400, "invalid_request", "invalid request") + payload.display_name = payload.display_name.strip() + try: + user = store.insert_user(payload.username, payload.display_name, payload.password) + return UserOut.model_validate(user) + except Exception as exc: + if "duplicate key" in str(exc).lower() or "unique" in str(exc).lower(): + raise ApiError(409, "conflict", "username already exists") from exc + raise ApiError(503, "unavailable", "required storage unavailable") from exc + + +@app.get("/api/v1/users/me") +def current_user(request: Request): + session = require_bearer_session(request) + user = session["user"] + return UserOut.model_validate(user) + + +@app.post("/api/v1/auth/sessions", status_code=201) +def create_session(request: Request): + auth = request.headers.get("Authorization", "") + if not auth.lower().startswith("basic "): + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + encoded = auth.split(" ", 1)[1].strip() + try: + decoded = base64.b64decode(encoded.encode("ascii"), validate=True) + raw = decoded.decode("utf-8") + except Exception: + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + if ":" not in raw: + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + username, password = raw.split(":", 1) + if not re_match(username): + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + if not (12 <= len(password) <= 128): + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + try: + with store.connect() as conn: + user = store.require_user_by_username(username, conn) + if user is None or not store.verify_password(user["password_hash"], password): + raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'}) + session = store.create_session(user["id"], username) + return SessionOut.model_validate(session) + except ApiError: + raise + except Exception as exc: + raise ApiError(503, "unavailable", "required storage unavailable") from exc + + +@app.delete("/api/v1/auth/sessions/current", status_code=204) +def revoke_session(request: Request): + session = require_bearer_session(request) + token = session["token"] + store.revoke_current_session(token) + return Response(status_code=204) + + +@app.post("/api/v1/chats", status_code=201) +async def create_chat_endpoint(request: Request): + session = require_bearer_session(request) + try: + body = await request.json() + except Exception as exc: + raise ApiError(400, "invalid_request", "malformed JSON") from exc + if not isinstance(body, dict): + raise ApiError(400, "invalid_request", "invalid chat payload") + try: + payload = CreateChatIn.model_validate(body) + except ValidationError as exc: + raise ApiError(400, "invalid_request", "invalid chat payload") from exc + if len(payload.member_ids) < 1 or len(payload.member_ids) > 100: + raise ApiError(400, "invalid_request", "invalid member_ids") + title = payload.title.strip() + if not title: + raise ApiError(400, "invalid_request", "invalid title") + normalized = [] + seen = set() + for member_id in payload.member_ids: + try: + member_id = str(uuid.UUID(member_id)) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid member_ids") from exc + if member_id in seen: + raise ApiError(400, "invalid_request", "duplicate member_ids") + seen.add(member_id) + normalized.append(member_id) + if session["user_id"] not in normalized: + raise ApiError(400, "invalid_request", "current user must be a member") + try: + with store.connect() as conn: + for member_id in normalized: + with conn.cursor() as cur: + cur.execute("SELECT id FROM users WHERE id = %s", (member_id,)) + if cur.fetchone() is None: + raise ApiError(400, "invalid_request", "unknown member") + chat = store.insert_chat(title, normalized, session["user_id"]) + return ChatOut.model_validate(chat) + except ApiError: + raise + except Exception as exc: + raise ApiError(503, "unavailable", "required storage unavailable") from exc + + +@app.get("/api/v1/chats") +def list_chats(request: Request): + session = require_bearer_session(request) + limit = request.query_params.get("limit", "50") + cursor = request.query_params.get("cursor") + try: + limit_int = int(limit) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid limit") from exc + if not (1 <= limit_int <= 100): + raise ApiError(400, "invalid_request", "invalid limit") + result = store.list_chats_for_user(session["user_id"], limit_int, cursor) + return {"items": [ChatOut.model_validate(item) for item in result["items"]], "next_cursor": result["next_cursor"]} + + +@app.get("/api/v1/chats/{chat_id}") +def get_chat(request: Request, chat_id: str): + session = require_bearer_session(request) + try: + uuid.UUID(chat_id) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid chat_id") from exc + with store.connect() as conn: + chat = store.fetch_chat(chat_id, conn) + if chat is None or not store.fetch_chat_membership(chat_id, session["user_id"], conn): + raise ApiError(404, "not_found", "chat not found") + return ChatOut.model_validate(chat) + + +@app.post("/api/v1/chats/{chat_id}/messages", status_code=201) +async def create_message(request: Request, chat_id: str): + session = require_bearer_session(request) + try: + uuid.UUID(chat_id) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid chat_id") from exc + try: + body = await request.json() + except Exception as exc: + raise ApiError(400, "invalid_request", "malformed JSON") from exc + if not isinstance(body, dict): + raise ApiError(400, "invalid_request", "invalid message payload") + try: + payload = CreateMessageIn.model_validate(body) + except ValidationError as exc: + raise ApiError(400, "invalid_request", "invalid message payload") from exc + if len(payload.attachment_ids) > 10: + raise ApiError(400, "invalid_request", "too many attachments") + try: + payload.attachment_ids = [str(uuid.UUID(aid)) for aid in payload.attachment_ids] + except (ValueError, TypeError) as exc: + raise ApiError(400, "invalid_request", "invalid attachment id") from exc + if len(set(payload.attachment_ids)) != len(payload.attachment_ids): + raise ApiError(400, "invalid_request", "duplicate attachment ids") + if not payload.text.strip() and not payload.attachment_ids: + raise ApiError(400, "invalid_request", "invalid text") + key = request.headers.get("Idempotency-Key", "") + if not re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", key): + raise ApiError(400, "invalid_request", "invalid Idempotency-Key") + with store.connect() as conn: + chat = store.fetch_chat(chat_id, conn) + if chat is None or not store.fetch_chat_membership(chat_id, session["user_id"], conn): + raise ApiError(404, "not_found", "chat not found") + message = store.insert_message(str(uuid.UUID(chat_id)), session["user_id"], payload.text, key, payload.attachment_ids) + return MessageOut.model_validate(message) + + +@app.get("/api/v1/chats/{chat_id}/messages") +def list_messages(request: Request, chat_id: str): + session = require_bearer_session(request) + try: + uuid.UUID(chat_id) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid chat_id") from exc + limit = request.query_params.get("limit", "50") + cursor = request.query_params.get("cursor") + try: + limit_int = int(limit) + except ValueError as exc: + raise ApiError(400, "invalid_request", "invalid limit") from exc + if not (1 <= limit_int <= 100): + raise ApiError(400, "invalid_request", "invalid limit") + with store.connect() as conn: + if not store.fetch_chat_membership(chat_id, session["user_id"], conn): + raise ApiError(404, "not_found", "chat not found") + result = store.list_messages_for_chat(chat_id, limit_int, cursor) + return {"items": [MessageOut.model_validate(item) for item in result["items"]], "next_cursor": result["next_cursor"]} + + +def re_match(value: str) -> bool: + import re + + return bool(re.fullmatch(USERNAME_RE, value)) + + +from attachments import register_routes +register_routes(app, object_store, require_bearer_session) + +if __name__ == "__main__": + import uvicorn + + uvicorn.run("app:app", host=APP_HOST, port=APP_PORT, reload=False) diff --git a/attachments.py b/attachments.py new file mode 100644 index 00000000..ce2cd52d --- /dev/null +++ b/attachments.py @@ -0,0 +1,240 @@ +"""Bounded uploads into durable S3 staging and transactional job/outbox.""" +import asyncio +import hashlib +import os +from pathlib import Path +import tempfile +import threading +import time +import unicodedata +import uuid +import warnings + +import boto3 +from botocore.config import Config +from botocore.exceptions import BotoCoreError, ClientError +from fastapi import Request +from fastapi.responses import StreamingResponse +from PIL import Image, UnidentifiedImageError +from psycopg.rows import dict_row +from starlette.concurrency import run_in_threadpool +from starlette.requests import ClientDisconnect + +MAX_BYTES = 10485760 +MAX_PIXELS = 40000000 +CHUNK = 65536 +# Header parsing checks our exact cap before decoding. Pillow's own bomb guard is +# retained as another bound, but its warning threshold is not the contract cap. +Image.MAX_IMAGE_PIXELS = MAX_PIXELS +COLUMNS = 'id,chat_id,owner_id,object_key,filename,content_type,size_bytes,sha256,state,error_code,created_at,updated_at,pipeline_version,staging_key,variants' + + +def canonical_id(value, error): + try: + return str(uuid.UUID(value)) + except (ValueError, TypeError, AttributeError) as exc: + raise error(400, 'invalid_request', 'invalid id') from exc + + +def object_lock(conn, key, *, wait=True): + function = 'pg_advisory_xact_lock' if wait else 'pg_try_advisory_xact_lock' + return conn.execute(f'SELECT {function}(hashtextextended(%s,44))', (key,)).fetchone()[0] + + +class ObjectStore: + def __init__(self, store, error): + self.store, self.error = store, error + self.bucket = os.getenv('S3_BUCKET', 'messenger-attachments') + self.client = boto3.client('s3', endpoint_url=os.getenv('S3_ENDPOINT', 'http://s3:9000'), + region_name=os.getenv('S3_REGION', 'us-east-1'), + aws_access_key_id=os.getenv('S3_ACCESS_KEY_ID', 'unset'), + aws_secret_access_key=os.getenv('S3_SECRET_ACCESS_KEY', 'unset'), + config=Config(signature_version='s3v4', connect_timeout=1, read_timeout=3, + retries={'total_max_attempts': 1, 'mode': 'standard'}, + max_pool_connections=8, s3={'addressing_style': 'path'})) + self.decode_lock = threading.BoundedSemaphore(1) + # At most two payload spools per process; queued requests receive ASGI + # backpressure instead of being read into an unbounded request.body(). + self.upload_slots = asyncio.Semaphore(2) + + def close(self): + self.client.close() + + def ready(self): + try: + self.client.head_bucket(Bucket=self.bucket) + except (BotoCoreError, ClientError) as exc: + raise self.error(503, 'unavailable', 'object storage unavailable') from exc + + def authorize_chat(self, request, chat_id, authenticate): + actor = authenticate(request) + chat_id = canonical_id(chat_id, self.error) + with self.store.connect() as conn: + if not self.store.fetch_chat_membership(chat_id, actor['user_id'], conn): + raise self.error(404, 'not_found', 'chat not found') + return actor, chat_id + + def validate_filename(self, name): + if not name or len(name) > 255 or any(c in '/\\' or unicodedata.category(c).startswith('C') for c in name): + raise self.error(400, 'invalid_request', 'invalid filename') + + def inspect_image(self, stream, claimed_type): + try: + with self.decode_lock, warnings.catch_warnings(): + warnings.simplefilter('error', Image.DecompressionBombWarning) + stream.seek(0) + with Image.open(stream, formats=['PNG', 'JPEG']) as image: + actual = {'PNG': 'image/png', 'JPEG': 'image/jpeg'}.get(image.format) + if image.width * image.height > MAX_PIXELS: + raise self.error(413, 'payload_too_large', 'too many image pixels') + if actual != claimed_type: + raise self.error(415, 'unsupported_media_type', 'content type mismatch') + image.verify() + stream.seek(0) + with Image.open(stream, formats=['PNG', 'JPEG']) as image: + image.load() # JPEG.verify alone does not ensure a full decode. + stream.seek(0) + except (Image.DecompressionBombError, Image.DecompressionBombWarning) as exc: + raise self.error(413, 'payload_too_large', 'too many image pixels') from exc + except (UnidentifiedImageError, OSError, SyntaxError, ValueError) as exc: + raise self.error(415, 'unsupported_media_type', 'invalid PNG/JPEG') from exc + + def fetch(self, aid, conn): + with conn.cursor(row_factory=dict_row) as cur: + cur.execute('SELECT '+COLUMNS+' FROM attachments WHERE id=%s', (aid,)) + return cur.fetchone() + + def public(self, row): + return {'id': str(row['id']), 'chat_id': str(row['chat_id']), + 'owner_id': str(row['owner_id']), 'filename': row['filename'], + 'content_type': row['content_type'], 'size_bytes': row['size_bytes'], + 'sha256': row['sha256'], 'status': row['state'], 'variants': [{k:v for k,v in x.items() if k != 'object_key'} for x in row['variants']], 'error_code': row['error_code'], + 'created_at': self.store.isoformat_utc(row['created_at']), + 'updated_at': self.store.isoformat_utc(row['updated_at'])} + + def authorized(self, request, aid, authenticate): + actor = authenticate(request) + aid = canonical_id(aid, self.error) + with self.store.connect() as conn: + row = self.fetch(aid, conn) + if row is None or not self.store.fetch_chat_membership(str(row['chat_id']), actor['user_id'], conn): + raise self.error(404, 'not_found', 'attachment not found') + return row + + def persist(self, stream, actor_id, chat_id, filename, content_type, size, checksum): + from pipeline import create_job + aid = str(uuid.uuid4()) + key = 'staging/' + aid + now = self.store.utc_now() + # The capacity lock serializes admission across every API replica. + # S3 is written before COMMIT: an ambiguous commit may leave an orphan, + # but a returned 202 always has both staging bytes and a durable job. + with self.store.connect() as conn: + conn.execute('SELECT pg_advisory_xact_lock(202605)') + count = conn.execute("SELECT count(*) FROM jobs WHERE state IN ('queued','processing')").fetchone()[0] + if count >= int(os.getenv('MAX_PENDING_JOBS', '100')): + raise self.error(429, 'rate_limited', 'processing capacity exceeded') + try: + stream.seek(0) + self.client.put_object(Bucket=self.bucket, Key=key, Body=stream, + ContentLength=size, ContentType=content_type, Metadata={'sha256': checksum}) + except (BotoCoreError, ClientError) as exc: + raise self.error(503, 'unavailable', 'object storage unavailable') from exc + conn.execute("""INSERT INTO attachments(id,chat_id,owner_id,object_key,filename, + content_type,size_bytes,sha256,state,created_at,updated_at,staging_key) + VALUES (%s,%s,%s,%s,%s,%s,%s,%s,'queued',%s,%s,%s)""", + (aid,chat_id,actor_id,'results/'+aid+'/v1/original',filename,content_type,size,checksum,now,now,key)) + create_job(conn, aid, 1) + row = self.fetch(aid, conn) + return self.public(row) + + def download(self, row): + try: + response = self.client.get_object(Bucket=self.bucket, Key=row['object_key']) + except (BotoCoreError, ClientError) as exc: + raise self.error(503, 'unavailable', 'object storage unavailable') from exc + body = response['Body'] + if response['ContentLength'] != row['size_bytes']: + body.close() + raise self.error(503, 'unavailable', 'object unavailable') + def chunks(): + try: + while True: + part = body.read(CHUNK) + if not part: + break + yield part + finally: + body.close() + return StreamingResponse(chunks(), media_type=row['content_type'], headers={ + 'Content-Length': str(row['size_bytes']), 'X-Content-Type-Options': 'nosniff', + 'Content-Disposition': 'attachment'}) + + +def register_routes(app, objects, authenticate): + @app.post('/api/v1/chats/{chat_id}/attachments', status_code=202) + async def upload(request: Request, chat_id: str): + actor, chat_id = await run_in_threadpool(objects.authorize_chat, request, chat_id, authenticate) + filename = request.query_params.get('filename', '') + objects.validate_filename(filename) + claimed = request.headers.get('content-type', '').split(';',1)[0].strip().lower() + if claimed not in ('image/png', 'image/jpeg'): + raise objects.error(415, 'unsupported_media_type', 'PNG/JPEG required') + length = request.headers.get('content-length') + if length: + try: + expected = int(length) + except ValueError as exc: + raise objects.error(400, 'invalid_request', 'invalid content length') from exc + if expected > MAX_BYTES: + raise objects.error(413, 'payload_too_large', 'upload exceeds 10 MiB') + if expected < 1: + raise objects.error(415, 'unsupported_media_type', 'empty image') + try: + await asyncio.wait_for(objects.upload_slots.acquire(), timeout=30) + except asyncio.TimeoutError as exc: + raise objects.error(503, 'unavailable', 'upload capacity exceeded') from exc + try: + # Temporary payloads are never persistent API storage. Every path, + # including disconnect/cancellation/error, closes and unlinks the spool. + with tempfile.SpooledTemporaryFile(max_size=262144, mode='w+b') as stream: + checksum, size = hashlib.sha256(), 0 + try: + iterator = request.stream().__aiter__() + async with asyncio.timeout(30): + while True: + try: + chunk = await asyncio.wait_for(iterator.__anext__(), timeout=5) + except StopAsyncIteration: + break + size += len(chunk) + if size > MAX_BYTES: + raise objects.error(413, 'payload_too_large', 'upload exceeds 10 MiB') + checksum.update(chunk) + await run_in_threadpool(stream.write, chunk) + except (asyncio.TimeoutError, ClientDisconnect) as exc: + raise objects.error(400, 'invalid_request', 'upload interrupted or timed out') from exc + if size < 1: + raise objects.error(415, 'unsupported_media_type', 'empty image') + await run_in_threadpool(objects.inspect_image, stream, claimed) + return await run_in_threadpool(objects.persist, stream, actor['user_id'], chat_id, + filename, claimed, size, checksum.hexdigest()) + finally: + objects.upload_slots.release() + + @app.get('/api/v1/attachments/{aid}') + def metadata(request: Request, aid: str): + return objects.public(objects.authorized(request, aid, authenticate)) + + @app.get('/api/v1/attachments/{aid}/content') + def content(request: Request, aid: str): + row = objects.authorized(request, aid, authenticate) + if row['state'] != 'ready': + raise objects.error(409, 'conflict', 'attachment unavailable') + variant = request.query_params.get('variant', 'original') + if variant != 'original': + selected = next((v for v in row['variants'] if v['name'] == variant), None) + if selected is None: + raise objects.error(404, 'not_found', 'variant not found') + row = {**row, **selected} + return objects.download(row) diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..c1371197 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,143 @@ +name: mtusi-lab5 +x-api: &api + build: . + image: ${API_IMAGE:-mtusi-lab5-api:local} + environment: &environment + DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD:?Run scripts/bootstrap.sh}@db:5432/messenger + BROKER_URL: redis://broker:6379/0 + JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} + JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-20} + JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-30} + MAX_PENDING_JOBS: ${MAX_PENDING_JOBS:-100} + STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400} + CACHE_URL: redis://valkey:6379/0 + SESSION_STORE: valkey + SESSION_TTL_SECONDS: 3600 + DB_POOL_MAX_SIZE: 5 + CACHE_CLIENT_MODE: shared + S3_ENDPOINT: http://s3:9000 + S3_REGION: us-east-1 + S3_BUCKET: messenger-attachments + S3_ACCESS_KEY_ID: lab4api + S3_SECRET_ACCESS_KEY: ${S3_API_PASSWORD:?Run scripts/bootstrap.sh} + cpus: ${API_CPUS:-2} + mem_limit: 512m + stop_grace_period: 40s +services: + db: + image: postgres:16.6-alpine + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Run scripts/bootstrap.sh} + volumes: [postgres_data:/var/lib/postgresql/data] + cpus: 1 + mem_limit: 512m + healthcheck: + test: [CMD-SHELL, pg_isready -U messenger -d messenger] + interval: 2s + timeout: 1s + retries: 30 + valkey: + image: valkey/valkey:8.0.2-alpine + command: [valkey-server, --appendonly, 'yes'] + volumes: [valkey_data:/data] + cpus: 0.25 + mem_limit: 128m + s3: + # RELEASE.2025-09-07T16-13-09Z, verified locally, linux/arm64. + image: minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e + command: [server, /data, --address, ':9000', --console-address, '127.0.0.1:9001'] + environment: + MINIO_ROOT_USER: lab4root + MINIO_ROOT_PASSWORD: ${S3_ROOT_PASSWORD:?Run scripts/bootstrap.sh} + MINIO_BROWSER: 'off' + volumes: [s3_data:/data] + cpus: 0.5 + mem_limit: 768m + s3-init: + # mc RELEASE.2025-08-13T08-35-41Z. + image: minio/mc@sha256:a7fe349ef4bd8521fb8497f55c6042871b2ae640607cf99d9bede5e9bdf11727 + entrypoint: [/bin/sh, /bootstrap/init-s3.sh] + environment: + S3_ROOT_USER: lab4root + S3_ROOT_PASSWORD: ${S3_ROOT_PASSWORD:?Run scripts/bootstrap.sh} + S3_API_USER: lab4api + S3_API_PASSWORD: ${S3_API_PASSWORD:?Run scripts/bootstrap.sh} + volumes: ['./infra:/bootstrap:ro'] + depends_on: [s3] + cpus: 1 + mem_limit: 512m + migrate: + <<: *api + command: [python, migrate.py] + depends_on: + db: {condition: service_healthy} + api: + <<: *api + command: [uvicorn, 'app:app', --host, 0.0.0.0, --port, '8080', --timeout-graceful-shutdown, '35', --limit-concurrency, '64'] + deploy: + replicas: ${API_REPLICAS:-2} + depends_on: + migrate: {condition: service_completed_successfully} + s3-init: {condition: service_completed_successfully} + valkey: {condition: service_started} + healthcheck: + test: [CMD, python, -c, "import socket; s=socket.create_connection(('127.0.0.1',8080),1); s.sendall(b'GET /health/ready HTTP/1.0\\r\\nHost: localhost\\r\\n\\r\\n'); assert s.makefile('rb').readline().split()[1]==b'200'"] + interval: 2s + timeout: 4s + retries: 2 + lb: + image: haproxy:3.0.5-alpine + ports: ['127.0.0.1:${APP_PORT:-8085}:8080'] + volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro'] + depends_on: [api] + cpus: 0.25 + mem_limit: 64m + broker: + image: valkey/valkey:8.0.2-alpine + command: [valkey-server, --appendonly, 'yes', --appendfsync, always, --maxmemory-policy, noeviction] + volumes: [broker_data:/data] + cpus: 0.25 + mem_limit: 192m + restart: unless-stopped + publisher: + <<: *api + command: [python, publisher.py] + restart: unless-stopped + cpus: 0.25 + mem_limit: 192m + depends_on: + migrate: {condition: service_completed_successfully} + broker: {condition: service_started} + worker: + <<: *api + command: [python, worker.py] + restart: unless-stopped + cpus: 1 + mem_limit: 768m + depends_on: + migrate: {condition: service_completed_successfully} + s3-init: {condition: service_completed_successfully} + broker: {condition: service_started} + janitor: + <<: *api + command: [python, janitor.py] + restart: unless-stopped + cpus: 0.25 + mem_limit: 192m + depends_on: + migrate: {condition: service_completed_successfully} + s3-init: {condition: service_completed_successfully} + ops: + <<: *api + profiles: [tools] + volumes: ['./tests:/app/tests:ro', './scripts:/app/scripts:ro'] + command: [python, manage.py, failed] + cpus: 1 + mem_limit: 512m +volumes: + postgres_data: + valkey_data: + s3_data: + broker_data: diff --git a/evidence/README.md b/evidence/README.md index 8df70015..c747e99d 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,5 +1,17 @@ -# Доказательства +# Доказательства лабораторной 5 -Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки. +Файлы получены реальными запусками из этого репозитория. Credentials, тела запросов с паролями и сессионные токены сюда не записываются. -Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно. +- `check.txt`, `validate.txt`, `smoke.txt`, `readiness.txt`: публичные проверки и две здоровые API. +- `pipeline-faults.json`: уровень 5, трек 2; матрица crash/дубли/версии и дополнительные retry/replay/outbox-сценарии. +- `fault-summary.csv`, `pipeline-faults.png`, `pipeline-faults.svg`: сводка матрицы, генерируется `scripts/summarize_research.py`. +- `lifecycle.json`: SIGKILL API, restart broker, сохранность принятого файла и реальный lease timeout. +- `backpressure.json`: 100 загрузок при остановленном broker, 429 на следующей, полное восстановление. +- `cleanup-and-limits.json`: настоящие child timeout/MemoryError с уменьшенными тестовыми бюджетами; cleanup с ускоренными часами. +- `uploads-negative.json`, `private-storage.json`, `image-variants.json`: ограничения, авторизация, приватность и реальные варианты изображений. +- `cache-consistency.txt`, `idempotency.json`: сохранённые возможности прошлых лабораторных. +- `persistence.txt`, `persistence-before.json`, `persistence-after.json`, `persistence-verified.json`: сохранность и проверка фактического перезапуска всех сервисов. +- `failover.txt`: потеря одной API с восстановлением записи. +- `runtime.json`, `containers.json`: безопасная сводка Docker VM, лимитов и volumes. + +Матрица не измеряет production SLA. Для ускоренной lease/cleanup/retry-проверки явно указано изменение тестовых часов/расписания; отдельный lifecycle использует настоящий lease. diff --git a/evidence/backpressure.json b/evidence/backpressure.json new file mode 100644 index 00000000..72e79875 --- /dev/null +++ b/evidence/backpressure.json @@ -0,0 +1,11 @@ +{ + "status": "PASS", + "accepted_while_broker_down": 100, + "next_upload_status": 429, + "messages_available": true, + "all_ready": 100, + "admission_seconds": 2.997, + "drain_seconds": 24.64, + "lost_accepted": 0, + "profile": "100 PNG 320x200, 8 upload clients, 1 serial worker; closed-loop; not a throughput benchmark" +} diff --git a/evidence/cache-consistency.txt b/evidence/cache-consistency.txt new file mode 100644 index 00000000..fa746a01 --- /dev/null +++ b/evidence/cache-consistency.txt @@ -0,0 +1,11 @@ +cache_key_exists=True +ttl_seconds=3599 +avg_latency_ms=1.90 +p95_latency_ms=2.60 +stale_cache_rejected=True +forged_identity_rejected=True +concurrent_identity_checks=8/8 +malformed_cache_recovers=True +repopulated_revoked_cache_rejected=True +short_ttl_recovers_from_db=True +logout_revokes_cache=True diff --git a/evidence/check.txt b/evidence/check.txt new file mode 100644 index 00000000..9a553306 --- /dev/null +++ b/evidence/check.txt @@ -0,0 +1,2 @@ +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. diff --git a/evidence/cleanup-and-limits.json b/evidence/cleanup-and-limits.json new file mode 100644 index 00000000..5d8fb311 --- /dev/null +++ b/evidence/cleanup-and-limits.json @@ -0,0 +1,23 @@ +{ + "status": "PASS", + "rows": [ + { + "case": "real_child_timeout_with_test_budget_50ms", + "status": "PASS", + "elapsed_ms": 68.024 + }, + { + "case": "real_child_address_space_limit_32MiB", + "status": "PASS", + "error_code": "resource_limit" + }, + { + "case": "staging_dry_run_apply_repeat", + "status": "PASS", + "candidates": 23, + "repeat_candidates": 0, + "active_retained": true, + "clock": "advanced_2_days" + } + ] +} diff --git a/evidence/containers.json b/evidence/containers.json new file mode 100644 index 00000000..83800d69 --- /dev/null +++ b/evidence/containers.json @@ -0,0 +1,197 @@ +[ + { + "name": "/mtusi-lab5-api-1", + "id": "a6c7dcf307879d09ac07b0b887033559137681728328ba576f97fda75b221f10", + "hostname": "a6c7dcf30787", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:31:20.56568455Z", + "health": "healthy", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-api-2", + "id": "d43ff1cbdbbc9743e6702bf486fd2b08565d16938a1c43cd5f3580a8319fb951", + "hostname": "d43ff1cbdbbc", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:31:20.41170375Z", + "health": "healthy", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-broker-1", + "id": "43400a668650580ec394d0355b5d57094552b72ac2045c469024a488fae8819b", + "hostname": "43400a668650", + "service": "broker", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:31:28.257499705Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_broker_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-db-1", + "id": "f20a9e4d87839b3be31ca6c91db0b948689899ea06a88df9efa4d4d1ba6791d4", + "hostname": "f20a9e4d8783", + "service": "db", + "image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad", + "status": "running", + "started_at": "2026-11-20T15:27:51.02995726Z", + "health": "healthy", + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_postgres_data", + "destination": "/var/lib/postgresql/data" + } + ] + }, + { + "name": "/mtusi-lab5-janitor-1", + "id": "8ec2d9f5b984f65c1208a23cfa3605f764fef9f62af2173f494b6fbf0b67f4a6", + "hostname": "8ec2d9f5b984", + "service": "janitor", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.911355944Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-lb-1", + "id": "14adfe35371f51e2272c03a8a300f62311ff31ba28236048a75e12d648e6fd82", + "hostname": "14adfe35371f", + "service": "lb", + "image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a", + "status": "running", + "started_at": "2026-11-20T15:31:14.230730447Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 67108864, + "published_ports": { + "8080/tcp": [ + { + "HostIp": "127.0.0.1", + "HostPort": "8085" + } + ] + }, + "volumes": [] + }, + { + "name": "/mtusi-lab5-migrate-1", + "id": "c265f53ce7e970448fe93e6cc543d2256e025efc3fb28f5b19757bafaa46f61a", + "hostname": "c265f53ce7e9", + "service": "migrate", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "exited", + "started_at": "2026-11-20T15:32:07.768599294Z", + "health": null, + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-publisher-1", + "id": "acdc5d34e3b03523ae5209ee57234d257e370740fef663745d9981bc1744ee5a", + "hostname": "acdc5d34e3b0", + "service": "publisher", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:31:38.59219456Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-s3-1", + "id": "554bcd156ad20d89a0c2b1f8d57e17fb825e4d1af032553114f74f5a82a752d1", + "hostname": "554bcd156ad2", + "service": "s3", + "image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253", + "status": "running", + "started_at": "2026-11-20T15:27:51.22311738Z", + "health": null, + "nano_cpus": 500000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_s3_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-s3-init-1", + "id": "d7a59a3102909606b2c42b96efbeb186573aed665c4ff2b0eb4a6a4975b37759", + "hostname": "d7a59a310290", + "service": "s3-init", + "image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1", + "status": "exited", + "started_at": "2026-11-20T15:32:07.290372244Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-valkey-1", + "id": "8c620bff1a6cf99ddfe2799e69b51943c76b0be02039dda64fd34d0a62f4ab83", + "hostname": "8c620bff1a6c", + "service": "valkey", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:27:50.863364684Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 134217728, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_valkey_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-worker-1", + "id": "72ecae4e267759c0dccfbf0bd9244852c4da3942dacd70c9b5cc11cee5a0d0e7", + "hostname": "72ecae4e2677", + "service": "worker", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:31:38.594433513Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [] + } +] diff --git a/evidence/failover.txt b/evidence/failover.txt new file mode 100644 index 00000000..f34c85bd --- /dev/null +++ b/evidence/failover.txt @@ -0,0 +1,4 @@ +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8085" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 114, "failed_attempts": 2, "first_recovery_seconds": 2.171} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/fault-summary.csv b/evidence/fault-summary.csv new file mode 100644 index 00000000..25184375 --- /dev/null +++ b/evidence/fault-summary.csv @@ -0,0 +1,6 @@ +scenario,repeats,mean_ms,min_ms,max_ms,stdev_ms,object_sets,objects_per_current_version,failures +before_effect,3,1550.718,1321.347,1786.888,232.845,1,4,0 +after_effect,3,1549.527,1334.593,1872.025,284.404,1,4,0 +after_commit,3,1383.915,1275.246,1590.414,178.915,1,4,0 +concurrent_duplicates,3,143.795,121.12,172.849,26.448,1,4,0 +reorder_stale_version,3,223.21,109.191,440.476,188.235,1,4,0 diff --git a/evidence/idempotency.json b/evidence/idempotency.json new file mode 100644 index 00000000..d525aa9d --- /dev/null +++ b/evidence/idempotency.json @@ -0,0 +1 @@ +{"parallel_requests": 16, "observed_instances": ["46b8beae40b9", "a684e742220a"], "unique_messages": 1, "conflict": 409, "semantic_replay": true, "user_scope": true} diff --git a/evidence/image-variants.json b/evidence/image-variants.json new file mode 100644 index 00000000..c9026f99 --- /dev/null +++ b/evidence/image-variants.json @@ -0,0 +1,81 @@ +{ + "status": "PASS", + "rows": [ + { + "case": "small_alpha", + "status": "PASS", + "dimensions": { + "thumbnail": [ + 80, + 40 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 80, + 40 + ] + }, + "original_sha256": "2a4135aed00454b2566994964a2efffd9fd5593454d4d2f5b102aa3c42b2d3bd" + }, + { + "case": "exif_orientation", + "status": "PASS", + "dimensions": { + "thumbnail": [ + 64, + 256 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 100, + 400 + ] + }, + "original_sha256": "43ba669d1496cb5857d62be714452e087d474b2421f70f3cba3264dca491d026" + }, + { + "case": "center_crop", + "status": "PASS", + "dimensions": { + "thumbnail": [ + 256, + 64 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 400, + 100 + ] + }, + "original_sha256": "983bf89131f785c45b587c57640d62d223af08bfc71fcf28a27faed486af9583" + }, + { + "case": "large_fit", + "status": "PASS", + "dimensions": { + "thumbnail": [ + 256, + 128 + ], + "crop": [ + 128, + 128 + ], + "optimized": [ + 1280, + 640 + ] + }, + "original_sha256": "fd1aebd1ed7ce3d142d0e38b7dc2d3b6c106a71d399e6fad25706c1f3ad8850b" + } + ] +} diff --git a/evidence/lifecycle.json b/evidence/lifecycle.json new file mode 100644 index 00000000..422dabb7 --- /dev/null +++ b/evidence/lifecycle.json @@ -0,0 +1,67 @@ +{ + "status": "PASS", + "rows": [ + { + "scenario": "stopped_worker_api_kill_outbox_broker_restart", + "status": "PASS", + "attachment_id": "882900a6-2551-4975-90ff-1a1ca424b0ee", + "stream_length_before": 1, + "stream_length_after": 1, + "ready_ms": 3023.094, + "containers_before": { + "mtusi-lab5-api-1": { + "id": "a6c7dcf30787", + "started_at": "2026-11-20T15:28:14.515508921Z", + "volumes": [] + }, + "mtusi-lab5-api-2": { + "id": "d43ff1cbdbbc", + "started_at": "2026-11-20T15:27:52.500502971Z", + "volumes": [] + }, + "mtusi-lab5-broker-1": { + "id": "43400a668650", + "started_at": "2026-11-20T15:27:50.923553697Z", + "volumes": [ + "mtusi-lab5_broker_data" + ] + } + }, + "containers_after": { + "mtusi-lab5-api-1": { + "id": "a6c7dcf30787", + "started_at": "2026-11-20T15:31:20.56568455Z", + "volumes": [] + }, + "mtusi-lab5-api-2": { + "id": "d43ff1cbdbbc", + "started_at": "2026-11-20T15:31:20.41170375Z", + "volumes": [] + }, + "mtusi-lab5-broker-1": { + "id": "43400a668650", + "started_at": "2026-11-20T15:31:28.257499705Z", + "volumes": [ + "mtusi-lab5_broker_data" + ] + } + } + }, + { + "scenario": "crash_real_lease_expiry", + "status": "PASS", + "attachment_id": "4c7827d8-b5f2-4b58-a019-a5d26099c12b", + "ready_ms": 28922.739, + "job": { + "job_id": "12c2c00c-8114-4c19-a9c6-2b4ffd42bd29", + "state": "ready", + "attempt": 2, + "lease_until": null, + "pipeline_version": 1, + "published_at": "2026-11-20 15:32:05.409533+00:00", + "deliveries": 2 + }, + "lease_clock": "real" + } + ] +} diff --git a/evidence/persistence-after.json b/evidence/persistence-after.json new file mode 100644 index 00000000..60495ea3 --- /dev/null +++ b/evidence/persistence-after.json @@ -0,0 +1,197 @@ +[ + { + "name": "/mtusi-lab5-api-1", + "id": "a6c7dcf307879d09ac07b0b887033559137681728328ba576f97fda75b221f10", + "hostname": "a6c7dcf30787", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.845602697Z", + "health": "starting", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-api-2", + "id": "d43ff1cbdbbc9743e6702bf486fd2b08565d16938a1c43cd5f3580a8319fb951", + "hostname": "d43ff1cbdbbc", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.500502971Z", + "health": "starting", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-broker-1", + "id": "43400a668650580ec394d0355b5d57094552b72ac2045c469024a488fae8819b", + "hostname": "43400a668650", + "service": "broker", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:27:50.923553697Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_broker_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-db-1", + "id": "f20a9e4d87839b3be31ca6c91db0b948689899ea06a88df9efa4d4d1ba6791d4", + "hostname": "f20a9e4d8783", + "service": "db", + "image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad", + "status": "running", + "started_at": "2026-11-20T15:27:51.02995726Z", + "health": "healthy", + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_postgres_data", + "destination": "/var/lib/postgresql/data" + } + ] + }, + { + "name": "/mtusi-lab5-janitor-1", + "id": "8ec2d9f5b984f65c1208a23cfa3605f764fef9f62af2173f494b6fbf0b67f4a6", + "hostname": "8ec2d9f5b984", + "service": "janitor", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.911355944Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-lb-1", + "id": "65e0d941c1b56b64cfc79d597ded2d8a64f8aa32ce378e6f3c737525e7ab4f37", + "hostname": "65e0d941c1b5", + "service": "lb", + "image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a", + "status": "running", + "started_at": "2026-11-20T15:27:51.271530136Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 67108864, + "published_ports": { + "8080/tcp": [ + { + "HostIp": "", + "HostPort": "8085" + } + ] + }, + "volumes": [] + }, + { + "name": "/mtusi-lab5-migrate-1", + "id": "c265f53ce7e970448fe93e6cc543d2256e025efc3fb28f5b19757bafaa46f61a", + "hostname": "c265f53ce7e9", + "service": "migrate", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "exited", + "started_at": "2026-11-20T15:27:36.704304537Z", + "health": null, + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-publisher-1", + "id": "acdc5d34e3b03523ae5209ee57234d257e370740fef663745d9981bc1744ee5a", + "hostname": "acdc5d34e3b0", + "service": "publisher", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.978480354Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-s3-1", + "id": "554bcd156ad20d89a0c2b1f8d57e17fb825e4d1af032553114f74f5a82a752d1", + "hostname": "554bcd156ad2", + "service": "s3", + "image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253", + "status": "running", + "started_at": "2026-11-20T15:27:51.22311738Z", + "health": null, + "nano_cpus": 500000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_s3_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-s3-init-1", + "id": "d7a59a3102909606b2c42b96efbeb186573aed665c4ff2b0eb4a6a4975b37759", + "hostname": "d7a59a310290", + "service": "s3-init", + "image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1", + "status": "exited", + "started_at": "2026-11-20T15:27:36.140115508Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-valkey-1", + "id": "8c620bff1a6cf99ddfe2799e69b51943c76b0be02039dda64fd34d0a62f4ab83", + "hostname": "8c620bff1a6c", + "service": "valkey", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:27:50.863364684Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 134217728, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_valkey_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-worker-1", + "id": "72ecae4e267759c0dccfbf0bd9244852c4da3942dacd70c9b5cc11cee5a0d0e7", + "hostname": "72ecae4e2677", + "service": "worker", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:52.000472553Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [] + } +] diff --git a/evidence/persistence-before.json b/evidence/persistence-before.json new file mode 100644 index 00000000..69ce52d6 --- /dev/null +++ b/evidence/persistence-before.json @@ -0,0 +1,197 @@ +[ + { + "name": "/mtusi-lab5-api-1", + "id": "a6c7dcf307879d09ac07b0b887033559137681728328ba576f97fda75b221f10", + "hostname": "a6c7dcf30787", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:26:31.479663938Z", + "health": "healthy", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-api-2", + "id": "d43ff1cbdbbc9743e6702bf486fd2b08565d16938a1c43cd5f3580a8319fb951", + "hostname": "d43ff1cbdbbc", + "service": "api", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:26:31.171165305Z", + "health": "healthy", + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-broker-1", + "id": "43400a668650580ec394d0355b5d57094552b72ac2045c469024a488fae8819b", + "hostname": "43400a668650", + "service": "broker", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:25:26.510562536Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_broker_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-db-1", + "id": "f20a9e4d87839b3be31ca6c91db0b948689899ea06a88df9efa4d4d1ba6791d4", + "hostname": "f20a9e4d8783", + "service": "db", + "image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad", + "status": "running", + "started_at": "2026-11-20T15:18:03.662849926Z", + "health": "healthy", + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_postgres_data", + "destination": "/var/lib/postgresql/data" + } + ] + }, + { + "name": "/mtusi-lab5-janitor-1", + "id": "8ec2d9f5b984f65c1208a23cfa3605f764fef9f62af2173f494b6fbf0b67f4a6", + "hostname": "8ec2d9f5b984", + "service": "janitor", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:26:31.168446315Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-lb-1", + "id": "65e0d941c1b56b64cfc79d597ded2d8a64f8aa32ce378e6f3c737525e7ab4f37", + "hostname": "65e0d941c1b5", + "service": "lb", + "image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a", + "status": "running", + "started_at": "2026-11-20T15:26:31.646228277Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 67108864, + "published_ports": { + "8080/tcp": [ + { + "HostIp": "", + "HostPort": "8085" + } + ] + }, + "volumes": [] + }, + { + "name": "/mtusi-lab5-migrate-1", + "id": "c265f53ce7e970448fe93e6cc543d2256e025efc3fb28f5b19757bafaa46f61a", + "hostname": "c265f53ce7e9", + "service": "migrate", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "exited", + "started_at": "2026-11-20T15:27:36.704304537Z", + "health": null, + "nano_cpus": 2000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-publisher-1", + "id": "acdc5d34e3b03523ae5209ee57234d257e370740fef663745d9981bc1744ee5a", + "hostname": "acdc5d34e3b0", + "service": "publisher", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:38.479168598Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 201326592, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-s3-1", + "id": "554bcd156ad20d89a0c2b1f8d57e17fb825e4d1af032553114f74f5a82a752d1", + "hostname": "554bcd156ad2", + "service": "s3", + "image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253", + "status": "running", + "started_at": "2026-11-20T15:18:03.664833261Z", + "health": null, + "nano_cpus": 500000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_s3_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-s3-init-1", + "id": "d7a59a3102909606b2c42b96efbeb186573aed665c4ff2b0eb4a6a4975b37759", + "hostname": "d7a59a310290", + "service": "s3-init", + "image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1", + "status": "exited", + "started_at": "2026-11-20T15:27:36.140115508Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 536870912, + "published_ports": {}, + "volumes": [] + }, + { + "name": "/mtusi-lab5-valkey-1", + "id": "8c620bff1a6cf99ddfe2799e69b51943c76b0be02039dda64fd34d0a62f4ab83", + "hostname": "8c620bff1a6c", + "service": "valkey", + "image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866", + "status": "running", + "started_at": "2026-11-20T15:18:03.65752301Z", + "health": null, + "nano_cpus": 250000000, + "memory_bytes": 134217728, + "published_ports": {}, + "volumes": [ + { + "name": "mtusi-lab5_valkey_data", + "destination": "/data" + } + ] + }, + { + "name": "/mtusi-lab5-worker-1", + "id": "72ecae4e267759c0dccfbf0bd9244852c4da3942dacd70c9b5cc11cee5a0d0e7", + "hostname": "72ecae4e2677", + "service": "worker", + "image_id": "sha256:340a6a6f74699a98e63e9725282594990013b479be7ae533fddf40cbab866ada", + "status": "running", + "started_at": "2026-11-20T15:27:38.475722085Z", + "health": null, + "nano_cpus": 1000000000, + "memory_bytes": 805306368, + "published_ports": {}, + "volumes": [] + } +] diff --git a/evidence/persistence-verified.json b/evidence/persistence-verified.json new file mode 100644 index 00000000..2724451f --- /dev/null +++ b/evidence/persistence-verified.json @@ -0,0 +1,76 @@ +{ + "status": "PASS", + "running_processes_restarted": 10, + "rows": [ + { + "name": "/mtusi-lab5-api-1", + "service": "api", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-api-2", + "service": "api", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-broker-1", + "service": "broker", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-db-1", + "service": "db", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-janitor-1", + "service": "janitor", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-lb-1", + "service": "lb", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-publisher-1", + "service": "publisher", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-s3-1", + "service": "s3", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-valkey-1", + "service": "valkey", + "same_container": true, + "process_restarted": true, + "same_volumes": true + }, + { + "name": "/mtusi-lab5-worker-1", + "service": "worker", + "same_container": true, + "process_restarted": true, + "same_volumes": true + } + ] +} diff --git a/evidence/persistence.txt b/evidence/persistence.txt new file mode 100644 index 00000000..06422ec9 --- /dev/null +++ b/evidence/persistence.txt @@ -0,0 +1,3 @@ +python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8085" +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. diff --git a/evidence/pipeline-faults.json b/evidence/pipeline-faults.json new file mode 100644 index 00000000..3e13e13b --- /dev/null +++ b/evidence/pipeline-faults.json @@ -0,0 +1,213 @@ +{ + "status": "PASS", + "track": 2, + "matrix_repeats": 3, + "rows": [ + { + "iteration": 1, + "scenario": "before_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1786.888, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 1, + "scenario": "after_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1441.962, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 1, + "scenario": "after_commit", + "status": "PASS", + "attempts": 1, + "recovery_ms": 1286.085, + "objects": 4, + "lease_expiry": "not_needed" + }, + { + "iteration": 1, + "scenario": "concurrent_duplicates", + "status": "PASS", + "deliveries": 8, + "effects": 1, + "recovery_ms": 137.417, + "outcomes": [ + "ready", + "defer", + "defer", + "defer", + "defer", + "defer", + "defer", + "defer" + ], + "objects": 4 + }, + { + "iteration": 1, + "scenario": "reorder_stale_version", + "status": "PASS", + "old_deliveries": 5, + "current_version": 2, + "old_objects": 0, + "objects": 4, + "recovery_ms": 440.476 + }, + { + "iteration": 2, + "scenario": "before_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1543.92, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 2, + "scenario": "after_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1872.025, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 2, + "scenario": "after_commit", + "status": "PASS", + "attempts": 1, + "recovery_ms": 1590.414, + "objects": 4, + "lease_expiry": "not_needed" + }, + { + "iteration": 2, + "scenario": "concurrent_duplicates", + "status": "PASS", + "deliveries": 8, + "effects": 1, + "recovery_ms": 172.849, + "outcomes": [ + "ready", + "defer", + "defer", + "defer", + "defer", + "defer", + "defer", + "defer" + ], + "objects": 4 + }, + { + "iteration": 2, + "scenario": "reorder_stale_version", + "status": "PASS", + "old_deliveries": 5, + "current_version": 2, + "old_objects": 0, + "objects": 4, + "recovery_ms": 109.191 + }, + { + "iteration": 3, + "scenario": "before_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1321.347, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 3, + "scenario": "after_effect", + "status": "PASS", + "attempts": 2, + "recovery_ms": 1334.593, + "objects": 4, + "lease_expiry": "accelerated" + }, + { + "iteration": 3, + "scenario": "after_commit", + "status": "PASS", + "attempts": 1, + "recovery_ms": 1275.246, + "objects": 4, + "lease_expiry": "not_needed" + }, + { + "iteration": 3, + "scenario": "concurrent_duplicates", + "status": "PASS", + "deliveries": 8, + "effects": 1, + "recovery_ms": 121.12, + "outcomes": [ + "defer", + "ready", + "defer", + "defer", + "defer", + "defer", + "defer", + "defer" + ], + "objects": 4 + }, + { + "iteration": 3, + "scenario": "reorder_stale_version", + "status": "PASS", + "old_deliveries": 5, + "current_version": 2, + "old_objects": 0, + "objects": 4, + "recovery_ms": 119.964 + }, + { + "scenario": "published_v1_then_v2_then_stale_v1", + "status": "PASS", + "current_version": 2, + "objects": 4 + }, + { + "scenario": "permanent_failed_replay", + "status": "PASS", + "objects": 4 + }, + { + "scenario": "bounded_retry_jitter", + "status": "PASS", + "max_attempts": 5, + "delays_seconds": [ + 1.080882, + 2.447441, + 2.182634, + 8.30795 + ] + }, + { + "scenario": "outbox_republish", + "status": "PASS", + "objects": 4 + } + ], + "accepted_in_database": 151, + "invariants": { + "accepted_tasks_lost": 0, + "duplicate_variant_sets": 0, + "stale_version_overwrites": 0 + }, + "limitations": [ + "matrix lease expiry accelerated with SQL", + "single host, worker processing is serial except intentional duplicate probe", + "no disk-loss or network partition proof" + ] +} diff --git a/evidence/pipeline-faults.png b/evidence/pipeline-faults.png new file mode 100644 index 0000000000000000000000000000000000000000..8c695a7b09ee5e20a9227665da5a99df7a380248 GIT binary patch literal 88513 zcmeFZhg*{U8#azb zD5xl!3l)JBaF6%H^L)S0@B2HB_fL2^juJ#}KHT^9xvuj%uk+;Dbu)ebJtBJ`5D34a z!PT1($Sw&8gcq`F2l&m_#v>8%LoMiI7qWfPXw!a8pX&pqFD?wr9vA)W8B=XM!c zyrH~yEO^g8d9%PMiPEaGiE(e-YL`nj4yZF`B-XDrIAH{32iiLr9VzMIA!on4RSfWf zcmMD0^UmDHwtfG71b%8mw*AkeKYJ0{|ML){d5XKpe{ah#A^&@@(aYNe|9uVuiRs*> z{XY-?--{uT|Jw=E%Dm|O;L)Q;SHmC2#u^oxr03uH@qA&C?AQ9`;m(0Y?UR8Mzy4a2 z$0Ini+LDrAj;P#wJK(l`@8NwxHxHbVhRt%$7b=L`vAi~Sj1EI@m%&FGafVjy8H&6a z`=Om)YV3xb-kR+YiABzZk?1WPX{oF=RnFb~R5yhr0UsIv2AxfRAWpq5F%K^7Q%R*v zQ(33R3*>5_Bsu*0O`}vH?p%XMLWP z62u?S9e5M7yw&~LW;j*EAoGZL1O#&0j86jMKTUFqPA;~>WTfs8pCi}6G&h%B4AUkUZ1?yw)X0T?!;7krnehkWzlXN z(`8re_c&yPgzvrm+Ye}M6O4g)kgH1%N!|Lj9^LoR;;i6*f||j9Sn%5bVJ-66i9z(Jsq zL$tg3@z#0698FxlVUphS!!lAB++xPua6PG*UE+jybVSUYxty~|e2X{#bk`6*@Ts6J zP5#?H;or{-nVEi#uLrBVjN^~1p1$_{&=k%Qhq&Z3sE`1IpwvUnR+pG^0#Np=yKQMV z5+z}>s)18)dJ2q8J!Q_iE2}h&X@-niEK2C=yC6-kkvb8t z8>DMnjPATA8tZ?)xkb-j`sCIw1x{H~r`DD|+6m9#^hZW-ZPeI|e0{vv_~We)ZK0N% zGhMk4BQ>cCGt!0QS3FUHDAI6PL`EudiQ!Y7Id#ne4;DMPPk(H0yVvS541N>)M#hfF zKKG6cW7%b^1y8Io@k=T@-s_cki3AU6R0UGa!smYopK)r8a5H$*5YEbg?-x}&hff{(9xlF$x??uSf^#SUUo*hVZRBRXDOi@{+AF@^@RjG{7z<* z48q|WI7O{o1DpGH{9e->$Gx0YO}Dlqsbs%_Pp*p%xPVEc zgc)oIJ;O#gyV?rl7zN#*)uik2>FzTHc+dBeP;2Y76-Nv#H#gT!4M)`1?@U&s2X;aw z<$up0W+K}AeAFVA?54{K!|8>U0jEeFb? zHdYhWLwzeSm06{(6_Pm-J-z1YL`7?=;0vOmT2XhMtliAFu%xr5mt3!Vsb*j}OGC*z z*{nCjZ1_f*#n$^Zo7Sz(G2^IJCVs1JlYre$8^Q$hV54#(7t@=txPFE@m0r4Xt+O3L z>GrvWwpXp#(&)?C(W=_}j%rxS{9s-F4(x#De0?gR@~Tzmd(tTfC+JQZ=T_&JjQu#b zYLD)(_Mvx>?b}Ar9E0FRw4xd)H!?^cEsBTCNFWWZ1-W-*$>)e_M)YqEw54D60sFFQ z%Lm6^k|7kqY6?KYZBZaf+kCoP?bo>S(?`UY(g61&6vmNPpruWW;d-CPdxRELa?s-( z8Y!=B4HTe(08m5e0b5{?8n8+oaf2yJKDG(0=_UDK&a4IbRD#9XGwfKYaA#kNc^oAd*O#0d9gkqD^!ETfL)IRpNbs97@AQM z#UVHW^$`xCRQg}$qeo%uqD_I%Ci}}>s-K7< ze$g~0JO(S_-C{Z7QOnMiE9B(0C8mD88K{&M8z7C#QfuN#JiI$mmXZxd#nd0l=$EVe7 zn*2u^BZtwfB$y_A6MgGLVpApBrsAh2^WC)<-hU^Nuy%*C+xJUtt2}*4OOvTii)*+{ zm#CLBs{MV{A)y-e^^LQUFVHo?nnYLZSnEcC+P%>j8BjTVsq_&%zR8CNvdb)8;K~4azrJyXv+{zg63uF@7B8SBgw#6KxQbOwSjfqAHBck2kgB8ls%Qr8+lK zOhq9(A}}P1sCvkEEcz=Mc|N+=E9~8*G);31WcNQR^w0Ns+k?*E%rDEO76Xoq=$kx=SnSn%SUjU8CjPzSiEc9>Qb#&Tj# zp;@+P3sZi;uaTkdYRdX1pw*9xT(qgd=W--$QK4t7J93GNw`g!^K~X4^B1`RC-CNrE z%vT&sPJygHgz!md^XvkMMV{bspCo0XMyd6j{18>N9fRN6lPDGcuOX{!IQiw#%idspFAlYh8nLF@>4aXi16e70GlC3W?6v2fZH%b=okyhs zlPx!hx_*aBuT)YlycB~DR!46|kst3BHnCM~xBPO$Z#BzCc>>;(Umm$Q;9drjnfj!hxu);hr1g=0E?w_QFu;iF#riUq3! z_}7wexYr2lQ*}|ni+Ev8!}elNq;q>w+!c{uqssv$r@PpiTkEXC+sh!GWNxcN=lHr0 z@33^fc}&Tn+&Am;-Cwsw-h$l(mof<&<`k^iA1e#0LnOHuw5pn}J}-vw$y}f1uSNp| zweGTq59`p9D(9Co1&)<4zgbRn+Uq5v@mBds#!f}N$B!f>DLdtS5bgo0_`d$PWE0Qs-5lYJCg(Y;*q_RejekgRbrDZ$(Lz`EE;xJ&5O6hC09*}XIF+edxrxd zPk9hw57!*355@R^?O**wJgR@a8jYE{VMU2r^FfNRReByI>^MAK{;p{ddJv zbO>n@!wrvBst3>B?YNAM$Ci>x?c5h1iaqH#ENk!Kr_wiWmmoBZ&Io~`93$qhAv5e1 zPwH7+tlXv*bQEFM?UOh2X(8>fNonBo;-99)*Ig8i;89(HaVV=`vgf@dOt@)6D72A+ zWI|auUrDMF=m%KVArDj@u9l;2*6psL1FGPK_EZh*InFuZ_cd4`1+D zta9X4Xh)R5T`FBrFJD0ToR)BwJqn(^zp_p#Ccs_rXgouIqYaxfgYfuPtc8}G1%;s+ z)R>HLPJiD9IyqVmBPN$&S?ur7S;G)fhn9D!+v>bc4o3KP@9;6rl+}IMyq?^oh_R)X zfe6i@{YE>~x2;ZZc8!E>a7d<_fo_wRBjK)3Hd8u^zE}@qgDaR$xJF7{pkz;jh_#zT zrafK!1uC#adxv|Y*iOsGsllQ?U2pFXL}5EQ>m~Ri_HtRuxaTo7W(@#q^`&p-s{%gV z`~CIo2>eG}uv~@zxE|s2ZPSXo%?I$5`X9lN2b3+F@axRKnqD4tSwNwZg2*)a5-P0t zN~^`0B+OE3#?Gp4T|CLf?AQ(VaZI=&>yZUdA=NmPybbc|;x@rs0IAYlPw`)fGlV?Q znl*oyx0GTT^HAx{2Acqziqgh-A=-(b-D#S}tw%f9je|xHm1@;{E@g9uLHQJ&sZS$X zgdyc76A*FJ*8FbR4QRPYvVwpLa<06oZLtS=9!DjxXF^DLQD)xI_6#**^UMa-&JX7* zcBpG@w*yROJd6-F<)zvr-$}#eQSc@i3e7`uGivQ9D0v7oyJRbnho>74^d2mgE)y{q z4;$q%SN8uis>7-iQ?`|*6N(b(GetRzw2kaSa~7sb^l!XGe0W|)(wYDtEob=21j0oW zOR+e$kU5VQhkr68XfeqpMHY<6-;aggdGq>IhV*`NHD22&OQDuv1!P=izVV(hdQ+Ba zo=r=x{5@z?Objn^s3*?3I0)k~MD0V+ohqnM-=SLP9jh4IEPA_5!+zFKu$m#D5?hW?oe)o8zf1&W@_;a}xIAf@8 zF%SvDORZCVA{ zvF-A+U1RHf^-6QKdCAL`&SZL!ZC`f>$!(VvY%1J1{RTpI8CvYZn}pF>xNGt6YfiT3LOKXW zd!a-HTfvb0?P|qcCA4?62@~n+<2jCtim=+TevjFYiAH-Ri3=Q+U`jq-83-tm$u?A_vQmr2N%PGY zN{`(8F+cP^jvQaP?aQj!!w~!K1~{h&^sY|J8!GoA#`KB;Qw4(8?AFYAtA-|(iIB%WQCosL*7hwWh=nq?ir45{>pI($$^v2FOQ zXQs!QLPdU_U65C0yn>ZCeqfvKHTvoc$BcSKK36W$j=(LdC=1$F@_a`mj?~qhFW|pL z#68pu%B^%JV4b>e^ElC@8gQu#`Z&FyN_3OaiybPp@A$Dqg?NEyVXab`)4IFSDqsh1 z&Y#8>g}T^v_;;{G`kgshv%ktE1^H)#r)UR95A$bLr;PWLW0fOtcvhjlX46i2cGP91 zCNBx*JnkIHf64M_?@I2$V&M~^oa2x&?mp1iF5z*)%uhpMpu3#o-j}Ew7-$2IY`-o^iCdO*aPp zE==^;wyLi`g(4BX8G1Pv?&XK~WkQY=mrY?bez(+&MA52?cEnvJF%^vZ9ez`Ue128! z2?cyo{0&6OdM?Zjx#wl~gS22qASD(hrB@PJbYB=Xoz!FL+#VjrSA0EB=;h|FnE5xP zhSCZDtPTt9m)G`Aprw$CW-b<(JH&M=T`bi^p{yI@=GgS;G!u_g;J+Uz42F5k7DO&@XgYsmcpF&dz?P zgvaCBKFGv}2l~wWr9Pwf%@eeZf=}E0HAFG-Jf(md)c(3(``(2u54rpCaRR7qf`9k# zUMmP6LJ@Abd+h>ls=mI6wBs;6t`+gzfmu+p^IYXxRAeH-iDwsO$auvT^Oqqm1|w<76kL5&UhD`dp%;>&YK?pnVNz5TYIrD2N}cio&+akyKO8gK zf9y%U?7YK#(?&MPTSRDOy|YBbU!7R}Jw>njW_~Y8lG3a0 zaWU3HSA-_*uH1~z0mz#5g++Uc*zYw}U_?I)^RC$L&>!l*k zX%}_V$3N^7`xW@!Wu?d50Y|K`ZVim;*FnNxGSmbl7?1bFsF(vnZujop@|do!>&;1$ z2|@Hh3&5|*HYc9>n~6n*jqOflDS32#rZYDIXkFaWS{e%UE%NHgf0l3X`ecg+pktB& zq$I54L98Zfga=?qaDb~3O)?*D79_SLOSb}6Yp9WnHm3$E;YpF3pbIq)3#(m;22Izg zg4U$5A1^XpKPrzzn1{^upV+)p5V*cPe<^(7Ze1WX{`+IlF8%_sD-DBk-ZbyUYFch~ zk=QeY_Mo*zdf?hIH3!fjoj#)IMQo#oW=!>dFwfk=IN>!d@zKA(Za=CP^uD*m#ynuE z4Zcu4zF4u4UPQO5z2|)1vLvmQ`RQ)+$$<)YFDcqYBG534j->=~_LijIJ1fW~$*1ji*g zxleu?F3~tTTu#Mk98F!*JbCiUS+gvUg;GcH9*}k5NP%NYZIg@fbk4-+mxo-2VQq2g z4F+`iE`+_p7v6(#|XcVlX6zDc|t36N#``~=v0E4FBoC5(%2D4i&%GyuU*7dC4B z$J^?~))2U-(kS#P1b%#0ZK4(IK607!!{*e+tOSspxirMwK!xO>!nC|YrAN1QsU$>V zIRX^uDa~7$q@1YL4_2&YZu3hM({Bv~7dr%LO2FoVj;jvW)P0E!IE&M+EpGzm`sD*f z$=KlHI;~6vcp`3nR)D(?iygm#eF*RSn7o2V*Q6XgK8!dE8LL+YzZzWSz^SwJD5hlPIw z-EUgi)D{hcHyOCz%AS|$S~E;A#mQNLSYE8fm5yuI5J1o$bXAwNtu$!dT=fc!Unl}C z@L;rgt39gc{Yr-_OeMuRCw%H?4HY7zPJDmk6mjOIPt>Q5jd0eK;^f-$P^f(S3tN1y z>-*apPt;Q6pbkYW#+hj2WqGm5^4p7^Z6dbbLOdzIzFU#2xBA+ij_h9?pjLZu@ zS8MiUpu;{cYa-b1!%4A*#q&ReWb!rteC92@LiF^$u^LVL>gDhXR~5>1WTE-DBMy$m zZEdc}^^AayxUTMgKRz0-vAH~6sEt;R?JKrYR`x(k#a6uqJ6&Q1uu1EH;5|DG2(9M| zPMhm1XOwpAKYlK7s_iv^U%y_+HJ;=0=eLS2+Z!rxT=nxP`D*Dcs&eo1p)LV&&ExdS zR5_=RwQR~&_g}Ac9^3%QWH?F~Fh3%jReyEL%OQ-H>JATPvu>KyI0XqwWptKgM(bN< zaKaXPr(F~Uf2PP<9Ww*;^?`9tuaUCPtrzY7bZd{NbX6T`;hrKGvrmIEr(f{67)$_2 zQCYLCsUu5;I^9m;?PPl4ec0+ktV>3TM!KwnS~FNj)?{-nWhukG>RyS^hw=eRc^%4n zrh3m3rRyu^@SniRmNW8`=SNmfCD=7#(8a;~S+S0+l08qR7oJ%(zZKH7UCBOges(Q% z@Cc>YO3s`oSLg>|>dT{RkW0P;b%E~r+S{YWcFIE=Icl7KmxS~^{QOE>iY%X2X_3z9 zF_ts5UkH*}2oinHtxkarXe3s+i$g@}TQz+G?GwUp9lz68qv%Tu6N~48?9QQVRr-*L zL;4PE-8)Y-u1p;}_`O&T zm(z18HRX$f9ClCay#7XRO{FZ1P(((88P{0}kid=3#@TAJ7oGW>_z+s4>D@77J$clx zRRP-`EM8ngL9}MU62!G+LAJO&sS!DBUD|V9ykI65wZX9>oO>@9_oufdTqb7o&o_Z?$7v14lhe%eetSL<6^I&^c@J4j zl;@@=Ztgu6&!v(Gw+n$V&q##168iMM^0oBR>*2-Fr9wG)5@CIvU_%j~y@ zt!HE2jdR0WhB$wW;6j?WKR(kewYMHxm~vR z>C1eHeQWnE*h+ZKT z!p>`!7)P1NRkpm20oJtY_`eLlEToVF5P&SAVaCic=9sBv;@F z9Qud>gD!dcRoF5=@@xPmR0(7k-_3Jw?#tiG=gznH3GcqVYf6 zA?D%oAgb_jLzjPdd-7BkO41Bw~$h`S{7=@q?*jmoYQgnH5;)dE1zT z_I3Yk$#KMp*Bd;lrtj%rr%Z&S(N~w=7?@xr<5!GwI%;BVcJW0|_|ul-;Eh2V!cC{e z>(rijovF3_xCxNNRI^H{0@3ILC_4jU=kD--8}A&KP^xU&7nz}7lj^uM61n7Ho{QeH zvV}9GO7Bm#s%oN{JCC!^(=&{s;ZwSs{2;r7rQjPC-c7loR6|5-FPzag5SrURJ8R(K%6_g zxJ=DRmbS{!C=D(jOl)#kiKyV$j$zVqW+ZjjVfk@&;{ysDt3=wODcNd zCaAh5UH2VRE74b$euF`Kd!6yphsBp~NfotG5FUe;X&xSfx7)pGCyTqM7}H^9mckW8 z4dPa*$1l(yG$1}7ykL>>X|Sa{C=hf&3%-sp@QStMGm+M(O# z%XXsqDfwne5YkQ8yyLy36V?DMR#>$2o=N&OXliS}5hcOOz>wSL)$Wabf2Pu$jo#pZ$zW28Lg_Aum6M?*Ap+pNNT3G!MdGrqURaG;+ zQ0TBFCCJL~ILKw83fY!t8WrarT3)dxsrh`~rPnxAACA--opJn3*oYYq9wy*oI+%upAQyO|ME(EleSQG0X^w1{rOBIW5p#gr{q)JjxoM~ksp?2S-PT_Itrjo zv1VSPF^i+loS{4#yziR_Qw%b;A21W!@`ojCDg~!H0NOXr9S9fmd0&a*+Wq!lFJN;ha7z`s1^4i&Y-NW`|+-cUz{~ zqYAtIi*QHvyN^){jq|!nCC@I>$RP?TM2*thpHv9^2KWizwnBULRgL%4ZYfs z>+-*AKYj32}nz7H~77dUyn785v<|<7b?F?z-CPbFK_*eF4tRlCeiRPn zF?nC{?7RIWK@UKl(P~Lvb$#P8HA3etHG6(L4h8FfBq3>zy2ux0QW05u*_LNs3dP*! z$G;`rpg%q-8~?EXQ>=4WL@rFn`kS1`pVyY3wx4oh48KbPgKieu!D|*5FOA3F9><|Q z-@16uY`jqlJ0E$#3K`lZKiHS*6a^P=l&cQjCjS@6U~2mcE&Of|o7*y1>*~eiaE5st zb^r6|R#nPEwfF2^+|FLHJ#TT|UQa(e{nMP+q%vj9PlaYy4eS zF@H62MW44gi}@kA_Vsj+b)Fvo8ey*7FfYZqH1Of#)lu|%$(O$dyN(NMOiC7eqjmP! z{^VHNGu8dJx2oQ1O||@kE232{-Y&uUe`l+ePHv{i*q!ZX@w|EkR86O~2jg-=PUQ!A zpS8NNCgR{dEC~PcDMWhWJ<#4vIqZG1T8Xc5U;y3B(59V;>Jf+2??OHlxCE$E_z<3V zyE3y*>BpyS*>yi9wr3VGDk}ZSw(;W;l&1{0Z_hRRGR1M{gSm~Y@vDzwjXIXwtV=ySn_h^r*GlwK`{QktKW++5Bm}OW3hgf)aPks z)j4{~^@s&~R_x)h@x+j5Hy4yh{=L|yQbdBnTtTHqs zpOXlGj>eC`zol?`F-o@)o~HvgO(R#Y)=z`6!}T-WaSlb)thAT)9{k96-HX_$Zm7AATHSH-cZ>}sq(g}ToM)CYY_=%>9S0I&hY|%NyaiF`U6)p#zO1*+vuF> zpgB88@<5&?q!22d4VWi5n<}z2FwKd(KKMDevIH}^3l?-lg&Ke&>Q3VlIY>3%s-B{D z#SJ2~meQoksz#qYJ67-b4O`QzceOOBOyuA&r(`ls4_6Z?Mz)`M^+Xf7SS+BHp{ zQh6nG%6a}2gZVs7Xs`i{V1)9*LEAgWX`qoXHD`=d+DtO#oHWVbpB?l8JvW99*sALE z%kG2Eh2?y=WH!jj?m3Y}O;gY``Ro;zt<2U4?+F216&Z~Byz}(pK0#Nf^KSHTc@H~) z=Gr3w`&5Nnq9Ch*M(f)mkW&tHWUITcfzhpxd7();;3PUyG$RpY@IG|btY3jy_TVCz zJ(Ht0SKKetflSLs(k!ctJH#Zu)!{{E0KS4|Kvs15`LY^hn}L$f`@B0%)Dpy?o|#(F zjfO>vBS7tTr*c^L$`x;L@ao7ldQCN``(!S*R7WnB__U_TRCBw(2n?QFVpDOBl_Kjf z7-0n_{bZ-;4cGc$S_&NuKBt1WHX|>$b7fS6!D_?4Sd7AOky-X7a^c*#OSdRQ!?bg7Or%UkJ4kDBr&t9^>nt*HS6(4PaOyoi;BYVbk&O8%Dkq3eAg z_KR&95sFx6VW=Ucd!yQ9K+LquSGl!|td-A?J`}(Xi+=Ow;} zVOo7ffFhMVOTzdS5=LGcZZg0yGBTTOO=7)3$pvRCL}S3raIsl3r(epl!~?wT zt(S|%cvc2Vx1@4*A!wu2MegLuuk`t%88P*c62ph+RFrrWXl==Vet+{x(AunRcIsef z!LxG|n5NlkefGRTnLukPPz@+M{gx!`e)-9;mo%j%Y9on$1MsDnF^E82&io(o-y|3vMP$+{TEvrIJ12fa)4P~oT>>@pACM? zEh4M=BQu|Z>+AB?E{8IP+-#vRYkZx1r&t1wLG!;&2W(27TR zSiKa6iu#rc(%r(iO9Irbkra_n)?>x_3P5GS9GeP=xZwIy&T_@VTNILwz~FPK`CzZ5 zyFkIVnwn%p%mF12Hk?(s;V5gR*-?QEjuQ6y{g zNc)>;^^Kq|9+u>s?;fc3$vm$8&9qWe1x1|3j0Q+=u^|(v zrUE;UcrPt?ugq0+&bg)l!ki4$+TJ5OmKeh?6iQQkN?m7GoWX>-&`dYMc~~4My=%CV z=Htb-ZXx+i8K}!a;kM%WO*ITjs8i(f? zjT4fkN!7FP%JqEL;*GVXOc%Y*bgWk8(C`QIqI0br*O74K=EAL}gP_eSpqj{R*##fR zik4#CN=LdPJY|e&cSUCqaEfQ|`_~^@`_^+=@F*fJ8qnf%ETG6HcNZSip8E^noGu7o zfe;qZV$W}Wu69JYycPBcWuN^31|PoEr8kFh;Zh)QDp|9}erfi@(_skQ^4N>ld#=Wl z`v}E=lc`QymVk3PjE8Hk`JY)@E?m4039da`H@bR>w2QDVt1mAG%(2ntyZ^!zV zC%|}lzt68AtLp(nIjhk=?*o_Y1}}=)ahY@SNT18?pD&M!Nt>^vGdco$?RdtNm zPTPAg3^$3}rhqPONK7|gjz8>~5728YWPG%#C~RGED9vHOe6A+=;wnE+wtz{Ei=RY@ zVkhY7XZ&;4L}Es1jU+uC7!AV%VJzr-Vh>??k)_R#0xg~X6qMB!yEzd-)N&DW$=Ls#%{gnD^sp5*ae+>JV zByWg}9vZGDKEG0&`?+t$oL4VTUA$>=v&TQm#~?sCVaJ*86JRTzE`jjjNR=Y7VEDS6 zr}^X9V3&xP7^5%P^x?q^wixF~G^um?fl8Imh3a4-`MT7FD#ufWK=UjHKiWNvall6n z^Zl;3^Ygjh8#y+EYIBNnZ+sKDE)*k3`1C~*HGnP!5UwJ_E&Y}+3p;Lt50)! z)^M%-EAws_6DH2{C~)_QYY@*eBi%szJ7 zJ9_le-HZ65?)X){GCkq?cl>HV45_3HwH+u6Sm-Kx4D3^b`XQVNuH27eXAX(wnbJcZBog$Gdp^O8P&Bk~HE-R^eq3F?gv z+mLaHj@;&uSIL>V68XH7V4fqATM9il-CpG4JQOaDwyWv5%13KY@|7HR6G<=5k&fOW z;eh~}Oiz($h37-%f}XP9&7~mv&Tg!L`%tk#QA8Xcf7N^NH@9MMgQRW(v|Cb z)3FqQqFi3?0ZZ{!#OG0YWtKfA%BGk<>c4nyVansVwngs(M=VY#rc*3`eUVR?g`toKxjxT#S696=JR z%s0>!Bdeb`Q~LF;$)1?<-P(U#N2G_*2wd~)Q%{=x>H;P&QH`KfWQ%w?4y6K+*+|=F z-?(nVLDPE1&baraq6qfxd(vIqrc zpUB5R5(s$}#w*whW}u@MkOz3K6zt1GgjT_l4UuyLGc1z!HV0nkki!o0{$8=|WghKu ztLIx1ExXt&PZ?}hAR8$Fn-v&d4*HB&7GqE0tj^td_h>*C4A8z*A`(hQu7$#;I)7I5 zrv$Da{d>pOUy7Y7AUPu2d*x@K>F9(_l#+p`W}l;y#{A@_S*z4wu_JJlm>zAGhk)Je z34NX-9E1cS#*Lh*@NCD{V1#3rWSz??u(jWyB-xG*Idh@=R)a(5W*2)S^IQ#Oq^-%i z2|J-pGxL-7Ze0|M$~g)c&$9CC#i+KLMEVEZyP2dZR7)OWvqu9R?m&IP2jsTUeFzT77xmFkNZh*_H zkN;zh8a?GXz`b|+Jdpb)o;NQ{+p6&!L5%|Y6ZiHR_K(%>RsKtHEk{`g?A>hwz+9EA zExGfbKQK`Ex-I+fyH5oGZsQtUjPOw#Z6iQhnh2!pN}B)t-KZoGW`LUk`^uFoCpWUs z7#{|cdymgO|9PX+di%a`pO9ni zK_E{b$BU|GQ2sF&Y76p7T)ler7Xbc~0KW#zk6mldQmvS1OE))4xzL>Szy8J367ym) z_r`znuK>c>6?9FXe23LoH5I_EVo>GT#|4=SV=v?~z{Kz0oA#eQUAo)# zR_9X4oHf|(&!_KzKJ2s=+CEXy%d+{^iHG)$5jGt;T5_PJ-EGcvgVpsO~2MS{edWvl%N4*2II zyyMrtcLrSHOTI%Y;j1%60}r^%h&e6kxJ~eiu5N)z`lSUhQZ@$d?dc0`Yp=ymo;-OM zAjX9+JH>y2uILOGN)js13V~CTTp!9b0$#Lj*@w6X(LQ+(NXHFP8g=&gD2D^}T!SEJ z7|w!NN&z8M2k`k^f4MFgP7J<&wekr18%UE#3>(S#4r>f_~P;OFK zWzV>5G6t)PPs31IrMtN+Ft~Ze+p;+NxGg>kcMId_z`dA2QFC!S8_Y!wXL~=metopN z2Uw`!K)77#H{#d>+-?ZNBS4OSzQK=NZ3^t6q9j9;0B}a#DMu3ya1W}jNg#fh5$3Sy8~Y44d~NbyfC=4Fs+Tswj8YyP26Vbw~N!EdHM-TU;armko%UvhcpBH zbl#K(n?=U3ml(FoU0p%&H`fja?1E{OzqqS|7(5><*!c($9BC;2#kqll1zl*^E`ZVX zz-aRDO#RcRyLJl*qynKzGoW_H)t(vdhu!%5h3DLND7P^Fz8h_%0F}s64g9&UeAEP~ z3Yrls-3uPdkAX8O5%Bdt^bh=-P6Q{|b%UU9P7ej|3{vW8;98o39{FJmx$^wbdHZ-| z8c;{DP(ay`%7QOFR`#R3WU>E!wL}O6yPREBsjSbrH-5c z`BNyS2{&JCFA;R)ICinu1v;_yZ0h#Wwf ziQJqOzWVQh1+(~l27eVQEK306#C@{^5I%cweolkYa^eM>O9vzFfh>PnO6TIfAA)kf zoxv_k0;VuSkhgFsci?rt321cqP_2JfA^*RJ`~so@IaN?e<%N9SYEF~S3r~3Z^cAp4 z87I#0=rm<@S($Lzt*O5g0QXff`DES)kDY}f5|`*aU*7TTijUs8hj-%N1A;p_p!xit z+kp_s*K(Jp36Pi<@nF7v^nac+u-+yTbN&7G6XC!RI2XM%-L1PvSoZj@)Bj#w@Q#lT z$K0+MXln(6(tmFhU<1o}c|`uoV2z&~U};{Lm0bkNz}GqtcWj?@1EE@II5OK;ys>~h zc-92;5;SpxFNym>S*kk;I_}gR{31XOck?01+r!loa?3REYn*#_-#0q)#Ko`M zD((M$H%QbaFvUHp8KFWx=$j2i68ZA;jZ@9I#&2LJNdgc=HSEvZwoK*D2DMPeg^{Q= z8M|(QE1S`RS8pOAIgtO)|1WW$uwxPhMH+#zDc8b&DeTW}ZrMF!4N{jOkkOy`{rh*+ z3JxTO7GSu$gPMKf1_?~L{(tXA13r~}Jg0f__7vtb?~5H`r+<#}ihjHU!XaS!kMnu!vbQjN0aV=MRjf3q z^@*ToXa;h*yTBs1TMd$X_1S^@W>*pq54np$v>*77ecz35`0rWyqKiDgJdp%5!R!GZ z;8ZSJ09->pa0mgk@#7pp9I%@~P)yt;D3(cbjmuxzEpOvSEK}K*->{oN1vz^T@4vAc zJOdnOhh%JT-7GXY&vjy_IwA}=Ho}g$!_f#b&+?X0KQrP?T-=o$;A+7Wx$;zKybByb9uVF9C59S!~O}fcU!fL z&8K`a9Mp7^&b?~G05#3!Yyr+`0f0&)a6Q|X04ethq%I@CyC=CCG2>_U%@uM`jrDyB}x#bivkp$MY^-tv7-_lA@D{4Z_$lpoV zjKtbBZdw9gQTrNjz@5W1EIgkZsxv=ulKbTm%h!NxZDT>*(C5PG|D4}lmV>|S>O*`6 z8YAoPg8IkRwh|0J!X~2E=bIJ)ecTGvst%gzm|)zXN`2V;oe#ii3(wyKD!_LRg*(Kj z3Cn|@F*o%h-C5}1E=}a3_vQ7^z`Xdbq={QX zni9m7`8x(ZO8MC!D=WtJ0YN$!P8$Gi!WsE4Iy89p7C{@W1EGY0(rT(5>zf2<{$W?< z9w5~Ob*v)|k^*4IfEE+5zyl1dk2qrbgkh#q>2b9ngToiBZ#z0ga*~5+#P-R6PB0sY zeO(I*U$dPWe#gP9`VXCd#*2C(49=Msz61_gLvVfEdcb!Y?5WtV7Kd3W0@<<$?Vz5n z;{R^NZi{Kas#*n1u&MT=sba3_o9`MxoCEoWgb(CGu9UJ1jQsw4i{WDe$hZI&8xF;3 zDsFt{6}Y;x&ef%^E&5=hB>@eb2=cl?4#=IY3WYy|8gCPTYVKgfbpXf-%NUq@G4LNW z1GBcfNUBrV@9j4DsK__rRex~+9{uD+lI7}jNv*vofl7J%oNXk@-+|N)pOHeJ!Ag19 zm!?>y<6f|RSSR)~BuyEJL+_v_#4p`_3VeEMJsMo!FtBy$UUKg^KEnc|Wdm?B^FfRk z-mv98eINt)RMR4ZSW~8#8y@-w`h4F46WYmceR0mLa!{H8ka65TG%SbSCipW!+>fFj zG%Yy85`!Xsfo|Gk1fRmq9{?`MFdJC$8f$YEg*PbaQ`h)kc1sBIzno8*66cRNXJ30S zzjKLBc1N68=K4A=9vYN>D7R8%m~?i^b-P4uO9djn8+A?Lh%<ku~o&nf@&jkn*$5eA_Rnty2lCq44d{T@96@Ksaz?sLVL$x_J!P58~#;-iO876w5p<%c{qs-w(VFO?+fXBVB0y>{sCRD}EnGb4Ez zzNy+ORvVCKj`=743d)%!Y^n8LGx4~6AMiPTf`eZ7ea&C&;Dh_^5Sb%jgJ}jVATsTo zWWxV^JLcEmEW!qu+UvpXEV$h93`v&*5pNaJz6<$ax;_i@pG%i_iEV{E>YosYaVOLuD)rC<8>+VL&aRNz17WmgGk2r|U>Rnj7?hCkDiX1IEB z_-UeEm=(`1c~R7Dfa?lFAAWZ{L59`Jeg(d2P-A5mds3{^dE9(o>?2CqWgIAN&XgfESsA7isZDOpWdxcdbf_ zrXBd}b73_!!iMFyTIs;?U5FO;Md;7HSDX%~1LCI1OG?}`n4aCbDA8*!YU@SDXRrqtFu=S(H7XeBK2h(MI3_ClHFZP8;J^J1xPTI026J`( zP;8@_56frE$s2<2=P04}F&HkaY)SAn5AqpNpbIJVcS4FTg9Cx?bBW~%?ZN_YGGzRf(j_iz3w{r{+gCM{r}T=Z-X{=t#?4lo(raN4cq#^F%9bf^wjsH-A!-)PZYIIy!|rvGC>iE{-%#Y zG?$)_=C6OV?Ltpiz3Qzp+sYMX-J9axjHl=K!xi%4Iy)ahNs?^BiU*Q>HMFHuo6+wb zeCn$_{p16U10!cH!^psRARtFD=zg>rXz|dLRzLJ&sYwn&Lv)AnjBZ|p>@!CieZy2^ zh1RQmD5%Ur8%fZurTK&(GJ!IvI78n5IryHGBU>d+Ww{U#^?G^Xu=`sWXKq~HMsJ;t2!<{me|8V7DRVMgg)|7q3z ztP7qw%BW}bL}SdPU1h+4>MsUwbn;>Ava!b>z2_ZF9Po9;>k;Z9rtq$>B}#9`-UB=3!s6P z6Ow5~%iHG@+T-%{l-sR~QtGQSyr1{nsT((P-t5q0Ez>r|={Of^<>+G%tK6+rvRBKR^O!nEd5c+`_vLZ5h!2OSJmO%X0u8+&gJU0=I=Y`af z22d}%=guMZMCg+)`?W(tegu|9`4~qZMG?txWbod-ajpN}hz&H^+c&Q!@9@vND*81! zC}XTl@AMCC%^hfcbkro8gAo@?YjqfYX>qdosO{%)iQ2BE{H`xA9a1nY3<+!aW7wn= z-Q9FD*r;_DKpzWpto?~JY~nghbJfiY%PGqYfXrk?Y-R>$u~fwcw@wK-Q2Nu4qIeiNcq^MUb@wPb}KX( z$BH4y)|5S{=ZSHfr6}Q?#Fs$<=cfDiFVlRI@XEKnXku?gPh9$!Jo0Nq*up34j{)G!?X%}S6?b*L-MZ;hQ}v_V z{7UZD5#j0>{MTT0DSZn;p#I#t{h@mAghB>~r^V1MH;b+)Mtmi}@p=M2W>v zm^m_1p_UxsT+qE1Q1_1}UVF{`V8OTn0;e_nl|SE>r~T*VMVt+Fbipi}>yKU( zgM3uy+cVRlz{!IsWSy=x;G1`T9(ZgkZfravt9BOdF$JywL`I_@+u3DTk?v*ZmkIw1 zYK#)7X?I1BYSv%XNCTlP0u}b-G}kghx2LRB;9H_w-1)s6V{v1C9*37pc$o;y$K?os z7dOD(>w@i76MzaEyyeE@`y@=Z_RqreT$E(ehunPRR19qWezeXFZ+E%-t`V{TS;1M5 zpM%CP%&yf{_N{81mhgJB9!-GB8kKMk;#<$hKwqH;Fo;M51`A-{wQxmA&G`+G@UE7H z8jpOt2##%S=?$KlmOI2`(9RL!9KWUyW)w967Ss(^R^DYMQ@&97Le+lsN^`p3KHrg! zmrd#dVPDt_t173~Scr`BuxI($$J&^JM}_STy@XY>^xctZ<3dN7hIDQr%R2T~&b+tt z(=M71e~pAT3B9n4dlZM~0%D@9qNnLqWkpUZ*Vs6Q(mnv7c4cD^eeR; zZ@ve3BOBTIZQXOpRI6b&Ah-_ljwndb=3TbWIA!S%5Cx(`o7+*d z{QZ1FO5G8KCcgOiJ9I}ZT>m8DwIpx#z1>!mSKoHD=LmcA;&jdwsC+%Vgkxed)$fPr zK+egG0R;Tj>Jrogs3X3jKVY!U-WIP!C>O1(#`1f&;7wwUx@e%QQInqeosX}xr-vZ$@FCqoDuwT{!`#%Kxf|agL-)!@#To0|tDO<5;Y8aXITc>%|F$ zzzLm#0YYxj6kRpTqmDhj7y!F-{4=I(^fc!xU(rIQnXvp)0%lrFjefM4mIVdQIsN;M zdEF27M%L-W%OSOBjsquRNzgS^pw1OR1H@$PS7!R&83FQud=r3B}#3C58oV8S%%DabyH7_fd4zg1Z3KG642e zb1v*GLb>78+w-%o7qb$FI_!Y<6n%#RadrO(EkI?CeFGd7x#{-;;BbsXIl;r^vRZI+ z<3@4c-P!&j#1}+3*8B7El@}q4ldC*QxcXR55=uadCPV|kjBf=ri5q&|;Cx6XXl3oj z*h1-*_kKSCWVpjx7UF63Vq2cw0<`it9iqsUgs=4aV(-D-?6Y~h8yJY2TPv9nX?zc# z)p!6N052z(o}Q~P(2}d7G8wBP^<@wWq+_lK&jerX*S;*JN9@_64DVfWm}0%K>ehmZ zOV9H$C=!E7(#7}h-!H7kVr}#C`Qvh`wpxtlRHFoJd!*_QU=hP?aY*Ya$! zHApcpgURENA4;?Q{a>ehU5DZ0azfCF6~jJRLFn0}m1$bWa)>(HX7~d~bVBQ`jWN%G z!;-`XDCs!sKA23I66N=>{WnCsEnNZz#9slgmrR00XCe7M0&zT5Q=B-fB+tT~pd2wRrfkz__LLE&jMA*$1^`7m-MJp_H{)38erCzSmkr8?_BH3@_RuQDLj(i&s_1x`}2|{c^#k2SE=~_*uDY= zVrT)DZq{3s{1PjDJyuj3Mn)~L^grmh{`pg*GawPCngw12j`ns7G~1 zJix5x9`~BRS4cuawjM7>+X^>)~d4d@<(7>H^<(mX=-d4 zh&C(uDNY157Y**Ktm9}&s?~5R!hHDy|F{y#cCH)}TqNT3eC(BXQmWJcMIMg(ijGnn z>}aR?=s#X9^OX|}n1_;Z4f^6Q-Y2mAEO19JtiGeYpp3kXfBjN4=MaHe3;H)2F~r+2 ze8DRCm%fHh=T9;P6lnw}7#5=QP`Iu$Z~((VjoJ1nwO?<9-y^ccxkN)?Egxw0CFC5- ziCxUmN}KC;k5Tx4>0kg#Y-nFn5wh<`7-XhOWR~Jy18p3l5w)qYu9-s&ND9~h**%u>bY z)07DdPYM|vn)gS<djO>JVR$zIMc{yAMb7@nDhvL7 zaZ#Pfz;ON_`%>trAg~2j3&JiRTT-?59;%ziRBxlu(uP&p9k6~s&>GTqn6aZK%(wUF zx7J9rKfW6Glb8&O%P6!K^KWi`ead$l0B>TKK%hIITp0}mwMZnpc>94J?U3dE$z@{O zUXkYgz$+J_TpXW>H?JfO!a$c20v0O=PhM?{NV?wJ^p6kZ^nnj?84;Th!D`}cI6@w$u>w4f_(L-3Mwi~b}HaY5oTg7JW8 zWc8+Re;@o)=U5SB1jW;grLg)vW>iABJr=~+|K5UPqwg1>Au$h=$bJJ-_XrgC|9u;T3itUc>0jS$Y6EZe7)(4_y+&sGpuOgU7qzL2gI@)T zmAM;VTu@RK5%cUl$*GVa;&(kt@=^pU*?#?W9%!O@UWq%XMtaf$ugo89^L6YXEc`HL z-yb)U_sU1G@J&GuU^U9xJ20m}LpMr(ImcKY5t>gW%M!SD9a_@cbZu2c!6D zWiTLKLP=j!r1Cj8n!|1YK8BqRMuEt%1Q_>zcRY~S0#gM;KA!Q0be6akCWnYh=m^K9 zK<%(ZM-NtC7L8tTuF{Sqv?S!bLGTiFiDL7|G1p;Xd{i<3CBb97<5)1JSidoh@`*nR zC09#9a}7#J%`9|1Yn{q%*DPKD8+l^TXDpwen-0=;(1rr$Ht}Bd z(cmNjHy|d6DhXO0l&YHd4^~&B8~_ALY9hNdcmZeOj(2X|W2lj!y?G#arv+F?0sM%E zoXH6suD3Y?=-oR>RpvHDJnO^ftU-PvZO{a}yJ?%>q*-8Rj&O=cz=*RS06qMmF#0C^ z_noaD+#GwZ$A8gxk)+eITXT|G>fRJuK`2dBXW%K^+wa{ypX72IHJ3jLk zi00`}VwmnyU@~9`WLru)a}a7a+@0IeF~|fsK@GayLod^CkCJCgsFZK-A60lnJ@!$f z7)RiU<|Wnh zTg zA}^M9EYMnWUy`Z_*pwG*dcvDGV{be5zOOqESnY6}CW*_qvDp0iHqeB#UK{FW6iNq*?F0+L;t09)U*TsYt zkRv#f`25v({b7WSykT#hsO>b*t13YHl&>GT?+L{ygUPw6+62wx0_oY%)))Jwu|Je*NbA ziph{v42HGFbx)2DuWghpz%`A>7L9g0+tHnl5;z_xcjg5;^=mw?Amot_wb#&80- z#FY?Cjzy8(+Vu?yx&G@taEKNF;ZxijOYM6rz{NFaI~sp<=rC5;nt@3s8*x1-O4M9! z04u~`jnD4h3}pdH-8_E|zcBFozVt_}xijATPmkTX=Y4#^9?5TWPHa~w*fYaPzV-Z% zkaze08PW$$@>Ojk5dPSC}_kKd;ml`eFh+-{jo!M=jAHu(< zUBJF6DA3H>eBy#Kq*B&dN0y{@e%WM^q3)Ahyx_C_@Y9u@^=&J>T;|P+O?;HwP_FLO z6CDO-*5LCVYq=pWCb)fDtTn3n&ZE|7tt*M|KCC{0-=aQ$ah?CSv7*KW_w5SDblXmR zsK2`6jAQ=2fI%qCpvKNeOOk@HLd{QmUpPr6HqIYwePT6f$AF~-hzdjjAKlQjjH!TS zmVyGPi@kU{tNxrvFy;iVFtLs!J14Bj`Ffv?)oH!1V9_ zk8jD2s~oM}bUy#;u{F!>WF$Dk&Pf|G;l))qDg=>oKF!xvR+M&uARqqGX#>b{O26dK z(N-=}dM-jQOhpxt`1v>{VRWWj8Pq%l_!d9(DmJV>nE1D~>K#k#CxwdfqubgwJv1F+ z!_=pxFPLxMwmxd&@|f|7mHK;(H+wXD{hYZ*snopffa{n&yL%S|zcbotvo>&7+n!lg zmn)~bJapR~>oM4?I3wB9z$^dO)jXffgaX6bx5=4_=|`epG{$Zm8B}L<>V24-eeaw_ zZ>=vZuKBs%aJCALR;WlQxOnEnYwHo#6$xWT_y}$f4*hloKaEf`Y0a87+gI*ZaNz{b zKD-UA$Ktau#>oKO{Mr2-q>auxT{k!qr}y-H-+BkW&%PZ`=OR%(bDJ7{Xy>qU&*1Kv zaIxCfb^NoL{3Tmp5P5^VOaBH4CpSz>07T`}*J(g)CPMs0`5_;wq(ZGh(39=1dxX$W>dOU9 z)0L^FnrKP>=Sz1d^?4_oddW5KUdxcKA+m$LhRP1W?@P66%LOqy655hMfA{71@3L#i z2e!1nv!(iK{4K<>MVY={v6W7RN1xW#qkD-(p_32FzHo6Ag*|J_e_IrZeleECG=q6` zmu_GR^fT9hZ88aE^Q#gA!>cY&N4J;m@&rk^?gkqI`BEU;b-u`~bX$h=DZ+0#fe^@R z@&Nukt=7+4fdz>oUiF#HFZ?T>mis0uVHUwmx>S zVfUzuY1U~p7kxA)F@M41h{=#SH|Wwc$~d~AxvXvG?gIu7BeOz1x9K9)%mBmPD77fm zaa*$g$CAFv>$Sk_G(J0b_~$*i7e6Lc8x*y(!94X&!E>abC082im9twAS#no&GYL<| zS^vTsXeri{1OC=Y4j(&X!VSOLo;=L-Jc6j9c#3a=gi?yY4=&eVP5lPZx^Fy+Q?ISK z`OyODpZ6f6OP%=;TBF&01y}0+UU}oZ(zwzU=xMDu_tDm{CFV z#o~*NYxOG;=m{5Y!`x=~m1WFb<68nB(R!dFHN0tnjRX5vP7r*X`iv-v9V2hn32g|4 zxkw`%h;p95t{<}?xUFrjEl#XV|5&E1Y#9M>_x5ifw+x@ejxv>MzYFblTnt-R3Kk{T z)*%b!llgMUI_CX3Ib+&}iCt00xFQ<(R~?ooGgKQkK_}Bzs8jqHuz3pR_t4_kj2Dv` zqJAYC2MRQP>V4@bUhh?2R6qUl2j3G^U^ab(wb7?7^p=9ac5q_(bbbUlM^Z4hzead2 z>OJkVcke$1J6Ys|zrxt2?dI#vsr8&a#qm@B4i1qrntTdGu#FKther7%gbiXNyg-8{ z0}o97K9{**?l&?41GYs;e#Y)kM{#=0(Qe7Do-;=>{~mT+c(ViCpC!4|0C>(IZ9Gw4 zJ(m+95HkzBbImj{p=8Y)u_P<^}D7een>ym?zID=xLcPQ z)O9%X#*zc~$W%dVGxfp1ihCZ#l7mSU4A7?eIorqc?{k7_0!LC=!|v`9a?YJ7*Rc!2 zp7s?0Y*GO2C>|iEKhzUiy)Pg7KH`c0T+q097=v!6Z-6kQbXz|hZPPJ5vHv|s`3y%Z zw&+?kR7J%t{}po$ynRxgyrAbgnLN{|VkWvxXA9<*G^oN& zc`32<>e|`unQ)?uZC{zVs_Y+kBl(r%p=m1q$h@s!?KT+rm5pJ$9&@NaF~zE7It)CI zEo293f3nOV-{C z%yf45B@!C#!9AGlW88@gFYT(1=_P4R+qMM-<8N+hsFgvCpg~-g8+sCy7j6#l# zMHxM}dqMAu;`Z8tao9ZvJB~})qgsE}ajAvGD@o%uNZ$sHf;j;6bkx^=_N&+n(;NBu z3W^0Zl1dbtIxy`LT{#JGUq++rcJ$6-R%{ct&(4-NP$~Z#W)Wj zXOq9`{|mx(yMtN^-P9Z!dpWl-DUe+7B_$gU50dUbLaXe>`K9yc98@0cw1O}Rl=&9e zl1}hLtJ~MFsoGd#LPtu5fn}mm`4Zph!%>W{c!-)X1=?3N&Id^0Ac|JT9EUbeJeU9) zy!b8CmI!lA3R+0xZaT%K>pNkbh-Y)+>+aN_I1Dc5sJ1s6Z;2Q-7AfAtZKq-y_`nmF zGi9y`q0_?-lJOpB`~kJ?1IH~m8cWT1ogq5EQrOZF2spyPvqVzMW%)rkNFLsB!fOs{ z$4Qe`-PAQyyuAo|2taG0l-<>iI^v;48T#xl`USkf(CUXT{)8p?R8gWsU>fzGr-96lp}PG#7KE^V0CLy*HZ zOa^6DKgs5BN4k{i?ZqHTp$RlR#=w&FF((I$zxh&)L4^$=V<6I@`TxwBzMWTSccLg8 z(uiS$Mkhzy(8#)%p9irZz#$dGiSo+2+uqJknjPx-tXi4*T7uF21SKl6x-!N-V@m`Q zBj0C7K3~Q3&Gv`fGjR%orJf4<|g4Bt-vso6d zWzIguv4uhM5SPSancYpOLnwndra#`I?{H>-gTBTUI#^3%2=n%QZ9<09+n>y24&Xu| zv%3F3Co3y&Z#M-xpcJ9YgolVFl6(=Sk*!L=2MIQ5X5abfBW(A$Vug|Vd^%AY$y>y;5|3n@}Bx!$i?M3qo@3xicrU*}ESREY2mv zLTZ`2{L#*nq$UbowSdpA7{233efJ1lfBY{P$4r6?MrA!#I!>5+AP}(wd~s4Yqv4m- zXDMNUnTf>J!N7$^qa~c4!*+t%<50jxA`V^~%=Y)^#bjuQV0TNeead_X-T*IPD78Qp zVgU9@W43{Q@x8>90*P`$vQeZ{o{(DkQfz4Fi{p$l0^fx z!6;t}(DxK+$wB2GrhV{BhqwrW%RY__aD6*-o#y#sGFUc;2aK6xj^Ah$yiW@oiDZ5Z8g@)gXy0|d@A1~m{>U)GU9gZ9j%N-Yu6;=&J-5iO@O{;l0 zy2yJ4`reC!;2q?96F}chc35iPRL&@@9cB?|u$!5$jZe7f^|%^3&RFp11t|CFG`1a8 z*D%9Vv}{rx+NlHZeW@(9~t@eM}xm zM6#QRTSFKn;exo@+sEhl7@vhJL7XU@T;srWMD1v{I2|(t7URZSS6KmjMJN812gae; zBvtAPJmx_Nvl4h$`|t=9;_hen(>_Zi5h{_NE;v(${itSN%DhgnXfV2dYBtth1t_aL zw(|RtEj3jHJ#7gOakz9O`t=z9nCPE|$$o^@3JEPGyct{eFAQ1a*A9u(-*ukwKWLzy z3}IFteKvb(oev0>-J0j6;!GfRnUc8bs?BB8VSLm7v1b)p2 z=IyzB1eFrt$L5Hbe8iH{dmdZ8ka~;iF*+6l4Y_$vV4tE&AR@6~-}{KL9QG#gUP*96 z6ja^3^=zRN_QhlZ?X31L^~>p_Y0IHrGY6Am*U8fe}Js-(&74}vxplAUFd_Uq8HI`!m1&7=m?sR z(Kj{uLu>Rp9b=3drS3$)g7&<2*pXl@rdeKe;{@U@2y+EE;%ZIv7r{peJsxu#)-zcmf=_rmp!qh;AjXXwbb%90 z1GP}1*1)g>RG%8LOVo@4NW@g8L4dg$SIgsa!p`q@xnK6%^z^ridr_N~r?bA@=M8-o z-chn=QtPZriM5X+I2UH>N+QBNVm*Bry81;Y1!APx`gt7>t02iVwC3s~mBSvDdzRM~ zCu)LMID(2dAHbe?q$SU>|G~}mU(z0(>Dcw%ZeK;epV6b~gJc#E4}ws?Ip%@fJcX33xf!>27EJY-^jUGp{7Cdvz$uP)q#?v#)pk=V}sydjSu z0f5OWjn|P6h(=Day}I^maaw3F3Q|elUV-D_MuSK@`h1Q(c?u-VtoIuxLUJBUaEZ!7 zUc1%{jK*~a?6%W34ZZWW3r%+ciXn*z6W*1m4UZqPAh>3F_rHG=xubJo9X8f0XXb7B zH%1Lhiw(l|p`27$iKL=!H+C7)a;ZDf8zW}yko*Pc2B7rEDNlrY=7Z0lh&|R1Vlnz< zehoZ>2}+|BjAhd3;XrpS%!rq%n;_ATK3Gj18F+*pyeO75Q{;?%VgpAkGiANa;{gNG z;e4|42fGXR8vQtFIF@-&q1hl|$;DOEXea?}#3ITnhXG68z{!I1oU z|L2Y64X$8YgLu0HO;TZPnzE32H;&>8X28@^n1f=BnEFL%f4>jx7Xu1455$Vnx#dhE z;c(_c_~IPI{8U7=1oy(3{sv#%7UGt)vrm278Hg`8k6>O9X!cBO09yfxK4zYRNY2#L zLE8Wkp$3h{RDaTCbzJI%Jo!oz^8;bhl04>Tgpy52pKY+IdQARXm5`v^7rPxxVJhZD3|3n;LImitLuFAwn9cg4t+Q_@L@Z@Gy_!72qzvw<2J12-cW( z#t0}+E22*ipSqDxhkJTWMX&686XpTu?C#yf6xNKAJSIc)Z00K(@@Ui>x#IJe4y>4P zFMSgyC|6Vv=}Di`g{iLEx~Wum%-ETVvl{N#Zbf^XE2(+=l%3!%L7gHQ=Q7~9%$zr7 zBnrUiQt_{i<6kjnaPB25yc4YbhN}M9wVl8cfT>P_9O#63CA5VrDQc1|yeN%QOm-zvPl9Suhw}ID2F!0ecyN75KjREQ+jjDsu?(Dj}-EAJ}Pip zt3Myv>6W$sw%?Te%A^Tsy!5<6Hv3r$Y`uB>$iKBAkhRI&T7LJ2 z*UK|(e$MW7;q;=4I9)yhaqp>71oJK&MGFNPL+=i)2cuo~3a*r`;V!|za`}RtVAdL6 zUQSe6WGvCweVB~=G$()ven1CA9rwMqDLPecdZrMh}%r(36paO zRBmzheaa0xu3%&qqj|QXnnIY&cY#kzk@I0k53;=gT3Xb5Y}(e(yYC|E9g96p`ycfr zMXt&B4lDsPG}&Jh=*8D9?!dn$0N%33O6!R+2>QsOB8@j0ci4o?147me({Z+pZfhgK z10FjCBh226oyp`*VX~qyf=lP@O7?@W@X?ZO(+j}tLeTcIV>bz`>C9(3|9Q@VVQaiS z8(77sW_~(Nwl{zF*4s8B##r4dJraW#@QT3j$~pz6Tjua3f%_cBBFP8SoPx0G{3;ic zjJReR$)OR_cUk@pq!p!&>lO6d$)HP7;bnH=J15YrF8&|?lU;^U)U2HN_1mm^#F_?ueYtO+6D4X)z znFq}K%oSFpKoVvmB{$5`TbGV0fzoa2GHa**ryf-4a2wRXlj}1e)A`x^znV}!pN2~i zm>xqx?F8JU4Sj8VF-8*Ak?n8qu{C8rHo^>B8V%XRK7o<_6HgirMNBav@9>mRiLC$= zEU`#7igOc!BuG3b&V_QiZioFvGaIx&s15>bCoy^eVXmcwyuD}jUcor_3G&r-jfN;< z0XOMlhB=BnAg(-}ti0=hxq2t+1u3JS736I*Masn-j-E)-7{j>3*GO8Fx% z2qj-jn4pip)HA_N&$}y>!S*%08yXz z;rhp?Ww0=jkk?-@9n3i<9cMci9vww=I|}JMD0r-_W!{Vllo~@KFzQIh6}&tlon}+H z1Cq0L93|qy6zV&zRv}{j!$bDsv7SgD-rpE{gF4Q|?fC$7A#_8p5i0PRLwB$iAGb6!h0aKUvSq?vx z$&m9zW6i}uN)z@N<_)jaXowD?=I%6>b`)5Dgd8s#S6@Y zFk>_p+tiG~4O)HP=$Me4`SzjAvv5!_Jjt7!ddtNz2eAG4%o3IUgldTj9(HRd$v~7% zV}OKpDLGf+HWTAea5~&*V%E>E$7rs^J>{&wCeEcSv0%G(<|jEhu;Cj|cyNY~#|n%k zB^Y=uLS}Leae9R#g*LysGO8qxxoVE_oKTx*)pDBl>BAb^FYNPq`aFRi)G#=K|Z+!3yQ0+;T?m#DH1opZC@`^|^N-FJUpGHc%JHxFH2 z*glE~I18K19ljO=IGBv&!C6JzzrR;fj=i7;%vF9?gru6!RNj~rfiF*Td#(WP$DGb8^q*LF zU(FM@yt{2fbrTAk>;9>ReDro9TNoD*!CD0Yu0kfdM(NsBq)+qg|5pp)bu{HaEd+DX zQHM?r3uL1i4oLVv?ZN|19JceHcHv4S^TIIG-_`BkXbx%qf=+x+|MFrLVGe9(@TrV! ztAKD3DJW(ofWoaZ0mQR)?R7{xd!a&kG@t1hamE^%fDClJg8feoJwXzF(p|xb6ExqnWQK44$LvUShBCt21be1@wH(ekdIiMuQmyU!a;J zjI%V&b+H$S`mx9feyiA;T6T82G!Lig=*{B<8l|)Vn>*Uf+-XjFih@qV{7}a*O_By; z($E||k5za-bU{-xG&keXVwi#ts{b&0L~{hE_mixcpXBE;$eLN#1xGA3f5vl(?Y(Oc_uYw@Kou?(!@4Lf>!^qxp?pUn& zW&T6-XgQtp$rFVp6L5EEwoG?x#cCwy@u+Hc&)DPX>6x(Q2g*ub>yq!Qi8l1pDTdoWtyzt1H(|rLzbsJ8qG)Jz>=st+1<<8H~*csHUCYG@YFRHJ= z6Qfr}{g^l5sUgKHUXg!+K-YekZ9y%e>{5rsE(*u@767NO1;wUd%dSQ9Ya#@jBfAvc z8Buk_vdqVIk=w(Op$@({`uFWP+?21=n{iQVpU-3)f}HWXCCnAzrfL9D8w~{MBm}~% zap36)kt~~g`IlRqYz2W^r0Qs#$|D1v5bxEnOhek8yCBhMq^2wRb$HFfh+(=03)VXt zi#iYU5-2hGSZmP$svl#Kll}pl>Qm*0!lO3e-X;Pv_^Uk)(DDK-{xv-gfc~dDu**Cr zn8Wte5ssMjFh@uClHgW z)K(2roNT~o6p;#KSmRAV(f-AYor>V={$9hIkQY-!C9HF#=lKXQq8n6PP*zKLXB&o= z^T0tk0nT%N917sk95rbQn48ihQ|W;$p(j{m`s?0ZA;lIM)As z^Gnt3*#QQ@qJdX9!PpIXkl;_o%{xLqJqVzyGwV&F26{tiJ1RfuWm6uBX3?fB`!aA|rOKrW3PW zE7I>kX7EOmUzjjsG2VPE^)b8pK^}C&ptC9{U;&Fm?OQ4E7BsxQbs0l8HYDmN1u*#r zl4{~BTQ*cJz#6E5Ncafh=_rk?vIC@4(CEyjnI%;J#7tjdXQs^$81e|cy#L^V6KX>Q z_rHE~YNKhs)(eNu+e6&BS;gfsT)%6u3`%fJ6n^pYWH9SNTntPac%956;dCwqZX(*x z{K!$mD3gLORmeTX1b)G2D&KW}h?`Dlvogpjs>%`ejsS|(nWg_qtL#Q z{s*0&rf8;!m)F;vV}kju8rtL_Tl27|BqBvyMaCC{$%GWn*wdZn3&TPZ1I?q5fYK}i zF;Pn2i@8+(gf#)SE@%a5OI`!Qw%7s_UT*eDNj4uwQ6Yf>001iUTA3ZlK2zY!zMCAM zYCwZBE-~n)CX@QnRF`xssP+dpB(qj7*0Sg#E+(5xQ{95y$Io*=P^_I^<-^ z2U_s3sSB4CFqccr3sCnlzgQm&ios;!7=>xwfkNgr9K|)FeI{7lg~1E5=ELC6654M- z0GUB3fKQvK2Zk3%dNroR!V*L+3g1sKj%D>3 zdKqv*48q^hzr;T7liYx&5i@#!36ojQLh=^kSzJYbjJ&830Jp0jl3xs=b09+?<)_(f z<`OLCU>XR@g$bC_O)+c`NXVo9zmWBXt=_Yb;10!oqaBL{o`NL4=(@9&9!r~vah1dN zB2?QE?V1ONI+Ffk^K3G5ASwpcMO(w^@c61A1ShhJ`o+FPa1a&$c{ZtmE2sZMTtp)C zuc~mVeM4cPW2#PeT$s9XH1Y>VSoAk|CmPtJ2>=5er}~RuFy|nR4r|~uUqmSQD!f9x zd~hIS5bY2Tn^RYYq3~9bJcoTi5fEixf&>!{>DMf{HLR(?0{rSP+fRO~abGl|3ja;D zV3Y=hogKFJ`rer^^{V>`p=D(1J>Wjr`eT2oq1pFV6mU#HRn?*k`I@DUK>~2tl=Z)F zfaL;t#h9Zm7ylm;3fw{rj2_snum&QzX;m`tji5Cv7l@Tz4dyT1-gI<{smo6P8e?T z^8hrd#x;&TQ-C8`Bk^S(N!qZ>t@pb3myNIQd0bwuFpioTD<;GW*2)VyF#%BnrPB3p zilo|ln}uZ)*C<m@WH(hk%E6%%z^7Q4Bdh=(taUki`~L04I}2 z33+8KSxu~*P2D|=?XDQN=jDkJx>akCa_a1Q34QG9!P>B?+k?RaW+?dE4e361CnkGf z9V#j-PbAV5(v0qOL*}y0Hxe70|AP4g@3Z8Enu`xq>A+t?KCqN@2a5se@7aT`=mfPY zO{*owKF5?H?LCaqypc<)vf3N;)#PMjBhG$(29v5DFD!}m7;CAUM(9@Ug#E;&e<8Fp zdX!4X)}JW)KL7_#Hm{^&3YF(3ag~m5yJid-DQ*(F^)@PE3s$un7KcHTEKPKHAicy}r)daG`Qq)ddhCB;YCw zdVp+aRV+2+=PHya6X%@_>M6%bw_ONImX5R05S=PKll6C2vt?OQfGnXUIm##{zkN_< z@^HkqbjaQ#d+c$-S9Gxk@HVvuI=L8K@M+I^qnHb{Sd3so>~qNK5S975!j3O{1eJO2_9Sv<$%DZ1DH_*p|$^vqWFaBGMyO9lVY zkxj%<$uS;tf%~R#jE7g?{MW%v?yx6{A%{-iGJ&{LAL-lhSI}?2BqsKx-7EfOd@=s_ zGnhi}mBjo|y z+qq(wtz>gDqy559BDCG1bm`Onj4ft`f|ENNf_B>41m< zR^#b`BC^VQ=+jN`Y=tHgK**eJavE1?;;}Ss-kAc-EfHCY3RMlOapz12A_L`boy@{1 z^viS-)eo6!PM^#qY)%;JbX9U#?ZVhpEwF{j(`e2YKuk;#Q(X$y_7#xs-4|#%(`_N$ zj>R-bsv@ZmX&aU`Y`y-v1~qgHsBNu^vgMf1L|Jf}+ySRVM&sFLM z9p6FQJ#;a$^Z1Ci&$Yw^Lj%6HEKREzPE&Y@yP9wSp5ni0PvA^Zn-L)+!CitfHyO5@ zWGq>L=w#UkW$szv8pKAQ>Nvo4fEB?ghyx>txkjZu0*=_oc;tEA-isfYLlRbwGMq|`iH|W<58)jdsiv+AgTBhKRh*eocf%MO%anb! z6}BtU8Y@aaCiP?fO)wfj=YN&X$_?1Gnt+O91Rqh$5(7ZigWj&5s85UP->Baw#sKL+ zCvg*Z?`af21(+$&5D9IM^{zr}GC(2%G4|HH9j)Gt%(sO5 zr=$*PZCkJPFiVFonf0S>f8#$3Lmg$zH2-4$j%O~;)j-QN_3~{hdP%hQvl-=5+&Adm zXuj}M;>Uplm$d|a&>8@SCzdEOwB74vJP6VY zYL~+BojT~d0nZ!*u|MY#CwN&JY_3*LpGz)6@?CO5j&xROk~fwZk`@~Vlzkrh&pj0) zZIv1!$A3r&c_m^pa3hLFo5pnRv>DD&>j#BWcUl5?&3F~bwWqPA>jp1YFlZ4XuTOc{ z-Z=dTLZ~MD)#74a<3hLQ|6Cc$`~@e*1j3yMld=^2?%bIR zf+@D_V@nwGCcFWCc%&aibUmiZo@vU5*yNN-72M&w_*?-tuLvNzaf6sH=) z?~%~a&%=^)!me8IiRqg-VSzN`Nkgm%+%qy*ywq&wp=igj!Rj$2%tyaG7We;fcD7(= zzl$0{FSg?Y?hL%g-X`B{IBV8mt45Rl8QZz=8hPd-q7)SqgfFLRv>L$t1oBFI;KN{A zf@ihpk%9Hqz+fl_<;`DCD|R4J?Cf_?ipO4X@L*q3N03e-vm2aXG^+*VPK1(zc=DZzJY(^3yV=IS^9m-u^VY8bhIEQ7+A%3Rbo7I@ zpl|rV9o5Wf-uX}y`@L(%Q^p@k4V9Dl`rTGa;{bU+^-iO?~la0_)Um?Joh zJv`^%OeSh`%X7EAw*nfs@$(mP0zNWQZ5n}U);b$$IfT(G;NCi7z9t&gQC z`;iov!7gJQ9#_CVMzLM_?OD`G76 zdg8k;y!Bj!@Ci#Af;4@p??Yr>Xmxoe-y+J4tmOjPcqtgvPcR+z z)WEIGm*<>1iARwK97vsHvVgS&xD)I14N)lDoL_#~?HZqouEuhvrr_o88N(u5Wyu)_H265W z)6LQ{D!1!#=NXY>EY6W(?iUM4%y&;8-oFh5()Tv`2wu z$a<{llnfB{Q5elJhjxd=D{ypH+c$Eio+?`;*-YV#g6o7Dry7Sh9wrD?Lxu!yce=W| z_P(mPrm>U8p1VLi)1()9dOd!%l(|V&rsCq_t7m=t^t$Zb{ZlV_K!G<_(9G7y zPwfx5^osEJ#HFybCkg`{nl-@$RIdT8wxDvc+(=7HtMnW54TTMXqRmouorY9CPb!Fl z93XC$?T;TnXeuG{HVX@zVKkM!s>CBx*3B8nrVUQQTv2jqS%E;X-J9*?vU}?_`%lNn z8zgOWDdJrH0lnD~QZ|8GwvvB@*sXunhkZZhzu7~@xil_^A0!R?sFVp3~ELl1q* z^7YVq5*YS6%Rg)2J&~4;`MLBA$p?rx6u9a9ikH_wNC33nKwcj->T`HhHBqdTT0plZ zys~0`s;XAE;C-2loZNvc?2hE!#RjfMhfX$I;Z9JSDbAY3*iT@W+v5ZhO-e;HK(Nn_ z?IMhL7$B?jzJIu+iI!XScjm7J?xM^@CrGFi0G}EU=wwQc^i41|dB_|iUzxI3&`O{gsi@2pj%E+(lPbfStBFJRFv|llu}9utQGOm+7KidSupQ@Y9%MoS)bfCWlhYX=s^wjv~byY3|Kwd4R7^WWT%-| z_cJfee$<#7f)!$cmOq82AK?1v1$VIH6_ePv((oTwkw$DO4E>0wqZLI;TXgx+Pz2n* zNePJJGjeQG?qp`o3&)>A7hb2F3*fb;;}Y{m+>{v@Kc#Z>?`0P)LxM z1A1^R6^#WNs25x#2a6b#%59^V3*tT(=WbpZWV1Di+!pSzx6t5kG!O+eaX>u*0#l1I z`{Jb%Y&7Pan2XZ&{%UxUP9-;!JRw(ona1ILY-})l%Aq#=G3ME7aYI20HE9)0g~)JX z={Gh(dS<~e%3w!^lnTDtg6^+P>d2tsX+N1y;py+dl0*I6hSTTrL6jG*JHC%QM3e{w zwqOT-Jgy3&@ty<2sy(_s07j)UADJNX!pa-@(Ypbfhd_}0PI5YpLJ>0C<4Ct!=#qy8 zL?sOx4?bc`8wy-f^Noes=Ymgcv}jplY-}9a?ME^-z~--iB&b;_lQB|mxT*uG4yX~j zh5lrfUw7j;opbDSZOFwtqkNec#kU~+c%)wv^Kdy;E4sdapASlrG-r^-t_a@+!=xDE zbI>AcV87GkMT;>L;7$$3n(DxANIkrug?$#DDpWyEtMD{^aoIt&P7moq=PgR+t~;|n zK~9p7q-`RpdKMMbd@P^BVgQ}~pT98|mHl$MqVQyZwEjBLrFgmA3_uv5Gm-AUoAZ(w zcjA)GIz#Oc6?ggrkdpCdTZ#08V{AB=Grq>-j?M#a`RR9QWTK-wNW*p^#e+IM+!x&d zF(jk8!Og`8ibZ>fUip#1d|->-AxWMufa)l?yOTzgMnKb_Ll2T$T-?0R4MpO1!^{}AFcD%FZIjEvkH7V>}AG4IwHg8McP<-v*Z!$06ok9K!Jfi_DC zhthW4LDC%1ZO^>U^YpL<>8^-K>p^lX!iY>>tY)I5lvMmG7bhk6D|8sef={V@^9TWr z#MN~Z%YuZ##}dGIisXLmH)y=0^O|6_?eBBfyhyo#ahP{F_zOz2KC}uxy}Pp*H+#cI z%gLBf1})h&B8x2#Y(nkl!yD}Lx?7ORp8#n&>;6|$hwsp|#)9ZPx@jcL>YfZVv>rDy zxE29*Jv%#Ztu?Y>|t(5*hby&IRHH@If4Vj zk{s$vcHKSbY#cVeIrICaI6)-*qI3cT7?ELfV348B=!Ie-Ug{JX1fh8O(DG?g^beg~v?HSNxMZnx&2b zPZnV_X3`rv3dQ4=$=<vF^@h$i)UR4kGtbzy5M^a$mlXXTfJ2+%XQ%KLVLD^ubmpun4#Q4fPzY zT?ho$=Z^({^6Yum3t4V_SN7+{p+k>vYXOmb)Gsr}4nyU(w=>x;D-(^5WRY?S6cUT; zONM?_!uac(cQ4N^o=e+*?H*KfBxWX$8`-{nwF@XblAs;eO2=P~Bg3Fe*ZPT2nkq+*39|Wm zaQ!q1K-!RWr~}_OH*01Jq+Pnred3ZJ( zO*^F~wU)p?Yk9~c)X|}Lk1wztHhr5Tzj-8c4NtW=#yXN`>7Wr&OXjTS=VC15=jXQr zs^``rG*=3KF+OfE#AJK^t^fA#^Z90JH37jhh$U zaJ4x_N$vjo{c+=%kJ$DGsm^W|^w-bdnVeP{AS+=0+H4vgyGvC-(KQXSPl0Y*I=X8sFvt(EKNKL%@y z-BR}M{iASAB<>>!GIJV4{RH!I*=3_8?hjN3I)29=;zmA!if*xJ0BGuflw><_=0V&{ zk4w}cld=RcBnt5&Ub~;HB46f97iE5uGHOUG7iz%>W9Q}YU0wh|61&4i7(acEz-$aY zrc@9(jsi7?zp~qZSkdWZFhRRr@6DD|?Dro%P=woLpE2}o5dd&@*6t6@*&;-ek^k<- z8V1nbW?ngqdHJb+zdLI(7=iA4DZ%tHPKG;H$qU$b91!}u1tKP#h;<|`GBo28yFcD$ z^cfFk#R*;Z{eC5hNhp$1+~%<@LDdL<>B`~Edsf{+=$(U!4l7Z8W1qcAf=ff_bk3Ni z{9NW$!V>bpc%QrPK`0x(hPJ%n1Oo`oN0uCo7#)qZn1{4?ykac-wocT+qc%E>1pFIo z^RXW;EPid?1GMepBG3Dv5gsve&gHG636Q=2MU?*Ajoa|br*#tw2^$Zn7;=CDZzFBnuAK% z33v@rv=cC1mfresxbtzNOh}Y58n6_Ne!@E|_GYAr8t81F>F@`DV*t*UyGlCsBT}s> zmM?K6FTQ<6Sl`r5G1NbuW5F8chdCVUY=;rsV4WhelCuV=GnsTjvL@S>gY(;`q?1~B z!tm{{euVw0iW6c<$OL5TNGHH1L)YZ|8mz*nt5(41=*%6mR2a9L?GQYZP%9k!4l#`d zbRc%&iA%7XN4pd=?9_2AGZqCVk#do=YSLEoxzqMG%<#Ks6dW@}}Phvl`D^m(^`jjS-(y~S_C^JlI#x zY$DOmWk!e@k2R0TUT@q0$VG(T@zHKa1KuGFJH;_4a6yx@=;icV%Mp&`u^7h^b_uip z&|(K5oBhA+e{J@EP~svAGKyMEn}*)8g1Be&uEalHBn+42S;D!^=x4`bj9g`pxz*m@ zei)&6?i)Y$#r}WULVZuIx`U~*=5+boqRoulD*B?p_#>8UTjm?N( zm^K66q9$=49Lgxd0D-r(vU)b|b8Q|$t$~4o37(snx8?3lz$6^T>fc}8jPp9)0|lmI zgDB<#&Z;F&3~2N8o9rz$lRmUwa29GwvOZjpK9zZkFcaz}kVe{VZz5%3RfNkLT>&y@ zO=wfL3X?Cndr;*w$F$<#ouDFEAW}hujTUW*orXr3{K)%j;azvv@TRr7VWS|H@^DmO z9#WXmhzU6n&~_1tKnFKasSZFY7CZ*vYeN;-`3;H83}-F~J1;c|bwxZcn5M`vdu`RV z7qP&5v&WCl?POcA?mL6c3EZp9Ie~PRD`^dhJVw6ptGOvc*Muc$n_n-2_KAl#KZ01u z^zhWQ0seZahts5EFb-n@B({soUgbtH85)yEb$=|82vJl8v68Zi)335?B0Dq#@^(5C zg<8nG9XMXVyWF^W3myK762StCcSQMe_HpZ@4aofYb=6{@?LdRb2V>lBcDcwgosUA1I|WyTigmX?a2H`%ZF8=4 zg0AZ#8aDe6bs-dTydWA&Ji8>wc^#WkZQ!wr=$UHtfoKO$A9nf7wvBOev%WitT?uQ& zWT0M+1f^|`%|f!n--OE?H%zWfS@+Q0dm8)N(h+%vnDsF~+@~5rI~sxsl6>>Ev=;vO zY5LH#v#ZMj9r|$*O33X)5>O%m!O8COW^Ynh=?Jifm^P8sD0vnNnfejr>yTFu?X5*X z=(bp##vT3$CH!F&&wIN^l|$D{ExcDtRR94sz7fpD5bXpTn?gyJDCHPjL_L1n@5RS{ zM8e*>lKa=-`6NZfey)GOL}=bbX94r09M2($IU5#`hb6u@6>*?6DuOHSRg0z>=1pj*LuDe|_cc=r-GpQ4&& zgZGbQ@ZbZCSv;NN`DXYG`mv+i1gpJk6|+6L z0qNfEy&&Nt!OP72+C!DY&?zdr?!n#RZ1GPhJyPft6#ZQrQJEhi<77Hp3fH)&#^(g; zR2*Tu^=A0UnK!*MGoPSF9Nln>SwYzzWEM_n%bov^wfBz8x$ob{&xQ&uo1`MLN@!|F zMk#x>(Vj*sT1rMPBeSU_2^S@mv!xU+q0-b&5$#1&gWvHy&wM{V-``)q$K!WD9`|+K zH;woCe!t$&aXgRXc)GR+d10f;HJId0zdePgX~?J=idw}7Gc)- zWiyB&s@JQZVj3CWz;!Q&Tl3e@-TVmEz0}5_IJ^n~D!p9RBy}5!|Im?~r{Y~KbVi>m z@GxN02Az5aGVHO?+7e%`Q!K!S5%2|EfEn547?DgfX~>fPHv~viT7@)k4i!!LZ-$U; zt&jx7IQRy7k7YW~x|J2lBhk`3UUEys5Y`v<8)cd9wry8P)ZoQ-+R^zB-2g^GQ_K^O ze$!)lTcJiIyY{7K&r`{@MY|4HddMIHQ(Qwai3?1@nj?u|8 zrF$x4(bfF;pxXTwB+ow|p7ZC%uNOwr!S%o!xy}-`HSG=}Vj_qxuk)jnL6Tn@Oq%b& zIkT7vtEX3fo6*-_TUF>?+q>4&c^|otG#Lzvvwp9+5|m3gO3)mQ?{JoVtq8>MDs0fg z`OmSwM&ipAj?Yu%z3*lKO<)P3X*fnCeZ<~xppgcnM%>tNn~f`;CRYWi?ESdeQ-L?G zOvyv029_Sm4y(R=I*gZcJ*Y_0B!x3h)7ygkZE&7jU|T{R=7abq(JyI~g$6<0{jo2; zFcZU%6K1v@&1VK`6EL({knb8cfn6Dx-!~LGmY99_l+Z48Kwn|Va+PV$x@et^H})Uj z5SG4bNb4ldhyxt;a@TrC@+^OVLF5VP6o5G=L`EBau`xIu8x9T*SVd*#I^XvmOnA>O z;e30vajhirZ?{qH^|O|G3p4$nC(r@k(I_-CgU~kc+dyNkx-8BAfV|n%IkA3s^bI_& zu#VFx=Y(A57AzY=W$URg#riwO=Rn438x(X4_ZDd*WSHi)W2IIX?$qqI34xfoh1~`Z zy!+_~pHFC2*2=uv|H7=NnH^{&J^~a3=UoPvuz<^4Q+Loc_Kx@bI{ci%FB1@Qr|}DW z@%)F1#R^Y=^rgM2NJ;R|)vp-Fb<~&LB%#wq(KRK{Mj?VF2l+IwpNX`Qf_#X+r&Ezh zIcXSRkj; zs#v@~B&79J1M%_LYS^YEb%EBbm@~=ass$iVmI7MEV--?+VdIHmy1l_f5d;=Xig>AQ zpFu@SL{oTvisV_tNP_jp*x9znnotuIx1sucDp$4SgzUwQgIj?IvXE7bb-Mey*yY2$ z^(Y_k!PoJpYA*Hubhk};!wtN0A&xvmv?3!;a^PD(SwO-T=CvRv8-X4?rOk!hKv1%i zDSaL-ay&WK9~@&4zUPx?w>tTbp14$GyOcLh_u<3&@IP6MQQ{4h>*0x$$ppfWJ^9Pt ziLxU9G)IJR0vtBvIJD$uBN!K3ik3~}42xrbjgB8c(p@(9uO`;_f#ipZw2YcZoP6lXnX-@`h8X7Y24nznOIL>1iX zF`7)qLa4Pesb;5@7aX4KhNN#g7!r8-3P(*c9~=hT;BXx~GBt$5UBRx4i;GKLOmnG# z38~H~UEs-6 znM;Ve63x*be-kVWwJ-(J!ZKJ#W&^o|X)(eIidx6C{@fHpYNCK>(ecqQ_eaS@KIQr8 zD8Fe-3yWh*c26i(7NMKm(#@_Iw+G$j;48hqH5lN_dqmCx{t21egl_>2BP-FXW9;Yl zsS}HhSLaM114K;gbOH3Lm&*bhRdMf_hAN8p?2v)B9?{PU7)3ONkg_xKr9?0&qj*l{xJ_eSsIIZX!I zNYpa4y8)pxq-xSKgxIFoq-lL$w81Ni0meFY`t+}_omnp{LpB)w-1)gm7z?E~{X}!?L+Oxa{!ZOSH%H50%493;hI^i7J3X5V10a2n9r#mYU4| z*#QUV2vcsRE=;}Lk*^Ji*EQuM2P=-o6=QGvj&Zn6_yeBSlod~|W8Kc-6Z3Qg5Th05 z%rpn7k-YF0!C6kM9s9UsX(GtlW7pr_{CDF@F_1P1wLkSf0Dh-{OG}s69GO@JzWsa!;7>OK`R*3j?JJDFGO2y{S!wW)C_bZoKakFaqYIOQYyo(Fi$L=;TeBV|~{tRY;e9 z7(uB=$k~<-cC*p57Ao`A_eATsws(|V#vY;@;JTd|eoiauI$vT1x10O;Y}2y{okm(|21_`kdLxQk_c}db(w#KU*q{^YzpcbqOm~ z4X^Egzx>H2*=FwDd(Y*3Ta0-^yRxUEZhTY#fpQKxFygaylH&;;>8P#5!PW~ zO=$`a7eOx?Xa&q#{@I+0$A*%Kgf~zxZ3bT|qEelH;`o0WCUfu|z`2a4-DZC{bs9}z zmlD9->jELoBJlQFO<6x(qWZ|fjSZNb-a5`kz=Y2b5AKs!uK}98n*^PbrHk`$(uz`7 zjKAGHl-PZbqUbx{s9BuIuFG%=uAwyzA3+bG@&|NCi2+(D6}W@qRXHBs_sj z_!I_sR|s0p-*OxSQ~jCT2H~@f=51tMvamXc!8$-o?DSTuEv?&gI|+jPEel zmGY_kQDnwW_x}VwiYys(_IfTYdNhdr08rXR&Cue0vV?7YyKKVr$nzjSWi3f-RlnKb0eF)e$^EvH_HP z`dPQ5`dQu$U$1XB_u}Vc2D%K_GU+L6xuSIjD#q03?0O;V%e%=^XC*sh2FZP#T`pjA zCu#bu7f_1(0VE<1!7-wejp8=^M~Vx=SMH3~ zPMSXo%Z@GG>@K2bDp<`V%6*IX@}AGwaBQ*#7!?a4+OZx(A+GQH5+{1xbQco>#CAkd8NI>MdtDWL`vR^LmsrxJNks%%qoq=Z1+&RV~K#?SDop zvayCjv^KmIQg>ho72FGL_pHAO>ye$2cW~4&1e|%_okjEUwS5J+1W{=437@gE;@vA?RPcD&;r|E9uA|G)nA!GKpp&;*ik15^C4T$-8_MHQ(#;uHIX zvVU*bk5n^6F*6?t4AMF5)Bq?o=XrP%53FK{PfJNPYt)dwqy=_>o{*X8m0gZ){LPr7`u z3s|BlfRaV{%z`fAD4E_P1ug;%^o3jC3VCmnpCb;k6g7XKWrqC_#*15WNAlWE1fd9{l>-v=2|1H2n%FlV^vk zfgTFFlEZrp$n-~PHAZNQCp4zSiCaw2K5%qhoRe2SmDsHh>t1AIf(=USLSjB5;fMGQ zql;%*JE=spz5p_CVyNfNob2w(r+24iV6T+CZBcfI17f;*d25!ELwP>;)*CBKjRed8KoFTkamA=-$tV3J#U*vW zd*~dx)B}pR?wu2%Q66=Us$I-p^-r+NOZHEFejeHsMFIJuqdZyG=slY>oT`)W#8>DG zg2;0d2T2d(MT6|Mcw30QddK-UOc_E)@B*Dp|77NTh*h|-f0VD%5fJoep|&|0Yk3NW z;o1*sSdX~YPU0p0P!@{%o_#*V;CwJV>Cq7PlY7F1P%DzIaB%Uwg<2{G2c=2w zaN#f(0x%OeCr@3tsbTmh8knuqeNpkAU0D&K;jNP2!G=27ALO_dV=X$;*Y)-F{I8qe zUVWuD(A(=7-Q4D;($XzME?$Osqrm(%!9-jN`S8a+xcv1B7m|A6-Pt0NYlAuF1%!yy z%EIH_IqQdK?**!I%6esy)+xM(9%=&$FmWWtzb;TCEA*IBAz$pk-595P9Uvwe*t|(< zxcTu;$i}&elGkzuAoc=h|PQeir*#ISVe6hGa}km^5%v9fa1tvL{zD zL7-ZC>B$B$QQVaDE<~PKwe@gDSgSUO1J|U1hJWj>zX#>MZ@-E^>~6XXNwft?_$gj; zivvCG3pHy-`URM9Q`k^w7lz~oV-OUs^N#<+Ok`gb<9rtfA7Mgp6FDzSQzpvmQbSsK zD^MVJgqk~`+@aTer_X}p!t2mh<&Po5enqV!*53CWtx`cDm~JPV2LC#55_%IP01&>p zA==~ihsqb*@$x#ixb08Cv{G-;Rjqp*4)O^#F{8Cm8Ixc)cNl?E7t4t(F$y9pfI!#b zeZe+wuV~YIzv9K*@k^$EeO`K2Sppg@ie-4OX3$!f(OZ~g&C&2W{-6flOlu*Uu=U9T zK1*g*)l8@57-(Jt0F{TWE|!?Vka2C20sinSCZ7D?RlpV|_p43Ft)Nyc|8c zd4#!+xS9ABVaEG%rn@oL0(SgH z0znyL=3CI4i5q@&u*-B>45{$Q7B2=}DfmMkU(N$p$s@u6f<_{$A+q`Z>4kdK=C-#K z8rVxw^=$BfeILa6wOX*b9Xi6w{DF#mP9(kP<8x)sN2T2VLltw$d}3`p8&pu2OcvPI z9h_0adEY(fQSBP{vc@BwhblI8+=$GJPO396KRm8bVLX>(+(F`)DlEL;dIZD4J-{dy zq5qil?71&eJGH|9JGUYw6QW;H7-U6b&wLqq5nuKtvj6!!9E2X!634#$oj|pA!Hf$Q zE`J(I_SXt)k4mxyxb`6y^xe@%gMu~mJ5s_kH5bJSGQ<3#%jw*&qc?B%sY_VtbgM5vjVb56c0=x z;KgkStnCjnGyc)k8Lau1uPQ@Hd)$|LM*6$RHU%#X_q4Z{d z5&NIrGhdxoGC+w#I@NwjLwUc#$$^ zCwT!mX$hfURTc3<~;(^a3w}2|JRRWm}ei@5iJci3-eI@3ScESh-mS@ z70sXX%|(e=hDpfLFL8ezS*=|YwaAkTmD0=eDQxtfeOcRKbU?E<(o5pZ|KX#s|5EtF z!2m8=!ax?@RP4j;I|h*+h(`PaDsrJLT&ved%34{-JfY zqL1U|=1%qLg0)K8ng2kW_#Y+X&{==YWUntyfm_?AG^LxEHlHgM8^7v+E>Kbuq?fN{ z{$0EjFJWQsTb>idE^KA#r1atc+#5zSTj8X3JLLS1o+&Ks3;efbzqWLbUkvMCJ>Hjj zB!F&jqr^+95F&hyI@UnVK8gj#NV_u@j|(N)-*(((;#tJ`ci3mO95k?1fnyL6Vk8*f zPv|6|2|b{IF`&h4>121&>~HHS=Vy5W0Hg?MI0Xo?+EO(^I?p1U8WT(-$&|tM|B5R% zT18P@0?HwB_^7`-#lCpd4&I~Y4 zBTBy`16p&*aP@fLG{MdTj~zL6esJS~HmDtY#9#^3Kn zpFm@zb;9u4EW7U?3Y@IhLUy*v-(Y3p3WZ){P>3kSU~DP zAV1XGA=aP?#$Km0m|V&Izq1C?%0gHaqqrETaTxF?p(VOiN!LH`75z|RWKx}vBDa@V zK8RBr{*YiQ|Y8I?uTSRTQ&Hs9<@l^TwP-NY} zB!UK5WI;g6KkVcQHcSCvN0!tiN`;#zum}sOuk%yzFXz@%Ai;CSu|O^Z>|%>AHY$7 zmOAeD5d)zZVC$I|Y=~DdYW&m8;*~%mGbh(k^m8{cX`s!~(lk10X+n2Er0?EdhbNgc z4|=19q$M~QWzC~!!R5)GKlW{?XOr&FaS7wT&8L-ekSCqqH;5$o5N6k27({Tq+Be3x(mZNfO?`#l^*D%rpP6i`wzOKtYlhRTtN^#k=HCpQl%z>3 zg|g**TT8~du8z1|^ZN|PIT|AE3gSFYv$p<&FI!)8MmDTyhL4v&2 zvH&e~(=Px>2b{4N#MR~YlHx|y0kqJ3xtab-Pv!RZD4mtPgU?p%_W6-*M$h_W;~~!B zuH!pIOB*iOru6JiHXT}4y~1ls=gh!H*{joaj{uMo&PxH{--R))Xj?BtxeExMXjv<# z@c>iFb7_|{Ka3mk=!gw>u_B$asITz!>6WJi-~`wH6w&gVRK$Mpd|u|?q54@{$=5FUs8{U=zAi_O7X zqIbT(MpMk&#H~3v1|FCJ&uPHjo1r=r9T&n!EB()pWGyGAIU%O6*PtaB8wuV*!1{6*i6(GCnoqnQiIjY?y(=vK(x~DS3%( zn-JxIEY;^zyxkj4Qdq6U?~te#!G{7XcQg4VW2ke?!=1t6jgqGsEfPZ8`BO(Y&J?_N zz#j_;i2y8TjvBqIZv}_%UB1_x!luRU=TeYFM#XU~8qQ~p{Dv8Zgc16j%jg;RVv)`Y zI5Mp)PQ!`4263NqrbECRvTEenht_HtF~NajY=$MFZE!#kN~HxjzhoKn7GpBzs6a7P8DljYv1X_uK#_6c zv;b{6?_8iQvB}6ooc7}$5Nm&W9Iu;ep^fqjPBE89=!yvoXY=wuA>!`Oj-)~& zmCY~DB%()2Dp1i?s00}NQMm>ZDAsF z2A|(!?nJ+&Q8jw>Y1H2{Ia?eVOtYoY2 z2XW1hTOI8WU|J7D4+E``4HF&qgi-R@axeC1S>q2Ra#Pn*tGtw;6*rc}pwG;qb4 zzW+XJODRm-hmX-pRjMY4iU1nkO$?61^vzKD1Ow5dxpe*j)VDpZf8FR?I`#8D{gXA) zc$I@g>jo(t?I6=kTlvV&-T@Aj@O~z#JFP3!SJ@b`Dpt=6SkTB>YA(>A9xh zuqSI8pLHA$Icd=|2t{xonpa6+#oux=W|jsE z7`}*lXJ<1s=waaf%$_#>VCHxa=1OvL`Yt(u`+OAHQtk?syDm@Nkf3OM5KhaC6kF5$BW4<1ozLSdi&yjzp3)G) zM2{36T|rBRCdXukS0xaNIJ}vL0Lu2f@EOZbL?yHjNzvVjEUsKMPyDc44!~m%K6Mc=R8jS+H)K4}${mSUb=0jBIL zdtBa64O+IE?$&7(;MCEW?5v8Ul!PIMT^zdB6JF-NJqakwAE8-}jmU(hXgQcgaVR{$ ze}1`~04$u#Fjo|dE|DVDY4%Vu7>s;$G5+tTG{amA#}IM02Ql_lO_BRKrMum~j$3Lm z8cL~_L!TkvAO37h{D;|-p-K?y!;{||HJ*T!O3LEYhuM;oIbRwh1l^$+bJpn~~Z2)Q!RkNL|GJS%$YO2<5S-BbTykJ~)q0 zmu{X0;Kn7sA+k;@NrHAhx<*1zILT!z4>u#rmwifg+}Us6E8}AKlPcU2j2=5cd{V9Y&CGe0SJ1XT-2EtsrXT1}7lOdxa=d%WZq<lJj6J{SNusph{?D z;eVN?%i@kaxi_1tBD}8h{daFf*w5)%6!tO;v+f^c1WFv!SnU3R2ug%RAkdADqq_DV@*Y@U6%I zm*D{y=RhJru#g;?dB=)8(p0i%l<(h-ct~qVXoKYSRi9DRT54y@6)W~FQCSk@H=zx% zK##KS#7}2k-?(EA^cA?8rM7P&%$IN54Tc@CM!S3T$5-8obfn(!ZhxL{kBw74I8NIW zbxDwa@4vg=aW4?Xspp@$+&cD^8!a^eRpx7*d;LvdW+AzXBgz?w;x47WT%OESF&EdK zb^d~=IVItIv?}zvyxg^4MAO@h{AD0~$y&F_Rm(C&=};tYWUgygRPLJwLxGN5s(q=m zMS9lnS-?0xjeQ$9w&GS8wq!{Dd#C%?G0gcJo>B8mohNK)3-}i-8I0l_S?fq30O8bH z2Qa8u4SL*gpITo(#tz9f1dK;sENmmE!^-sXu*hAL%_CypRWLN7;N*K*EhBNJLc{`=Ia$+ z<;XUs7d^UL5XpYt)iYVD(Nl-J3eST0V79rms4e>?y6NTc%2}Crs*op1=oigHFf^{# z*+WKtV&Ja~XoUzGwfLSkTUad37bc~aEZ^YkIX7tx(4~|_6UrcXk(6w!xtFP* zdHc$p{7;?I|Hr$)d0II$AW}Y6EAXj@PY(u7AxtbFF=s7=MYAhaxh>Dfwm}=P6D@L( z@7yT25HiP-8|Fp6vjz0A;P@ep1^7GK&a@F_%JF^<9}bnv@ZK|lrEWIjs{Z2ZI(yGS zcX=L`l52v}ZTk4O)Z7=-G>2QwJ7Bf#{T$hL2q6Nfln$H}cf`@ELd@J-n2*Jp<0ZhutdjBnkVe67NkMz4rX#3AN##mePL~wP{ ziq8h}`<5r~pPQjRYst23{?WE0#x^(FvlC(`x&L-n(@mS=If9lo?DD^frPr=c;BcE; z_Pe{i?4d<9CWJ})J$HB{2#77v$`lk_* zn*a{*clTee37ezsKdtZC(pSFC_i|;NQbbZ`SFhS-3O=-@Qqi^fVV@<3);t{B$0ZIw zjzt()$bHkP4ZIL`;*Fr0MA9tZx4+{RBFC&Z_VtSoC>YY>ZMr+cO0?W2(EY??^`(3mdk9t>$JP(zI8<^j3nAqo5c>_ z8|bc=1+vY5Br+u2 z*_;es@Hbwy!Mqp+uwEW%DfZyDINs7QZ zXb<}3f***HhD6v&GX0e0T{DdEAp;nFIU;2_sEw~29fmW9;PUZU`N)@j$nl-5 ze~@Ss~9Hvd+<1HhC>RtiH(M zh$D}Z9Cr5@S`O&fpoiX!*`B`l5zm<`427c?M;v*OWch4n>W3|5k0%%jnIs9rxTV}t z4!e$s_4@8~lw1w~H0MMY+pwPi9MAl$HuAZHs4dkwijQ3I_)bFgVW_S2>qY=Rh94C$ zs!&UI@(ZvQ->DGp7aLu{e5l#}be~*#WvFm%P3(uRkGU$7mx6^xMsVTZV1_QgXtN{h zk)}-Ebz=yCC*i;dG0YN`zn_KB`aHou`iQ%Wj)6*eP2 z@0enUa}D6?b~H+XqZjza)GEW|Yy?j}vvov$ya%)%J2{jWi6l5B;*eMk?MAg+U(_K& zP^n>T)x>3c;~lLfp|)IIHYbIN9Y27N`tL?^je;D!ORe6&l(nx^O6Mt*u-jy#B^Zlu>m3 zIx~m60w&=Zk%`V#J>KK}(GO$GP+^BTT*= zUMHu~<`-y+;wywM-xxS7UR&n3ZQeF-ka$fyH+6Svam>5&F=|d-EDlM$-&qh#j6keO z24DFg$Xsvl&f~f7|G0XEakB0Ax1GLkV;?@pIHXmitc1gCQ1M?ocLWsIq%MCUjf9yi zOl)t;ntxL30-2;eBgX$_x_;jEN{%%H4bFI}O>(gXYqF8Ej{nKNkV8UCdNTv6`zjyi zoU4{ft~J<~tX}yonCwwGC!@Wv;WX;lVE}|>U`hL(Tw9rlm5^%+cRvhTVQL@wXlYj+ zmyLYt`ijm^nW|;Y9D(+;j8=SpC8R0ee5<+eHZRc)4H8!+8ylIOzU!q1T-96on?{2S*>NDID&-zffDNh3=tsqWJ9h^@#4v5uJ#B)a-me6z{^mwT zapFRn@926zaWcsZX=$(Q%s?~TIXz5A&Cm4QKE7T(7S%9h|EVQ#g!@sNRfg$d>HfbJ(uLumr7h1 zBkKLiambz))wgBP!o+pqw*7!N`1ZtZhrja}oV;axRc*zAAaW27#MXWwg z(0pTkohqT2JA{UjENEU4rt%DdM4{ig^MYvlCBYuE7d~~;N&Z58oR0(@TU}hU*K!H> zSwBgVEdugZTHD^>FF3V5d%`Ts?@QbmoAI6&{5N{?_t;)SgW8t2uNR#6yoCACpVMum zM4J&VxNkQgwz9bu9IG=-?NynwwN=mFy7uTR*p~%pPI|6~{s@*~2uh?@YMQO)T&o<| z9Uxc~1O_LD#QS;9Vn}BNMvQfj6QIG8ltbonhhuY11ePTD&yhc@&-E7EkAtU#`!cLx zrW}&iI@p0dzK6ZLg%zrt9s-u66$n@bbY;#lfh}CSlMPzG@Af}HelJG%{Z>-tx==r) zNc7Px>3t1Gdo$dedO@RWqP42}-us;bMf9Qi6D9)uLcqCVev|KXiu=JE-|05_8szK~ zIUd#g6o|ZBU?-z`aWMwz(>6upB%mB+)r!2a~u zryes{4W-bs>v`}$Y(&5Sm7jo{$v~z3$hG& zK7bVab27(aQT9C!5F7`sp4{o~Qb&I;+#0byZgIRnr^nT2*aj8|nuT zkd@;Egj5#}*Miw=MEWuXoXSVYv?$ur@{i8jRD-R&xxKy#m0U(fTi4*x>;a}_U|{Wv z?TL>7kxI3!=dwN)B_W?~(te}n**n*5PE;)81{GwVT0!1*kMYTiR!n(FN1QA^r4p=B zR^D;Gn`pIO3BF$n~%h1MQx2#Ypw2rd$h}h8r#gH^Z3e}TV(KuP0{B^ zzE=pAU=(!Wgpkgm>Y$GF5|JAZItHS(IWd+`M*nF2L7=v(hJ>NX>(mu%IQZ=WUN`NV zhrt`jC;cR&T_snUTN&$n0}#)Rc5FayhK=c^0WKSl=-?px8krXFi% z?zEeLEzB zktGSTUX_E@pUWCJ=j~76&FBc{k>D0G(dvus{C32DVi(y+R__3VHjdEU+X@oeyb1De zwRpF@60t05m@V+nkwe#2+V^lxCE~{A7c+V+v8t}6SWIEvxe-TGtCVJNqU#**YOe;h z!foD8_+Pd?9Rt@RpWj7bM`h}fyAD4Qv20eCy++M$4?(I!`Ps3t5foho4)$7Gd!*+F zP_<-HeeJ_AQXzAB&DpS(2Ts{754+lklXXYK-2W9#CKti*`0hOW3;^+0PyB+ueb$!~ z)nXI%Utc$QJ_L_{gTp~kIo!`pCsEi8#~Eg{M-Ih8fTkeh$y#Jl0OQeexO01uS`BdL z#5BipTUQG+qN&CT3wwqf9Zb#+;K>+VdWV8?6FATY>PO-ZjiffC>aQs~S)Tr7*ob(x zcvd=X-JIRlDKp?pt4^MA4=rXIT{_`egZCp3`ZRm{v$=r7%Hj_}qkcoy-0Yf^!EohZ zSy;Z&$x+}3M?ps?V+^}yEz883pZF89Y9RsMyD)`E#c zd5oTvjLm*hf4=DQZ{JSj_SI0T{G_F4sEwMQYyB2F36Dck`^9%Ao3{jCmazldAR*pE2ZzIsZ#G0_^?#nHw5sNw4c~j$cD<2=DSW-oO$mM42m-0E5VFmjU zI>l;MuA5T0;COghRT2hQPpM_ztJj$OEDjf%mMBqqPpzX_y)7--P^X$P-fo@}MzH2E)e5!MOC`4VA^bZjQ_p8Q?(>tw@-UxU1{ zU(kjkw^&1Kd>2wyu9NEW5==J=Ru3xPll!mp+UBl8&ywy5(OHYfYHFHepaV+;K->D> zG0JIk;7KSatimGlG-lfK2+BN)$)l*wH>S>zP-9okms|e9hXn|rvv9a;yYY~IDML7J zL1|~pu?V{dNzYx~;;a`QH$ugH9XM(pN)B4KBK9OldcE3YPbp?eRSlZmAcDy(Wh?PN zC2N8{MDA9pp&fm+1ci3VZ4CF?l@U|$av~77$;H2p%{)^V2_m`_*@~bs&_(E?Z8%3^ zf0*Qj3KHPSS?+s=b{&l_$T#{MPSecEY5-Bza3{jSV$?>fp3EH`>-;TV`+Y2+x|w^R zaO=7xt6l%@(*4m?;80zRv4d&5#%RyF>t`(R(@Q{YBW07_&am&cFz1tUVTlYO;D?=N z^vZgFw^`m*Cr3~Or3JNKeBaP_9N}syt%hRJ4Y3lM;N#7ziOS7URbL8ALuHx!6|sqMkt|B>|P=XcP-1XcH&7 zdSW_tJ4D;uc;5`OzMtt^cKRvVmAoER!=f#@hRJGyT)cuIImJYHe{*@>a`c@m{U@oU zTHPP?shuD!!$qqib_SZ{GZ=>Rb#=6N$=Tj{c+*wu%l6JW0gk|YRy&z+IVM|f!Zha_ z8Dry8!^`SCemLJ>`B5IO9)h)P`{SMObJ>g7M){|z6vcLEn~a#bWluJg^2{AO)eN{V$Q0so`bLdyfsvy6cVcTZA8Gir;kJ zTI%lLQ3LeV2rI@tni2(lnOmLKRSQA^dp}5OvS+2)&v_H?Vnk=w6&MdQ9FH$XS>3aOusY#BQ zLpJ@ynCTfD-W&?BGgIva&Zk)SEEu&Ud4a4UR(};y+?eKU?Pyx3KD^EKJeTk#A)s*rEI$AjfXd9@`kk7){XH@5bteWR+s=3YX|YcdX1GP+BP^b7co#yG zTrn-%J5tJ!5m=ev4OBSRpnX83FS-VH^ebMU%LGt4%`2+;Kas~hF-~HPmvh-EE8qh% zSu}38Y;?DnI=C41tp&}4bJKkfVY3S*@ zS+=b@$z36vgYQvXCG@Darvy3}vj;C6Qt91ZbB$Sw?pCee*VlW&@AfAz!YYa##fQ}y zx1u}ua`BIjjm077W^f)n<*w$sQW^y!fLLHcI;k~%mH#>!`sa2y@}Sr{V%@OMKez7$ zte)iafLgYT*fIkPQC|vuj|`~pT=Dp^PT0~{VwDk)^|fwl`@YBKw8ORw@y1AP(_RFN zSr9_VHETPY7SU&|Hw(B#)!cpAtI;Kd1_vtLCkR<6iZc*ySk zQZlJ42huR)Afd0qwTGAM7?a6-1vyq&&N9!~I0GAvwroFU9R*~ot#bRUg!FAQx=_gL z3JEIf^1hXSminROW8Z+{pqrEUA%#cUG!+`DDC_U4u}>2<{e`TNnkexAFLC&_MPYg- zFD!D*Ux4n=bV72&#ekmr8CMH6ngql(YX1c*(r#{!&5m@TO8YrNPC{VDC4*8X_NAYq zY*H4=qjHc?ZntD&O6))$o%7!VV!69$e{vmp9ydMZks82I>|1}raMV_9U`B@hWG3|+FhI0 zdtP(5^{Nf^*P9l<)7zgS6j$%aI|F9y*)jeVC46L)mM6bWtLARqWd-lV6%~G^Hg%fW zc5Wl$z#1%SlIpBoR~nR7@^W*BO#g!N8m&G`^l%9-ffY$fb1IMRIoxw`!N7k`aVLBb zjSr92HF(RXZmtP+o76clhyh~QBba!k$y}q>C1-#N55qKpmOr`%$0Q$o`GS;*XD4iReEvG?QPlSx&Si?X+r! zw_W)Prxc^u`H%HYJe(bPEw+2`_$ozpUw(`J;J6x&qCR?q%`F)l$zNwBjSY5GqR9OC zFZvSQ-5EgSg}HWle0~N-#U2Ea{6dwtSd^&XfX^Uim-7)Mm!HSJZwmWV7vCE9@Zvg` z#y0{L`A!1z2@a|?oqM>Ff)c9@B2+$dd)mF>jQH7mvac64tP@yKG;rULzfW`kW8CB|k!o`m*ltLAks7=$p(fe+QF9`;YWyr=+Lo@i zB)sJ&L|4;VqUOAiU$^5hcNr(^)^UTohcfH}3t$;+f!()+$Wz(NXB9(Yk`BOO+6FAi z5}2b$^n+`VR$j%GLYC9J;cMjLw};nDA)*sh68jyCc~h|Z^7;oun^+FFjMA!P5#cDV z+tohuMOG-R#Ke&r f7fDmUCD=9DT)#GPqjy$+`%qC(=A0*vj-$0cAD#UnVu-V?` zdr^3hVUg!N>C(wwOhl28Z(%z|w|7{KP*=Je5-a|dCBf>0{Xu*78O9 z6T-%{YA*52v)APg_g--)lvZ;)fS#RKjp6A7@#rAql3qUV2!yGyqYKHzrm)lsBc>#u zpWkM+BSnu+VdzX6?xM)p02Gl$h%{e^9R6b#WBVrny#<*se*ez;0gh9=D~yCz4w6R} zfaE;%17E@QXnLBdAt8}HDms1oLJY&)oHXGv$g+ororYL<3hJK|s1|8EI$17l8kYGS zmn=YIQ0!-0*7_+k15~o2WI3nc>T;T9B-KH*NkkL^W(~ouH*|xz(-0=cp!6BjO7QRL zWK2fHc(mk;@nNomi?SJ9-u!fo4?_lMyAZ7zCkn6hNwl{yzkm4}aA|%-Z%>@r5?H)| zn0A4r#~=vG5TTM5rh}hnl56LE*~h%&HaN+`O}zG+i&0TE9gph--L}2S^9UO6q%ALI z0lEoBehV3V?meP-QsOP9Sx59>UOdxBL<{i6vaslc|t6+|Rzo{p06>l4n>nVl~C+y~Me5C>zR z7)pdy9C4G@e8RcQe|E|HlW~^UiHEe2q%NZ(+0g0GfZ~8d>(4l5BT|O$#o4R!zYn2^ zySB!~8iL-`pO>ElmSXt?J{4twmDI_whVpR;;owk)< zAANw-yg}r+$H2VL?gM9f*&{HHtz&~fc<>kC1{*i(Jc_g5sO}932h_K3FrZ7{;?5o<)f}H{Srs^R<3D28W@p$bw39HVS8!D4b>LZLWqkwc()P+68)S`5d_@$47RsqD;{nl8Mq4{)ci;$oMv|NAZE~ z9K2)ITgU}jfF;DvFu1eNfwNp(CXlkT(7vs)$iB$FtqRT#X(e7YDVUC)C=;oe91rH3 zVr%d-!JnvW3XW!0+M6H#_)y_NHm-p(9{Wfn4> zceFXX8Sgic^P%>*K6#)yZTmU#;n~JrgX@eS>f?bFYxm~ zyPda-Om9@Zkj{$_4S<^BsEh;NHMq}NT=kiJ05bxVfHObC5JlW>PKJeDK<=5T0vjkU z#Nj}(=IS)iUtC=XdxH>fE=P~rlKmB;YmSDj7WY^Y#SuWGo!mA5#)0}AYiiF3D$wX^ zU6W+GTBlI_22U|S^innEX1UXD(t^L{ar)Y5vx+@7!EqvT?jzLE(#W|QdN#}LojfzI z{5#78n3g@Mcwf7zyq%%sY$C^a{45(14U0sHmZ$`cy*4V58s62Cue1SH80^nM2Fy<^ z!q^#26#q(^dp-~Ppj^uF1&zmso(Hxv%by{)`m4*|KX<_cpwAR{P6Uf{uaOH^j z@kCxmUlwwub!;57f?VtT&Hyz&J?sPiZAy@=dDoOHJ;+&S_N1%Ym>&uIK_g!7{3-w2pW#U9Wz66>*GCf7DZ%8Vu zUvB*w!`$m+0X$=MPCSMsk#^?k`h}7m`n+!2r~=MUhbM%GWm7^;h;7|6vF~Yuke@SSgL$8yuM2wiJb<}f zM&L(svh?|g6B}yMJsbA*T;v-zE$KWqaH7XTIa<8n*e(DurBVc$lYb$>%8zas0Iyxg zJ)1fK>pJ5@ncu#nJhm;!$3`HBy#tc!m)nmRnVb91@w2&y!RhhsHMS5hsdG;6AKmRQ zq99oU8bEik^UZn54Px8&rx*+96*(S2$WdyRtTw}>`2e7~3z{>1`6yUi%u*HpF#?|M z7D&aAqS?3a)#61S9J_g=Z^Z5>=jZKeWui8BaGAn{h0C4ttBLK(4s}+l{f|qgP6kLI z*PjFONVi93!zSGexuhGRLTEV*sAJ<=v%zfCgawI1I01giRsy?lY~S*TPD9iLy04=$k4Y)^>u+a!!osM@`x9kYpmL^ zKB=@tq7&uGE63{|VtCn&thMvhCmeFQwYb61_Pmr#=e^(c87W7cUZihHa&LXQD`|mg z>fszo;mut9$p!?29te6=?DlVS@qkOGqJg3yV+u{Q0sE4OL~;SqZxD1@2hgJ9!Y`vj zGcIoV8F8k)dt~3(>lt|--eaTO_5SstBo}hVdMe z0&8R&?5do$)&xhctIU({(MmdMCmhYxmAM;r?`2;z5z{+6Ty_hn6uEGlf?@VNH|sug z_h7ylLzs9mB)Jd^%u*!)LT6E5-S-%@c3wBEr6{p$bE;$;L-gkWpeDYmKFrOSSLj%T z^;$kLo&7?BmHkJbnWaK{A>a)4fmTTW8^5AcJ8O9(fp8r}9s7Q`uXL;F!z=~kjXjga zjTGl&#vCh^WcopJD9TrGne9AzfjvdpJOz)V=FB)NB>q91)2zU`UF7)w;14INo6}F4 z6VoEGJ_Z&3^GKfV7K0=)1S2Uw3+jAsyc=Z*Q93eTx=-H9pW3eeg51!h^atcVp zs_u!Ms>o|A-lJ98liX&WMr00^AM|JkDs$d3W%C;BA*oA8HL|l)u1A_6yTm!R8Kv2; zs2BeR&~SBLvcV_N>75U)##qmmd{8XIWyH$E8pjF z3W!%d8~qxS1vFb7yD`Hkj(J(pIDm;~e&XU2UHBmD@|7zFKQ<H4Kryh_j>EQil& z{NuU9NkOlVXi9M*woNYH(uzVHEEnBN#W4U^M@>CMmpDkjx@3C57Cjsg{Og+9ERU$lMKUaQK_Fb7~`?=ReL_l`l{8_ezM8yq~J z!1Abu;7oy@92}zqP@iBL)8G z_GrGb7wULTet-miHtmwwW_*6>8OwHE!7MGju^F9q{?in&_u@M{EIP>f2BPL4=&s*_ zJ_*P`k~YpKtw2-5GA6^Q)bI)9b`D(_T}c4_lkdKldqBOu1=LD};>Bgm%Prq<%SrXU zbVp3U8tc~Y`5L)p%vsfII!Z&-P9&}oZ^6bRpcD()By@t&v&$|#dHPGDTH3F0P_b0?sLQ&I zE-v)ygVq}p`y%l5lKX*G7k+J3{6TQ zMUr8g=eY?D$ebah%v&V0_+6{#^Zk6!dA-j0>->AXUe(i6*?X_|TKBr|>%Ok*uBcfv zk=UD9Bbe7diBi+-1FfI&$==lV1nLwBl4r)DlaYN?ONZMV$`tRtMQ{-=hm9lmJjCZwT#-_iDE5` z8zsAVLh+plhGDFI^}YD^eN>-(IN&N*?l-752Ky# z!Nk`}BV#lZ%m!l*jB&Uikje}z&2%#ucsft>P4jJzd(M|lvv2zWP5#4ahT_{1Ylv~! zeejvYK_J|sy?y&=fGh@vqfLiZHbDW+?dBzs8e3`8d6eO;>p$E&Vdm-Snj7*hstj|^ z-dBqZ>SkDvR8Gdh3gQYuhwUi=W}NF9XoTP692yJ9jFW-yPQANjmphAddcY^7|HzB5 z#A?Z&r*y&Y{9rJr?^Sc!cddzM1K+awc###qi*;)+O%ei7%&@{F2t~pqhq@pr@#CyZ| zgZ_izlpS7cB1u2#{^r9xyG-f@_c#fq80I-fM?QD7V8r>%6_0%i@91W%Y=6~H_OAFW z2O0SaWYY=}=i9Q0!05q!%o=Yfb&bdqh_d8ff5xP-JP-%Gz~*NAh^!YXN#!%pA38hyJ(Jv8Wb}_E7ncz@r-JY9G+7oZB1Tf+!~Si8Lps2)x7ebgyG4OkrCOC za$&}ZZMH*=!(Eq<#%!>$w^x2(qn!E0Z;2FcfJ?H_oVBHA6TE-BoQtn6H|b}bidin< zeWOy`^acJ5j`F+KK1Oz3-zpH-I z;<5nXlY%+`Vlpl(TB5m*4wk1;Te3TH!3ufAn+f!q;pEiEL(_B!WJe#iG)MLW=_}+N z^L#|NtK9Ke+t=((ws}&Vn`e-O9OIV9qY-}f*+%EAQ<#j7-TSMTeYig`9u*suI1HpnAI;29T_!(Y zzc>EJd&X&^RWi%+#U;W|d+-(+9>Dr5ipS4O)kZBFe}{df=UstS_o%!P9E4^WCEEbi&AL z|6Qz5EEcqws)(&Cz93uMIH201cp!l0yjIPvM6nx_7izR^0|&dQHvbUyr~-3>@8Ya2 z=^W{!6`6`ys5Ir{Kc+Eg2vu=|&BXU=D>MbFb4(ddxt0&(7O{y`G>pwbPU?ao5(@8k zQ;s%R4fPIP8ICn3l=R2P;60bjxzFBn4jp3?f>u0tCCxfqn>CM6cI+xy;~f@pxW1wZ zI-8cId3WuA2+eeOiP=5=fX-wjZz&8-vbJB0)i@I%jx_pab@2+ArL?$!=pyaDLny*nP^=GYoHp)#JcT3O?4jS=<*t0Oy1sgQ_nu2eXU-Q#Yc}PIja?( zpFl`Ab8~e74c6^>EGIjACX^DE%v*lHN*2(Ho%~3oF_I%gQzy;totAa@?Sj~}JYZ{& zl!#*>{+`R(2PA{IXagEM3N^M%d;1%nj$I=8c%!KJYE|w$L(<+#!x>Js{ zXE1x)wKvD^DAKKJ5HvZ^{#7vXz;9>RAKkrU-hMaYE9+O;?9CWeYt${vIaD9nhvX^) z)*}NMC0@2C>@>VRi1kTOJ{)kTt76Iv=wg1nqIxy2{d5+ux$8CKd5_T_w$gVWBT{o^n(d3wsRAoOrRXXqYB#!t|ZPx#ejmc!r44ZMv4-#>+zPiaCRhKRSYYUwzJ ziG!e?Z2<^+55QVAcoW0pru+8o+Y2cJ@S%e!-L`i5Oh*%sVdFeU3Cw(`2URu_DFYZ4 zs$>8ru4OazFTeo5w(QkrQyAgUz%`N^ z=Rh;s4$Lz)F$Yh0&)7^LrHh-NJ5!H#EnbSf@fb9#1 zDU!nx!5G?YWHbb1{(^)R^>;clEnC1KQCkJA##3$cXa|0}z&Yg2R}uDhZUKbyUt4e4 z5G2^l^gL>cm|oGWG3VGh-Y2nORlB4!6bpe)xiB4Kvhw^ru}Gllrqzkx38J ztSlhG*^Fo1x8yZny#GnRB>1#24%* zq41-p1sEQroodr;I98Pl>a-C6d>4s^N@EKH+e3iD8t!_&-_;0kkQSd4*o+bHTD0L_Ht6dxetw9l+LW72F@WV8DWq<@j8%`txQt{EGvBl-pa z|4RgCD+V%-W}Q1z5Zc|Jj;cVqKYBDf>K3(Og1zVu%f4m^aX)X8=ZRcK*@K`_%!as1 z6vUk5fRMnki9#1ld34BV2elNf)C5T?7Y~M~RSaSJOU|jc?Djxl(a+1#8uCnitAIg3 z6U9h!OoV)Ao?dcr)y1`8Fg-Yi8B7V zgl=G8R5#c(g2R*hi9wC2$~DwnQXgpU^0>{ij%v2#H@N!K!I@33N6TI#s5Pj3 z&X2M@Dk37IJtX%-dMh0hs;&$O>Fn)+V>J_bzSVs3N#qMu8fZ~=Z&6yMw8MfZ*=IQ8 zv!LlE+-9FVrzxg?`}BK4{?m_Gg=C8mD2K^S)_wWlj&jI6KWjkm&3mh%0~Cdy1~AF(Nm=V8W4K|DKoyNxRm?OQ6{1S|em+?H%i4L+ZXDXa07QRPNja@uv z#-1*g2?Agi$2Ni;?awr@EXkONco(AjfH`OU40A^DRsw+kQL| z0N32rg($@q==G_8uX{2MjzvN4|Du+dmW_Q}9-(r?Js~pgL zAm*s`+$g9;bonuS4&yK?VOjdF6Y*C}I1n2%n3LWP^Rrf^i4tI1D zNqeg=p{ztlq-8+DW+acizn8BuCy#p+(SM8FqTO-zjdK}cI_~~AqnWnMc+M;6YyOj; zmQ^diRqLVUPRD^IGMCQHA?|eL$Ot>i^eiIpa`fb~e~|6$cZ4#=jO7Hh5gdx8CB6!I zpr9uDqe~sQ=u%g)P2hVyN2)s|P~J|ka)Gc-~K3-VuTD)9|~Yd_MYdtfLb z`(wpDW?q!w@7^P?Dj1aYH1z>{!ECVNe)Q1}$&+zuI536Vak}-frBV=KudvS4tH>+r z54(Hz@YTu2Kj+RaEfKVrvDD7G(7LNa#{UOc>bo2cF&K0(u(|PnIu$!Cy(=U$?5*5u zQ_c1PxgynIAHfw016Rr!6ht|ln#wDH9(iqVanbse@RWAsgJgc*uA-7Q6?4+v{<5kg z$V@s>^GPxt3s9Gx0hW)Bs4x@|)2~HkN-;BHtt{4#uyr0|?T8bH#X%%#0kCK~DOoNH z#j0r{XGo3eF$mLmgPnG~hz;VJdvdeJ@FxnVm#^iWzo{;ok1h9h9|oNANz19o`&x;) z?bfpUZK-nf=Jx(wQT`j)mxnlPTX}6My;?LdNIeDC31hB~soaUZ#ht(nD`+UFi zzYU4BZ`UR>+vKep_o~jNMedh=d@VxM`2|CToc-&BAeX|DQf?9FXJP3(%}}DhUA-)> zLL8({$Hev$Xoqa%6_24geK}d8P33yq8d^8Qym>9dhzt8c=FN;ANEg*|YrCay-pm!1 z7(XdgHqzgw!uaUAcuGs-#EH&#j{Q>^dbI~#3nGl`TAET=-GzffrZ~#6pVUA`4ITKO zo1QTBF@)aVlEruWXirwnM%OY*as|_)82ufkR}T$K58pBsNK9wh;Q!(&O_zl=n{!Y& z$^5q;6w|2ye=eSTfLthR6mXGrSZ9_{D?w(jm2kc+>fw-9R?gxl<|Fs-cY}|Y2lr=t zn_KoboT9H#vz&6Q)yIw|ew`lp{Q90{de-LwVJE}MYLKxVCE#tmNm!-KuOdijx#Ah+ z574ulhRL+16U6h@E>QBO_Iz!dhKNPBpGEFKha}4>TlFg7vwI_IAIW@(TNYG$jNFp2 zgaiAX_2-L9Mb5LIW!;cFzu@ZzSY2S3%$I(;LDrUK?U^rOpqY6UC;0fr2HbT2vfQJs z<|eveKakI0zJ_VA8)d8*Tgd?Ezbp8=N9X)#oorDdKbDrpleeEf{N;GAwI$mZ_(@KR9vw?f7lC*UTT^d|Sx4c4>TZL8ztE=iSG3HZ>n3 z_onstN`*BAZa=)Kxif9*9Ke^9SZb#8ofXv2zI7 z=jmxeZyXKY6q^3?2kKLe370t+^ifA^6sJw|FiCkDKwlvuTNNA{JZ+T-`l2J8XB?q0p<-CP`>l6bU_5+q zBtxo-KA{)Uc{XYo_3o!(YT=Mr(Rom(M=>Gl{hcSA>Kr0EWNx_`^r{`Wb4-zZnnEUG z3QdB8_pzuwpF`G3y@DxFJwfq(et%ZeaY>6gkVj@9pe5~rG|JV$)cH!$j|h_v(HBuX zlb(3O?nu~EyTprCvw&OQ7g|S`S(UmK)hh5cUsEeGI*tSM> zqsoAEPTaN&L)g>YlbzSZc%V~q&Hz^5d6;s*|JWQ?s~HmP4#2g8;ON><+c`GNU@FDw z4x})h@PLSVxljC?1vI#wz#%)4p?08zr77)ed9G@u0W+Pmc>o48hAsE?xjMit%x;=6 z?~qn7*S_507d?+!p^dh;KWgRVBffs3I6?mAfjar-qpUyh{anx0JX#fMShVSLhP#^n zDO%{oS8W1pTa$MQ`=@;OxIju?cc+)N9uGa+lRaGEOp@|q0x<1HATb%0T)FZc`;^cP zP{-SIX!*ACn8FITTQS2)$<)ji{Vxj#L?3f(v#&SUj;mYkhJ5a8Fqs@G!QzwuBF0*V z@!9cEaJYYjMsZzOuor;QtVuBgp$j4Hz^@OQd(m-0Jxjk}HVsr_OxA{*D9+S;O8g^61Nal<$N(Hqh(TCbSEGb?Tl;$fj-DeGE42hLq}%+ItFUcFX!Yg8dk@_yF~Fz-X7zf_}l}QDfCR zAjr!Wi1WX^qiC6R&Ubn{F@v;bb`2%%LFZ3d00gz%Lt7piXnWu=RV$^vj}R|Vwz5$9 zapIVw%yFCnb&!xpN{K{=nOkr@Omh7``srH>hCD?Z;E*HWaR!aIUWZpQ{CQ}E2?z1e zE#5{ercLI+!#kF%9y&m;Ba(6XNoAO34*TcU;~e2*y&A!vCnU@YrCBT81z|$ z%R{czk9OC186$V3DJs7Lci2nv1!;`cTk(B3TN@v-fq{8h`rhNy$$AVFYi2|q+Z6QM zv5MROXC;HNk_vt&JJ1A}7uG8&cC)|%Pg$E!f0SJiZd!6gYariO&>y4OP~+tH5k3$S z!OxYxw*@4dFm1pOO$^kaxIQIU$C29HBc@rh7cn+{btwM&KVO?%gY8HQ4Hx=oZvo?a8obWTm$>HETQ zCWu?4d0X`e7>A*-EL6G}GiFMqd`0QK-ALs+CwsA|$_UKlZjB$ip7K$lC2Bz2;i9k2`g)K=NlYu`Sp0M5W%K=)1+SPmCG^fPomztlRavw_U*7_-P39B z5YbN-*OGvPyF1ozP6aPWtwwG*MR-MvU$oOJHhr@`OS-j`D)p4k73U3$7+x+ZVhsxF9BOw99y{yU#<$LcJE%FE<`LX;r6RL6-a)jK@;uPpE%|a@s3I-9;oP+Q z9(AX;s|{4aA6ykRJrEbhJiT?gP+7q|*1ot5|L``pxLnfrm}8|nY~Hl5dVvqlOYsPH zX?#3vmshB??K5>^Y5ZNBTEDk zUg~vJa)?-n%U3Fs|xV40XmDR(p8Y=FH?z)X1mq%Mv_MA25y12b06W zQbb5!-e7xRFUPfg4q2Sdi@hOJ8mM+LrUU_OWZnIS=?Zh9bq%J}%pN%lz2&->4)w$A zUxY9OlP|1Pit#tD>F;_i!z>*p7GRGoO{X&P+0}QAD4}9Tyh_D3CB6!1^V@d&Byf=m zD-BN_jxEs^vC0AJC3^7POWKT&Yh!&F{ts*DmQ^wtxU@~5EsqT-B}i2w+Uq6f*B9a zk#}-}x%GxD=bYs6moH*&5E6<`*nE8sPMN>z!zGG4v?*(rH(x78gQr);qWy_lm(yl} zwTCO8zkio}Yaydj(Edj`j7r`4ueC`em%n_MKyN*#q;+2|Tii4cdMvilmWK`W+5u8b zpIs|PEwWJPL@d7>p&_WOU$>C*UW%^_NnD7j%O{zLb$yxv$&Uiwm2^dmpM4P5IRpqU zH+t}Je-AvPUbTr2c#A}dDjQ(Ht?=P%$G=_QP++a9cYD10T2E)!oc3&DTxh0s05A=u zq4h!+n`GV|-WqM)blavTidSLuuDPo(Y!f!_?(%jahE}(cFzv&fwDgCIx2j4TnFmpy z=Z&`_!LSbdJQ?`p!*5^e?9quRF%eM}&6W($bLePY(`8bTSnX<#>-Wwd`EeJ~`*$gC zc(5D!u^WeQ+34d(4DKDSP=v^3OzgT`M)I##FRNooVYjwhd+s59vF8X9f!v?3o4CDW zHGQK0NHL~3?Xi-Ik{H}|3Gl+XUJZF0Yy*C`8Ym)z*ag}glD~epdpgA_2d81BsS=?y zmSkpnYmxg!26rCZan`MVy_IicO18IWI&Gmx7GF@!fx1nY7;`uNkaKMG?Teq zR>#)Y{6ZPde4ou*`y`S{_b83-7r(uSf|9NHWY4LGImI8Y7rvXhS%&NW@?AiBi_U{t ztuLqa(O_R9FfMIf5L;Cb(x{k~FjyLNdC%jg|n|HL<0Ak7Pe`(KUvRCdkY`{nyv@9IECJx{au z7Fi~;g5&`@dN*CoV&`SJ#q;_5R#s(Onf8kZocvmRsiN022Hv=JHD!Ydk2gYQ6(+~6 z?ikuud?`y$vOXW8!7jQbb%=t3H6rvboZF-PY}iD^XmFhc=ay8x<$_)#Qu4>rgcghF z{0*&;30AZTsLSIbX2K5-T*lcO=;-#wxVy~WU}}qe7!flq)|1+MKR?`bH6yKD&q=HD z7N5)wZrhWMcg+0*uwVd>s$i z3=T4M^_thdY%xLq%o@bR+g_sumGr04h{=r3D`nhOv~I=ESMu+D3cNaBsM6W+%?wK0ey`@am!dq+zq#}2iBj)bOTngM+P*y}Ot?GK?3tOI6!oO*Oj9e( zeI}bMwPwc)VK~MA7>Pbt()pQO;a^x;H8g=v^-cky>R)@OyRrFzOM^?TqHVQgQhrZz z&gGy#Xeee4GnPCV{?l3OqGA4d{R4RqNBhX|^#U(skMe~TI;wN{r6$|2ihiL=MYG7J z{Ma&z9ocJFa^%C6a0S~V`ZeJi9#o^J&nyX|4b)#N>JipE>s_vVI>Iel4#~k-H z5^H0NX}EmqXHN(h9T)BwsmOZU|j6VD`PO><{+^L(mjS>H>u``w5ZKR|7(p=%$I?uh^94|7_>&#o2{xdF<2?MJ!lMjt0W_HdY!Td@0 zlLMWY5M6j89??4=p7nLsW!2yp9Vu^&QfXs<5q~hWhJGcV#20-i=UXa(`_Ry4W2+ z{G=UrUon=li}@w-O84aJhJ}~k_kZ$xRQrmy&s+Q-y~DpI&exZ5cWJ0t@FlZoD%TDB z;5t^hvfQkaqD=C}ls9bxGu&A5Ehrbcu$MCqU@u3<3&ot>`pqG)b4>wqx=qKFX5*Ps zUg`2!NUUBZtj%jIkZhKX2b+3p_6Uc1`TYO#kFzi?eReDzlSKi<jCvK!Lv z&)yj#@uIEo{Mr9@%(NXI@LuMhZp%5M#$@@kq^G$}FZ2?Y`sFB-@B!rL3YIi3{L)8K zb>v9P`EgCP*VkkKM_^W=+}CPORSM_)NinF?_`hV3xgS!H%H%F@a-2MIbnn~$W{^T{ znL%rMxa)Lpm>gyldmEiyTvR*C$&#ut={4oR15V4T$*7pp=?Zqe0oD`BdW!G$4yw?x z3G70f$9HcPkMFHKRR8auxldjd?M~|ajwX7>_Z=cDXEt96(mOO(`={;z_d!LEnV%Xo zElj6fPmH<+8p`~ZmM!t#o@}Hl-!~%~<}zCm-zzIwUuZ?%N$CIFs^gSPivAd}Pw^Oh zn{b3*zOQhYDlcrOEI**@b6}z%iI4Jf5M6&YpFT`8-OGTvKAy z`4&P|Yf3l?QEY`v;i*UdEkWxupEyPdCR?7ZjxW_GjW-zw<#7i`%j zEb7PdHi0j^xc_C5!*}f9yUU!E{XtJfbaGmMmWDgJlYTkTYB9xoKXLLAN)R~BzGhgq zm_w`LGLd#`NG2C&(yv;SLDTeH5r57mp5-CjPiDR`SQvkNuD{{+j;Y2Vqw5SB5o~#u ztYIFXtvnY!Cx;Fa&ua0a6n7yFg}NG5rWF8o*6RJCRGssUX5L)-LmQEIhsfFD z60LA-1%$ZdUz#sEF7k8!_uxu5XWu;~N#R+zk89rD5L>an=Gq1JhkbB}qGvj+=|69x z*HuS#7Sh$uVd`8Xdi>3um1kH2FZNWP!=rb&h4d=Roj?HRB%8fc-|*99r+sR2cI{5J zGGwz#((hgQf#B@&mnL^VH5(Fp85X5k9iZfV8dF?Y6h_52q`;jgyw6Eb_4tK=G~qba z%VRQX(A!J&sJP?==2w^G{utJ6}R)cT`6 za8`APh25d+d*N2MjLQ4lg(@qH(?9Vq*;!KkRY! z<#%t=vN#y{zUqcXi+!cR!!+Mmfm4eNhS9q~mDIKPNkoN8d2J_?JAW`{IsJo4i<#q1 zFHdaMym5G#YTy^;sVJWQT!WcZKsV?lL>kDTIASItzAJ4BE|v0S!qx@xC8MWdR5RuA zRJk292YI2n($^Jo(MdO`#H_U0@TB+9ooxgMl%@_G(t)Zp7=QO%sev}v-UodxHzfxm?pY0I*a^MII^71TQ8AuFqU|Nr zv#jjD=&xzqx0J4t_Ip0*sUi{MJsC1KUg(~vpZds5ekN&sPk|xLfjqz}cx*~smm17x z@i(+Y&Pfon(0^-fYm#%eR@3~oa?uyhLkE~7UNB=8H2|jGoq;O;3yn}W+($bGB@4du zVb4Vx7YO}tP(ol6)|!NaQ!IgP5prF21(h!8!nOtV8?rWl&WlX zK}-ED4eGO0i?Xl8!XjccfJM+rMB`q1%bst+o7Sxj{#N-G0LIxa`vtOF z2?$=1f8-{b|3v^i@*(-j2frd8@L3@c6XsgK@3+<3oac%L5ZC@pKP_br|17N}!zDBN zXWi<3lKj$VEL|o5UJs3yE%`pa241pt|A1+<$LE7Ep~a*WdE9*nzR| zAv$Ke2L6;m%_qCne!CxhKK{Bk<#qWM4Wr{f+)I zE*n0*CT}(#v2JQ%@libF&bKjUQX0&_n8c;E#uD95iR>*%=lQD9xyXrQ3oE-v=5!iw z8!(o!d;Sm|2ScyN5XwFGq$xKsPzDiD_cGagZ019{bq-6o67}n;YmAIFU?SQa_El&HrgRG^u}B7rvzvGoy%gaf092^EHfvPLzh_zrO_TQ)dLD3-*T^P_4J; z8Jv%}q$!o3u;&jk`IKrK?WV6wAGs~#P?)Im_70bh+D>$L)W`te3aP{Ugy~*2y1%p7 zw@nx|-K07iFM+BLup5p4(eE1ez5i)~?TQ`eD>!7g$UaCu7%Y@_?SfKxo0l(XE`(Hx zJTT?SKBVq=Zg!qX7p!K19fmH9y#|%mu2ir7ma*KK4tnK7s86G=0?S}Do`-mnw( zLGIzA+9`}z0QPL$(={E+%vFgN&vw@2=seHg8Ojr>^yQ!tWwEn>rME1w#Md+oCXS)R^W;YDZg{ZD6Dj~9{+}MIy*%;ZTys)X=c&8)E?1}eSY;kE*o7d|iVyn~sdgOx_FD`0ZFqr&Q=>q1W7;SSf))j6PN z;VO{w#^|u*_n_KGiz|rULea+Mdd#J&*J~wIn20ozFesk zPb)rkm=U<%UdtEy^=26-Ytf{u+j0^(hE6T7Z-_WG|5d1t#ai4X;XQ| zc2l^{y^G=aSXJmOt=Fw*{TT(BEV$&BMXqQ=>`(UX_SiXe{_=N*H@o!0##eK!V$^>e z6-1cQ0%>oqeDCvOs>4~b{tFNMno_?DcDw5P2RqKMzNfG+K{v@<;=#SKi@=Bk^q*}w z%o5D>DN^HdleY&hDj0Sby+i2%^ zybCtrr-@!vSEwaw4u)L$CXNMf``VDsi@dcWI>(~Fkna>eOpG_x}#XCp(Rchjgg9wCzX4eNZfSVP6_)d7H5dI5LI@uUMtZMh-ffc2KbUSbK zkw(;KMAd5I;4%vH2v-a5@q_>LEiBByrK~WSTKN9cL#fxDt_?@rqi^&1eWLp}Gzr*y zd|!pd7a$8yl0QzRlKooSHYf+QU@492n*8b>wXrNLN{NVPpZWai)02H&rIJ9g4dB^b z6wJ1-(yhg;pQOdR(b$&nBLM2qH~ugAc;Rn&rcA z1GL96TfVAp28y;qehh3REWqK07hz1R{V&F<@`mUMEoh9s=2X;2VLiY2&?+?J%}$Z4 zv*UjNdlv$`ZtLsgkjyV9PLYBQU9WHt3=lUiO^W=)$6Z1F6NDOjofUg02c1%jgoTe) zr5MNAM~E@KI#!ZVw-Tp)It|cjD)Iw4j?s37fon*tR2wpK&Cn*pQlv`~J=nG-?y2(d z$kNn0(~uA%B6`Mms-=XooIpW$|8o_7VMFX9O|DzOg-)FU=-X7|FVPD3a@;l}}8 zpVlP*{ishnp;zBtV2M1A3a)*{Y>!zs+!S&tKk*)a5bCq0DVh5WgVA+mMsM!%SW2() zLR_gJlOcE(bTQ`(xMX z;ffjq%cmfDI+pv>S$?YW+aujLQZUoI$VO1+?mf;g!w$* zgw{I~%w)~NaS;Zc(+navMK2A*fGp1}-#70q(T_9*YqX0yD_>`4kFcAjj-KeA20)Q@ zIf#I}H78zrfBG_4r|P%qWsW0->k!-3voxu*joUPDpz|Io4#z9S1hZbagBB~gW1knm z?6S3$;oHHPwn9s~v-Pe`pz5No zvhvkmLg`6DS&;tKx>qOUyvhC9p3<406!;G)LhVKvYJQ3%_<1h>t?vxhvP^786(@B$ z>Y$8jcjzkZd{@M?e4&dHe!us`gxy8Qjtr}7v`n9#D{E681sGpHL)B|y(ED|9;OR9} zge-}C6A%aaKeRdcg4kg6(krL%vrp30hQc(o1V?k*9kT@c*b_vZ64+%lN+V?*9{t%z z8GIW5fHc2q#=#4%ka1{hM4eJe>nLa-Y%NDbBH2Utx4EQS9~92IQu)kXm(X5I?;L;i zpwIpeH^q8t0kQkKKahD;=6~Y~>7nlw#I<+ylf95y&+ zSgkPn#Ioo^(Wh%8_W`*mM!^Wlo(Dv!m8?aE0J2oGu=goVwOWzb5aBJ1Br0=f&&$tI z9WWBp7R~{dd^;b#Z}c0hU>PM0C~H2m9f{|2jw!J&aZH#Sc&zB>4VylBg(VC5-3ARiSr3%Wo+Eh4E@~mlGJmgX^cW-zvM0BU*YsmBfJ-apA z4J`vKbIxiHdWl5q%n4?=gO}58@USd5b~Pq(Uqb~+u~ujvRY!(EM*)Ur)41DoZO7bk zCygS9`?|}y*32x!og7gB(R&lUJ&GvK&=X<5pb!`{p$|{T@QfYPAS@Juwqo+E8T!+c zE~g=i=>!S*T+BT*or_3|_)Z1!L0-M=Uiov?%TDFZLi@lkPPTLcT3^ur#P4e-=qT<> z@ZOQ2Q_9yV(6Nzffh++qw>e658P~DgWnpgBcY65|NsEtoPJoWp^t*RbI`}_{#?0h@4U? z%!XzAueNv0Fa{uC8D<9F;b{EU7k~FC`(g?59EZFoK2woIBARTRlQhY!f5}`#cwk9W zZ?$d{bCt&CVhSZ(3U9o;2S`Uec?O%e02Dfb)Gpf08mReeV%$V;4YENdQ+~FI2dLU> z48@^Z^_pxlAS|ev5Q@Kx{$w{HRSYpDSv#QuEQTzzzlQ)yCYauP;yLuvailfF5fLZC zJNa#3kx5`pMj7r9goS=q?514-e7qtB6P8I|Nm1SRM=FLOHyEC3HSrOLW9p>6sIot z%@tS%6(D~Zx5xUbJCWCLBVmAY{182c_d1swh|b`qr+JA80$ceD-biBTiJfoE|0{m; zbDtJsLw3%^@B==af2W0#!V|-?gRJD`{{5C@xNm0-?q{GfJ3d{fld}-I{2e)FlJLMK zo7xx}qT2e&h3XBnfB!iJ8<0Zb4Pa!XP`(lNT8r%}Qc^IoaLRyA!Dak!4IH z;V1$@rw~ugSmrWVOGS9{*58i({a(s7NHOqjPHz^bP?oDff!PC-s#AL0#Eu6_g_G0b z8Nwe84r<$9A^QY1L;>+0ffYvAXxfPvq5PoUMf<(uwY9D|_IEO}at$u?|9(STYT2Tv z0rb}ZJLRU!8MyOd5|fYmOHE|sOcE;+Xcq(XOV33F$yk>pAp#bdLN24O^!LpnCBUgj zK--z(zo!9$surj|NewZL=T~G;E!dKHxqIb`dl$!At-=aENEUtc0U4MI!oq06W5@U3 zmR$aR8y*mM@T|TItQh|kM@LaMwQV#)Np5Qz*eF;1zXVyU7w~8~+e55aF*)Xl#oxc*K`*4}w1a+TWM>GQ#lhZd(ov z8Gjt^|M&C!=ck<%6VbmTt^fVKa^da&+aK45kj?equW(25g#Y{H@45-A`oCZC{A~Z3 zvHth}33rms^}k<(f8Wo4f3Loqe3t)y{r@jbmg4`@f|oyUSz@r*%d~YYeRnJQZif#Z KRi*B?4E#Tsq4b{s literal 0 HcmV?d00001 diff --git a/evidence/pipeline-faults.svg b/evidence/pipeline-faults.svg new file mode 100644 index 00000000..b7e26486 --- /dev/null +++ b/evidence/pipeline-faults.svg @@ -0,0 +1,1929 @@ + + + + + + + + 2026-11-20T18:33:02.693178 + image/svg+xml + + + Matplotlib v3.10.0, https://matplotlib.org/ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/evidence/private-storage.json b/evidence/private-storage.json new file mode 100644 index 00000000..85217a8a --- /dev/null +++ b/evidence/private-storage.json @@ -0,0 +1,16 @@ +{ + "status": "PASS", + "anonymous_bucket_and_object_status": [ + 403, + 403 + ], + "application_admin_operations_denied": [ + "create_bucket", + "get_bucket_policy", + "write_outside_prefix" + ], + "visible_bucket_names": [ + "messenger-attachments" + ], + "console_reachable": false +} diff --git a/evidence/readiness.txt b/evidence/readiness.txt new file mode 100644 index 00000000..be3c3b53 --- /dev/null +++ b/evidence/readiness.txt @@ -0,0 +1 @@ +PASS: healthy API replicas observed through LB diff --git a/evidence/runtime.json b/evidence/runtime.json new file mode 100644 index 00000000..00427ee6 --- /dev/null +++ b/evidence/runtime.json @@ -0,0 +1,8 @@ +{ + "ServerVersion": "27.4.0", + "Architecture": "aarch64", + "OSType": "linux", + "NCPU": 4, + "MemTotal": 8308158464, + "KernelVersion": "6.8.0-50-generic" +} diff --git a/evidence/smoke.txt b/evidence/smoke.txt new file mode 100644 index 00000000..dbfec15b --- /dev/null +++ b/evidence/smoke.txt @@ -0,0 +1,2 @@ +python3 tests/smoke.py --base-url "http://localhost:8085" +PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/uploads-negative.json b/evidence/uploads-negative.json new file mode 100644 index 00000000..e9ee6693 --- /dev/null +++ b/evidence/uploads-negative.json @@ -0,0 +1,90 @@ +{ + "status": "PASS", + "cases": [ + { + "case": "corrupt_png", + "status": 415 + }, + { + "case": "truncated_png", + "status": 415 + }, + { + "case": "mime_spoof", + "status": 415 + }, + { + "case": "unsupported_mime", + "status": 415 + }, + { + "case": "empty_payload", + "status": 415 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "unsafe_filename", + "status": 400 + }, + { + "case": "foreign_chat_upload", + "status": 404 + }, + { + "case": "unauthenticated_upload", + "status": 401 + }, + { + "case": "over_40_million_pixels", + "status": 413 + }, + { + "case": "oversized_content_length_before_body", + "status": 413 + }, + { + "case": "chunked_oversize", + "status": 413 + }, + { + "case": "foreign_attachment_metadata_and_bytes", + "status": 404 + }, + { + "case": "cross_chat_and_unknown_attachment", + "status": 404 + }, + { + "case": "attachment_idempotency_and_conflict", + "status": "201/409" + }, + { + "case": "truncated_jpeg", + "status": 415 + }, + { + "case": "interrupted_http_body", + "metadata_or_object_added": false + } + ], + "count": 21 +} diff --git a/evidence/validate.txt b/evidence/validate.txt new file mode 100644 index 00000000..37e81884 --- /dev/null +++ b/evidence/validate.txt @@ -0,0 +1,2 @@ +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. diff --git a/infra/README.md b/infra/README.md index 5a39e862..592f117c 100644 --- a/infra/README.md +++ b/infra/README.md @@ -1,7 +1,10 @@ -# Инфраструктура студента +# Инфраструктура решения -Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли. +Главный файл — [compose.yaml](../compose.yaml). Все сервисы и volumes принадлежат проекту `mtusi-lab5`; наружу опубликован только HAProxy на `127.0.0.1:8085`. -В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд. +- `haproxy.cfg`: round-robin между API, health checks `/health/ready`, обновление адресов через Docker DNS. +- `init-s3.sh`: повторяемая инициализация приватного bucket и отдельной application-учётной записи. Административные credentials есть только у MinIO/init. +- `api-policy.json`: list своего bucket и get/put/delete только `originals/*` для совместимости, `staging/*`, `results/*`; административных прав нет. +- `local.env.example`: пример фактических параметров. Секреты генерируются `scripts/bootstrap.sh` и хранятся в игнорируемом `.env`. -Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику. +`broker` и `valkey` — отдельные контейнеры: очередь Streams с AOF appendfsync=always и кэш сессий. У PostgreSQL, обоих Valkey и MinIO свои persistent volumes. Все зависимости запускаются из этого репозитория. diff --git a/infra/api-policy.json b/infra/api-policy.json new file mode 100644 index 00000000..c99fa136 --- /dev/null +++ b/infra/api-policy.json @@ -0,0 +1,7 @@ +{ + "Version": "2012-10-17", + "Statement": [ + {"Effect":"Allow","Action":["s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]}, + {"Effect":"Allow","Action":["s3:PutObject","s3:GetObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/originals/*","arn:aws:s3:::messenger-attachments/staging/*","arn:aws:s3:::messenger-attachments/results/*"]} + ] +} diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg new file mode 100644 index 00000000..4bf2f273 --- /dev/null +++ b/infra/haproxy.cfg @@ -0,0 +1,31 @@ +global + log stdout format raw local0 + maxconn 512 + +defaults + log global + mode http + timeout connect 1s + timeout client 45s + timeout server 45s + timeout check 1s + retries 0 + +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 2 + timeout resolve 1s + timeout retry 1s + hold valid 1s + hold obsolete 1s + +frontend public + bind :8080 + default_backend replicas + +backend replicas + balance roundrobin + option httpchk GET /health/ready + http-check expect status 200 + default-server inter 1s fall 2 rise 1 resolvers docker init-addr libc,none + server-template api 8 api:8080 check diff --git a/infra/init-s3.sh b/infra/init-s3.sh new file mode 100755 index 00000000..8ec734e6 --- /dev/null +++ b/infra/init-s3.sh @@ -0,0 +1,17 @@ +#!/bin/sh +set -eu +ready=false +for attempt in $(seq 1 60); do + if mc alias set local http://s3:9000 "$S3_ROOT_USER" "$S3_ROOT_PASSWORD" >/dev/null 2>&1; then + ready=true + break + fi + sleep 1 +done +[ "$ready" = true ] || exit 1 +mc mb --ignore-existing local/messenger-attachments >/dev/null +mc anonymous set none local/messenger-attachments >/dev/null +mc admin user add local "$S3_API_USER" "$S3_API_PASSWORD" >/dev/null +mc admin policy create local lab4-attachments /bootstrap/api-policy.json >/dev/null +mc admin policy attach local lab4-attachments --user "$S3_API_USER" >/dev/null +printf '%s\n' 'PASS: private bucket and restricted application principal configured' diff --git a/infra/local.env.example b/infra/local.env.example new file mode 100644 index 00000000..309afc77 --- /dev/null +++ b/infra/local.env.example @@ -0,0 +1,12 @@ +# scripts/bootstrap.sh generates these three secrets into ignored .env. +POSTGRES_PASSWORD=replace-with-random-secret +S3_ROOT_PASSWORD=replace-with-random-secret +S3_API_PASSWORD=replace-with-random-secret +APP_PORT=8085 +API_REPLICAS=2 +API_CPUS=2 +JOB_MAX_ATTEMPTS=5 +JOB_TIMEOUT_SECONDS=20 +JOB_LEASE_SECONDS=30 +MAX_PENDING_JOBS=100 +STAGING_RETENTION_SECONDS=86400 diff --git a/janitor.py b/janitor.py new file mode 100644 index 00000000..38d7e4f3 --- /dev/null +++ b/janitor.py @@ -0,0 +1,48 @@ +"""Conservative staging cleanup; all current queued/processing jobs are retained.""" +import argparse +import json +import os +import signal +import threading +from datetime import datetime,timezone +from psycopg.rows import dict_row +from app import store,object_store + +stop=threading.Event() + + +def sweep(apply=False,retention=None): + retention=max(60,int(retention or os.getenv('STAGING_RETENTION_SECONDS','86400'))) + deleted=[] + pages=object_store.client.get_paginator('list_objects_v2').paginate(Bucket=object_store.bucket,Prefix='staging/') + for page in pages: + for item in page.get('Contents',[]): + if (datetime.now(timezone.utc)-item['LastModified']).total_seconds()0); +ALTER TABLE attachments ADD COLUMN staging_key TEXT; +ALTER TABLE attachments ADD COLUMN variants JSONB NOT NULL DEFAULT '[]'; +CREATE TABLE jobs ( + id UUID PRIMARY KEY, + attachment_id UUID NOT NULL REFERENCES attachments(id), + pipeline_version INTEGER NOT NULL CHECK(pipeline_version>0), + state TEXT NOT NULL CHECK(state IN ('queued','processing','ready','failed','superseded')), + attempt INTEGER NOT NULL DEFAULT 0, + lease_until TIMESTAMPTZ, + next_at TIMESTAMPTZ NOT NULL DEFAULT now(), + error_code TEXT, + created_at TIMESTAMPTZ NOT NULL DEFAULT now(), + updated_at TIMESTAMPTZ NOT NULL DEFAULT now(), + UNIQUE(attachment_id,pipeline_version) +); +CREATE TABLE outbox ( + job_id UUID PRIMARY KEY REFERENCES jobs(id), + published_at TIMESTAMPTZ, + deliveries INTEGER NOT NULL DEFAULT 0 +); +CREATE TABLE job_audit ( + id BIGSERIAL PRIMARY KEY, + job_id UUID REFERENCES jobs(id), + event TEXT NOT NULL, + created_at TIMESTAMPTZ NOT NULL DEFAULT now() +); +CREATE INDEX jobs_due ON jobs(state,next_at); + +-- Upgrade existing lab4 ready originals through the asynchronous pipeline. +UPDATE attachments SET staging_key=object_key,state='queued',updated_at=now() WHERE state IN ('ready','pending'); +INSERT INTO jobs(id,attachment_id,pipeline_version,state) + SELECT gen_random_uuid(),id,pipeline_version,'queued' FROM attachments WHERE state='queued'; +INSERT INTO outbox(job_id) SELECT id FROM jobs; diff --git a/pipeline.py b/pipeline.py new file mode 100644 index 00000000..bbf751af --- /dev/null +++ b/pipeline.py @@ -0,0 +1,68 @@ +"""Database authority, version fencing and safe operator actions.""" +import json +import os +import uuid +from psycopg.rows import dict_row +import redis + +STREAM = 'attachments.v1' +GROUP = 'image-workers' +MAX_ATTEMPTS = max(1, int(os.getenv('JOB_MAX_ATTEMPTS', '5'))) +TIMEOUT = max(1, int(os.getenv('JOB_TIMEOUT_SECONDS', '20'))) +LEASE = max(TIMEOUT + 5, int(os.getenv('JOB_LEASE_SECONDS', '30'))) + + +def broker(): + return redis.Redis.from_url(os.getenv('BROKER_URL', 'redis://broker:6379/0'), + decode_responses=True, socket_connect_timeout=1, socket_timeout=3) + + +def create_job(conn, aid, version): + jid = str(uuid.uuid4()) + conn.execute("INSERT INTO jobs(id,attachment_id,pipeline_version,state) VALUES (%s,%s,%s,'queued')", (jid,aid,version)) + conn.execute('INSERT INTO outbox(job_id) VALUES (%s)', (jid,)) + audit(conn, jid, 'accepted') + return jid + + +def audit(conn, jid, event): + conn.execute('INSERT INTO job_audit(job_id,event) VALUES (%s,%s)', (jid,event)) + + +def envelope(row): + return dict(schema_version=1,job_id=str(row['id']),type='attachment.process.v1', + attachment_id=str(row['attachment_id']),pipeline_version=row['pipeline_version'], + attempt=row['attempt']+1,created_at=row['created_at'].isoformat().replace('+00:00','Z')) + + +def fetch_job(conn, jid, suffix=''): + return conn.cursor(row_factory=dict_row).execute('SELECT * FROM jobs WHERE id=%s '+suffix, (jid,)).fetchone() + + +def replay(store, jid): + with store.connect() as conn: + job = fetch_job(conn,jid,'FOR UPDATE') + if job is None: + raise ValueError('unknown job') + att = conn.cursor(row_factory=dict_row).execute('SELECT * FROM attachments WHERE id=%s FOR UPDATE', (job['attachment_id'],)).fetchone() + if job['state'] != 'failed' or att['pipeline_version'] != job['pipeline_version'] or not att['staging_key']: + raise ValueError('only current failed job with retained staging can be replayed') + conn.execute("UPDATE jobs SET state='queued',attempt=0,error_code=NULL,next_at=now(),lease_until=NULL WHERE id=%s",(jid,)) + conn.execute("UPDATE attachments SET state='queued',error_code=NULL,updated_at=now() WHERE id=%s",(att['id'],)) + conn.execute('UPDATE outbox SET published_at=NULL WHERE job_id=%s',(jid,)) + audit(conn,jid,'operator_replay') + + +def upgrade(store, aid): + # Only trusted CLI; never accept version/storage paths from HTTP clients. + with store.connect() as conn: + # Lock jobs before attachment, same order as the worker. + conn.execute('SELECT id FROM jobs WHERE attachment_id=%s ORDER BY pipeline_version FOR UPDATE',(aid,)).fetchall() + att=conn.cursor(row_factory=dict_row).execute('SELECT * FROM attachments WHERE id=%s FOR UPDATE',(aid,)).fetchone() + if att is None or (att['state'] != 'ready' and not att['staging_key']): + raise ValueError('upgrade requires durable source') + version=att['pipeline_version']+1 + # A completed immutable original is itself a durable source for upgrade. + conn.execute("UPDATE attachments SET pipeline_version=%s,staging_key=CASE WHEN state='ready' THEN object_key ELSE staging_key END,state='queued',variants='[]',error_code=NULL,updated_at=now() WHERE id=%s",(version,aid)) + conn.execute("UPDATE jobs SET state='superseded',updated_at=now() WHERE attachment_id=%s AND state IN ('queued','processing','failed')",(aid,)) + return create_job(conn,aid,version) diff --git a/publisher.py b/publisher.py new file mode 100644 index 00000000..113f3c31 --- /dev/null +++ b/publisher.py @@ -0,0 +1,45 @@ +"""Recoverable DB outbox -> persistent Valkey Streams (at least once).""" +import argparse +import json +import signal +import threading +from psycopg.rows import dict_row +from app import store +from pipeline import broker, envelope, STREAM + +stop=threading.Event() + + +def publish_once(client): + with store.connect() as conn: + # Marking published happens AFTER XADD. A crash in between produces a + # duplicate. DB remains authoritative; no acknowledged intent is lost. + rows=conn.cursor(row_factory=dict_row).execute("""SELECT j.* FROM outbox o JOIN jobs j ON j.id=o.job_id + WHERE j.state IN ('queued','processing') AND j.next_at<=now() + AND (o.published_at IS NULL OR (j.state='processing' AND j.lease_until .env +import secrets +for name in ('POSTGRES_PASSWORD','S3_ROOT_PASSWORD','S3_API_PASSWORD'): + print(name+'='+secrets.token_hex(24)) +print('APP_PORT=8085') +PY +fi diff --git a/scripts/compose.sh b/scripts/compose.sh new file mode 100755 index 00000000..c3b2080a --- /dev/null +++ b/scripts/compose.sh @@ -0,0 +1,7 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +if docker compose version >/dev/null 2>&1; then + exec docker compose "$@" +fi +exec docker-compose "$@" diff --git a/scripts/container_snapshot.py b/scripts/container_snapshot.py new file mode 100644 index 00000000..b2ba8499 --- /dev/null +++ b/scripts/container_snapshot.py @@ -0,0 +1,19 @@ +#!/usr/bin/env python3 +"""Sanitized real-container evidence. Never dump environment or labels wholesale.""" +import json +from pathlib import Path +import subprocess + +ROOT=Path(__file__).resolve().parents[1] +ids=subprocess.check_output([str(ROOT/'scripts/compose.sh'),'ps','-a','-q'],cwd=ROOT,text=True).split() +result=[] +for item in json.loads(subprocess.check_output(['docker','inspect',*ids],text=True)): + result.append({'name':item['Name'],'id':item['Id'],'hostname':item['Config']['Hostname'], + 'service':item['Config']['Labels']['com.docker.compose.service'], + 'image_id':item['Image'],'status':item['State']['Status'], + 'started_at':item['State']['StartedAt'], + 'health':item['State'].get('Health',{}).get('Status'), + 'nano_cpus':item['HostConfig']['NanoCpus'],'memory_bytes':item['HostConfig']['Memory'], + 'published_ports':item['HostConfig']['PortBindings'], + 'volumes':[{'name':m['Name'],'destination':m['Destination']} for m in item['Mounts'] if m['Type']=='volume']}) +print(json.dumps(sorted(result,key=lambda c:c['name']),indent=2)) diff --git a/scripts/query_pipeline.py b/scripts/query_pipeline.py new file mode 100644 index 00000000..3458bf46 --- /dev/null +++ b/scripts/query_pipeline.py @@ -0,0 +1,14 @@ +import json +import sys +from pathlib import Path +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from app import store +from psycopg.rows import dict_row +store.pool.open(wait=True,timeout=20) +try: + with store.connect() as conn: + rows=conn.cursor(row_factory=dict_row).execute('''SELECT j.id AS job_id,j.state,j.attempt,j.lease_until, + a.pipeline_version,o.published_at,o.deliveries FROM jobs j JOIN attachments a ON a.id=j.attachment_id + JOIN outbox o ON o.job_id=j.id WHERE a.id=%s ORDER BY j.pipeline_version''',(sys.argv[1],)).fetchall() + print(json.dumps(rows,default=str)) +finally:store.pool.close() diff --git a/scripts/research.sh b/scripts/research.sh new file mode 100755 index 00000000..37902e32 --- /dev/null +++ b/scripts/research.sh @@ -0,0 +1,7 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +trap 'scripts/compose.sh start publisher worker >/dev/null' EXIT +scripts/compose.sh stop worker publisher +scripts/compose.sh run --rm --no-deps ops python tests/pipeline_faults.py > evidence/pipeline-faults.json +scripts/compose.sh run --rm --no-deps ops python tests/cleanup_and_limits.py > evidence/cleanup-and-limits.json diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..95de1875 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,4 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +scripts/compose.sh restart db valkey broker s3 api lb publisher worker janitor diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 00000000..30647955 --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,13 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +: "${TARGET_INSTANCE_ID:?Required API hostname from X-Instance-Id}" +for id in $(scripts/compose.sh ps -q api); do + hostname=$(docker inspect --format '{{.Config.Hostname}}' "$id") + if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then + docker stop --time 3 "$id" >/dev/null + exit 0 + fi +done +printf '%s\n' 'Target is not a running API replica' >&2 +exit 1 diff --git a/scripts/summarize_operations.py b/scripts/summarize_operations.py new file mode 100644 index 00000000..79d7caa9 --- /dev/null +++ b/scripts/summarize_operations.py @@ -0,0 +1,29 @@ +"""Synchronize operational result tables with real sanitized test artifacts.""" +import json +from pathlib import Path +import re +ROOT=Path(__file__).resolve().parents[1];E=ROOT/'evidence' +load=lambda name:json.loads((E/name).read_text()) +life=load('lifecycle.json')['rows'];back=load('backpressure.json');cleanup=load('cleanup-and-limits.json')['rows'];variants=load('image-variants.json')['rows'] +faults=load('pipeline-faults.json')['rows'];verification=load('persistence-verified.json') +failover=json.loads(next(s for s in (E/'failover.txt').read_text().splitlines() if s.startswith('{'))) +retry=next(r for r in faults if r['scenario']=='bounded_retry_jitter') +content='### Восстановление и ограничения\n\n| Воздействие | Реальное наблюдение | Результат |\n| --- | --- | --- |\n' +content+=f"| Остановка worker, SIGKILL API до publish, restart broker | Длина stream {life[0]['stream_length_before']} → {life[0]['stream_length_after']}; ready через {life[0]['ready_ms']/1000:.3f} с после запуска worker | PASS, исходник сохранён |\n" +content+=f"| Смерть worker после PUT, настоящий lease | Ready через {life[1]['ready_ms']/1000:.3f} с; попыток {life[1]['job']['attempt']} | PASS, без ускорения часов |\n" +content+=f"| Остановка broker и заполнение очереди | Принято {back['accepted_while_broker_down']}; следующий HTTP {back['next_upload_status']}; восстановлено {back['all_ready']} за {back['drain_seconds']} с | PASS, потеряно {back['lost_accepted']} |\n" +content+=f"| Перезапуск всего стенда | {verification['running_processes_restarted']} реальных процессов, прежние volumes и сессия | PASS |\n" +content+=f"| Отказ API | {failover['successful_writes']} успешных записей, {failover['failed_attempts']} переходных ошибок; первая успешная запись через {failover['first_recovery_seconds']} с | PASS |\n" +content+=f"| Тайм-аут decode, тестовый бюджет 50 мс | Время сценария {cleanup[0]['elapsed_ms']} мс; retry, затем ready | PASS |\n" +content+=f"| Ограничение адресного пространства, тестовый бюджет 32 MiB | Конечный {cleanup[1]['error_code']}, replay завершился | PASS |\n" +content+=f"| Staging cleanup, часы +2 дня | Кандидатов {cleanup[2]['candidates']}, повторных {cleanup[2]['repeat_candidates']}; активный исходник сохранён | PASS |\n" +content+='\n### Проверка геометрии реальных файлов\n\n| Исходник/сценарий | Thumbnail | Crop | Optimized |\n| --- | --- | --- | --- |\n' +for row in variants: + dims=lambda key:'×'.join(map(str,row['dimensions'][key])) + content+=f"| {row['case']} | {dims('thumbnail')} | {dims('crop')} | {dims('optimized')} |\n" +content+='\n### Наблюдаемые retry с jitter\n\n| После попытки | Сохранённая задержка до следующей, с |\n| --- | ---: |\n' +for i,delay in enumerate(retry['delays_seconds'],1):content+=f'| {i} | {delay:.6f} |\n' +content+=f"\nПосле {retry['max_attempts']}-й временной ошибки зафиксирован `retry_exhausted`; явный replay завершается ready. При проверке расписания next_at искусственно сдвигается, так что таблица показывает записанные интервалы, а не фактически выжданные паузы.\n\n" +p=ROOT/'REPORT.md';s=p.read_text();a=s.index('');b=s.index('',a) +p.write_text(s[:a]+'\n\n'+content+s[b:]) +print('Synchronized REPORT.md operational, geometry and retry tables') diff --git a/scripts/summarize_research.py b/scripts/summarize_research.py new file mode 100644 index 00000000..47e91e16 --- /dev/null +++ b/scripts/summarize_research.py @@ -0,0 +1,80 @@ +"""Generate research tables and static plots only from measured raw evidence.""" +import csv +import json +import os +from pathlib import Path +import statistics +os.environ.setdefault('MPLCONFIGDIR','/tmp/mtusi-lab5-matplotlib') +import matplotlib +matplotlib.use('Agg') +import matplotlib.pyplot as plt + +ROOT=Path(__file__).resolve().parents[1] +E=ROOT/'evidence' +data=json.loads((E/'pipeline-faults.json').read_text()) +names=['before_effect','after_effect','after_commit','concurrent_duplicates','reorder_stale_version'] +labels=['Crash before PUT','Crash after PUT','Crash after COMMIT','8 duplicate jobs','Old job after v2'] +summary=[] +for name in names: + rows=[r for r in data['rows'] if r['scenario']==name] + times=[r['recovery_ms'] for r in rows] + summary.append(dict(scenario=name,repeats=len(rows),mean_ms=round(statistics.mean(times),3), + min_ms=min(times),max_ms=max(times),stdev_ms=round(statistics.stdev(times),3), + object_sets=1,objects_per_current_version=4,failures=sum(r['status']!='PASS' for r in rows))) +with (E/'fault-summary.csv').open('w') as out: + w=csv.DictWriter(out,fieldnames=list(summary[0]),lineterminator='\n');w.writeheader();w.writerows(summary) +fig,axes=plt.subplots(1,2,figsize=(13,4.8)) +means=[r['mean_ms'] for r in summary] +axes[0].bar(labels,means,color='#2878b5',yerr=[r['stdev_ms'] for r in summary],capsize=4) +axes[0].set_ylabel('Scenario wall time, ms (mean +/- sample SD, n=3)') +axes[0].tick_params(axis='x',rotation=25) +axes[0].set_title('Process startup and accelerated lease recovery included') +axes[1].bar(labels,[r['objects_per_current_version'] for r in summary],color='#32a77b') +axes[1].axhline(4,color='black',linestyle='--',label='1 original + 3 variants') +axes[1].set_ylim(0,5);axes[1].set_ylabel('Objects in current version prefix') +axes[1].tick_params(axis='x',rotation=25);axes[1].set_title('No extra variant sets in tested scenarios');axes[1].legend() +fig.tight_layout();fig.savefig(E/'pipeline-faults.png',dpi=160);fig.savefig(E/'pipeline-faults.svg');plt.close(fig) +svg=E/'pipeline-faults.svg' +svg.write_text('\n'.join(line.rstrip() for line in svg.read_text().splitlines())+'\n') +table='| Сценарий | Повторы | Среднее, мс | min–max, мс | SD, мс | Объектов текущей версии | Ошибки |\n| --- | ---: | ---: | ---: | ---: | ---: | ---: |\n' +translations=['Падение до PUT','Падение после PUT','Падение после COMMIT до ack','8 конкурентных дублей','Старая версия после новой'] +for label,r in zip(translations,summary): + table+=f"| {label} | {r['repeats']} | {r['mean_ms']} | {r['min_ms']}–{r['max_ms']} | {r['stdev_ms']} | {r['objects_per_current_version']} | {r['failures']} |\n" +text='''# Исследование: уровень 5, трек 2 + +## Гипотеза и инварианты + +Версионирование результатов, transactional outbox, блокировки PostgreSQL и повторяемые ключи S3 позволяют завершать принятые задачи при at-least-once доставке без дополнительных наборов вариантов и перезаписи нового результата старым. + +Инварианты проверяются assertions: каждый проверяемый upload с 202 завершается ready; оригинал побайтно совпадает с принятым; у текущей версии ровно четыре объекта; метаданные и SHA-256 каждого варианта соответствуют скачанным байтам; повтор ready не меняет метаданные; устаревшая job не изменяет новую версию. + +## Методика + +`make research` останавливает обычные worker/publisher и запускает `tests/pipeline_faults.py` в ops. Создаются реальные HTTP-вложения и настоящие consumer-group доставки Valkey Streams. В отдельном процессе вызывается `os._exit(86)` до PUT, после всех PUT до COMMIT, после COMMIT до XACK. Неподтверждённая доставка затем захватывается другим consumer. Матрица содержит три повтора каждого из пяти основных сценариев, дополнительно проверяет смену уже опубликованной v1 на v2, failed/replay, пять временных ошибок и повтор публикации outbox. + +Для ускорения матрицы lease переводится в прошлое SQL-командой; до этого отдельно проверяется отказ захвата действующего lease. Это не измерение реального времени ожидания lease. `tests/lifecycle.py` отдельно проверяет восстановление с настоящими часами, без изменения дедлайна. Конкурентные дубли запускаются восемью потоками, обычный worker последовательный. Время в таблице включает HTTP/БД, запуск Python-процессов и обработку; это время полного тестового сценария, а не latency одного изображения в production. + +Один локальный Linux Docker Engine в Colima, arm64, 4 vCPU, около 8 GiB RAM. Лимиты: worker 1 CPU/768 MiB, API 2 реплики по 2 CPU/512 MiB, PostgreSQL 1 CPU/512 MiB, MinIO 0.5 CPU/768 MiB, broker 0.25 CPU/192 MiB; ops 1 CPU/512 MiB. Ограничения CPU — верхние пределы, а не выделенные ядра. Прочие лабораторные могут работать в этой же VM. Файл матрицы — PNG 320×200 из публичных fixtures. Отдельные геометрические тесты используют PNG/JPEG от 80×40 до 1600×800. Нагрузочного прогрева нет: исследуется корректность конкретных interleavings, не максимальный throughput. Точные лимиты и образы сохранены в `evidence/containers.json` и `compose.yaml`. + +## Результаты матрицы + +'''+table+''' +![Время сценариев и количество объектов](evidence/pipeline-faults.png) + +После падения до COMMIT требуются две управляемые попытки. После COMMIT повтор не выполняет обработку: достаточно одной попытки. При восьми конкурентных доставках обрабатывает один поток, остальные видят занятость или завершённый результат. После новой версии старые задания не создают объекты v1 и не изменяют публичные метаданные v2. Отдельно проверено обновление уже существующего результата v1 на v2 с изменённым качеством кодирования. + +Raw: [pipeline-faults.json](evidence/pipeline-faults.json), [CSV](evidence/fault-summary.csv), [lifecycle.json](evidence/lifecycle.json), [backpressure.json](evidence/backpressure.json), [cleanup-and-limits.json](evidence/cleanup-and-limits.json). + +## Ограничения + +Это проверка конечного набора аварийных расписаний, а не математическое доказательство для всех interleavings. Исследование не покрывает потерю диска/volume, несколько узлов, длительные сетевые разделения и повреждение файловой системы. Локальная матрица не подтверждает SLA и не измеряет p95 под производственной нагрузкой; для выбранного трека это не заявляется. CPU/RAM ограничены конфигурацией, пиковый RSS декодера в этом исследовании не измеряется. + +Физический PUT может повториться после аварии: одинаковый ключ заменяется теми же данными. Гарантируется один текущий логический набор результатов, а доставка остаётся at least once. Объекты прежних успешно опубликованных версий сохраняются: это история версий, не дубли текущего результата. Изменение алгоритма должно сопровождаться увеличением pipeline_version; старый бинарный worker нужно вывести из эксплуатации перед изменением кода существующей версии. +''' +(ROOT/'RESEARCH.md').write_text(text) +report=ROOT/'REPORT.md' +if report.exists() and '' in report.read_text(): + content=report.read_text();a=content.index('');b=content.index('',a) + content=content[:a]+'\n\n'+table+'\n![Исследование pipeline](evidence/pipeline-faults.png)\n\n'+content[b:] + report.write_text(content) +print('Generated RESEARCH.md, CSV, PNG/SVG and synchronized REPORT.md research table') diff --git a/scripts/verify_persistence.py b/scripts/verify_persistence.py new file mode 100644 index 00000000..d29930d3 --- /dev/null +++ b/scripts/verify_persistence.py @@ -0,0 +1,15 @@ +"""Check that the persistence hook actually restarted every running service.""" +import json +from pathlib import Path +root=Path(__file__).resolve().parents[1]/'evidence' +before={c['name']:c for c in json.loads((root/'persistence-before.json').read_text()) if c['status']=='running'} +after={c['name']:c for c in json.loads((root/'persistence-after.json').read_text())} +rows=[] +for name,old in before.items(): + new=after[name] + assert old['id']==new['id'],name+': container unexpectedly replaced' + assert old['started_at']!=new['started_at'],name+': process not restarted' + assert old['volumes']==new['volumes'],name+': volumes changed' + assert new['status']=='running',name+': not running' + rows.append(dict(name=name,service=new['service'],same_container=True,process_restarted=True,same_volumes=True)) +print(json.dumps({'status':'PASS','running_processes_restarted':len(rows),'rows':rows},indent=2)) diff --git a/scripts/wait_ready.py b/scripts/wait_ready.py new file mode 100644 index 00000000..7531b15a --- /dev/null +++ b/scripts/wait_ready.py @@ -0,0 +1,34 @@ +#!/usr/bin/env python3 +"""Wait for actual healthy Compose API containers and their public LB aliases.""" +import argparse +import json +from pathlib import Path +import subprocess +import time +import urllib.request + +ROOT=Path(__file__).resolve().parents[1] +parser=argparse.ArgumentParser() +parser.add_argument('--base-url',default='http://localhost:8085') +parser.add_argument('--replicas',type=int,default=2) +args=parser.parse_args() +deadline=time.monotonic()+90 +while time.monotonic() 0, f"session TTL must be positive, got {ttl}" + + latencies = [] + for _ in range(10): + _, elapsed_ms = call_with_latency("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token}) + latencies.append(elapsed_ms) + avg = sum(latencies) / len(latencies) + p95 = sorted(latencies)[int(len(latencies) * 0.95) - 1] + + stale_payload = { + "token": token, + "user_id": str(uuid.uuid4()), + "expires_at": "2000-01-01T00:00:00Z", + "revoked_at": None, + "user": {"id": str(uuid.uuid4()), "username": "stale", "display_name": "stale", "created_at": "2020-01-01T00:00:00Z"}, + } + r.setex(key, 120, json.dumps(stale_payload, separators=(",", ":"), ensure_ascii=False)) + stale_result = http_json("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token}) + assert stale_result["status"] == 200, stale_result + assert stale_result["body"]["username"] == username, stale_result + + # An unexpired payload must not be able to substitute another identity. + stale_payload["expires_at"] = "2100-01-01T00:00:00Z" + r.setex(key, 120, json.dumps(stale_payload)) + forged = http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token}) + assert forged["body"]["id"] == session["body"]["user"]["id"], forged + assert forged["body"]["username"] == username, forged + + r.setex(key, 120, json.dumps(stale_payload)) + def read_identity(_): + return http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token})["body"]["id"] + with ThreadPoolExecutor(max_workers=8) as executor: + identities = list(executor.map(read_identity, range(8))) + assert identities == [session["body"]["user"]["id"]] * 8, identities + + # Syntactically valid JSON with missing fields must be treated as a miss. + r.setex(key, 120, "{}") + malformed = http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token}) + assert malformed["body"]["username"] == username, malformed + + r.setex(key, 1, json.dumps({ + "token": token, + "user_id": str(uuid.uuid4()), + "expires_at": "2100-01-01T00:00:00Z", + "revoked_at": None, + "user": {"id": str(uuid.uuid4()), "username": "ttl-recovery", "display_name": "ttl-recovery", "created_at": "2020-01-01T00:00:00Z"}, + }, separators=(",", ":"), ensure_ascii=False)) + time.sleep(2) + short_ttl = http_json("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token}) + assert short_ttl["status"] == 200, short_ttl + assert short_ttl["body"]["username"] == username, short_ttl + + revoke = http_json("DELETE", "/api/v1/auth/sessions/current", expected=204, headers={"Authorization": "Bearer " + token}) + assert revoke["status"] == 204, revoke + assert not r.get(key), "revoked session key should be deleted from cache" + + after_logout = http_json("GET", "/api/v1/users/me", expected=401, headers={"Authorization": "Bearer " + token}) + assert after_logout["status"] == 401, after_logout + + # Simulate a writer repopulating the cache after logout's DELETE. + stale_payload.update(session["body"]) + stale_payload["user_id"] = session["body"]["user"]["id"] + stale_payload["revoked_at"] = None + r.setex(key, 120, json.dumps(stale_payload)) + http_json("GET", "/api/v1/users/me", expected=401, headers={"Authorization": "Bearer " + token}) + assert not r.exists(key), "stale key after logout must be removed" + + print("cache_key_exists=True") + print(f"ttl_seconds={ttl}") + print(f"avg_latency_ms={avg:.2f}") + print(f"p95_latency_ms={p95:.2f}") + print("stale_cache_rejected=True") + print("forged_identity_rejected=True") + print("concurrent_identity_checks=8/8") + print("malformed_cache_recovers=True") + print("repopulated_revoked_cache_rejected=True") + print("short_ttl_recovers_from_db=True") + print("logout_revokes_cache=True") + + +if __name__ == "__main__": + main() diff --git a/tests/cleanup_and_limits.py b/tests/cleanup_and_limits.py new file mode 100644 index 00000000..e0fbe86f --- /dev/null +++ b/tests/cleanup_and_limits.py @@ -0,0 +1,75 @@ +"""Conservative cleanup and actual subprocess timeout boundary; worker stopped.""" +from datetime import datetime,timedelta,timezone +import json +from pathlib import Path +import subprocess +import sys +import time +import unittest.mock as mock +import uuid +sys.path.insert(0,str(Path(__file__).resolve().parent)) +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from client import Client,check +from app import store,object_store +from pipeline import envelope,fetch_job,replay +from worker import handle +from janitor import sweep + + +def main(): + store.pool.open(wait=True,timeout=20) + c=Client('http://lb:8080');alice,bob,eve,chat=c.bootstrap() + def upload(): + att,data=c.attachment(alice,chat) + with store.connect() as conn: + jid=conn.execute('SELECT id FROM jobs WHERE attachment_id=%s',(att['id'],)).fetchone()[0] + msg=envelope(fetch_job(conn,jid)) + return att,msg + rows=[] + try: + att,msg=upload() + real_run=subprocess.run + def slow_decoder(*args,**kwargs): + return real_run([sys.executable,'-c','import time; time.sleep(2)'],timeout=.05,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL) + start=time.monotonic() + with mock.patch('worker.subprocess.run',side_effect=slow_decoder): + check(handle(msg)=='retry','decoder timeout not classified as transient') + elapsed=time.monotonic()-start + with store.connect() as conn: + job=fetch_job(conn,msg['job_id']);check(job['state']=='queued' and job['error_code']=='processing_timeout','timeout not persisted') + conn.execute('UPDATE jobs SET next_at=now() WHERE id=%s',(job['id'],)) + check(handle(msg)=='ready','timeout recovery failed') + rows.append(dict(case='real_child_timeout_with_test_budget_50ms',status='PASS',elapsed_ms=round(elapsed*1000,3))) + # Validate memory-exit classification without risking an OOM on the host. + att2,msg2=upload() + def exhausted(*args,**kwargs): + return real_run([sys.executable,'-c',"import resource; resource.setrlimit(resource.RLIMIT_AS,(32*1024**2,32*1024**2));\ntry: x=bytearray(128*1024**2)\nexcept MemoryError: raise SystemExit(3)"],stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL) + with mock.patch('worker.subprocess.run',side_effect=exhausted): + check(handle(msg2)=='failed','memory failure not terminal') + with store.connect() as conn:check(fetch_job(conn,msg2['job_id'])['error_code']=='resource_limit','memory failure leaked details') + replay(store,msg2['job_id']);check(handle(msg2)=='ready','memory-failed replay did not complete') + rows.append(dict(case='real_child_address_space_limit_32MiB',status='PASS',error_code='resource_limit')) + active,msg3=upload() + orphan='staging/'+str(uuid.uuid4()) + object_store.client.put_object(Bucket=object_store.bucket,Key=orphan,Body=b'orphan') + # Advance janitor's clock, leaving actual DB state/worker leases intact. + class Future(datetime): + @classmethod + def now(cls,tz=None):return datetime.now(tz)+timedelta(days=2) + with mock.patch('janitor.datetime',Future): + dry=sweep(False,86400) + check(orphan in dry['staging_candidates'],'orphan not detected') + check('staging/'+active['id'] not in dry['staging_candidates'],'active source scheduled for deletion') + object_store.client.head_object(Bucket=object_store.bucket,Key=orphan) + applied=sweep(True,86400) + check(orphan in applied['staging_candidates'],'orphan not deleted') + repeat=sweep(True,86400) + check(not repeat['staging_candidates'],'cleanup is not idempotent') + check(handle(msg3)=='ready','cleanup lost current job') + rows.append(dict(case='staging_dry_run_apply_repeat',status='PASS',candidates=len(applied['staging_candidates']), + repeat_candidates=0,active_retained=True,clock='advanced_2_days')) + print(json.dumps({'status':'PASS','rows':rows},indent=2)) + finally:store.pool.close();object_store.close() + + +if __name__=='__main__':main() diff --git a/tests/drive_job.py b/tests/drive_job.py new file mode 100644 index 00000000..3fb0f90e --- /dev/null +++ b/tests/drive_job.py @@ -0,0 +1,35 @@ +"""Isolated crashable consumer using a real Streams consumer-group delivery.""" +import argparse +import json +from pathlib import Path +import sys +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from app import store +from pipeline import broker,envelope,fetch_job,STREAM +from worker import handle +import redis + +p=argparse.ArgumentParser();p.add_argument('job_id');p.add_argument('--crash',choices=['before_effect','after_effect','after_commit']);p.add_argument('--recover',action='store_true');args=p.parse_args() +store.pool.open(wait=True,timeout=20) +r=broker();group='fault-probes' +try: + try:r.xgroup_create(STREAM,group,id='$',mkstream=True) + except redis.ResponseError as exc: + if 'BUSYGROUP' not in str(exc):raise + with store.connect() as db:msg=envelope(fetch_job(db,args.job_id)) + if args.recover: + entries=r.xautoclaim(STREAM,group,'recovered',min_idle_time=0,start_id='0-0',count=100)[1] + target=next(((mid,fields) for mid,fields in entries if json.loads(fields['job'])['job_id']==args.job_id),None) + if target is None:raise AssertionError('expected unacknowledged real broker delivery') + mid,fields=target;msg=json.loads(fields['job']) + else: + target_id=r.xadd(STREAM,{'job':json.dumps(msg)}) + while True: + entries=r.xreadgroup(group,'crashable',{STREAM:'>'},count=100,block=1000) + target=next(((mid,fields) for _,batch in entries for mid,fields in batch if mid==target_id),None) + if target:mid,_=target;break + outcome=handle(msg,crash=args.crash) + if outcome!='defer':r.xack(STREAM,group,mid) + print(json.dumps({'outcome':outcome,'delivery_id':mid}),flush=True) +finally: + r.close();store.pool.close() diff --git a/tests/idempotency_concurrent.py b/tests/idempotency_concurrent.py new file mode 100644 index 00000000..7a65c2c8 --- /dev/null +++ b/tests/idempotency_concurrent.py @@ -0,0 +1,37 @@ +"""Concurrent shared-key requests through LB, real instance headers and history.""" +from concurrent.futures import ThreadPoolExecutor +import json +import threading +import uuid +from client import Client, arguments, check, run + + +def main(): + args = arguments(__doc__) + c = Client(args.base_url) + alice, bob, eve, chat = c.bootstrap() + key = uuid.uuid4().hex + barrier = threading.Barrier(16) + + def worker(_): + local = Client(args.base_url) + barrier.wait() + return local.message(alice, chat, ' concurrent body ', key=key) + + with ThreadPoolExecutor(max_workers=16) as pool: + responses = list(pool.map(worker, range(16))) + ids = {r['json']['id'] for r in responses} + instances = {r['headers']['X-Instance-Id'] for r in responses} + check(len(ids) == 1, 'concurrent duplicate messages') + check(len(instances) >= 2, 'concurrent requests did not reach two replicas') + path = '/api/v1/chats/' + chat['id'] + '/messages' + c.call('POST', path, 409, actor=alice, body={'text': 'concurrent body'}, headers={'Idempotency-Key': key}) + again = c.call('POST', path, 201, actor=alice, body={'attachment_ids': [], 'text': ' concurrent body '}, headers={'Idempotency-Key': key}, schema='Message') + check(again['json'] == responses[0]['json'], 'semantic replay differs') + page = c.call('GET', path, actor=bob, schema='MessagePage')['json'] + check(len(page['items']) == 1, 'history contains duplicate effects') + c.message(bob, chat, 'other user', key=key) + print(json.dumps({'parallel_requests': 16, 'observed_instances': sorted(instances), 'unique_messages': len(ids), 'conflict': 409, 'semantic_replay': True, 'user_scope': True})) + +if __name__ == '__main__': + run(main) diff --git a/tests/image_variants.py b/tests/image_variants.py new file mode 100644 index 00000000..9c7b5acd --- /dev/null +++ b/tests/image_variants.py @@ -0,0 +1,51 @@ +"""Actual variant geometry, orientation, alpha, encoder metadata and hashes.""" +import hashlib +import io +import json +from pathlib import Path +import sys +from PIL import Image +sys.path.insert(0,str(Path(__file__).resolve().parent)) +from client import Client,check + + +def main(): + c=Client('http://lb:8080');alice,bob,eve,chat=c.bootstrap();rows=[] + cases=[] + cases.append(('small_alpha',Image.new('RGBA',(80,40),(0,0,0,0)),'PNG',{},(80,40))) + cases.append(('exif_orientation',Image.new('RGB',(400,100),'red'),'JPEG',{'exif':Image.Exif()},(64,256))) + cases[-1][3]['exif'][274]=6 + center=Image.new('RGB',(400,100),'red');center.paste('blue',(150,0,250,100)) + cases.append(('center_crop',center,'PNG',{},(256,64))) + cases.append(('large_fit',Image.new('RGB',(1600,800),'green'),'PNG',{},(256,128))) + for name,image,fmt,options,expected in cases: + data=io.BytesIO();image.save(data,fmt,**options);payload=data.getvalue() + mime='image/png' if fmt=='PNG' else 'image/jpeg' + att=c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename='+name,202,actor=alice, + raw=payload,headers={'Content-Type':mime},schema='Attachment')['json'] + ready=c.wait_ready(alice,att) + check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==payload,'original changed') + dimensions={} + for variant in ready['variants']: + result=c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant='+variant['name'],actor=bob) + check(hashlib.sha256(result['bytes']).hexdigest()==variant['sha256'],'false checksum') + check(len(result['bytes'])==variant['size_bytes'],'false variant size') + with Image.open(io.BytesIO(result['bytes'])) as output: + check(not output.getexif(),'EXIF leaked') + check(output.size==(variant['width'],variant['height']),'false dimensions') + dimensions[variant['name']]=output.size + check(output.format==('WEBP' if variant['name']=='optimized' else 'JPEG'),'wrong encoder') + if variant['name']=='thumbnail': + check(output.size==expected,'thumbnail orientation/scale incorrect') + if name=='small_alpha':check(min(output.getpixel((10,10)))>245,'alpha not composited on white') + if variant['name']=='crop': + check(output.size==(128,128),'crop dimensions wrong') + if name=='center_crop':check(output.getpixel((64,64))[2]>240,'crop not centered') + if variant['name']=='optimized': + check(max(output.size)<=1280,'optimized too large') + if name=='large_fit':check(output.size==(1280,640),'optimized ratio wrong') + rows.append(dict(case=name,status='PASS',dimensions=dimensions,original_sha256=hashlib.sha256(payload).hexdigest())) + print(json.dumps({'status':'PASS','rows':rows},indent=2)) + + +if __name__=='__main__':main() diff --git a/tests/lifecycle.py b/tests/lifecycle.py new file mode 100644 index 00000000..816e89e2 --- /dev/null +++ b/tests/lifecycle.py @@ -0,0 +1,84 @@ +"""Host orchestration: stopped worker, API kill, broker restart, real lease.""" +import json +import os +from pathlib import Path +import subprocess +import sys +import time +sys.path.insert(0,str(Path(__file__).resolve().parent)) +from client import Client,check +ROOT=Path(__file__).resolve().parents[1] +COMPOSE=[str(ROOT/'scripts/compose.sh')] + + +def compose(*args,allow_failure=False): + p=subprocess.run(COMPOSE+list(args),cwd=ROOT,text=True,capture_output=True) + if p.returncode and not allow_failure: + raise AssertionError('Compose action failed: '+' '.join(args[:3])+': '+p.stderr[-500:]) + return p + + +def probe(aid): + return json.loads(compose('run','--rm','--no-deps','ops','python','scripts/query_pipeline.py',aid).stdout)[-1] + + +def wait_api(c): + deadline=time.monotonic()+60 + while time.monotonic()=length_before>0,'broker lost durable messages') + after=snapshot(['api','broker']) + check(all(after[name]['started_at']!=row['started_at'] and after[name]['volumes']==row['volumes'] for name,row in before.items()),'restart did not preserve volumes') + start=time.monotonic();compose('start','worker');c.wait_ready(bob,att) + check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'accepted original lost') + rows.append(dict(scenario='stopped_worker_api_kill_outbox_broker_restart',status='PASS',attachment_id=att['id'], + stream_length_before=length_before,stream_length_after=length_after,ready_ms=round((time.monotonic()-start)*1000,3), + containers_before=before,containers_after=after)) + compose('stop','worker','publisher') + att,data=c.attachment(alice,chat);jid=probe(att['id'])['job_id'] + crash=compose('run','--rm','--no-deps','ops','python','tests/drive_job.py',jid,'--crash','after_effect',allow_failure=True) + check(crash.returncode==86,'worker failpoint did not crash') + check(probe(att['id'])['state']=='processing','processing lease missing') + start=time.monotonic();compose('start','publisher','worker');c.wait_ready(bob,att) + elapsed=time.monotonic()-start + check(elapsed>=20,'real lease expiry not exercised') + check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==data,'lease recovery corrupted original') + rows.append(dict(scenario='crash_real_lease_expiry',status='PASS',attachment_id=att['id'],ready_ms=round(elapsed*1000,3), + job=probe(att['id']),lease_clock='real')) + print(json.dumps({'status':'PASS','rows':rows},ensure_ascii=False,indent=2)) + finally:compose('start','api','broker','publisher','worker') + + +if __name__=='__main__':main() diff --git a/tests/pipeline_faults.py b/tests/pipeline_faults.py new file mode 100644 index 00000000..4391ca91 --- /dev/null +++ b/tests/pipeline_faults.py @@ -0,0 +1,143 @@ +"""Track 2: real crash processes, broker redelivery, version fencing and retries. +Run only with the normal worker and publisher stopped. Creates synthetic rows. +""" +import concurrent.futures +import hashlib +import io +import json +from pathlib import Path +import subprocess +import sys +import time +from PIL import Image +sys.path.insert(0,str(Path(__file__).resolve().parent)) +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from client import Client,check,validate +from app import store,object_store +from pipeline import broker,envelope,fetch_job,MAX_ATTEMPTS,replay,upgrade,STREAM +from worker import handle +from publisher import publish_once + + +def main(): + store.pool.open(wait=True,timeout=20) + c=Client('http://lb:8080');alice,bob,eve,chat=c.bootstrap();r=broker() + rows=[] + def upload(): + att,data=c.attachment(alice,chat) + with store.connect() as conn: + jid=str(conn.execute('SELECT id FROM jobs WHERE attachment_id=%s',(att['id'],)).fetchone()[0]) + msg=envelope(fetch_job(conn,jid)) + validate(msg,json.loads((Path(__file__).resolve().parents[1]/'contracts/jobs.schema.json').read_text())) + return att,data,jid,msg + def metadata(att):return c.call('GET','/api/v1/attachments/'+att['id'],actor=alice,schema='Attachment')['json'] + def objects(att,version=1): + return sorted(x['Key'] for x in object_store.client.list_objects_v2(Bucket=object_store.bucket,Prefix=f"results/{att['id']}/v{version}/").get('Contents',[])) + def invariant(att,data,version=1): + ready=metadata(att);check(ready['status']=='ready','lost accepted work') + check(len(ready['variants'])==3,'wrong number of variants') + check(len(objects(att,version))==4,'duplicate or missing objects') + for name in ('original','thumbnail','crop','optimized'): + result=c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant='+name,actor=bob) + if name=='original':check(result['bytes']==data,'original mutated') + else: + v=next(x for x in ready['variants'] if x['name']==name) + check(hashlib.sha256(result['bytes']).hexdigest()==v['sha256'],'variant checksum mismatch') + with Image.open(io.BytesIO(result['bytes'])) as im: + check((im.width,im.height)==(v['width'],v['height']),'false dimensions') + check(not im.getexif(),'EXIF not stripped') + return ready + try: + for iteration in range(3): + for crash in ('before_effect','after_effect','after_commit'): + att,data,jid,msg=upload();start=time.monotonic() + result=subprocess.run([sys.executable,'tests/drive_job.py',jid,'--crash',crash],capture_output=True,text=True) + check(result.returncode==86,'failpoint did not kill the worker process') + before=objects(att) + check(len(before)==(0 if crash=='before_effect' else 4),'wrong crash window') + with store.connect() as conn: + j=fetch_job(conn,jid) + if crash!='after_commit': + check(j['state']=='processing','lease not persisted') + check(handle(msg)=='defer','live lease was stolen') + # Controlled clock acceleration for matrix speed. Separate + # persistence test exercises real 30-second lease timeout. + conn.execute("UPDATE jobs SET lease_until=now()-interval '1 second' WHERE id=%s",(jid,)) + result=subprocess.run([sys.executable,'tests/drive_job.py',jid,'--recover'],capture_output=True,text=True) + check(result.returncode==0,'redelivery process failed') + check(json.loads(result.stdout)['outcome'] in ('ready','noop'),'redelivery did not complete') + ready=invariant(att,data) + # Successful duplicate must not update metadata or re-encode. + check(handle(msg)=='noop','ready duplicate was re-executed') + check(metadata(att)==ready,'ready changed after duplicate') + with store.connect() as conn:attempts=fetch_job(conn,jid)['attempt'] + rows.append(dict(iteration=iteration+1,scenario=crash,status='PASS',attempts=attempts, + recovery_ms=round((time.monotonic()-start)*1000,3),objects=4,lease_expiry='accelerated' if crash!='after_commit' else 'not_needed')) + att,data,jid,msg=upload();start=time.monotonic() + outcomes=[] + with concurrent.futures.ThreadPoolExecutor(max_workers=8) as pool: + outcomes=list(pool.map(lambda _:handle(msg),range(8))) + invariant(att,data) + check(outcomes.count('ready')==1,'concurrent duplicate produced multiple effects') + rows.append(dict(iteration=iteration+1,scenario='concurrent_duplicates',status='PASS',deliveries=8, + effects=1,recovery_ms=round((time.monotonic()-start)*1000,3),outcomes=outcomes,objects=4)) + # New version overtakes an unprocessed old version. + att,data,jid,old=upload();new_jid=upgrade(store,att['id']) + with store.connect() as conn:new=envelope(fetch_job(conn,new_jid)) + start=time.monotonic();check(handle(new)=='ready','new version failed') + newest=invariant(att,data,2) + for _ in range(5):check(handle(old)=='noop','stale job not fenced') + check(metadata(att)==newest and not objects(att,1),'old version overwrote new') + rows.append(dict(iteration=iteration+1,scenario='reorder_stale_version',status='PASS',old_deliveries=5, + current_version=2,old_objects=0,objects=4,recovery_ms=round((time.monotonic()-start)*1000,3))) + # Upgrade an already published result, then redeliver the old version. + att,data,jid,old=upload();check(handle(old)=='ready','v1 failed') + v1=invariant(att,data) + new_jid=upgrade(store,att['id']) + with store.connect() as conn:new=envelope(fetch_job(conn,new_jid)) + check(handle(new)=='ready','upgrade failed');v2=invariant(att,data,2) + check(v1['variants']!=v2['variants'],'version settings did not change result') + check(handle(old)=='noop' and metadata(att)==v2,'published old version replaced upgraded result') + rows.append(dict(scenario='published_v1_then_v2_then_stale_v1',status='PASS',current_version=2,objects=4)) + # Permanent errors, explicit audited replay, ready replay refused. + att,data,jid,msg=upload();check(handle(msg,force_error='permanent')=='failed','permanent failure retried') + check(metadata(att)['status']=='failed','failed not exposed') + c.call('POST','/api/v1/chats/'+chat['id']+'/messages',409,actor=alice,body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':'failed-test'}) + replay(store,jid);check(handle(msg)=='ready','operator replay did not recover') + invariant(att,data) + try:replay(store,jid);raise AssertionError('ready replay allowed') + except ValueError:pass + rows.append(dict(scenario='permanent_failed_replay',status='PASS',objects=4)) + # Transient retry scheduling respects backoff and exhausts the bound. + att,data,jid,msg=upload();delays=[] + for attempt in range(MAX_ATTEMPTS): + check(handle(msg,force_error='temporary')=='retry','temporary failure not handled') + with store.connect() as conn: + j=fetch_job(conn,jid) + if attempt0,'no backoff');delays.append(float(delay)) + check(handle(msg)=='defer','retry ignored schedule') + conn.execute("UPDATE jobs SET next_at=now()-interval '1 second' WHERE id=%s",(jid,)) + check(metadata(att)['error_code']=='retry_exhausted','retry was not bounded') + replay(store,jid);check(handle(msg)=='ready','retry exhausted replay failed');invariant(att,data) + rows.append(dict(scenario='bounded_retry_jitter',status='PASS',max_attempts=MAX_ATTEMPTS,delays_seconds=delays)) + # COMMIT -> publish recovery, and a lost publish confirm duplicates safely. + att,data,jid,msg=upload() + with store.connect() as conn:check(conn.execute('SELECT published_at FROM outbox WHERE job_id=%s',(jid,)).fetchone()[0] is None,'outbox already published') + publish_once(r) + with store.connect() as conn: + conn.execute('UPDATE outbox SET published_at=NULL WHERE job_id=%s',(jid,)) + publish_once(r) + check(handle(msg)=='ready' and handle(msg)=='noop','republish was unsafe');invariant(att,data) + rows.append(dict(scenario='outbox_republish',status='PASS',objects=4)) + with store.connect() as conn: + accepted=conn.execute('SELECT count(*) FROM attachments').fetchone()[0] + result={'status':'PASS','track':2,'matrix_repeats':3,'rows':rows,'accepted_in_database':accepted, + 'invariants':{'accepted_tasks_lost':0,'duplicate_variant_sets':0,'stale_version_overwrites':0}, + 'limitations':['matrix lease expiry accelerated with SQL','single host, worker processing is serial except intentional duplicate probe','no disk-loss or network partition proof']} + print(json.dumps(result,ensure_ascii=False,indent=2)) + finally:r.close();store.pool.close();object_store.close() + + +if __name__=='__main__':main() diff --git a/tests/private_storage.py b/tests/private_storage.py new file mode 100644 index 00000000..1c2fa098 --- /dev/null +++ b/tests/private_storage.py @@ -0,0 +1,53 @@ +"""Anonymous access outside API and least-privilege negative checks.""" +import json +from pathlib import Path +import sys +import urllib.error +import urllib.request +from botocore.exceptions import ClientError +sys.path.insert(0,str(Path(__file__).resolve().parent)) +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from client import Client,check,run + + +def main(): + from app import store,object_store + c=Client('http://lb:8080',timeout=15) + alice,bob,eve,chat=c.bootstrap() + att,_=c.attachment(alice,chat) + c.wait_ready(alice,att) + key='results/'+att['id']+'/v1/original' + anonymous=[] + for suffix in ('','/'+key): + try: + urllib.request.urlopen('http://s3:9000/'+object_store.bucket+suffix,timeout=3) + raise AssertionError('private bucket allowed anonymous access') + except urllib.error.HTTPError as exc: + check(exc.code==403,'anonymous access failed for an unexpected reason') + anonymous.append(exc.code) + # MinIO returns a filtered ListBuckets response to a ListBucket principal. + visible=[b['Name'] for b in object_store.client.list_buckets().get('Buckets',[])] + check(set(visible)<={object_store.bucket},'unrelated bucket names exposed') + denied=[] + for name,operation in [('create_bucket',lambda:object_store.client.create_bucket(Bucket='must-not-create-lab4')), + ('get_bucket_policy',lambda:object_store.client.get_bucket_policy(Bucket=object_store.bucket)), + ('write_outside_prefix',lambda:object_store.client.put_object(Bucket=object_store.bucket,Key='outside-policy',Body=b'no'))]: + try: + operation() + raise AssertionError('application credentials have excessive privileges: '+name) + except ClientError as exc: + check(exc.response['Error']['Code']=='AccessDenied','unexpected permission error') + denied.append(name) + # The console is bound to 127.0.0.1 inside S3 and browser UI is disabled. + import socket + try: + socket.create_connection(('s3',9001),timeout=1).close() + raise AssertionError('S3 console reachable from another container') + except OSError: + pass + print(json.dumps({'status':'PASS','anonymous_bucket_and_object_status':anonymous, + 'application_admin_operations_denied':denied,'visible_bucket_names':visible,'console_reachable':False},indent=2)) + object_store.close() + +if __name__=='__main__': + run(main) diff --git a/tests/uploads_negative.py b/tests/uploads_negative.py new file mode 100644 index 00000000..7ae82247 --- /dev/null +++ b/tests/uploads_negative.py @@ -0,0 +1,129 @@ +"""Contract boundaries and object authorization; runs in Compose ops network.""" +import hashlib +import http.client +import io +import json +from pathlib import Path +import socket +import struct +import sys +import time +from urllib.parse import quote, urlsplit +import uuid +import zlib +from PIL import Image +sys.path.insert(0,str(Path(__file__).resolve().parent)) +sys.path.insert(0,str(Path(__file__).resolve().parents[1])) +from client import Client, check, run + + +def main(): + c=Client('http://lb:8080',timeout=15) + alice,bob,eve,chat=c.bootstrap() + path='/api/v1/chats/'+chat['id']+'/attachments' + fixture=(Path(__file__).parent/'fixtures/sample.png').read_bytes() + cases=[] + def bad(label,status,data=fixture,mime='image/png',filename='test.png',actor=None): + c.call('POST',path+'?filename='+quote(filename,safe=''),status,actor=actor or alice,raw=data,headers={'Content-Type':mime}) + cases.append({'case':label,'status':status}) + bad('corrupt_png',415,b'not an image') + bad('truncated_png',415,fixture[:50]) + bad('mime_spoof',415,mime='image/jpeg') + bad('unsupported_mime',415,mime='application/octet-stream') + bad('empty_payload',415,b'') + for filename in ('../secret.png','a\\b.png','x\x00.png','x\n.png','x\u202e.png','x'*256): + bad('unsafe_filename',400,filename=filename) + bad('foreign_chat_upload',404,actor=eve) + c.call('POST',path+'?filename=x.png',401,raw=fixture,headers={'Content-Type':'image/png'}) + cases.append({'case':'unauthenticated_upload','status':401}) + # Oversized dimensions are rejected using headers before a full raster decode. + data=bytearray(fixture) + data[16:24]=struct.pack('>II',10000,4001) + data[29:33]=struct.pack('>I',zlib.crc32(data[12:29])&0xffffffff) + bad('over_40_million_pixels',413,bytes(data)) + # No large allocation or body transfer: reject declared size before reading. + parsed=urlsplit(c.base) + conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=10) + conn.putrequest('POST',path+'?filename=big.png') + for k,v in {'Authorization':'Bearer '+alice['token'],'Content-Type':'image/png','Content-Length':str(10485761)}.items(): + conn.putheader(k,v) + conn.endheaders() + response=conn.getresponse() + check(response.status==413,'oversized content-length accepted') + response.read();conn.close() + cases.append({'case':'oversized_content_length_before_body','status':413}) + # True streamed overflow, no Content-Length; response is read after the last + # chunk, even if the peer stopped accepting bytes once it knew the limit. + conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=15) + conn.putrequest('POST',path+'?filename=chunked.png') + conn.putheader('Authorization','Bearer '+alice['token']) + conn.putheader('Content-Type','image/png') + conn.putheader('Transfer-Encoding','chunked') + conn.endheaders() + try: + block=b'x'*65536 + for _ in range(161): + conn.send(b'10000\r\n'+block+b'\r\n') + conn.send(b'0\r\n\r\n') + except (BrokenPipeError,ConnectionResetError): + pass + response=conn.getresponse() + check(response.status==413,'streamed byte limit not enforced') + response.read();conn.close() + cases.append({'case':'chunked_oversize','status':413}) + att,content=c.attachment(alice,chat) + # Another member can reference an attachment; ownership is not required. + msg=c.message(bob,chat,'',attachments=[att['id']])['json'] + check(msg['attachment_ids']==[att['id']],'member could not link attachment') + for suffix in ('','/content'): + c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve) + c.wait_ready(alice,att) + c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=unknown',404,actor=alice) + cases.append({'case':'foreign_attachment_metadata_and_bytes','status':404}) + other=c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json'] + other_path='/api/v1/chats/'+other['id']+'/messages' + for aid in (att['id'],str(uuid.uuid4())): + c.call('POST',other_path,404,actor=alice,body={'text':'','attachment_ids':[aid]},headers={'Idempotency-Key':uuid.uuid4().hex}) + cases.append({'case':'cross_chat_and_unknown_attachment','status':404}) + message_path='/api/v1/chats/'+chat['id']+'/messages' + for ids in ([att['id'],att['id']],['bad-id'],[str(uuid.uuid4()) for _ in range(11)]): + c.call('POST',message_path,400,actor=alice,body={'text':'','attachment_ids':ids},headers={'Idempotency-Key':uuid.uuid4().hex}) + key=uuid.uuid4().hex + first=c.message(alice,chat,'',key=key,attachments=[att['id']])['json'] + second=c.message(alice,chat,'',key=key,attachments=[att['id']])['json'] + check(first==second,'attachment message replay changed') + c.call('POST',message_path,409,actor=alice,body={'text':'different','attachment_ids':[att['id']]},headers={'Idempotency-Key':key}) + cases.append({'case':'attachment_idempotency_and_conflict','status':'201/409'}) + # Full JPEG validation, including truncated entropy-coded body. + stream=io.BytesIO() + Image.new('RGB',(320,200),'blue').save(stream,'JPEG') + jpeg=stream.getvalue() + uploaded=c.call('POST',path+'?filename=photo.jpg',202,actor=alice,raw=jpeg,headers={'Content-Type':'image/jpeg'},schema='Attachment')['json'] + c.wait_ready(alice,uploaded) + downloaded=c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob) + check(downloaded['bytes']==jpeg,'JPEG original changed') + bad('truncated_jpeg',415,jpeg[:-20],mime='image/jpeg') + # A disconnect before receiving all bytes creates neither intent nor object. + from app import store,object_store + store.pool.open(wait=True,timeout=15) + try: + def counts(): + with store.connect() as db: + n=db.execute('SELECT count(*) FROM attachments').fetchone()[0] + return n,len(object_store.client.list_objects_v2(Bucket=object_store.bucket,Prefix='staging/').get('Contents',[])) + before=counts() + conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=5) + conn.putrequest('POST',path+'?filename=interrupted.png') + conn.putheader('Authorization','Bearer '+alice['token']) + conn.putheader('Content-Type','image/png') + conn.putheader('Content-Length',str(len(fixture))) + conn.endheaders();conn.send(fixture[:50]);conn.close() + time.sleep(1) + check(counts()==before,'aborted upload persisted partial data') + cases.append({'case':'interrupted_http_body','metadata_or_object_added':False}) + finally: + store.pool.close();object_store.close() + print(json.dumps({'status':'PASS','cases':cases,'count':len(cases)},ensure_ascii=False,indent=2)) + +if __name__=='__main__': + run(main) diff --git a/transform.py b/transform.py new file mode 100644 index 00000000..e2c40de9 --- /dev/null +++ b/transform.py @@ -0,0 +1,56 @@ +"""Isolated decoder/encoder. No network or credentials; bounded by parent timeout.""" +import hashlib +import json +from pathlib import Path +import resource +import sys +import warnings +from PIL import Image, ImageOps + +# Address space bound complements the whole-container cgroup memory cap. +resource.setrlimit(resource.RLIMIT_AS, (640*1024**2,640*1024**2)) +Image.MAX_IMAGE_PIXELS = 40000000 +warnings.simplefilter('error', Image.DecompressionBombWarning) + + +def fit(image, cap): + w,h=image.size + ratio=min(1,cap/w,cap/h) + return image.resize((max(1,int(w*ratio)),max(1,int(h*ratio))), Image.Resampling.LANCZOS) + + +def main(): + source,target=Path(sys.argv[1]),Path(sys.argv[2]) + version=int(sys.argv[3]) if len(sys.argv)>3 else 1 + jpeg_quality,webp_quality=(85,80) if version==1 else (90,85) + with Image.open(source,formats=['PNG','JPEG']) as im: + if im.width*im.height>40000000: + raise ValueError('pixels') + im.load() + image=ImageOps.exif_transpose(im).convert('RGBA') + white=Image.new('RGBA',image.size,'white') + white.alpha_composite(image) + rgb=white.convert('RGB') + variants=[] + for name,content_type,output in ( + ('thumbnail','image/jpeg',fit(rgb,256)), + ('crop','image/jpeg',ImageOps.fit(rgb,(128,128),method=Image.Resampling.LANCZOS,centering=(.5,.5))), + ('optimized','image/webp',fit(rgb,1280))): + path=target/name + # Explicit empty EXIF; encoder gets a fresh image without source metadata. + clean=Image.new('RGB',output.size);clean.paste(output) + clean.save(path,format='WEBP' if name=='optimized' else 'JPEG',quality=webp_quality if name=='optimized' else jpeg_quality,exif=b'') + payload=path.read_bytes() + variants.append(dict(name=name,content_type=content_type,width=output.width,height=output.height, + size_bytes=len(payload),sha256=hashlib.sha256(payload).hexdigest())) + (target/'manifest.json').write_text(json.dumps(variants)) + + +if __name__=='__main__': + try: + main() + except MemoryError: + sys.exit(3) + except Exception: + # Deliberately no decoder traceback or client-controlled payload in logs. + sys.exit(2) diff --git a/worker.py b/worker.py new file mode 100644 index 00000000..aa065f23 --- /dev/null +++ b/worker.py @@ -0,0 +1,183 @@ +"""Fenced, serial worker; DB row locks protect all effects of one job/version.""" +import hashlib +import json +import os +from pathlib import Path +import random +import signal +import subprocess +import sys +import tempfile +import threading +import time +import uuid +from datetime import datetime, timezone +from botocore.exceptions import BotoCoreError, ClientError +from psycopg.rows import dict_row +import redis +from app import store, object_store +from pipeline import audit, broker, fetch_job, GROUP, LEASE, MAX_ATTEMPTS, STREAM, TIMEOUT + +stop=threading.Event() + + +class Permanent(Exception): + pass + + +def failpoint(name, selected): + # CLI/in-process test only, never from broker or HTTP. + if name == selected: + os._exit(86) + + +def valid_message(msg): + required={'schema_version','job_id','type','attachment_id','pipeline_version','attempt','created_at'} + if not isinstance(msg,dict) or not required<=msg.keys() or set(msg)-required-{'traceparent','tracestate'}: + return False + try: + uuid.UUID(msg['job_id']);uuid.UUID(msg['attachment_id']) + datetime.fromisoformat(msg['created_at'].replace('Z','+00:00')) + return (type(msg['schema_version']) is int and msg['schema_version']==1 and msg['type']=='attachment.process.v1' + and type(msg['attempt']) is int and msg['attempt']>=1 + and type(msg['pipeline_version']) is int and msg['pipeline_version']>=1) + except (ValueError,TypeError,AttributeError):return False + + +def claim(msg): + with store.connect() as conn: + job=fetch_job(conn,msg['job_id'],'FOR UPDATE SKIP LOCKED') + if job is None:return 'defer',None + if str(job['attachment_id'])!=msg['attachment_id'] or job['pipeline_version']!=msg['pipeline_version']: + return 'invalid',None + if job['state'] in ('ready','failed','superseded'): + audit(conn,job['id'],'duplicate_noop') + return 'noop',job + att=conn.cursor(row_factory=dict_row).execute('SELECT * FROM attachments WHERE id=%s FOR UPDATE',(job['attachment_id'],)).fetchone() + if att['pipeline_version']!=job['pipeline_version']: + conn.execute("UPDATE jobs SET state='superseded' WHERE id=%s",(job['id'],)) + audit(conn,job['id'],'stale_noop');return 'noop',job + now=datetime.now(timezone.utc) + if job['next_at']>now or (job['state']=='processing' and job['lease_until'] and job['lease_until']>now): + return 'defer',job + if job['attempt']>=MAX_ATTEMPTS: + conn.execute("UPDATE jobs SET state='failed',error_code='retry_exhausted',updated_at=now() WHERE id=%s",(job['id'],)) + conn.execute("UPDATE attachments SET state='failed',error_code='retry_exhausted',updated_at=now() WHERE id=%s",(att['id'],)) + audit(conn,job['id'],'retry_exhausted');return 'noop',job + job=conn.cursor(row_factory=dict_row).execute("""UPDATE jobs SET state='processing',attempt=attempt+1, + lease_until=now()+(%s*interval '1 second'),updated_at=now() WHERE id=%s RETURNING *""",(LEASE,job['id'])).fetchone() + conn.execute("UPDATE attachments SET state='processing',updated_at=now() WHERE id=%s",(att['id'],)) + audit(conn,job['id'],'claimed') + return 'claimed',job + + +def record_error(job, code, permanent): + with store.connect() as conn: + current=fetch_job(conn,job['id'],'FOR UPDATE') + if current['state']!='processing' or current['attempt']!=job['attempt']:return + final=permanent or current['attempt']>=MAX_ATTEMPTS + state='failed' if final else 'queued' + code=code if permanent or not final else 'retry_exhausted' + delay=random.uniform(.5,1.5)*min(30,2**(current['attempt']-1)) + conn.execute("UPDATE jobs SET state=%s,error_code=%s,next_at=now()+(%s*interval '1 second'),lease_until=NULL,updated_at=now() WHERE id=%s",(state,code,delay,job['id'])) + conn.execute("UPDATE attachments SET state=%s,error_code=%s,updated_at=now() WHERE id=%s AND pipeline_version=%s", + (state,code if final else None,job['attachment_id'],job['pipeline_version'])) + conn.execute('UPDATE outbox SET published_at=NULL WHERE job_id=%s',(job['id'],)) + audit(conn,job['id'],'failed:'+code if final else 'retry:'+code) + + +def handle(msg, crash=None, force_error=None): + if not valid_message(msg):return 'invalid' + action,job=claim(msg) + if action!='claimed':return action + try: + with store.connect() as conn: + current=fetch_job(conn,job['id'],'FOR UPDATE') + if current['state']!='processing' or current['attempt']!=job['attempt']:return 'defer' + att=conn.cursor(row_factory=dict_row).execute('SELECT * FROM attachments WHERE id=%s FOR UPDATE',(job['attachment_id'],)).fetchone() + if att['pipeline_version']!=job['pipeline_version']: + conn.execute("UPDATE jobs SET state='superseded' WHERE id=%s",(job['id'],));return 'noop' + if force_error=='permanent':raise Permanent('invalid_image') + if force_error=='temporary':raise TimeoutError() + failpoint('before_effect',crash) + with tempfile.TemporaryDirectory() as folder: + root=Path(folder) + response=object_store.client.get_object(Bucket=object_store.bucket,Key=att['staging_key']) + try:payload=response['Body'].read(10485761) + finally:response['Body'].close() + if len(payload)!=att['size_bytes'] or hashlib.sha256(payload).hexdigest()!=att['sha256']: + raise Permanent('staging_corrupt') + (root/'input').write_bytes(payload) + result=subprocess.run([sys.executable,'transform.py',str(root/'input'),str(root),str(job['pipeline_version'])],timeout=TIMEOUT, + env={'PATH':os.environ.get('PATH','/usr/local/bin:/usr/bin:/bin'),'LANG':'C.UTF-8'}, + stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL,check=False) + if result.returncode: + raise Permanent('resource_limit' if result.returncode in (3,-9) else 'invalid_image') + variants=json.loads((root/'manifest.json').read_text()) + prefix=f"results/{att['id']}/v{job['pipeline_version']}/" + key=prefix+'original' + def put(key,data,mime): + object_store.client.put_object(Bucket=object_store.bucket,Key=key,Body=data, + ContentType=mime,Metadata={'sha256':hashlib.sha256(data).hexdigest()}) + put(key,payload,att['content_type']) + for variant in variants: + variant['object_key']=prefix+variant['name'] + put(variant['object_key'],(root/variant['name']).read_bytes(),variant['content_type']) + failpoint('after_effect',crash) + conn.execute("""UPDATE attachments SET state='ready',error_code=NULL,object_key=%s, + variants=%s::jsonb,updated_at=now() WHERE id=%s AND pipeline_version=%s""", + (key,json.dumps(variants),att['id'],job['pipeline_version'])) + conn.execute("UPDATE jobs SET state='ready',error_code=NULL,lease_until=NULL,updated_at=now() WHERE id=%s",(job['id'],)) + audit(conn,job['id'],'ready') + failpoint('after_commit',crash) + return 'ready' + except Permanent as exc: + record_error(job,str(exc),True);return 'failed' + except ClientError as exc: + code=exc.response.get('Error',{}).get('Code','') + record_error(job,'staging_missing' if code in ('NoSuchKey','404') else 'storage_unavailable',code in ('NoSuchKey','404')) + return 'retry' + except (BotoCoreError,TimeoutError,subprocess.TimeoutExpired): + record_error(job,'processing_timeout',False);return 'retry' + except Exception: + # Includes a lost/ambiguous DB COMMIT: never delete effects. Lease and + # durable outbox safely recover; a ready duplicate cannot be rerun. + print(json.dumps({'worker_error':'infrastructure','job_id':str(job['id'])}),flush=True) + return 'defer' + + +def ack(client,mid): + client.xack(STREAM,GROUP,mid) + client.xdel(STREAM,mid) + + +def main(): + store.pool.open(wait=True,timeout=30) + client=broker();consumer=str(uuid.uuid4()) + for sig in (signal.SIGTERM,signal.SIGINT):signal.signal(sig,lambda *_:stop.set()) + try: + while not stop.is_set(): + try: + try:client.xgroup_create(STREAM,GROUP,id='0',mkstream=True) + except redis.ResponseError as exc: + if 'BUSYGROUP' not in str(exc):raise + reclaimed=client.xautoclaim(STREAM,GROUP,consumer,min_idle_time=LEASE*1000,start_id='0-0',count=1)[1] + entries=reclaimed + if not entries: + batches=client.xreadgroup(GROUP,consumer,{STREAM:'>'},count=1,block=1000) + entries=batches[0][1] if batches else [] + for mid,fields in entries: + try:msg=json.loads(fields.get('job','null')) + except ValueError:msg=None + outcome=handle(msg) + # A failed attempt has a durable retry intent/failed record. + # Defer leaves the delivery pending for lease-based reclaim. + if outcome!='defer':ack(client,mid) + print(json.dumps({'outcome':outcome,'delivery_id':mid}),flush=True) + except Exception as exc: + print(json.dumps({'worker_error':type(exc).__name__}),flush=True);stop.wait(1) + finally: + client.close();object_store.close();store.pool.close() + + +if __name__=='__main__':main() -- 2.54.0 From 1d7d71870b300185935c97f1fd1eb683db958ee8 Mon Sep 17 00:00:00 2001 From: healby <92+healby@noreply.gitea.privcloud.tech> Date: Fri, 20 Nov 2026 18:48:08 +0300 Subject: [PATCH 2/3] =?UTF-8?q?=D0=A3=D0=B4=D0=B0=D0=BB=D0=B8=D1=82=D1=8C?= =?UTF-8?q?=20DEFENSE=5FCHEATSHEET.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- DEFENSE_CHEATSHEET.md | 95 ------------------------------------------- 1 file changed, 95 deletions(-) delete mode 100644 DEFENSE_CHEATSHEET.md diff --git a/DEFENSE_CHEATSHEET.md b/DEFENSE_CHEATSHEET.md deleted file mode 100644 index ce2c316e..00000000 --- a/DEFENSE_CHEATSHEET.md +++ /dev/null @@ -1,95 +0,0 @@ -# Лабораторная 5: шпаргалка для защиты - -## Что сделано - -Из четвёртой работы сохранены пользователи, сессии, чаты, сообщения, две API-реплики, PostgreSQL и приватный MinIO. В пятой работе загрузка возвращает **202 queued**, а обработку выполняет отдельный worker через устойчивую очередь. - -- **Уровень 3:** staging, broker, worker, состояния queued/processing/ready/failed, оригинал и thumbnail, ограниченные попытки, восстановление после рестарта. -- **Уровень 4:** crop и WebP, transactional outbox, retry с backoff/jitter, реестр failed и replay, lease и защита от дублей, очистка staging. -- **Уровень 5, трек 2:** версии обработки и автоматические аварийные сценарии: дубли, изменение порядка, падения до/после записи результата и устаревшее задание после новой версии. - -## Как идёт загрузка - -1. Клиент передаёт все байты в API. API проверяет сессию, участие в чате, размер и формат. -2. API записывает оригинал в приватный `staging/` в MinIO. -3. В одной транзакции PostgreSQL создаются вложение, job и outbox. Только после COMMIT возвращается 202. -4. Publisher читает outbox и выполняет XADD в Valkey Streams. -5. Worker получает ID задания, читает доверенные параметры из БД и исходник из staging. -6. В отдельном процессе Pillow создаёт варианты. Оригинал остаётся побайтно неизменным. -7. Worker записывает четыре объекта в `results//v/`, затем одной транзакцией публикует ready и метаданные вариантов. -8. После COMMIT выполняется consumer ack. Клиент узнаёт готовность через GET метаданных. - -## Кто за что отвечает и где настроить - -| Компонент | Задача | Где смотреть | -| --- | --- | --- | -| Docker Compose | Запускает отдельные процессы и постоянные volumes | `compose.yaml` | -| HAProxy | Распределяет запросы между двумя API | `infra/haproxy.cfg` | -| API | Авторизация, приём и проверка файла, staging и job | `app.py`, `attachments.py` | -| PostgreSQL | Источник истины: пользователи, сообщения, статусы, версии, jobs/outbox/audit | `migrations/004_pipeline.sql` | -| MinIO | Приватные байты исходников и вариантов | `infra/init-s3.sh`, `infra/api-policy.json` | -| Valkey для кэша | Ускоряет сессии; корректность проверяется по PostgreSQL | сервис `valkey`, `app.py` | -| Valkey для очереди | Streams, consumer groups, pending и ack, AOF | отдельный сервис `broker` | -| Publisher | Восстанавливает публикацию задания из БД в брокер | `publisher.py` | -| Worker | Получает и обрабатывает задания | `worker.py` | -| Pillow subprocess | Ограниченная по времени и памяти обработка | `transform.py` | -| Janitor | Удаляет старые staging-объекты, сохраняя текущую работу | `janitor.py` | -| CLI оператора | Список failed, replay, новая версия | `manage.py` | - -Основные значения задаются в `.env` и используются `compose.yaml`: `API_REPLICAS=2`, `JOB_MAX_ATTEMPTS=5`, `JOB_TIMEOUT_SECONDS=20`, `JOB_LEASE_SECONDS=30`, `MAX_PENDING_JOBS=100`, `STAGING_RETENTION_SECONDS=86400`. Worker последовательный: одна задача и prefetch/count=1. Для нескольких workers можно использовать `scripts/compose.sh up -d --scale worker=2`; каждый получает собственный consumer ID. Результаты исследования относятся к одному обычному worker. - -Лимиты HTTP: 10 MiB, 40 миллионов пикселей, 30 секунд передачи, 5 секунд простоя, два принимаемых файла на API. Они находятся в `attachments.py`. Worker имеет лимит контейнера 768 MiB, дочерний обработчик — 640 MiB адресного пространства. Это разные ограничения, оба могут остановить слишком затратную обработку. - -## Что сказать на защите - -«В этой работе я отделил приём изображения от его обработки. API сохраняет полный оригинал в устойчивый S3 staging, а метаданные, задание и outbox фиксирует одной транзакцией PostgreSQL. После этого возвращает 202, даже если worker или брокер временно недоступны. - -Publisher доставляет задание в Valkey Streams с постоянным AOF. Worker делает thumbnail, центральный crop и WebP в отдельном процессе. Ready публикуется только после записи всех объектов, а ack отправляется после COMMIT. - -Повторная доставка допустима. Ключ результата состоит из attachment ID, версии pipeline и имени варианта. Блокировки БД и проверка версии защищают от одновременных дублей и старых заданий. Есть пять попыток с backoff и jitter, конечный failed, операторский replay и восстановление зависшего processing по lease. - -В исследовании я автоматически завершал worker до записи, после S3 и после COMMIT, доставлял дубли и старую версию после новой. Проверки подтвердили сохранность принятых задач и отсутствие дополнительных наборов вариантов. Это идемпотентные эффекты при at-least-once доставке». - -## Возможные вопросы - -**Зачем очередь?** Чтобы тяжёлая обработка не занимала HTTP-запрос, а временная остановка worker не теряла принятую работу. - -**202 означает готовность?** Нет. Приняты все байты, сохранены staging и намерение обработки. Готовность — только `status=ready`. - -**Почему не отправить файл в брокер?** Большие сообщения расходуют память и журнал брокера. Он передаёт только ID и служебные поля; байты находятся в S3. - -**Зачем outbox?** PostgreSQL и брокер не имеют общей транзакции. Если API упал после COMMIT, publisher позже найдёт сохранённое намерение и опубликует его. - -**Что если publish прошёл, а запись published_at не сохранилась?** Будет повторная публикация. Она безопасна благодаря идемпотентности worker. - -**Publisher confirm и consumer ack — одно и то же?** Нет. Подтверждение публикации означает приём брокером, ack — устойчивое завершение обработки потребителем. Здесь используется ответ XADD при AOF appendfsync=always, а consumer ack — XACK. - -**Почему не exactly once?** Одно сообщение может прийти несколько раз. Гарантируется один логический опубликованный результат, а не единственная доставка или единственный физический PUT. - -**Как защищены дубли?** Уникальная job на attachment/version, блокировка строки job, состояние ready, проверка версии и устойчивые ключи S3. После ready дубль ничего не меняет. - -**Что если worker упал после PUT до ack?** Доставка остаётся pending. После lease работа повторяется с тем же ключом. Если COMMIT ready уже был — повтор становится no-op. - -**Lease может истечь у работающего worker?** Да. Одного времени недостаточно: транзакционная блокировка строки не даёт другому worker одновременно публиковать эффект. Обработка изображения дополнительно ограничена тайм-аутом subprocess. - -**Что такое backoff и jitter?** Пауза между попытками растёт, а случайный множитель разводит повторы по времени, чтобы не создавать одновременную волну запросов. - -**Какие ошибки повторяются?** Тайм-ауты и временные ошибки S3. Непригодный или повреждённый исходник и превышение памяти становятся failed. После пяти временных ошибок — retry_exhausted. - -**Как повторить failed?** Через CLI `manage.py replay `. Нужен сохранённый исходник и текущая версия; ready повторять нельзя. Действие записывается в audit. - -**Как защищена новая версия?** В БД хранится текущая версия, а ключи объектов содержат `/v1/`, `/v2/`. Старый job не может опубликовать метаданные новой версии. - -**Чем отличаются v1 и v2?** Для v1 JPEG quality=85, WebP=80; для v2 и следующих JPEG=90, WebP=85. Изменяются производные варианты, оригинал сохраняется. - -**Когда удаляется staging?** После суток, если вложение больше не queued/processing. Failed-исходник также хранится сутки для replay. В тесте очистки часы janitor искусственно сдвигаются на два дня. - -**Что при переполнении?** В БД глобально ограничены 100 queued/processing jobs. Следующая загрузка получает 429 до записи нового staging. Обычные сообщения продолжают работать. - -**Почему два Valkey?** Кэш сессий и очередь имеют разные роли и независимые volumes. Очередь не должна зависеть от очистки кэша. - -**Зачем Docker volumes?** Контейнер можно пересоздать, сохранив данные PostgreSQL, MinIO и брокера. Volume не является резервной копией и не защищает от потери диска. - -**Что доказано экспериментом?** Проверенные аварийные сценарии на одном локальном стенде. Потеря диска, отказы нескольких узлов и production SLA не исследовались. - -Подробные команды и реальные результаты: [REPORT.md](REPORT.md), [RESEARCH.md](RESEARCH.md). -- 2.54.0 From ec9809bd0e2108e7ded294e6fecdb4b0bfef51ef Mon Sep 17 00:00:00 2001 From: healby <92+healby@noreply.gitea.privcloud.tech> Date: Fri, 20 Nov 2026 18:50:07 +0300 Subject: [PATCH 3/3] =?UTF-8?q?=D0=9E=D0=B1=D0=BD=D0=BE=D0=B2=D0=B8=D1=82?= =?UTF-8?q?=D1=8C=20REPORT.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 23 +---------------------- 1 file changed, 1 insertion(+), 22 deletions(-) diff --git a/REPORT.md b/REPORT.md index 44938599..4d8df16a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,10 +1,7 @@ # Лабораторная 5. Очереди и асинхронная обработка изображений -- Автор: healby; группа не указана. +- Автор: Савин Александр БВТ2303; - Целевая оценка: **5**, выполнены уровни 3 и 4; **трек 2 — доказанная идемпотентность pipeline**. -- Основа: собственная реализация `mtusi2026lab4`; необходимые файлы перенесены в этот репозиторий, запуск не требует соседних папок. -- Репозиторий: [healby/mtusi2026lab5](https://gitea.privcloud.tech/healby/mtusi2026lab5), ветка `main`. -- Задание README, контракт и исходные публичные тесты сохранены. Новые сценарии добавлены отдельными файлами. ## Запуск из чистого clone @@ -225,21 +222,3 @@ PASS: failover preserved confirmed data and existing session. Hook scope needs o Raw JSON/CSV и PNG/SVG хранятся в `evidence/`. График и таблица исследования пересобираются `scripts/summarize_research.py`, операционные таблицы — `scripts/summarize_operations.py`; ручные PASS не заменяют assert сценариев. - -## Ограничения и следующие шаги - -- Один host, один PostgreSQL, один MinIO и один broker: это восстановление процессов с сохранёнными дисками, не HA хранилищ. Потеря volume не покрывается; backup не реализован. -- AOF appendfsync=always выбран ради устойчивости локального брокера и может ограничивать производительность. Новые queued-задания не публикуются бесконечно: повторная публикация нужна при восстановлении просроченной processing или несохранённом outbox. -- PostgreSQL и S3 не имеют общей транзакции. До 202 возможен orphan staging; после аварии worker возможны повторные PUT одного ключа. После COMMIT ready дубль не запускает encode повторно. -- Subprocess timeout ограничивает decode/encode, не всю жизнь job; сетевые операции отдельно имеют connect/read timeout. На ошибках инфраструктуры работа остаётся восстанавливаемой по lease и outbox. -- Версионирование демонстрирует изменение настроек кодирования. При изменении алгоритма нужен новый pipeline_version и согласованное обновление workers; смешивать несовместимый код под одной версией нельзя. -- Полная проверка готовых S3-объектов на bit rot, удаление старых готовых версий и резервное копирование не реализованы. Если после ready вручную удалить объект, download вернёт 503; восстановление байтов требует источника/backup. -- Failed-источники удаляются после retention, после чего replay невозможен. Оригиналы и история сообщений пока не имеют пользовательского удаления. -- Матрица fault injection конечна; испытания времени/памяти используют специально уменьшенные бюджеты, cleanup — сдвиг часов. Пики RSS/производительность под production-нагрузкой не измерялись; трек 1 не заявлен. -- Пользовательская группа не предоставлена и не выдумана. - -## Источники и использование ИИ - -Основа — собственная lab4 и исходные README/contracts/tests lab5. Использованы официальные материалы [Valkey persistence](https://valkey.io/topics/persistence/), [Streams introduction](https://valkey.io/topics/streams-intro/), [XAUTOCLAIM](https://valkey.io/commands/xautoclaim/), [Pillow ImageOps](https://pillow.readthedocs.io/en/stable/reference/ImageOps.html), [PostgreSQL locking](https://www.postgresql.org/docs/16/explicit-locking.html). Библиотеки: FastAPI, Uvicorn, psycopg, redis-py, boto3, Pillow, argon2-cffi; версии закреплены. Codex использован для переноса, реализации pipeline, тестов, анализа результатов и подготовки документации. Доказательства получены реальными запусками Docker-стенда; токены не включены в отчёт. - -Материал для защиты: [DEFENSE_CHEATSHEET.md](DEFENSE_CHEATSHEET.md). -- 2.54.0