ЛР4 - БВТ2303 - Савин - на 5 #86
+7
-19
@@ -1,20 +1,8 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
# scripts/bootstrap.sh generates LOCAL random passwords, never overwrites .env.
|
||||
POSTGRES_PASSWORD=choose_local_random_password
|
||||
S3_ROOT_PASSWORD=choose_separate_admin_password
|
||||
S3_API_PASSWORD=choose_separate_application_password
|
||||
APP_PORT=8084
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
API_CPUS=2
|
||||
API_IMAGE=mtusi-lab4-api:local
|
||||
|
||||
@@ -1,18 +1,17 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор: Савин Александр, БВТ2303. Целевая оценка: **5, трек 2 — согласованность двух хранилищ**.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Добавлены приватный MinIO с отдельными API credentials, синхронный потоковый PNG/JPEG upload, метаданные PostgreSQL, ссылки вложений в сообщениях и авторизованный streaming-download. Минимум lab3 сохранён: две API за HAProxy, общие сессии, идемпотентность и отдельные миграции.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Разрыв PUT/COMMIT обрабатывается durable pending-намерением и повторяемым reconciler с dry-run, grace и общими object locks. Исследование внедряет реальные и моделируемые сбои, проверяет защиту fresh/used/locked объектов, повтор apply, восстановление missing и стоимость обхода. Дополнительно измерен пик памяти при 10 одновременных uploads двух размеров.
|
||||
|
||||
Запуск: scripts/bootstrap.sh → scripts/compose.sh up -d --build → scripts/wait_ready.py. Полные команды и результаты: REPORT.md; методика, raw data и графики: RESEARCH.md и evidence/.
|
||||
|
||||
Ограничения: один host, нет репликации MinIO/БД/LB, backup и полного SHA-аудита всех bytes; готовые неиспользуемые вложения автоматически не удаляются. Использовался Codex, первичные материалы указаны в отчёте.
|
||||
|
||||
- [x] Обязательный контракт, README и публичные тесты сохранены.
|
||||
- [x] Секреты вне Git; root credentials не передаются API.
|
||||
- [x] Реальные S3/DB outages и разрыв PUT/COMMIT проверены.
|
||||
- [x] Публичный smoke, файлы, ACL и сохранность проверяются отдельными сценариями.
|
||||
- [x] Исследование содержит гипотезу, raw data, повторения, результаты и ограничения.
|
||||
|
||||
+22
@@ -0,0 +1,22 @@
|
||||
FROM python:3.11.11-slim
|
||||
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 \
|
||||
PYTHONUNBUFFERED=1 \
|
||||
APP_HOST=0.0.0.0 \
|
||||
APP_PORT=8080 \
|
||||
DATABASE_URL=postgresql://messenger:messenger@db:5432/messenger \
|
||||
SESSION_TTL_SECONDS=3600
|
||||
|
||||
WORKDIR /app
|
||||
COPY requirements.txt /app/requirements.txt
|
||||
RUN pip install --no-cache-dir -r /app/requirements.txt
|
||||
ARG APP_REVISION=lab4-v1
|
||||
ENV APP_REVISION=$APP_REVISION
|
||||
COPY app.py attachments.py reconcile.py migrate.py /app/
|
||||
COPY migrations /app/migrations
|
||||
COPY scripts /app/scripts
|
||||
COPY tests /app/tests
|
||||
COPY contracts /app/contracts
|
||||
COPY lab.json /app/lab.json
|
||||
EXPOSE 8080
|
||||
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8080"]
|
||||
@@ -28,3 +28,47 @@ test-persistence:
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
.PHONY: up down test-idempotency test-cache test-uploads test-private test-attachment-failover test-dependencies research-memory research-consistency reconcile reconcile-apply
|
||||
up:
|
||||
./scripts/bootstrap.sh
|
||||
./scripts/compose.sh up -d --build
|
||||
|
||||
# Preserve volumes; data deletion is an explicit operator action.
|
||||
down:
|
||||
./scripts/compose.sh down
|
||||
|
||||
test-idempotency:
|
||||
$(PYTHON) tests/idempotency_concurrent.py --base-url "$(BASE_URL)"
|
||||
|
||||
test-cache:
|
||||
./scripts/compose.sh exec -T -e BASE_URL=http://lb:8080 -e CACHE_URL=redis://valkey:6379/0 api python - < tests/cache_consistency.py
|
||||
|
||||
test-uploads:
|
||||
./scripts/compose.sh run --rm -T --no-deps ops python tests/uploads_negative.py
|
||||
|
||||
test-private:
|
||||
./scripts/compose.sh run --rm -T --no-deps ops python tests/private_storage.py
|
||||
|
||||
test-attachment-failover:
|
||||
$(PYTHON) tests/attachment_failover.py --base-url "$(BASE_URL)"
|
||||
|
||||
test-dependencies:
|
||||
$(PYTHON) scripts/test_dependency_outages.py
|
||||
|
||||
research-memory:
|
||||
$(PYTHON) scripts/research_upload_memory.py
|
||||
|
||||
research-consistency:
|
||||
$(PYTHON) scripts/research_consistency_host.py
|
||||
|
||||
reconcile:
|
||||
./scripts/compose.sh run --rm -T --no-deps ops python reconcile.py
|
||||
|
||||
reconcile-apply:
|
||||
./scripts/compose.sh run --rm -T --no-deps ops python reconcile.py --apply
|
||||
|
||||
.PHONY: plot-research
|
||||
plot-research:
|
||||
$(PYTHON) scripts/plot_research.py
|
||||
$(PYTHON) scripts/summarize_research.py
|
||||
|
||||
@@ -1,37 +1,228 @@
|
||||
# Отчёт — лабораторная 4
|
||||
# Лабораторная 4 — S3-хранилище и вложения
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Автор: Савин Александр, БВТ2303. Целевая оценка: 5, трек 2 — согласованность двух хранилищ.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker Engine/Compose v2 и Python 3.9+ для внешних тестов; для перестроения графиков — Python 3.10+ (локально 3.13). Сборка использует Python 3.11.11. Скрипт compose.sh поддерживает `docker compose` и `docker-compose`.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
cd mtusi2026lab4
|
||||
./scripts/bootstrap.sh
|
||||
./scripts/compose.sh config --quiet
|
||||
./scripts/compose.sh up -d --build
|
||||
python3 scripts/wait_ready.py --base-url http://localhost:8084
|
||||
export BASE_URL=http://localhost:8084
|
||||
make check
|
||||
make test
|
||||
make test-idempotency
|
||||
make test-cache
|
||||
make test-uploads
|
||||
make test-private
|
||||
make test-attachment-failover
|
||||
./scripts/compose.sh start api
|
||||
python3 scripts/wait_ready.py --base-url "$BASE_URL"
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
./scripts/compose.sh start api
|
||||
python3 scripts/wait_ready.py --base-url "$BASE_URL"
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-dependencies
|
||||
make research-consistency
|
||||
make research-memory
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Все зависимости запускаются этим проектом. .env создаётся один раз с тремя разными случайными паролями и правами 600; существующий файл не перезаписывается. APP_PORT по умолчанию 8084. Хранилища/volumes предыдущих лабораторных не подключаются. API_REPLICAS, API_CPUS и API_IMAGE управляют числом, CPU и образом API; остальные обязательные значения описаны в compose.yaml/.env.example. Секреты исключены из Git и Docker build context. Credentials в environment доступны оператору Docker — учебное упрощение.
|
||||
|
||||
## Доказательства критериев
|
||||
Остановка без потери данных: `./scripts/compose.sh down`; возврат: `./scripts/compose.sh up -d`. Намеренное удаление **всех учебных данных lab4**: `./scripts/compose.sh down -v`; для проверок команда не нужна.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
```sh
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt -r requirements-research.txt
|
||||
make validate PYTHON=.venv/bin/python
|
||||
.venv/bin/python scripts/plot_research.py
|
||||
```
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
## Компоненты и версии
|
||||
|
||||
## Эксперименты и отказы
|
||||
Клиент → HAProxy → API ×2 → PostgreSQL (метаданные) и приватный MinIO (оригиналы). Valkey остаётся общим кэшем сессий. Мигратор и S3 bootstrap запускаются отдельно; reconciler автоматически сверяет хранилища. ops — профиль инструментов для тестов/ручной сверки, обычный запуск его не поднимает.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
| Компонент | Проверенная версия/ограничение |
|
||||
| --- | --- |
|
||||
| API | Python 3.11.11-slim, FastAPI 0.115.0, Uvicorn 0.30.6; 2 CPU/512 MiB на реплику |
|
||||
| PostgreSQL | 16.6-alpine; 1 CPU/512 MiB |
|
||||
| Valkey | 8.0.2-alpine, AOF; 0.25 CPU/128 MiB |
|
||||
| HAProxy | 3.0.5-alpine; 0.25 CPU/64 MiB |
|
||||
| MinIO | RELEASE.2025-09-07T16-13-09Z, digest закреплён в Compose; 0.5 CPU/768 MiB |
|
||||
| MinIO mc | RELEASE.2025-08-13T08-35-41Z, digest закреплён; bootstrap 1 CPU/512 MiB, затем завершается |
|
||||
| Reconciler | Тот же образ приложения; 0.25 CPU/256 MiB |
|
||||
| Инструменты ops | 1 CPU/512 MiB, запускаются явно |
|
||||
| SDK/декодер | boto3 1.42.0, Pillow 13.0.0 |
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Проверено на macOS/Colima, Linux arm64, Docker 27.4.0, VM 4 vCPU и около 8 GB RAM. Квоты — пределы, не резервирование: сумма возможных CPU-квот больше 4 vCPU. Все образы закреплены тегом или digest; проверена arm64-среда. Фактические процессы, image IDs, лимиты, порты и volumes — evidence/final-containers.json.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
## Что перенесено из lab3
|
||||
|
||||
Две взаимозаменяемые API за HAProxy, Docker DNS discovery, round robin, общие сессии PostgreSQL/Valkey, Argon2id, проверка прав, keyset-пагинация, X-Request-Id/X-Instance-Id, транзакционная идемпотентность сообщений и отдельный согласованный мигратор. SQL-пул каждой API ограничен пятью соединениями.
|
||||
|
||||
Новые текстовые сообщения остаются валидны и получают attachment_ids=[]. Миграция 003 переводит сохранённые lab3 request bodies в JSONB и добавляет [] к сохранённым ответам, чтобы сохранить replay при таком обновлении. В этом стенде используется отдельная новая БД lab4.
|
||||
|
||||
Идемпотентность теперь сравнивает текст и упорядоченный список attachment_ids. Порядок JSON-полей несущественен, отсутствующий список равен []. Те же ключ/тело дают прежнее сообщение и 201; другой body — 409. Ключ действует в области пользователя/чата/POST, срок результата — 24 часа. Вложения проверяются в транзакции, их принадлежность чату обязательна. Один и тот же файл чата может прикреплять другой участник, не только загрузивший пользователь.
|
||||
|
||||
## Метаданные, загрузка и download
|
||||
|
||||
attachments хранит UUID, чат, владельца, отображаемое filename, внутренний object_key, тип, размер, SHA-256 и состояние. message_attachments хранит связь и порядок вложений. Бинарного поля в PostgreSQL нет. Имя объекта назначается сервером: originals/<UUID>. Filename не участвует в пути.
|
||||
|
||||
Порядок upload:
|
||||
|
||||
1. Bearer-аутентификация и проверка членства в чате.
|
||||
2. Проверка filename (1–255 символов, без разделителей и управляющих символов) и допустимого Content-Type.
|
||||
3. Отклонение слишком большого Content-Length до чтения тела. Затем потоковое чтение с повторной проверкой суммарных bytes, в том числе при chunked transfer.
|
||||
4. SHA-256 рассчитывается по поступающим байтам. SpooledTemporaryFile держит до 256 KiB в RAM, дальше использует временный файл. Исходник не становится обязательным локальным хранилищем API: spool закрывается/удаляется после операции, ошибки, disconnect или завершения процесса.
|
||||
5. Pillow открывает только PNG/JPEG, проверяет фактический формат, размеры до полного decode, затем verify и полный load. Лимиты — 10 MiB и 40 млн пикселей; обрезанные JPEG тоже отклоняются.
|
||||
6. Создание устойчивого pending-намерения в PostgreSQL, S3 PUT и перевод записи в ready. 201 возвращается после успешной фиксации ready, когда обе части сохранены.
|
||||
|
||||
Размер и пиксели ограничены константами обязательного контракта. Multipart/form-data не используется. Превышение limits — 413; испорченное/чужое содержимое или подмена MIME — 415; неверные поля — 400; чужой/неизвестный объект — 404. Ошибки SDK не раскрывают credentials и превращаются в 503.
|
||||
|
||||
GET /attachments/{id} и /content сначала проверяют сессию и членство в чате. Download идёт через API без redirect и отдаёт исходные байты порциями 64 KiB с настоящим Content-Type. В ответах отсутствуют object key, адрес MinIO и секреты. Только ready выдаётся как Attachment обязательной схемы с variants=[] и error_code=null. Для внутреннего pending/failed доступ участнику возвращает 409; чужой пользователь по-прежнему получает 404. При исчезновении объекта download сначала возвращает 503, после обнаружения reconciler — 409. Ссылка в подтверждённом сообщении сохраняется.
|
||||
|
||||
## Ограничение ресурсов и timeouts
|
||||
|
||||
На процесс допускаются две активные upload-операции; остальные ждут свободный слот до 30 секунд с ASGI-backpressure. При чтении тела — idle timeout 5 секунд и общий бюджет 30 секунд. Декодирование ограничено одним изображением на процесс. Блокирующие file/Pillow/S3-операции вынесены в thread pool. Uvicorn limit-concurrency=64 ограничивает общее число соединений/задач; при перегрузке возможна 503 самого сервера.
|
||||
|
||||
S3 SDK: connect timeout=1s, read timeout=3s, одна попытка без скрытого повторного PUT. Применяется single PUT, multipart-upload-сессии не создаются. Ресурс декодирования ограничен bytes/pixels и семафором; отдельного принудительного wall-clock timeout нативного Pillow decode нет.
|
||||
|
||||
API readiness требует PostgreSQL и MinIO; Valkey остаётся необязательным. HAProxy проверяет readiness каждую секунду, fall=2/rise=1/check timeout=1s; connect=1s, client/server inactivity timeout=45s. Docker healthcheck имеет процессный бюджет 4s. Uvicorn graceful shutdown=35s, Compose stop_grace_period=40s. Явный stop-one hook намеренно использует лишь 3s, проверяя и возможность обрыва запросов. SIGTERM reconciler завершает ожидание и закрывает соединения; при слишком долгом проходе возможен внешний SIGKILL, повтор остаётся безопасным.
|
||||
|
||||
## Приватность MinIO и bootstrap
|
||||
|
||||
MinIO и его консоль не публикуют порты на хост. Консоль привязана к loopback внутри S3-контейнера, browser UI выключен. API знает отдельного пользователя lab4api; root credentials есть только у MinIO и bootstrap, в API их нет.
|
||||
|
||||
S3-init создаёт bucket messenger-attachments, убирает anonymous policy и создаёт/обновляет пользователя и политику. Повтор bootstrap не удаляет объекты. Разрешены ListBucket только этого bucket, Get/Put/DeleteObject только originals/*. У API нет прав создавать bucket, читать его политику или писать за пределами префикса. MinIO разрешает filtered ListBuckets с именем разрешённого bucket; это наблюдение отдельно записано, отказ в этой конкретной операции не заявляется.
|
||||
|
||||
Реальная внешняя для API проверка выполняется из ops-контейнера непосредственно к MinIO: анонимные list/get возвращают 403; административные операции API-пользователя запрещены; console port недоступен. Политика — infra/api-policy.json, результаты — evidence/private-storage.json.
|
||||
|
||||
## Согласованность PostgreSQL и S3
|
||||
|
||||
Распределённой транзакции между PostgreSQL и S3 нет. Вместо немедленного удаления объекта при любой ошибке COMMIT используется устойчивое намерение и повторяемая сверка. Это важно: при потере ответа COMMIT мог реально пройти, поэтому слепая компенсация могла бы удалить уже готовый объект.
|
||||
|
||||
Перед PUT сохраняется pending со случайным UUID, ключом, размером и checksum. На время PUT/ready COMMIT берётся PostgreSQL advisory lock области object_key. Reconciler использует тот же lock и повторно читает обе стороны под ним. После успешного COMMIT запись ready больше автоматически не удаляется.
|
||||
|
||||
| Расхождение | Безопасное действие |
|
||||
| --- | --- |
|
||||
| Объект есть, записи нет (orphan) | После grace и повторной проверки удалить объект, если нет использования |
|
||||
| Старый pending, PUT не было или процесс умер после PUT | Удалить оставшийся объект, если он есть, отметить incomplete_upload; сохранить запись |
|
||||
| Ready-метаданные есть, объект отсутствует | Отметить missing_object; сохранить UUID, метаданные и связи сообщений |
|
||||
| Не совпадают размер/sha256 metadata в HEAD | Отметить corrupt_object, сохранить данные для диагностики |
|
||||
| Missing/corrupt объект восстановлен и HEAD снова соответствует записи | Вернуть ready; не генерировать новый UUID и не менять сообщения |
|
||||
| Свежий объект/запись, используемый готовый объект, занятый lock | Не удалять |
|
||||
| Ошибка БД, S3 403/5xx/timeout | Прервать проход; не трактовать как отсутствие |
|
||||
|
||||
Штатный grace=300s, проверяется возраст и объекта, и pending-записи. Обычный CLI запрещает grace меньше 60s. Автопроцесс выполняет apply, затем ждёт 60s до следующего прохода. Одновременные запуски сериализуются отдельным lock. Инвентарь S3 и метаданные читаются страницами по 200; JSON содержит максимум 1000 подробных действий и счётчики остальных, чтобы отчёт тоже не рос без ограничения RAM.
|
||||
|
||||
```sh
|
||||
make reconcile # dry-run по умолчанию
|
||||
make reconcile-apply # те же правила с реальным исправлением
|
||||
```
|
||||
|
||||
В исследовании только на изолированных синтетических данных grace=5s разрешён явным флагом; это не настройка штатного worker. Само восстановление утраченных bytes требует сохранившегося оригинала/backup. Reconciler обнаруживает и корректно обозначает потерю, но не создаёт исходное изображение из хэша. Проверка HEAD не является полным повторным SHA-аудитом всех байтов: размер и серверные sha256 metadata сравниваются с БД.
|
||||
|
||||
## Доказательства уровней 3 и 4
|
||||
|
||||
| Критерий | Проверка | Файл |
|
||||
| --- | --- | --- |
|
||||
| Контракт и схема | make check; make validate | evidence/check.txt, validate.txt |
|
||||
| Обязательный lab4 API | make test | evidence/smoke.txt |
|
||||
| Сессии/идемпотентность lab3 | make test-idempotency; make test-cache | evidence/idempotency.txt, cache-consistency.txt |
|
||||
| Форматы, limits, filename, ACL, чужой чат/attachment, прерывание | make test-uploads, 21 случая | evidence/uploads-negative.json |
|
||||
| Приватный bucket и ограниченные права | make test-private | evidence/private-storage.json |
|
||||
| Установленная загрузившая API действительно остановлена | make test-attachment-failover | evidence/attachment-failover.json |
|
||||
| Публичный failover и исходный файл | make test-failover ACTION_SCRIPT=scripts/stop-one.sh | evidence/failover.txt, after-public-failover.json |
|
||||
| Полный restart с прежним токеном и файлом | make test-persistence ACTION_SCRIPT=scripts/restart.sh | evidence/persistence.txt, before-persistence.json, after-persistence.json |
|
||||
| Реальная недоступность MinIO и PostgreSQL | make test-dependencies | evidence/dependency-outages.json, dependency-outages-compose.txt |
|
||||
| ≥10 одновременных uploads и peak RAM | make research-memory | evidence/upload-memory.json, upload-memory.png |
|
||||
| Компенсация и безопасный grace | make research-consistency | evidence/reconciliation.json |
|
||||
| Повторяемый bootstrap и отсутствие публичной консоли | s3-init + test-private | infra/init-s3.sh, evidence/private-storage.json |
|
||||
|
||||
В outage-тесте диагностические запросы идут внутри Compose к api:8080: это позволяет проверить структурированные ошибки приложения, когда HAProxy уже исключил обе API из-за недоступного S3/БД. Обычный маршрут всех успешных пользовательских сценариев — LB.
|
||||
|
||||
Все таблицы результатов и оба графика включены ниже в этот отчёт; полная методика уровня 5 — в [RESEARCH.md](RESEARCH.md). Проверки изменяют только синтетические данные отдельного проекта lab4. Токены/подписанные URL/пароли в evidence не сохраняются.
|
||||
|
||||
## Фактические результаты
|
||||
|
||||
- Публичный smoke, 16 конкурентных повторов сообщений и регрессии идентичности кэша — PASS.
|
||||
- Негативный suite: 21 проверка — PASS. Приватный S3 GET/List: 403, опасные операции API principal запрещены, console недоступна.
|
||||
- Остановка загрузившей API: uploader `e2b4291a5ae6`, скачавшая реплика `f73f3d296d3e`; восстановление download+write 2.159s, неудачных попыток 3. Bytes и SHA-256 совпали, настоящий uploader оставался остановленным до отдельного восстановления.
|
||||
- Публичный failover: 111 успешных записей, 3 неудачные попытки, восстановление 1.846s. Подтверждённые сообщения, прежняя сессия и оригинал сохранены.
|
||||
- Persistence — PASS. Реально перезапущены семь процессов API×2/DB/Valkey/MinIO/LB/reconciler; ID и volumes сохранились, StartedAt изменился.
|
||||
- Десять одновременных uploads, 40 запросов двух размеров: 0 ошибок. Измеренные пики API: около 91 MiB и 125–146 MiB при лимите 512 MiB.
|
||||
- Трек 2: real crash после PUT завершился с кодом 86; dry-run не изменил данные; apply исправил расхождения; повтор — 0 новых действий; fresh/used/locked объекты сохранены.
|
||||
|
||||
<!-- BEGIN RESEARCH RESULTS -->
|
||||
## Таблицы и графики экспериментов
|
||||
|
||||
Числа и рисунки ниже получены из сохранённых JSON. Полная методика и исходные условия приведены в [RESEARCH.md](RESEARCH.md).
|
||||
|
||||
### Обнаружение и исправление
|
||||
|
||||
| Действие | Количество в apply |
|
||||
| --- | --- |
|
||||
| abort_pending | 2 |
|
||||
| corrupt_object | 1 |
|
||||
| delete_orphan | 1 |
|
||||
| missing_object | 1 |
|
||||
|
||||
Реальный fault-процесс завершился с кодом **86** после PUT. Последующий apply нашёл его pending и удалил объект после grace. Для исчезнувшего/повреждённого используемого вложения сохраняются метаданные и связи сообщений; меняется доступность, а не история. После восстановления исходного объекта действие restore_ready снова разрешило скачивание с тем же UUID.
|
||||
|
||||
| Проверка безопасности | Результат |
|
||||
| --- | --- |
|
||||
| fresh_orphan_preserved | True |
|
||||
| fresh_ready_preserved | True |
|
||||
| used_ready_preserved | True |
|
||||
| active_lock_preserved | True |
|
||||
| missing_metadata_and_links_retained | True |
|
||||
| dry_run_no_mutation | True |
|
||||
| second_apply_actions | 0 |
|
||||
|
||||
Повторный apply не предложил новых действий. Это относится к уже исправленному тестовому состоянию; при появлении новых объектов/ошибок следующий проход закономерно может выполнить новые действия. Ошибки зависимостей в отдельной проверке не изменили статусы. Реальные остановки MinIO/PostgreSQL дополнительно проверены в evidence/dependency-outages.json.
|
||||
|
||||
### Стоимость обхода
|
||||
|
||||
К существующему фиксированному набору метаданных добавлялись 0, 50, 200 S3-объектов без метаданных. Это отдельные известные test-only ключи. Перед нулевой группой базовые timestamps выдерживаются за пределами тестового grace; после создания каждой следующей группы также выдерживается grace. Для каждого размера выполнено три dry-run, затем известные дополнительные ключи удалены. Порядок размеров возрастающий, кэш не сбрасывался.
|
||||
|
||||
Время измеряется time.monotonic внутри инструмента; запуск контейнера, подготовка fixtures и ожидание grace не входят в elapsed. Исходные отдельные результаты: reconciliation.json → scan_cost_runs. В таблице среднее/выборочное стандартное отклонение, не доверительный интервал.
|
||||
|
||||
| Дополнительных orphan | Объектов S3 | Метаданных | Время, мс: mean ± SD | min–max, мс | List / HEAD вызовов |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 0 | 65 | 65 | 160.59 ± 10.962 | 151.176–172.625 | 1 / 130 |
|
||||
| 50 | 115 | 65 | 259.99 ± 62.361 | 219.672–331.819 | 1 / 180 |
|
||||
| 200 | 265 | 65 | 579.413 ± 113.494 | 460.906–687.121 | 2 / 330 |
|
||||
|
||||

|
||||
|
||||
При росте набора увеличиваются число point-checks и время. Список S3 и DB-метаданные читаются страницами по 200, подробный журнал ограничен 1000 действиями; остальные учитываются счётчиками. Алгоритм делает O(N+M) обход при N объектах и M подходящих метаданных, с индексированными DB point lookups. Полный SHA-аудит bytes сюда не входит: HEAD сравнивает размер и записанный uploader-ом sha256 metadata. Результат не доказывает предельную производительность хранилища или точную линейность на миллионах объектов.
|
||||
|
||||
### Эксперимент уровня 4: память при параллельной загрузке
|
||||
|
||||
Десять клиентов одновременно стартуют по barrier, два раунда для каждого из двух размеров. Генератор находится внутри Compose-сети и идёт через LB. Каждая загрузка проверяет 201/ready, размер и SHA-256; один оригинал каждой фазы скачивается вторым участником и сравнивается побайтно.
|
||||
|
||||
Изображения — реальные синтетические RGB PNG, однотонные, сохранены без сжатия (compress_level=0), чтобы получить воспроизводимый большой файл. Это профиль передачи/памяти, а не worst-case для времени сложного JPEG/PNG-декодирования. Payload создаётся один раз на фазу и разделяется клиентскими потоками.
|
||||
|
||||
В каждом API cgroup memory.current читается раз в 50ms. Измерение включает page cache, kernel charges и небольшой Python sampler; это не RSS/heap-профиль. Пики — максимумы samples внутри фазы, не математическая гарантия отсутствия краткого пропущенного пика. В raw traces отдельно есть lifetime memory.peak, который включает более ранние операции. Лимит каждой API — 512 MiB, активных upload slots=2, decoder=1.
|
||||
|
||||
| Файл, байт | Размер, MiB | Успешных загрузок | Ошибок | p50 / p95 / p99, мс | Пики API 1 / API 2, MiB |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 787271 | 0.751 | 20 | 0 | 102.767 / 176.198 / 183.16 | 91.094 / 91.312 |
|
||||
| 7081758 | 6.754 | 20 | 0 | 617.87 / 832.535 / 896.355 | 124.629 / 146.086 |
|
||||
|
||||

|
||||
|
||||
Все 40 запросов прошли, в каждой фазе наблюдались две настоящие API. Измеренные пики ниже лимита. Это подтверждает выбранный профиль ≥10 конкурентных загрузок, но не доказывает пик для всех изображений вплоть до 40 млн пикселей или для одновременных массовых логинов Argon2id.
|
||||
|
||||
<!-- END RESEARCH RESULTS -->
|
||||
|
||||
## Ограничения
|
||||
|
||||
Один Docker-host; MinIO, PostgreSQL и LB не реплицированы. Поддержан отказ процесса API и обычный restart с volumes, а не потеря диска/узла/backup. HTTP используется для локального синтетического стенда. Краткие ошибки при обнаружении отказа учитываются. Обрыв S3 в середине уже начатого streaming-download может оборвать HTTP-тело после отправки headers; клиент сверяет длину/хэш и повторяет безопасный GET.
|
||||
|
||||
Готовые, но ещё не прикреплённые вложения автоматически не удаляются: клиент может сослаться на них позже. Failed-записи и связи сохраняются для диагностики; tombstone retention отдельно не реализован. Изменять приватные объекты напрямую допускается только оператору; ключи приложения неизменяемы и не переиспользуются. Защита от произвольных злонамеренных изменений root/SQL-администратора и от несогласованного восстановления всей БД вне модели этой работы.
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
|
||||
+110
@@ -0,0 +1,110 @@
|
||||
# Исследование lab4: согласованность PostgreSQL и S3
|
||||
|
||||
Автор: Савин Александр, БВТ2303. Уровень 5, трек 2. Выполнено 6 ноября 2026 года на отдельном стенде lab4. Исходные данные находятся в evidence/, обязательные API-тесты не менялись.
|
||||
|
||||
## Гипотеза
|
||||
|
||||
Если устойчивое намерение создаётся до S3 PUT, а uploader и reconciler используют одну область транзакционной блокировки, можно обнаруживать незавершённые операции и расхождения без удаления свежих, используемых или ещё записываемых объектов. Повторное применение к уже исправленному состоянию не должно создавать новых изменений.
|
||||
|
||||
Дополнительная гипотеза: стоимость полной сверки растёт приблизительно с числом объектов и метаданных, а не с размером каждого оригинала, поскольку сверка использует List/HEAD и не скачивает все байты.
|
||||
|
||||
## Среда и методика
|
||||
|
||||
macOS/Colima, Linux arm64, Docker Engine 27.4.0, VM 4 vCPU/около 8 GB RAM. Версии и caps всех компонентов закреплены в compose.yaml, SDK — boto3 1.42.0. Исследовательский ops-контейнер: 1 CPU/512 MiB; обычный reconciler: 0.25 CPU/256 MiB, поэтому их абсолютное время не обязано совпадать. MinIO: 0.5 CPU/768 MiB, PostgreSQL: 1 CPU/512 MiB.
|
||||
|
||||
scripts/research_consistency_host.py временно останавливает штатный worker, запускает один изолированный эксперимент и восстанавливает worker в finally. Пользователи, чаты, файлы и fault fixtures синтетические. Прямые повреждения выполняются только исследовательским инструментом с доступом к двум хранилищам; HTTP-клиент не может включить failpoint.
|
||||
|
||||
Фазы опыта:
|
||||
|
||||
1. Загрузить valid PNG и связать часть вложений с сообщениями.
|
||||
2. Удалить метаданные одного неиспользуемого вложения, оставив S3-объект: orphan.
|
||||
3. Запустить отдельный Python-процесс, который делает настоящий PUT и завершает себя os._exit(86) до ready COMMIT. Проверить pending и существующий объект.
|
||||
4. Создать pending без объекта, моделируя неуспешный PUT.
|
||||
5. Удалить объект используемого вложения; заменить другой объект неверным содержимым.
|
||||
6. Состарить DB timestamps, дождаться реального старения S3 timestamps. Использовать grace=5s только с явным разрешением для теста; штатный grace остаётся 300s.
|
||||
7. Создать свежие ready/orphan fixtures и удерживать общий advisory lock для старого объекта, моделируя активный uploader.
|
||||
8. Выполнить dry-run и сравнить состояния/наличие: мутаций быть не должно. Затем apply с повторной проверкой обеих сторон под lock.
|
||||
9. Повторить apply; восстановить потерянный оригинал с его SHA metadata и вернуть ready без изменения UUID/связей.
|
||||
10. Имитировать S3 503 и ошибку соединения PostgreSQL: проход должен завершиться ошибкой без вывода «объект отсутствует» и без изменения статусов.
|
||||
|
||||
В тесте перед отдельными sweep обновляется timestamp test-only fresh orphan, чтобы на начало каждого прохода он действительно был моложе grace. Заблокированный тестовый orphan удаляется оператором только после проверки его защиты. Это отличает проверку текущей свежести от обещания хранить неподтверждённый orphan бесконечно.
|
||||
|
||||
## Обнаружение и исправление
|
||||
|
||||
| Действие | Количество в apply |
|
||||
| --- | --- |
|
||||
| abort_pending | 2 |
|
||||
| corrupt_object | 1 |
|
||||
| delete_orphan | 1 |
|
||||
| missing_object | 1 |
|
||||
|
||||
Реальный fault-процесс завершился с кодом **86** после PUT. Последующий apply нашёл его pending и удалил объект после grace. Для исчезнувшего/повреждённого используемого вложения сохраняются метаданные и связи сообщений; меняется доступность, а не история. После восстановления исходного объекта действие restore_ready снова разрешило скачивание с тем же UUID.
|
||||
|
||||
| Проверка безопасности | Результат |
|
||||
| --- | --- |
|
||||
| fresh_orphan_preserved | True |
|
||||
| fresh_ready_preserved | True |
|
||||
| used_ready_preserved | True |
|
||||
| active_lock_preserved | True |
|
||||
| missing_metadata_and_links_retained | True |
|
||||
| dry_run_no_mutation | True |
|
||||
| second_apply_actions | 0 |
|
||||
|
||||
Повторный apply не предложил новых действий. Это относится к уже исправленному тестовому состоянию; при появлении новых объектов/ошибок следующий проход закономерно может выполнить новые действия. Ошибки зависимостей в отдельной проверке не изменили статусы. Реальные остановки MinIO/PostgreSQL дополнительно проверены в evidence/dependency-outages.json.
|
||||
|
||||
## Стоимость обхода
|
||||
|
||||
К существующему фиксированному набору метаданных добавлялись 0, 50, 200 S3-объектов без метаданных. Это отдельные известные test-only ключи. Перед нулевой группой базовые timestamps выдерживаются за пределами тестового grace; после создания каждой следующей группы также выдерживается grace. Для каждого размера выполнено три dry-run, затем известные дополнительные ключи удалены. Порядок размеров возрастающий, кэш не сбрасывался.
|
||||
|
||||
Время измеряется time.monotonic внутри инструмента; запуск контейнера, подготовка fixtures и ожидание grace не входят в elapsed. Исходные отдельные результаты: reconciliation.json → scan_cost_runs. В таблице среднее/выборочное стандартное отклонение, не доверительный интервал.
|
||||
|
||||
| Дополнительных orphan | Объектов S3 | Метаданных | Время, мс: mean ± SD | min–max, мс | List / HEAD вызовов |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 0 | 65 | 65 | 160.59 ± 10.962 | 151.176–172.625 | 1 / 130 |
|
||||
| 50 | 115 | 65 | 259.99 ± 62.361 | 219.672–331.819 | 1 / 180 |
|
||||
| 200 | 265 | 65 | 579.413 ± 113.494 | 460.906–687.121 | 2 / 330 |
|
||||
|
||||

|
||||
|
||||
При росте набора увеличиваются число point-checks и время. Список S3 и DB-метаданные читаются страницами по 200, подробный журнал ограничен 1000 действиями; остальные учитываются счётчиками. Алгоритм делает O(N+M) обход при N объектах и M подходящих метаданных, с индексированными DB point lookups. Полный SHA-аудит bytes сюда не входит: HEAD сравнивает размер и записанный uploader-ом sha256 metadata. Результат не доказывает предельную производительность хранилища или точную линейность на миллионах объектов.
|
||||
|
||||
## Эксперимент уровня 4: память при параллельной загрузке
|
||||
|
||||
Десять клиентов одновременно стартуют по barrier, два раунда для каждого из двух размеров. Генератор находится внутри Compose-сети и идёт через LB. Каждая загрузка проверяет 201/ready, размер и SHA-256; один оригинал каждой фазы скачивается вторым участником и сравнивается побайтно.
|
||||
|
||||
Изображения — реальные синтетические RGB PNG, однотонные, сохранены без сжатия (compress_level=0), чтобы получить воспроизводимый большой файл. Это профиль передачи/памяти, а не worst-case для времени сложного JPEG/PNG-декодирования. Payload создаётся один раз на фазу и разделяется клиентскими потоками.
|
||||
|
||||
В каждом API cgroup memory.current читается раз в 50ms. Измерение включает page cache, kernel charges и небольшой Python sampler; это не RSS/heap-профиль. Пики — максимумы samples внутри фазы, не математическая гарантия отсутствия краткого пропущенного пика. В raw traces отдельно есть lifetime memory.peak, который включает более ранние операции. Лимит каждой API — 512 MiB, активных upload slots=2, decoder=1.
|
||||
|
||||
| Файл, байт | Размер, MiB | Успешных загрузок | Ошибок | p50 / p95 / p99, мс | Пики API 1 / API 2, MiB |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 787271 | 0.751 | 20 | 0 | 102.767 / 176.198 / 183.16 | 91.094 / 91.312 |
|
||||
| 7081758 | 6.754 | 20 | 0 | 617.87 / 832.535 / 896.355 | 124.629 / 146.086 |
|
||||
|
||||

|
||||
|
||||
Все 40 запросов прошли, в каждой фазе наблюдались две настоящие API. Измеренные пики ниже лимита. Это подтверждает выбранный профиль ≥10 конкурентных загрузок, но не доказывает пик для всех изображений вплоть до 40 млн пикселей или для одновременных массовых логинов Argon2id.
|
||||
|
||||
## Воспроизведение
|
||||
|
||||
```sh
|
||||
./scripts/bootstrap.sh
|
||||
./scripts/compose.sh up -d --build
|
||||
python3 scripts/wait_ready.py --base-url http://localhost:8084
|
||||
export BASE_URL=http://localhost:8084
|
||||
make research-consistency
|
||||
make research-memory
|
||||
make test-dependencies
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-research.txt
|
||||
.venv/bin/python scripts/plot_research.py
|
||||
python3 scripts/summarize_research.py
|
||||
```
|
||||
|
||||
Методика добавляет синтетические данные; не удаляет volumes. Известные дополнительные cost/orphan fixtures очищаются точечно. Готовые вложения и сообщения остаются, поскольку обязательный API не включает delete. Повтор может иметь другой размер baseline, поэтому реальные N/M сохраняются в каждой строке.
|
||||
|
||||
## Вывод и границы
|
||||
|
||||
Гипотеза подтверждена в заявленной модели: durable intent, grace и общие object locks позволяют корректно обработать проверенные разрывы между двумя хранилищами; dry-run наблюдаем, apply повторяем, свежие/используемые/активные объекты защищены. Штатный worker запускает ту же логику с grace=300s.
|
||||
|
||||
Восстановление утраченных bytes требует внешней копии; reconciler не заменяет backup. При потере всей БД, произвольных действиях root или нарушении инварианта неизменяемых ключей нужны отдельные процедуры восстановления. Метаданные являются авторитетом для классификации orphan. Локальные три коротких повтора на небольшом наборе и тёплом кэше не дают универсального SLA; стоимость штатного worker с меньшей CPU-квотой может отличаться от ops. Нет заявления о высокой доступности S3/БД, полной побайтовой проверке всех объектов или производственном zero-downtime.
|
||||
@@ -0,0 +1,98 @@
|
||||
# Краткая теория и защита: лабораторная 4
|
||||
|
||||
## Задача
|
||||
|
||||
Добавить к мессенджеру изображения и разделить два вида данных:
|
||||
|
||||
- **PostgreSQL:** кто загрузил файл, в каком чате он доступен, тип, размер, SHA-256, состояние и связи с сообщениями.
|
||||
- **MinIO:** исходные байты в приватном S3 bucket.
|
||||
|
||||
Схема: `клиент → HAProxy → API ×2 → PostgreSQL + MinIO`. Valkey остаётся общим кэшем сессий из lab3.
|
||||
|
||||
## Docker в этой работе
|
||||
|
||||
Compose описывает общий стенд и приватную сеть. Две API запускаются из одного образа; только балансировщик публикует порт 8084. MinIO, БД и Valkey имеют собственные persistent volumes. API не хранит оригинал как обязательный локальный файл.
|
||||
|
||||
Во время передачи API использует временный spool: первые 256 KiB в RAM, затем временный диск. После операции spool закрывается. Устойчивый оригинал находится в S3, поэтому другая реплика может его скачать.
|
||||
|
||||
Volume переживает обычный restart, но не заменяет backup. Два API на одном Docker-host не обеспечивают выживание при потере всего host, единственного MinIO или PostgreSQL.
|
||||
|
||||
## Как загружается файл
|
||||
|
||||
1. Проверяется Bearer и членство в чате.
|
||||
2. Проверяются filename и допустимый Content-Type.
|
||||
3. Тело читается порциями с ограничением **10 MiB**, одновременно считается SHA-256.
|
||||
4. Pillow проверяет фактический PNG/JPEG, целостность и лимит **40 млн пикселей** до полного декодирования.
|
||||
5. В PostgreSQL сохраняется pending-намерение с серверным UUID и ключом.
|
||||
6. Выполняется S3 PUT, запись переводится в ready и фиксируется в БД.
|
||||
7. Только после этого API возвращает **201 ready**.
|
||||
|
||||
Filename — только отображаемое имя. Ключ `originals/<UUID>` назначает сервер. Готовый файл читается через авторизованный API, без redirect; публичный bucket не нужен.
|
||||
|
||||
Сообщение содержит attachment_ids. Все ID должны принадлежать этому чату; другой участник может прикрепить доступный файл. Для сообщений сохраняется Idempotency-Key: повтор не создаёт дубль.
|
||||
|
||||
## Почему приватного bucket недостаточно
|
||||
|
||||
Приватность запрещает анонимный прямой S3 GET. Но при обращении через API всё равно нужно проверить права участника чата: случайный UUID не является авторизацией. Посторонний получает 404 для метаданных и bytes.
|
||||
|
||||
API использует отдельные ограниченные S3 credentials. Root credentials есть только у MinIO/bootstrap. Консоль не опубликована; запись за пределами originals/* запрещена.
|
||||
|
||||
## Главная проблема: два независимых хранилища
|
||||
|
||||
Единой транзакции PostgreSQL + S3 нет. PUT может пройти, а COMMIT — не пройти. Немедленно удалять объект при любой ошибке тоже опасно: COMMIT мог реально выполниться, а ответ потеряться.
|
||||
|
||||
Поэтому намерение записывается **до PUT**, а затем работает **reconciler** — повторяемая сверка двух хранилищ.
|
||||
|
||||
| Ситуация | Действие reconciler |
|
||||
| --- | --- |
|
||||
| Старый объект без метаданных, orphan | Удалить после повторной проверки и grace |
|
||||
| Старый pending после неуспешной операции | Удалить оставшийся объект, отметить incomplete_upload |
|
||||
| Метаданные есть, объекта нет, missing | Сохранить метаданные/связи, отметить недоступность |
|
||||
| Объект восстановлен и соответствует метаданным | Вернуть ready с прежним UUID |
|
||||
| Свежий объект или активный uploader держит lock | Пропустить |
|
||||
| Готовый используемый объект | Не удалять |
|
||||
| Ошибка S3/БД | Остановить проход, не считать её отсутствием |
|
||||
|
||||
**Grace period** — время ожидания перед очисткой. Обычно 300 секунд; в изолированном тесте — 5 секунд с явным разрешением. API и reconciler используют один PostgreSQL advisory lock для ключа объекта. Проверки повторяются под lock, чтобы не удалять объект на основании старого снимка.
|
||||
|
||||
Dry-run показывает действия без изменения данных. Apply выполняет их. Повтор на исправленном состоянии не должен давать новые действия. Автопроцесс ждёт 60 секунд после каждого прохода.
|
||||
|
||||
## Что выполнено на уровнях 3 и 4
|
||||
|
||||
Проверены оригинальные bytes и checksum, чужой чат/attachment, повреждение изображения, подмена MIME, опасные имена, превышение bytes/pixels и прерывание HTTP. Пользовательские ошибки дают 400/404/413/415, а не 500.
|
||||
|
||||
Остановлена именно загрузившая файл API: другая скачала те же bytes через LB. Полный restart проверяет прежний токен, метаданные и оригинал. При реальном отказе MinIO/БД получены контролируемые 503 и проверено восстановление.
|
||||
|
||||
При десяти одновременных uploads двух размеров прошли 40 запросов. Пики памяти API были примерно 91 MiB для файлов 0.75 MiB и 125–146 MiB для файлов 6.75 MiB при лимите 512 MiB. Это sampled cgroup memory, включая cache и sampler, а не точный heap-профиль.
|
||||
|
||||
## Уровень 5: трек 2
|
||||
|
||||
**Гипотеза:** устойчивое намерение, общий lock и grace позволят исправлять расхождения без удаления свежих/используемых данных.
|
||||
|
||||
В исследовании:
|
||||
|
||||
- Реальный процесс завершался после успешного PUT до ready COMMIT.
|
||||
- Создавались orphan, pending без объекта, missing и повреждённый объект.
|
||||
- Проверялись dry-run, apply, повтор, защита fresh/used/locked объектов и восстановление прежнего UUID.
|
||||
- Ошибки S3/БД не превращались в массовое ложное обнаружение missing.
|
||||
- Стоимость обхода измерялась на базовом наборе с добавлением 0/50/200 orphan, по три dry-run.
|
||||
|
||||
Обход использует List/HEAD и индексированные DB-запросы, без скачивания всех изображений. Поэтому оценивается стоимость инвентаризации, а не полного SHA-аудита bytes. Точные таблицы и графики находятся в [RESEARCH.md](RESEARCH.md).
|
||||
|
||||
## Что сказать на защите
|
||||
|
||||
«Я перенёс две API и балансировщик из третьей работы и добавил приватный MinIO. Метаданные хранятся в PostgreSQL, оригиналы — в S3. Загрузка потоковая, с проверкой реального PNG/JPEG, размера, пикселей и прав. 201 возвращается только после сохранения обеих частей.
|
||||
|
||||
Главная инженерная проблема — отсутствие общей транзакции S3 и БД. Я сохраняю pending до PUT и использую reconciler с dry-run, grace и общими блокировками. В исследовании проверены реальные разрывы записи, orphan/missing, безопасное исправление и повтор. Свежие, используемые и активные объекты не удаляются. Дополнительно проверены отказ загрузившей API, restart, приватность bucket и память при десяти одновременных загрузках».
|
||||
|
||||
## Четыре главных вопроса
|
||||
|
||||
**Почему не файл на диске одной API?** После переключения другая реплика не обязана видеть её диск. S3 — общее устойчивое хранилище.
|
||||
|
||||
**Когда честно вернуть 201?** После успешного PUT и COMMIT ready-метаданных.
|
||||
|
||||
**Что если PUT прошёл, а COMMIT нет?** Остаётся известный pending; после grace reconciler проверит обе стороны. Уже готовая запись не удаляется слепой компенсацией.
|
||||
|
||||
**Почему UUID и private bucket не заменяют ACL?** Пользователь обращается к API, поэтому она должна проверить его доступ к конкретному чату независимо от сложности угадывания ID.
|
||||
|
||||
Ограничения: один host, S3/БД/LB не реплицированы; lost bytes требуют backup. Готовые неиспользуемые файлы не удаляются автоматически. Исследование — локальный опыт, не production SLA.
|
||||
@@ -0,0 +1,896 @@
|
||||
from __future__ import annotations
|
||||
|
||||
import base64
|
||||
import json
|
||||
import os
|
||||
import secrets
|
||||
import socket
|
||||
import re
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from pathlib import Path
|
||||
from typing import Any, Dict, List, Optional, Tuple
|
||||
|
||||
import psycopg
|
||||
from psycopg_pool import ConnectionPool
|
||||
import redis
|
||||
from argon2 import PasswordHasher
|
||||
from fastapi import FastAPI, Header, HTTPException, Request
|
||||
from fastapi.exceptions import RequestValidationError
|
||||
from fastapi.responses import JSONResponse, Response, StreamingResponse
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
from pydantic import BaseModel, ConfigDict, StringConstraints, ValidationError
|
||||
from typing_extensions import Annotated
|
||||
|
||||
|
||||
APP_HOST = os.getenv("APP_HOST", "0.0.0.0")
|
||||
APP_PORT = int(os.getenv("APP_PORT", "8080"))
|
||||
SESSION_TTL_SECONDS = int(os.getenv("SESSION_TTL_SECONDS", "3600"))
|
||||
INSTANCE_ID = os.getenv("INSTANCE_ID", socket.gethostname())
|
||||
|
||||
USERNAME_RE = r"^[a-z0-9_]{3,32}$"
|
||||
|
||||
|
||||
class ApiError(Exception):
|
||||
def __init__(self, status_code: int, code: str, message: str, *, headers: Optional[Dict[str, str]] = None):
|
||||
self.status_code = status_code
|
||||
self.code = code
|
||||
self.message = message
|
||||
self.headers = headers or {}
|
||||
|
||||
|
||||
class UserOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
username: str
|
||||
display_name: str
|
||||
created_at: str
|
||||
|
||||
|
||||
class SessionOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
token: str
|
||||
token_type: str
|
||||
expires_at: str
|
||||
user: UserOut
|
||||
|
||||
|
||||
class ChatOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
title: str
|
||||
member_ids: List[str]
|
||||
created_at: str
|
||||
|
||||
|
||||
class MessageOut(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
id: str
|
||||
chat_id: str
|
||||
sender_id: str
|
||||
text: str
|
||||
created_at: str
|
||||
attachment_ids: List[str]
|
||||
|
||||
|
||||
class CreateUserIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
username: Annotated[str, StringConstraints(pattern=USERNAME_RE, min_length=3, max_length=32)]
|
||||
display_name: Annotated[str, StringConstraints(min_length=1, max_length=100)]
|
||||
password: Annotated[str, StringConstraints(min_length=12, max_length=128)]
|
||||
|
||||
|
||||
class CreateChatIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
title: Annotated[str, StringConstraints(min_length=1, max_length=100)]
|
||||
member_ids: List[str]
|
||||
|
||||
|
||||
class CreateMessageIn(BaseModel):
|
||||
model_config = ConfigDict(extra="forbid")
|
||||
|
||||
attachment_ids: List[str] = []
|
||||
text: Annotated[str, StringConstraints(max_length=4000)]
|
||||
|
||||
|
||||
class Store:
|
||||
def __init__(self) -> None:
|
||||
self.connection_url = self._resolve_database_url()
|
||||
self.cache_url = self._resolve_cache_url()
|
||||
self.shared_cache = redis.Redis.from_url(self.cache_url, decode_responses=True, socket_connect_timeout=2, socket_timeout=2)
|
||||
self.session_store = os.getenv("SESSION_STORE", "valkey")
|
||||
self.password_hasher = PasswordHasher(time_cost=3, memory_cost=65536, parallelism=2, hash_len=32, salt_len=16)
|
||||
self.pool = ConnectionPool(
|
||||
self.connection_url, min_size=1,
|
||||
max_size=int(os.getenv("DB_POOL_MAX_SIZE", "10")),
|
||||
timeout=5, max_waiting=20, open=False,
|
||||
kwargs={"connect_timeout": 5, "autocommit": False,
|
||||
"options": "-c statement_timeout=5000 -c lock_timeout=500"},
|
||||
)
|
||||
|
||||
def _resolve_database_url(self) -> str:
|
||||
value = os.getenv("DATABASE_URL")
|
||||
if value:
|
||||
return value
|
||||
secret_path = os.getenv("DATABASE_URL_FILE")
|
||||
if secret_path and os.path.exists(secret_path):
|
||||
with open(secret_path, "r", encoding="utf-8") as handle:
|
||||
return handle.read().strip()
|
||||
return os.getenv("DEFAULT_DATABASE_URL", "postgresql://messenger:messenger@localhost:5432/messenger")
|
||||
|
||||
def _resolve_cache_url(self) -> str:
|
||||
value = os.getenv("CACHE_URL")
|
||||
if value:
|
||||
return value
|
||||
secret_path = os.getenv("CACHE_URL_FILE")
|
||||
if secret_path and os.path.exists(secret_path):
|
||||
with open(secret_path, "r", encoding="utf-8") as handle:
|
||||
return handle.read().strip()
|
||||
return os.getenv("DEFAULT_CACHE_URL", "redis://localhost:6379/0")
|
||||
|
||||
def connect(self):
|
||||
return self.pool.connection()
|
||||
|
||||
def cache_client(self):
|
||||
if os.getenv("CACHE_CLIENT_MODE", "shared") == "shared":
|
||||
return self.shared_cache
|
||||
return redis.Redis.from_url(self.cache_url, decode_responses=True, socket_connect_timeout=2, socket_timeout=2)
|
||||
|
||||
def cache_session(self, session: Dict[str, Any]) -> None:
|
||||
if self.session_store != "valkey":
|
||||
return
|
||||
try:
|
||||
client = self.cache_client()
|
||||
ttl_seconds = max(1, int((self.parse_session_expiry(session["expires_at"]) - self.utc_now()).total_seconds()))
|
||||
payload = json.dumps({
|
||||
"token": session["token"],
|
||||
"user_id": session["user_id"],
|
||||
"expires_at": session["expires_at"],
|
||||
"revoked_at": session.get("revoked_at"),
|
||||
"user": session["user"],
|
||||
}, separators=(",", ":"), ensure_ascii=False)
|
||||
client.setex(f"session:{session['token']}", ttl_seconds, payload)
|
||||
except redis.RedisError:
|
||||
return
|
||||
|
||||
def get_cached_session(self, token: str, *, db_session) -> Optional[Dict[str, Any]]:
|
||||
if self.session_store != "valkey":
|
||||
return None
|
||||
try:
|
||||
client = self.cache_client()
|
||||
payload = client.get(f"session:{token}")
|
||||
if not payload:
|
||||
return None
|
||||
data = json.loads(payload)
|
||||
session = {
|
||||
"token": data["token"],
|
||||
"user_id": data["user_id"],
|
||||
"expires_at": data["expires_at"],
|
||||
"revoked_at": data.get("revoked_at"),
|
||||
"user": data["user"],
|
||||
}
|
||||
if not self.is_session_valid(session):
|
||||
client.delete(f"session:{token}")
|
||||
return None
|
||||
if session != db_session:
|
||||
client.delete(f"session:{token}")
|
||||
return None
|
||||
return db_session
|
||||
except (redis.RedisError, KeyError, TypeError, ValueError):
|
||||
return None
|
||||
|
||||
def delete_cached_session(self, token: str) -> None:
|
||||
if self.session_store != "valkey":
|
||||
return
|
||||
try:
|
||||
self.cache_client().delete(f"session:{token}")
|
||||
except redis.RedisError:
|
||||
return
|
||||
|
||||
@staticmethod
|
||||
def parse_session_expiry(value: Any) -> datetime:
|
||||
if isinstance(value, datetime):
|
||||
return value.astimezone(timezone.utc)
|
||||
if isinstance(value, str):
|
||||
return datetime.fromisoformat(value.replace("Z", "+00:00")).astimezone(timezone.utc)
|
||||
raise ValueError("invalid session expiry")
|
||||
|
||||
def init(self) -> None:
|
||||
migration_dir = Path(__file__).resolve().parent / "migrations"
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT pg_advisory_xact_lock(202603)")
|
||||
cur.execute(
|
||||
"""
|
||||
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||
version TEXT PRIMARY KEY,
|
||||
applied_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
"""
|
||||
)
|
||||
|
||||
applied = set()
|
||||
cur.execute("SELECT version FROM schema_migrations")
|
||||
for (version,) in cur.fetchall():
|
||||
applied.add(version)
|
||||
|
||||
for migration_path in sorted(migration_dir.glob("*.sql")):
|
||||
version = migration_path.stem
|
||||
if version in applied:
|
||||
continue
|
||||
sql = migration_path.read_text(encoding="utf-8")
|
||||
cur.execute(sql)
|
||||
cur.execute(
|
||||
"INSERT INTO schema_migrations(version, applied_at) VALUES (%s, %s)",
|
||||
(version, self.utc_now()),
|
||||
)
|
||||
conn.commit()
|
||||
|
||||
def utc_now(self) -> datetime:
|
||||
return datetime.now(timezone.utc)
|
||||
|
||||
def isoformat_utc(self, value: datetime) -> str:
|
||||
return value.astimezone(timezone.utc).isoformat(timespec="microseconds").replace("+00:00", "Z")
|
||||
|
||||
def hash_password(self, password: str) -> str:
|
||||
return self.password_hasher.hash(password)
|
||||
|
||||
def verify_password(self, password_hash: str, password: str) -> bool:
|
||||
try:
|
||||
self.password_hasher.verify(password_hash, password)
|
||||
return True
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
def require_user_by_username(self, username: str, conn):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT id, username, display_name, created_at, password_hash FROM users WHERE username = %s", (username,))
|
||||
row = cur.fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
return {
|
||||
"id": str(row[0]),
|
||||
"username": row[1],
|
||||
"display_name": row[2],
|
||||
"created_at": self.isoformat_utc(row[3]),
|
||||
"password_hash": row[4],
|
||||
}
|
||||
|
||||
def fetch_user(self, user_id: str, conn):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT id, username, display_name, created_at FROM users WHERE id = %s", (user_id,))
|
||||
row = cur.fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
return {
|
||||
"id": str(row[0]),
|
||||
"username": row[1],
|
||||
"display_name": row[2],
|
||||
"created_at": self.isoformat_utc(row[3]),
|
||||
}
|
||||
|
||||
def fetch_session_by_token(self, token: str, conn):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute(
|
||||
"SELECT s.token, s.user_id, s.expires_at, s.revoked_at, u.id, u.username, u.display_name, u.created_at FROM sessions s JOIN users u ON u.id = s.user_id WHERE s.token = %s",
|
||||
(token,),
|
||||
)
|
||||
row = cur.fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
return {
|
||||
"token": row[0],
|
||||
"user_id": str(row[1]),
|
||||
"expires_at": self.isoformat_utc(row[2]),
|
||||
"revoked_at": row[3],
|
||||
"user": {
|
||||
"id": str(row[4]),
|
||||
"username": row[5],
|
||||
"display_name": row[6],
|
||||
"created_at": self.isoformat_utc(row[7]),
|
||||
},
|
||||
}
|
||||
|
||||
def list_member_ids(self, chat_id: str, conn) -> List[str]:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT user_id FROM chat_members WHERE chat_id = %s ORDER BY user_id", (chat_id,))
|
||||
rows = cur.fetchall()
|
||||
return [str(row[0]) for row in rows]
|
||||
|
||||
def fetch_chat(self, chat_id: str, conn):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT id, title, created_at FROM chats WHERE id = %s", (chat_id,))
|
||||
row = cur.fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
return {
|
||||
"id": str(row[0]),
|
||||
"title": row[1],
|
||||
"created_at": self.isoformat_utc(row[2]),
|
||||
"member_ids": self.list_member_ids(str(row[0]), conn),
|
||||
}
|
||||
|
||||
def fetch_message(self, message_id: str, conn):
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE id = %s", (message_id,))
|
||||
row = cur.fetchone()
|
||||
if row is None:
|
||||
return None
|
||||
return {
|
||||
"id": str(row[0]),
|
||||
"chat_id": str(row[1]),
|
||||
"sender_id": str(row[2]),
|
||||
"text": row[3],
|
||||
"created_at": self.isoformat_utc(row[4]),
|
||||
"attachment_ids": self.message_attachment_ids(str(row[0]), conn),
|
||||
}
|
||||
|
||||
def fetch_chat_membership(self, chat_id: str, user_id: str, conn) -> bool:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT 1 FROM chat_members WHERE chat_id = %s AND user_id = %s", (chat_id, user_id))
|
||||
return cur.fetchone() is not None
|
||||
|
||||
def insert_user(self, username: str, display_name: str, password: str):
|
||||
now = self.utc_now()
|
||||
user_id = uuid.uuid4()
|
||||
password_hash = self.hash_password(password)
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute(
|
||||
"INSERT INTO users(id, username, display_name, password_hash, created_at) VALUES (%s,%s,%s,%s,%s)",
|
||||
(user_id, username, display_name, password_hash, now),
|
||||
)
|
||||
conn.commit()
|
||||
return {
|
||||
"id": str(user_id),
|
||||
"username": username,
|
||||
"display_name": display_name,
|
||||
"created_at": self.isoformat_utc(now),
|
||||
}
|
||||
|
||||
def insert_chat(self, title: str, member_ids: List[str], actor_id: str):
|
||||
now = self.utc_now()
|
||||
chat_id = uuid.uuid4()
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("INSERT INTO chats(id,title,created_at) VALUES (%s,%s,%s)", (chat_id, title, now))
|
||||
for member_id in sorted(set(member_ids)):
|
||||
cur.execute("INSERT INTO chat_members(chat_id,user_id) VALUES (%s,%s)", (chat_id, member_id))
|
||||
conn.commit()
|
||||
return {
|
||||
"id": str(chat_id),
|
||||
"title": title,
|
||||
"member_ids": sorted(set(member_ids)),
|
||||
"created_at": self.isoformat_utc(now),
|
||||
}
|
||||
|
||||
def insert_message(self, chat_id: str, sender_id: str, text: str, key: str, attachment_ids: List[str]):
|
||||
# Transaction-level lock serializes the same scope across all replicas.
|
||||
scope = json.dumps([sender_id, "POST", chat_id, key])
|
||||
request_body = {"text": text, "attachment_ids": attachment_ids}
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT pg_advisory_xact_lock(hashtextextended(%s, 0))", (scope,))
|
||||
cur.execute("DELETE FROM message_requests WHERE sender_id=%s AND chat_id=%s AND key=%s AND expires_at <= NOW()", (sender_id, chat_id, key))
|
||||
cur.execute("SELECT body, response FROM message_requests WHERE sender_id=%s AND chat_id=%s AND key=%s", (sender_id, chat_id, key))
|
||||
previous = cur.fetchone()
|
||||
if previous:
|
||||
if previous[0] != request_body:
|
||||
raise ApiError(409, "conflict", "idempotency key reused with different body")
|
||||
return previous[1]
|
||||
for aid in attachment_ids:
|
||||
cur.execute("SELECT state FROM attachments WHERE id=%s AND chat_id=%s FOR SHARE", (aid, chat_id))
|
||||
att = cur.fetchone()
|
||||
if att is None:
|
||||
raise ApiError(404, "not_found", "attachment not found")
|
||||
if att[0] != "ready":
|
||||
raise ApiError(409, "conflict", "attachment unavailable")
|
||||
now = self.utc_now()
|
||||
message_id = str(uuid.uuid4())
|
||||
message = {"id": message_id, "chat_id": chat_id, "sender_id": sender_id,
|
||||
"text": text, "created_at": self.isoformat_utc(now), "attachment_ids": attachment_ids}
|
||||
cur.execute("INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES (%s,%s,%s,%s,%s)",
|
||||
(message_id, chat_id, sender_id, text, now))
|
||||
for position, aid in enumerate(attachment_ids):
|
||||
cur.execute("INSERT INTO message_attachments(message_id,attachment_id,position) VALUES (%s,%s,%s)", (message_id, aid, position))
|
||||
cur.execute("INSERT INTO message_requests(sender_id,chat_id,key,body,response,expires_at) VALUES (%s,%s,%s,%s::jsonb,%s::jsonb,%s)",
|
||||
(sender_id, chat_id, key, json.dumps(request_body), json.dumps(message), now + timedelta(hours=24)))
|
||||
conn.commit()
|
||||
return message
|
||||
|
||||
def message_attachment_ids(self, message_id, conn):
|
||||
return [str(row[0]) for row in conn.execute("SELECT attachment_id FROM message_attachments WHERE message_id=%s ORDER BY position", (message_id,)).fetchall()]
|
||||
|
||||
@staticmethod
|
||||
def cursor_uuid_key(value: str) -> int:
|
||||
try:
|
||||
return uuid.UUID(value).int
|
||||
except (ValueError, TypeError):
|
||||
return 0
|
||||
|
||||
def list_chats_for_user(self, user_id: str, limit: int, cursor: Optional[str]):
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
query = """
|
||||
SELECT c.id, c.title, c.created_at
|
||||
FROM chats c
|
||||
JOIN chat_members cm ON cm.chat_id = c.id
|
||||
WHERE cm.user_id = %s
|
||||
"""
|
||||
params: List[Any] = [user_id]
|
||||
if cursor:
|
||||
prefix = f"user:{user_id}|"
|
||||
if not cursor.startswith(prefix):
|
||||
raise ApiError(400, "invalid_request", "cursor does not match user chat list")
|
||||
remainder = cursor[len(prefix):]
|
||||
if not remainder:
|
||||
raise ApiError(400, "invalid_request", "invalid cursor")
|
||||
try:
|
||||
cursor_ts_raw, cursor_id = remainder.split("|", 1)
|
||||
cursor_dt = datetime.fromisoformat(cursor_ts_raw.replace("Z", "+00:00")).astimezone(timezone.utc)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid cursor") from exc
|
||||
query += " AND (c.created_at > %s OR (c.created_at = %s AND c.id > %s::uuid))"
|
||||
params.extend([cursor_dt, cursor_dt, cursor_id])
|
||||
query += " ORDER BY c.created_at ASC, c.id ASC LIMIT %s"
|
||||
params.append(limit + 1)
|
||||
cur.execute(query, tuple(params))
|
||||
rows = cur.fetchall()
|
||||
items = [
|
||||
{
|
||||
"id": str(row[0]),
|
||||
"title": row[1],
|
||||
"created_at": self.isoformat_utc(row[2]),
|
||||
"member_ids": self.list_member_ids(str(row[0]), conn),
|
||||
}
|
||||
for row in rows
|
||||
]
|
||||
|
||||
next_cursor = None
|
||||
if len(items) > limit:
|
||||
last_item = items[limit - 1]
|
||||
next_cursor = f"user:{user_id}|{last_item['created_at']}|{last_item['id']}"
|
||||
items = items[:limit]
|
||||
|
||||
return {"items": items, "next_cursor": next_cursor}
|
||||
|
||||
def list_messages_for_chat(self, chat_id: str, limit: int, cursor: Optional[str]):
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
query = "SELECT id, chat_id, sender_id, text, created_at FROM messages WHERE chat_id = %s"
|
||||
params: List[Any] = [chat_id]
|
||||
if cursor:
|
||||
prefix = f"chat:{chat_id}|"
|
||||
if not cursor.startswith(prefix):
|
||||
raise ApiError(400, "invalid_request", "cursor does not match chat")
|
||||
remainder = cursor[len(prefix):]
|
||||
if not remainder:
|
||||
raise ApiError(400, "invalid_request", "invalid cursor")
|
||||
try:
|
||||
cursor_ts_raw, cursor_id = remainder.split("|", 1)
|
||||
cursor_dt = datetime.fromisoformat(cursor_ts_raw.replace("Z", "+00:00")).astimezone(timezone.utc)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid cursor") from exc
|
||||
query += " AND (created_at, id) > (%s, %s::uuid)"
|
||||
params.extend([cursor_dt, cursor_id])
|
||||
query += " ORDER BY created_at ASC, id ASC LIMIT %s"
|
||||
params.append(limit + 1)
|
||||
cur.execute(query, tuple(params))
|
||||
rows = cur.fetchall()
|
||||
links = {}
|
||||
if rows:
|
||||
cur.execute("SELECT message_id, attachment_id FROM message_attachments WHERE message_id=ANY(%s::uuid[]) ORDER BY message_id, position", ([str(row[0]) for row in rows],))
|
||||
for mid, aid in cur.fetchall():
|
||||
links.setdefault(str(mid), []).append(str(aid))
|
||||
|
||||
items = [{
|
||||
"id": str(row[0]),
|
||||
"chat_id": str(row[1]),
|
||||
"sender_id": str(row[2]),
|
||||
"text": row[3],
|
||||
"created_at": self.isoformat_utc(row[4]),
|
||||
"attachment_ids": links.get(str(row[0]), []),
|
||||
} for row in rows]
|
||||
|
||||
next_cursor = None
|
||||
if len(items) > limit:
|
||||
last_item = items[limit - 1]
|
||||
next_cursor = f"chat:{chat_id}|{last_item['created_at']}|{last_item['id']}"
|
||||
items = items[:limit]
|
||||
|
||||
return {"items": items, "next_cursor": next_cursor}
|
||||
|
||||
def create_session(self, user_id: str, username: str):
|
||||
token = secrets.token_urlsafe(32)
|
||||
expires_at = self.utc_now() + timedelta(seconds=SESSION_TTL_SECONDS)
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute(
|
||||
"INSERT INTO sessions(id, token, user_id, expires_at, created_at) VALUES (%s,%s,%s,%s,%s)",
|
||||
(uuid.uuid4(), token, user_id, expires_at, self.utc_now()),
|
||||
)
|
||||
conn.commit()
|
||||
with self.connect() as conn:
|
||||
user = self.fetch_user(user_id, conn)
|
||||
if user is None:
|
||||
raise ApiError(500, "internal_error", "session user missing")
|
||||
session = {
|
||||
"token": token,
|
||||
"user_id": user_id,
|
||||
"expires_at": self.isoformat_utc(expires_at),
|
||||
"revoked_at": None,
|
||||
"user": user,
|
||||
}
|
||||
self.cache_session(session)
|
||||
return {
|
||||
"token": token,
|
||||
"token_type": "Bearer",
|
||||
"expires_at": self.isoformat_utc(expires_at),
|
||||
"user": user,
|
||||
}
|
||||
|
||||
def get_session_by_token(self, token: str, conn=None):
|
||||
if conn is None:
|
||||
with self.connect() as db_conn:
|
||||
return self.get_session_by_token(token, db_conn)
|
||||
db_session = self.fetch_session_by_token(token, conn)
|
||||
if db_session is None or not self.is_session_valid(db_session):
|
||||
self.delete_cached_session(token)
|
||||
return None
|
||||
cached = self.get_cached_session(token, db_session=db_session)
|
||||
if cached is None:
|
||||
self.cache_session(db_session)
|
||||
return db_session
|
||||
|
||||
def revoke_current_session(self, token: str):
|
||||
with self.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("UPDATE sessions SET revoked_at = %s WHERE token = %s AND revoked_at IS NULL", (self.utc_now(), token))
|
||||
conn.commit()
|
||||
self.delete_cached_session(token)
|
||||
|
||||
def is_session_valid(self, session) -> bool:
|
||||
if session is None:
|
||||
return False
|
||||
if session.get("revoked_at") is not None:
|
||||
return False
|
||||
try:
|
||||
expiry = self.parse_session_expiry(session["expires_at"])
|
||||
except ValueError:
|
||||
return False
|
||||
if expiry <= self.utc_now():
|
||||
return False
|
||||
return True
|
||||
|
||||
|
||||
store = Store()
|
||||
from attachments import ObjectStore
|
||||
object_store = ObjectStore(store, ApiError)
|
||||
app = FastAPI(title="MTUSI Messenger")
|
||||
|
||||
|
||||
@app.on_event("startup")
|
||||
def startup_event() -> None:
|
||||
store.pool.open(wait=True, timeout=10)
|
||||
|
||||
|
||||
|
||||
@app.on_event("shutdown")
|
||||
def shutdown_event() -> None:
|
||||
store.pool.close()
|
||||
store.shared_cache.close()
|
||||
object_store.close()
|
||||
|
||||
|
||||
@app.exception_handler(psycopg.OperationalError)
|
||||
async def database_error_handler(request: Request, exc):
|
||||
return await api_error_handler(request, ApiError(503, "unavailable", "database unavailable"))
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def request_id_middleware(request: Request, call_next):
|
||||
request_id = uuid.uuid4().hex
|
||||
request.state.request_id = request_id
|
||||
response = await call_next(request)
|
||||
response.headers["X-Request-Id"] = request_id
|
||||
response.headers["X-Instance-Id"] = INSTANCE_ID
|
||||
response.headers["X-App-Revision"] = os.getenv("APP_REVISION", "lab4-v1")
|
||||
return response
|
||||
|
||||
|
||||
@app.exception_handler(ApiError)
|
||||
async def api_error_handler(request: Request, exc: ApiError):
|
||||
body = {"error": {"code": exc.code, "message": exc.message, "request_id": getattr(request.state, "request_id", "")}}
|
||||
return JSONResponse(status_code=exc.status_code, headers={**exc.headers, "X-Request-Id": getattr(request.state, "request_id", ""), "X-Instance-Id": INSTANCE_ID}, content=body)
|
||||
|
||||
|
||||
@app.exception_handler(RequestValidationError)
|
||||
async def validation_error_handler(request: Request, exc: RequestValidationError):
|
||||
request_id = getattr(request.state, "request_id", "")
|
||||
return JSONResponse(
|
||||
status_code=400,
|
||||
headers={"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID},
|
||||
content={"error": {"code": "invalid_request", "message": "invalid request", "request_id": request_id}},
|
||||
)
|
||||
|
||||
|
||||
@app.exception_handler(Exception)
|
||||
async def generic_error_handler(request: Request, exc: Exception):
|
||||
request_id = getattr(request.state, "request_id", "")
|
||||
return JSONResponse(
|
||||
status_code=500,
|
||||
headers={"X-Request-Id": request_id, "X-Instance-Id": INSTANCE_ID},
|
||||
content={"error": {"code": "internal_error", "message": "internal error", "request_id": request_id}},
|
||||
)
|
||||
|
||||
|
||||
def get_auth_header(request: Request):
|
||||
auth = request.headers.get("Authorization")
|
||||
if not auth:
|
||||
raise ApiError(401, "unauthorized", "missing authorization", headers={"WWW-Authenticate": 'Bearer realm="messenger"'})
|
||||
scheme, _, token = auth.partition(" ")
|
||||
if scheme.lower() != "bearer" or not token:
|
||||
raise ApiError(401, "unauthorized", "invalid bearer token", headers={"WWW-Authenticate": 'Bearer realm="messenger"'})
|
||||
return token.strip()
|
||||
|
||||
|
||||
def require_bearer_session(request: Request):
|
||||
token = get_auth_header(request)
|
||||
with store.connect() as conn:
|
||||
session = store.get_session_by_token(token, conn)
|
||||
if session is None or not store.is_session_valid(session):
|
||||
raise ApiError(401, "unauthorized", "invalid or expired session", headers={"WWW-Authenticate": 'Bearer realm="messenger"'})
|
||||
return session
|
||||
|
||||
|
||||
async def parse_json_body(request: Request) -> Dict[str, Any]:
|
||||
try:
|
||||
raw = await request.body()
|
||||
if not raw:
|
||||
return {}
|
||||
return __import__("json").loads(raw)
|
||||
except Exception as exc:
|
||||
raise ApiError(400, "invalid_request", "malformed JSON") from exc
|
||||
|
||||
|
||||
@app.get("/health/live")
|
||||
def health_live():
|
||||
return {"status": "ok"}
|
||||
|
||||
|
||||
@app.get("/health/ready")
|
||||
def health_ready():
|
||||
try:
|
||||
with store.connect() as conn:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT 1")
|
||||
object_store.ready()
|
||||
return {"status": "ok"}
|
||||
except Exception as exc:
|
||||
raise ApiError(503, "unavailable", "required storage unavailable") from exc
|
||||
|
||||
|
||||
@app.post("/api/v1/users", status_code=201)
|
||||
async def create_user_endpoint(request: Request):
|
||||
try:
|
||||
body = await request.json()
|
||||
except Exception as exc:
|
||||
raise ApiError(400, "invalid_request", "malformed JSON") from exc
|
||||
if not isinstance(body, dict):
|
||||
raise ApiError(400, "invalid_request", "invalid user payload")
|
||||
try:
|
||||
payload = CreateUserIn.model_validate(body)
|
||||
except ValidationError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid user payload") from exc
|
||||
if not payload.username or not payload.display_name.strip():
|
||||
raise ApiError(400, "invalid_request", "invalid request")
|
||||
payload.display_name = payload.display_name.strip()
|
||||
try:
|
||||
user = store.insert_user(payload.username, payload.display_name, payload.password)
|
||||
return UserOut.model_validate(user)
|
||||
except Exception as exc:
|
||||
if "duplicate key" in str(exc).lower() or "unique" in str(exc).lower():
|
||||
raise ApiError(409, "conflict", "username already exists") from exc
|
||||
raise ApiError(503, "unavailable", "required storage unavailable") from exc
|
||||
|
||||
|
||||
@app.get("/api/v1/users/me")
|
||||
def current_user(request: Request):
|
||||
session = require_bearer_session(request)
|
||||
user = session["user"]
|
||||
return UserOut.model_validate(user)
|
||||
|
||||
|
||||
@app.post("/api/v1/auth/sessions", status_code=201)
|
||||
def create_session(request: Request):
|
||||
auth = request.headers.get("Authorization", "")
|
||||
if not auth.lower().startswith("basic "):
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
encoded = auth.split(" ", 1)[1].strip()
|
||||
try:
|
||||
decoded = base64.b64decode(encoded.encode("ascii"), validate=True)
|
||||
raw = decoded.decode("utf-8")
|
||||
except Exception:
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
if ":" not in raw:
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
username, password = raw.split(":", 1)
|
||||
if not re_match(username):
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
if not (12 <= len(password) <= 128):
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
try:
|
||||
with store.connect() as conn:
|
||||
user = store.require_user_by_username(username, conn)
|
||||
if user is None or not store.verify_password(user["password_hash"], password):
|
||||
raise ApiError(401, "unauthorized", "invalid credentials", headers={"WWW-Authenticate": 'Basic realm="messenger", charset="UTF-8"'})
|
||||
session = store.create_session(user["id"], username)
|
||||
return SessionOut.model_validate(session)
|
||||
except ApiError:
|
||||
raise
|
||||
except Exception as exc:
|
||||
raise ApiError(503, "unavailable", "required storage unavailable") from exc
|
||||
|
||||
|
||||
@app.delete("/api/v1/auth/sessions/current", status_code=204)
|
||||
def revoke_session(request: Request):
|
||||
session = require_bearer_session(request)
|
||||
token = session["token"]
|
||||
store.revoke_current_session(token)
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
@app.post("/api/v1/chats", status_code=201)
|
||||
async def create_chat_endpoint(request: Request):
|
||||
session = require_bearer_session(request)
|
||||
try:
|
||||
body = await request.json()
|
||||
except Exception as exc:
|
||||
raise ApiError(400, "invalid_request", "malformed JSON") from exc
|
||||
if not isinstance(body, dict):
|
||||
raise ApiError(400, "invalid_request", "invalid chat payload")
|
||||
try:
|
||||
payload = CreateChatIn.model_validate(body)
|
||||
except ValidationError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid chat payload") from exc
|
||||
if len(payload.member_ids) < 1 or len(payload.member_ids) > 100:
|
||||
raise ApiError(400, "invalid_request", "invalid member_ids")
|
||||
title = payload.title.strip()
|
||||
if not title:
|
||||
raise ApiError(400, "invalid_request", "invalid title")
|
||||
normalized = []
|
||||
seen = set()
|
||||
for member_id in payload.member_ids:
|
||||
try:
|
||||
member_id = str(uuid.UUID(member_id))
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid member_ids") from exc
|
||||
if member_id in seen:
|
||||
raise ApiError(400, "invalid_request", "duplicate member_ids")
|
||||
seen.add(member_id)
|
||||
normalized.append(member_id)
|
||||
if session["user_id"] not in normalized:
|
||||
raise ApiError(400, "invalid_request", "current user must be a member")
|
||||
try:
|
||||
with store.connect() as conn:
|
||||
for member_id in normalized:
|
||||
with conn.cursor() as cur:
|
||||
cur.execute("SELECT id FROM users WHERE id = %s", (member_id,))
|
||||
if cur.fetchone() is None:
|
||||
raise ApiError(400, "invalid_request", "unknown member")
|
||||
chat = store.insert_chat(title, normalized, session["user_id"])
|
||||
return ChatOut.model_validate(chat)
|
||||
except ApiError:
|
||||
raise
|
||||
except Exception as exc:
|
||||
raise ApiError(503, "unavailable", "required storage unavailable") from exc
|
||||
|
||||
|
||||
@app.get("/api/v1/chats")
|
||||
def list_chats(request: Request):
|
||||
session = require_bearer_session(request)
|
||||
limit = request.query_params.get("limit", "50")
|
||||
cursor = request.query_params.get("cursor")
|
||||
try:
|
||||
limit_int = int(limit)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid limit") from exc
|
||||
if not (1 <= limit_int <= 100):
|
||||
raise ApiError(400, "invalid_request", "invalid limit")
|
||||
result = store.list_chats_for_user(session["user_id"], limit_int, cursor)
|
||||
return {"items": [ChatOut.model_validate(item) for item in result["items"]], "next_cursor": result["next_cursor"]}
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}")
|
||||
def get_chat(request: Request, chat_id: str):
|
||||
session = require_bearer_session(request)
|
||||
try:
|
||||
uuid.UUID(chat_id)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid chat_id") from exc
|
||||
with store.connect() as conn:
|
||||
chat = store.fetch_chat(chat_id, conn)
|
||||
if chat is None or not store.fetch_chat_membership(chat_id, session["user_id"], conn):
|
||||
raise ApiError(404, "not_found", "chat not found")
|
||||
return ChatOut.model_validate(chat)
|
||||
|
||||
|
||||
@app.post("/api/v1/chats/{chat_id}/messages", status_code=201)
|
||||
async def create_message(request: Request, chat_id: str):
|
||||
session = require_bearer_session(request)
|
||||
try:
|
||||
uuid.UUID(chat_id)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid chat_id") from exc
|
||||
try:
|
||||
body = await request.json()
|
||||
except Exception as exc:
|
||||
raise ApiError(400, "invalid_request", "malformed JSON") from exc
|
||||
if not isinstance(body, dict):
|
||||
raise ApiError(400, "invalid_request", "invalid message payload")
|
||||
try:
|
||||
payload = CreateMessageIn.model_validate(body)
|
||||
except ValidationError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid message payload") from exc
|
||||
if len(payload.attachment_ids) > 10:
|
||||
raise ApiError(400, "invalid_request", "too many attachments")
|
||||
try:
|
||||
payload.attachment_ids = [str(uuid.UUID(aid)) for aid in payload.attachment_ids]
|
||||
except (ValueError, TypeError) as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid attachment id") from exc
|
||||
if len(set(payload.attachment_ids)) != len(payload.attachment_ids):
|
||||
raise ApiError(400, "invalid_request", "duplicate attachment ids")
|
||||
if not payload.text.strip() and not payload.attachment_ids:
|
||||
raise ApiError(400, "invalid_request", "invalid text")
|
||||
key = request.headers.get("Idempotency-Key", "")
|
||||
if not re.fullmatch(r"[A-Za-z0-9._:-]{1,128}", key):
|
||||
raise ApiError(400, "invalid_request", "invalid Idempotency-Key")
|
||||
with store.connect() as conn:
|
||||
chat = store.fetch_chat(chat_id, conn)
|
||||
if chat is None or not store.fetch_chat_membership(chat_id, session["user_id"], conn):
|
||||
raise ApiError(404, "not_found", "chat not found")
|
||||
message = store.insert_message(str(uuid.UUID(chat_id)), session["user_id"], payload.text, key, payload.attachment_ids)
|
||||
return MessageOut.model_validate(message)
|
||||
|
||||
|
||||
@app.get("/api/v1/chats/{chat_id}/messages")
|
||||
def list_messages(request: Request, chat_id: str):
|
||||
session = require_bearer_session(request)
|
||||
try:
|
||||
uuid.UUID(chat_id)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid chat_id") from exc
|
||||
limit = request.query_params.get("limit", "50")
|
||||
cursor = request.query_params.get("cursor")
|
||||
try:
|
||||
limit_int = int(limit)
|
||||
except ValueError as exc:
|
||||
raise ApiError(400, "invalid_request", "invalid limit") from exc
|
||||
if not (1 <= limit_int <= 100):
|
||||
raise ApiError(400, "invalid_request", "invalid limit")
|
||||
with store.connect() as conn:
|
||||
if not store.fetch_chat_membership(chat_id, session["user_id"], conn):
|
||||
raise ApiError(404, "not_found", "chat not found")
|
||||
result = store.list_messages_for_chat(chat_id, limit_int, cursor)
|
||||
return {"items": [MessageOut.model_validate(item) for item in result["items"]], "next_cursor": result["next_cursor"]}
|
||||
|
||||
|
||||
def re_match(value: str) -> bool:
|
||||
import re
|
||||
|
||||
return bool(re.fullmatch(USERNAME_RE, value))
|
||||
|
||||
|
||||
from attachments import register_routes
|
||||
register_routes(app, object_store, require_bearer_session)
|
||||
|
||||
if __name__ == "__main__":
|
||||
import uvicorn
|
||||
|
||||
uvicorn.run("app:app", host=APP_HOST, port=APP_PORT, reload=False)
|
||||
+234
@@ -0,0 +1,234 @@
|
||||
"""Bounded synchronous uploads into private S3, with durable PostgreSQL intents."""
|
||||
import asyncio
|
||||
import hashlib
|
||||
import os
|
||||
from pathlib import Path
|
||||
import tempfile
|
||||
import threading
|
||||
import time
|
||||
import unicodedata
|
||||
import uuid
|
||||
import warnings
|
||||
|
||||
import boto3
|
||||
from botocore.config import Config
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
from fastapi import Request
|
||||
from fastapi.responses import StreamingResponse
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
from psycopg.rows import dict_row
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
from starlette.requests import ClientDisconnect
|
||||
|
||||
MAX_BYTES = 10485760
|
||||
MAX_PIXELS = 40000000
|
||||
CHUNK = 65536
|
||||
# Header parsing checks our exact cap before decoding. Pillow's own bomb guard is
|
||||
# retained as another bound, but its warning threshold is not the contract cap.
|
||||
Image.MAX_IMAGE_PIXELS = MAX_PIXELS
|
||||
COLUMNS = 'id,chat_id,owner_id,object_key,filename,content_type,size_bytes,sha256,state,error_code,created_at,updated_at'
|
||||
|
||||
|
||||
def canonical_id(value, error):
|
||||
try:
|
||||
return str(uuid.UUID(value))
|
||||
except (ValueError, TypeError, AttributeError) as exc:
|
||||
raise error(400, 'invalid_request', 'invalid id') from exc
|
||||
|
||||
|
||||
def object_lock(conn, key, *, wait=True):
|
||||
function = 'pg_advisory_xact_lock' if wait else 'pg_try_advisory_xact_lock'
|
||||
return conn.execute(f'SELECT {function}(hashtextextended(%s,44))', (key,)).fetchone()[0]
|
||||
|
||||
|
||||
class ObjectStore:
|
||||
def __init__(self, store, error):
|
||||
self.store, self.error = store, error
|
||||
self.bucket = os.getenv('S3_BUCKET', 'messenger-attachments')
|
||||
self.client = boto3.client('s3', endpoint_url=os.getenv('S3_ENDPOINT', 'http://s3:9000'),
|
||||
region_name=os.getenv('S3_REGION', 'us-east-1'),
|
||||
aws_access_key_id=os.getenv('S3_ACCESS_KEY_ID', 'unset'),
|
||||
aws_secret_access_key=os.getenv('S3_SECRET_ACCESS_KEY', 'unset'),
|
||||
config=Config(signature_version='s3v4', connect_timeout=1, read_timeout=3,
|
||||
retries={'total_max_attempts': 1, 'mode': 'standard'},
|
||||
max_pool_connections=8, s3={'addressing_style': 'path'}))
|
||||
self.decode_lock = threading.BoundedSemaphore(1)
|
||||
# At most two payload spools per process; queued requests receive ASGI
|
||||
# backpressure instead of being read into an unbounded request.body().
|
||||
self.upload_slots = asyncio.Semaphore(2)
|
||||
|
||||
def close(self):
|
||||
self.client.close()
|
||||
|
||||
def ready(self):
|
||||
try:
|
||||
self.client.head_bucket(Bucket=self.bucket)
|
||||
except (BotoCoreError, ClientError) as exc:
|
||||
raise self.error(503, 'unavailable', 'object storage unavailable') from exc
|
||||
|
||||
def authorize_chat(self, request, chat_id, authenticate):
|
||||
actor = authenticate(request)
|
||||
chat_id = canonical_id(chat_id, self.error)
|
||||
with self.store.connect() as conn:
|
||||
if not self.store.fetch_chat_membership(chat_id, actor['user_id'], conn):
|
||||
raise self.error(404, 'not_found', 'chat not found')
|
||||
return actor, chat_id
|
||||
|
||||
def validate_filename(self, name):
|
||||
if not name or len(name) > 255 or any(c in '/\\' or unicodedata.category(c).startswith('C') for c in name):
|
||||
raise self.error(400, 'invalid_request', 'invalid filename')
|
||||
|
||||
def inspect_image(self, stream, claimed_type):
|
||||
try:
|
||||
with self.decode_lock, warnings.catch_warnings():
|
||||
warnings.simplefilter('error', Image.DecompressionBombWarning)
|
||||
stream.seek(0)
|
||||
with Image.open(stream, formats=['PNG', 'JPEG']) as image:
|
||||
actual = {'PNG': 'image/png', 'JPEG': 'image/jpeg'}.get(image.format)
|
||||
if image.width * image.height > MAX_PIXELS:
|
||||
raise self.error(413, 'payload_too_large', 'too many image pixels')
|
||||
if actual != claimed_type:
|
||||
raise self.error(415, 'unsupported_media_type', 'content type mismatch')
|
||||
image.verify()
|
||||
stream.seek(0)
|
||||
with Image.open(stream, formats=['PNG', 'JPEG']) as image:
|
||||
image.load() # JPEG.verify alone does not ensure a full decode.
|
||||
stream.seek(0)
|
||||
except (Image.DecompressionBombError, Image.DecompressionBombWarning) as exc:
|
||||
raise self.error(413, 'payload_too_large', 'too many image pixels') from exc
|
||||
except (UnidentifiedImageError, OSError, SyntaxError, ValueError) as exc:
|
||||
raise self.error(415, 'unsupported_media_type', 'invalid PNG/JPEG') from exc
|
||||
|
||||
def fetch(self, aid, conn):
|
||||
with conn.cursor(row_factory=dict_row) as cur:
|
||||
cur.execute('SELECT '+COLUMNS+' FROM attachments WHERE id=%s', (aid,))
|
||||
return cur.fetchone()
|
||||
|
||||
def public(self, row):
|
||||
return {'id': str(row['id']), 'chat_id': str(row['chat_id']),
|
||||
'owner_id': str(row['owner_id']), 'filename': row['filename'],
|
||||
'content_type': row['content_type'], 'size_bytes': row['size_bytes'],
|
||||
'sha256': row['sha256'], 'status': 'ready', 'variants': [], 'error_code': None,
|
||||
'created_at': self.store.isoformat_utc(row['created_at']),
|
||||
'updated_at': self.store.isoformat_utc(row['updated_at'])}
|
||||
|
||||
def authorized(self, request, aid, authenticate):
|
||||
actor = authenticate(request)
|
||||
aid = canonical_id(aid, self.error)
|
||||
with self.store.connect() as conn:
|
||||
row = self.fetch(aid, conn)
|
||||
if row is None or not self.store.fetch_chat_membership(str(row['chat_id']), actor['user_id'], conn):
|
||||
raise self.error(404, 'not_found', 'attachment not found')
|
||||
if row['state'] != 'ready':
|
||||
raise self.error(409, 'conflict', 'attachment unavailable')
|
||||
return row
|
||||
|
||||
def persist(self, stream, actor_id, chat_id, filename, content_type, size, checksum, *, after_put=None):
|
||||
aid = str(uuid.uuid4())
|
||||
key = 'originals/' + aid
|
||||
now = self.store.utc_now()
|
||||
# Intent is durable BEFORE any S3 write. A crash leaves a known pending
|
||||
# row; periodic reconciliation cleans it only after a safe grace period.
|
||||
with self.store.connect() as conn:
|
||||
conn.execute('INSERT INTO attachments('+COLUMNS+') VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,NULL,%s,%s)',
|
||||
(aid, chat_id, actor_id, key, filename, content_type, size, checksum, 'pending', now, now))
|
||||
with self.store.connect() as conn:
|
||||
object_lock(conn, key)
|
||||
try:
|
||||
stream.seek(0)
|
||||
self.client.put_object(Bucket=self.bucket, Key=key, Body=stream,
|
||||
ContentLength=size, ContentType=content_type, Metadata={'sha256': checksum})
|
||||
# Optional in-process hook for isolated CLI fault injection only;
|
||||
# HTTP clients cannot select failpoints.
|
||||
if after_put:
|
||||
after_put(aid, key)
|
||||
conn.execute("UPDATE attachments SET state='ready',error_code=NULL,updated_at=NOW() WHERE id=%s", (aid,))
|
||||
row = self.fetch(aid, conn)
|
||||
except (BotoCoreError, ClientError) as exc:
|
||||
raise self.error(503, 'unavailable', 'object storage unavailable') from exc
|
||||
return self.public(row)
|
||||
|
||||
def download(self, row):
|
||||
try:
|
||||
response = self.client.get_object(Bucket=self.bucket, Key=row['object_key'])
|
||||
except (BotoCoreError, ClientError) as exc:
|
||||
raise self.error(503, 'unavailable', 'object storage unavailable') from exc
|
||||
body = response['Body']
|
||||
if response['ContentLength'] != row['size_bytes']:
|
||||
body.close()
|
||||
raise self.error(503, 'unavailable', 'object unavailable')
|
||||
def chunks():
|
||||
try:
|
||||
while True:
|
||||
part = body.read(CHUNK)
|
||||
if not part:
|
||||
break
|
||||
yield part
|
||||
finally:
|
||||
body.close()
|
||||
return StreamingResponse(chunks(), media_type=row['content_type'], headers={
|
||||
'Content-Length': str(row['size_bytes']), 'X-Content-Type-Options': 'nosniff',
|
||||
'Content-Disposition': 'attachment'})
|
||||
|
||||
|
||||
def register_routes(app, objects, authenticate):
|
||||
@app.post('/api/v1/chats/{chat_id}/attachments', status_code=201)
|
||||
async def upload(request: Request, chat_id: str):
|
||||
actor, chat_id = await run_in_threadpool(objects.authorize_chat, request, chat_id, authenticate)
|
||||
filename = request.query_params.get('filename', '')
|
||||
objects.validate_filename(filename)
|
||||
claimed = request.headers.get('content-type', '').split(';',1)[0].strip().lower()
|
||||
if claimed not in ('image/png', 'image/jpeg'):
|
||||
raise objects.error(415, 'unsupported_media_type', 'PNG/JPEG required')
|
||||
length = request.headers.get('content-length')
|
||||
if length:
|
||||
try:
|
||||
expected = int(length)
|
||||
except ValueError as exc:
|
||||
raise objects.error(400, 'invalid_request', 'invalid content length') from exc
|
||||
if expected > MAX_BYTES:
|
||||
raise objects.error(413, 'payload_too_large', 'upload exceeds 10 MiB')
|
||||
if expected < 1:
|
||||
raise objects.error(415, 'unsupported_media_type', 'empty image')
|
||||
try:
|
||||
await asyncio.wait_for(objects.upload_slots.acquire(), timeout=30)
|
||||
except asyncio.TimeoutError as exc:
|
||||
raise objects.error(503, 'unavailable', 'upload capacity exceeded') from exc
|
||||
try:
|
||||
# Temporary payloads are never persistent API storage. Every path,
|
||||
# including disconnect/cancellation/error, closes and unlinks the spool.
|
||||
with tempfile.SpooledTemporaryFile(max_size=262144, mode='w+b') as stream:
|
||||
checksum, size = hashlib.sha256(), 0
|
||||
try:
|
||||
iterator = request.stream().__aiter__()
|
||||
async with asyncio.timeout(30):
|
||||
while True:
|
||||
try:
|
||||
chunk = await asyncio.wait_for(iterator.__anext__(), timeout=5)
|
||||
except StopAsyncIteration:
|
||||
break
|
||||
size += len(chunk)
|
||||
if size > MAX_BYTES:
|
||||
raise objects.error(413, 'payload_too_large', 'upload exceeds 10 MiB')
|
||||
checksum.update(chunk)
|
||||
await run_in_threadpool(stream.write, chunk)
|
||||
except (asyncio.TimeoutError, ClientDisconnect) as exc:
|
||||
raise objects.error(400, 'invalid_request', 'upload interrupted or timed out') from exc
|
||||
if size < 1:
|
||||
raise objects.error(415, 'unsupported_media_type', 'empty image')
|
||||
await run_in_threadpool(objects.inspect_image, stream, claimed)
|
||||
return await run_in_threadpool(objects.persist, stream, actor['user_id'], chat_id,
|
||||
filename, claimed, size, checksum.hexdigest())
|
||||
finally:
|
||||
objects.upload_slots.release()
|
||||
|
||||
@app.get('/api/v1/attachments/{aid}')
|
||||
def metadata(request: Request, aid: str):
|
||||
return objects.public(objects.authorized(request, aid, authenticate))
|
||||
|
||||
@app.get('/api/v1/attachments/{aid}/content')
|
||||
def content(request: Request, aid: str):
|
||||
row = objects.authorized(request, aid, authenticate)
|
||||
if request.query_params.get('variant', 'original') != 'original':
|
||||
raise objects.error(404, 'not_found', 'variant not found')
|
||||
return objects.download(row)
|
||||
+110
@@ -0,0 +1,110 @@
|
||||
name: mtusi-lab4
|
||||
x-api: &api
|
||||
build: .
|
||||
image: ${API_IMAGE:-mtusi-lab4-api:local}
|
||||
environment: &environment
|
||||
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD:?Run scripts/bootstrap.sh}@db:5432/messenger
|
||||
CACHE_URL: redis://valkey:6379/0
|
||||
SESSION_STORE: valkey
|
||||
SESSION_TTL_SECONDS: 3600
|
||||
DB_POOL_MAX_SIZE: 5
|
||||
CACHE_CLIENT_MODE: shared
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_REGION: us-east-1
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID: lab4api
|
||||
S3_SECRET_ACCESS_KEY: ${S3_API_PASSWORD:?Run scripts/bootstrap.sh}
|
||||
cpus: ${API_CPUS:-2}
|
||||
mem_limit: 512m
|
||||
stop_grace_period: 40s
|
||||
services:
|
||||
db:
|
||||
image: postgres:16.6-alpine
|
||||
environment:
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Run scripts/bootstrap.sh}
|
||||
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||
cpus: 1
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, pg_isready -U messenger -d messenger]
|
||||
interval: 2s
|
||||
timeout: 1s
|
||||
retries: 30
|
||||
valkey:
|
||||
image: valkey/valkey:8.0.2-alpine
|
||||
command: [valkey-server, --appendonly, 'yes']
|
||||
volumes: [valkey_data:/data]
|
||||
cpus: 0.25
|
||||
mem_limit: 128m
|
||||
s3:
|
||||
# RELEASE.2025-09-07T16-13-09Z, verified locally, linux/arm64.
|
||||
image: minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e
|
||||
command: [server, /data, --address, ':9000', --console-address, '127.0.0.1:9001']
|
||||
environment:
|
||||
MINIO_ROOT_USER: lab4root
|
||||
MINIO_ROOT_PASSWORD: ${S3_ROOT_PASSWORD:?Run scripts/bootstrap.sh}
|
||||
MINIO_BROWSER: 'off'
|
||||
volumes: [s3_data:/data]
|
||||
cpus: 0.5
|
||||
mem_limit: 768m
|
||||
s3-init:
|
||||
# mc RELEASE.2025-08-13T08-35-41Z.
|
||||
image: minio/mc@sha256:a7fe349ef4bd8521fb8497f55c6042871b2ae640607cf99d9bede5e9bdf11727
|
||||
entrypoint: [/bin/sh, /bootstrap/init-s3.sh]
|
||||
environment:
|
||||
S3_ROOT_USER: lab4root
|
||||
S3_ROOT_PASSWORD: ${S3_ROOT_PASSWORD:?Run scripts/bootstrap.sh}
|
||||
S3_API_USER: lab4api
|
||||
S3_API_PASSWORD: ${S3_API_PASSWORD:?Run scripts/bootstrap.sh}
|
||||
volumes: ['./infra:/bootstrap:ro']
|
||||
depends_on: [s3]
|
||||
cpus: 1
|
||||
mem_limit: 512m
|
||||
migrate:
|
||||
<<: *api
|
||||
command: [python, migrate.py]
|
||||
depends_on:
|
||||
db: {condition: service_healthy}
|
||||
api:
|
||||
<<: *api
|
||||
command: [uvicorn, 'app:app', --host, 0.0.0.0, --port, '8080', --timeout-graceful-shutdown, '35', --limit-concurrency, '64']
|
||||
deploy:
|
||||
replicas: ${API_REPLICAS:-2}
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
s3-init: {condition: service_completed_successfully}
|
||||
valkey: {condition: service_started}
|
||||
healthcheck:
|
||||
test: [CMD, python, -c, "import socket; s=socket.create_connection(('127.0.0.1',8080),1); s.sendall(b'GET /health/ready HTTP/1.0\\r\\nHost: localhost\\r\\n\\r\\n'); assert s.makefile('rb').readline().split()[1]==b'200'"]
|
||||
interval: 2s
|
||||
timeout: 4s
|
||||
retries: 2
|
||||
lb:
|
||||
image: haproxy:3.0.5-alpine
|
||||
ports: ['${APP_PORT:-8084}:8080']
|
||||
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
|
||||
depends_on: [api]
|
||||
cpus: 0.25
|
||||
mem_limit: 64m
|
||||
reconciler:
|
||||
<<: *api
|
||||
command: [python, scripts/reconcile_loop.py]
|
||||
cpus: 0.25
|
||||
mem_limit: 256m
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
s3-init: {condition: service_completed_successfully}
|
||||
restart: unless-stopped
|
||||
ops:
|
||||
<<: *api
|
||||
profiles: [tools]
|
||||
volumes: ['./tests:/app/tests:ro', './scripts:/app/scripts:ro']
|
||||
command: [python, reconcile.py]
|
||||
cpus: 1
|
||||
mem_limit: 512m
|
||||
volumes:
|
||||
postgres_data:
|
||||
valkey_data:
|
||||
s3_data:
|
||||
+20
-3
@@ -1,5 +1,22 @@
|
||||
# Доказательства
|
||||
# Доказательства lab4
|
||||
|
||||
Храните небольшие обезличенные результаты: команды и stdout проверок, JSON/CSV агрегатов нагрузки, EXPLAIN, dashboard JSON, текст разбора отказа. Укажите дату, commit, аппаратные лимиты и профиль нагрузки.
|
||||
Проверки от 6 ноября 2026 года. Отдельный проект mtusi-lab4, публичный LB localhost:8084. Все данные синтетические, пароли/токены не сохранены.
|
||||
|
||||
Не добавляйте .env, session tokens, cookies, приватные ключи, credentials, реальные сообщения, raw dumps и signed URLs. Для скриншотов скрывайте секреты. Большие логи/бинарные traces сохраняйте отдельно по правилам преподавателя; одного скриншота без методики недостаточно.
|
||||
- check.txt, validate.txt: структура и OpenAPI.
|
||||
- smoke.txt: публичный сценарий lab4, checksum и ACL.
|
||||
- idempotency.txt, cache-consistency.txt: сохранённые свойства lab3.
|
||||
- uploads-negative.json: 21 негативная/граничная проверка, включая прерванную передачу.
|
||||
- private-storage.json: anonymous 403, запрещённые S3 admin-операции, префикс и console.
|
||||
- attachment-failover.json/.txt: реальная остановка именно uploader, download другой API, checksum, snapshot.
|
||||
- failover.txt, after-public-failover.json: публичный failover с повтором ключа и проверкой оригинала.
|
||||
- persistence.txt, before-persistence.json, after-persistence.json: прежняя сессия/оригинал и реальный restart API×2/DB/Valkey/MinIO/LB/reconciler.
|
||||
- final-containers.json: здоровые процессы, image IDs, лимиты/порты/volumes без environment.
|
||||
- dependency-outages.json/.txt, dependency-outages-compose.txt: реальные stop/start MinIO и DB, контролируемые 503 и восстановление.
|
||||
- reconciliation.json: трек 2, real crash exit 86, dry/apply/repeat, fresh/used/lock protection, восстановление и стоимость обхода.
|
||||
- research-consistency.txt, research-consistency-compose.txt: ход запуска исследования и восстановление штатного worker.
|
||||
- scan-cost-summary.json/.csv/.png/.svg: агрегаты трёх повторов каждой группы и график стоимости.
|
||||
- upload-memory.json/.txt/.png/.svg: два размера, concurrency 10, 40 uploads, индивидуальные задержки и cgroup traces с шагом 50ms.
|
||||
- s3-bootstrap.txt, versions.txt, migrations.txt: реальные bootstrap, версии и однократные SQL-версии.
|
||||
- build.txt: сборка образа.
|
||||
|
||||
Графики восстанавливаются scripts/plot_research.py, описание — scripts/summarize_research.py. Методика и ограничения: ../RESEARCH.md; запуск и рубрика: ../REPORT.md.
|
||||
|
||||
@@ -0,0 +1,150 @@
|
||||
[
|
||||
{
|
||||
"name": "/mtusi-lab4-api-1",
|
||||
"id": "f73f3d296d3ed0ac7395f526fec915a7b0a0833957d27ed1f2de5d28ea8f89a7",
|
||||
"hostname": "f73f3d296d3e",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.559505564Z",
|
||||
"health": "starting",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-api-2",
|
||||
"id": "e2b4291a5ae676735910d3c89e3ec9f81a2c72c316fc1c18595e4a8099d0df45",
|
||||
"hostname": "e2b4291a5ae6",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.560857437Z",
|
||||
"health": "starting",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-db-1",
|
||||
"id": "fd19a37a2f105c1fed35c9497a060fba08e0c7a149ba100fa1501928dee2e47d",
|
||||
"hostname": "fd19a37a2f10",
|
||||
"service": "db",
|
||||
"image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.285275581Z",
|
||||
"health": "starting",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_postgres_data",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-lb-1",
|
||||
"id": "c0e590462a151fe77dcb24e7916cf35144561a992dc2bba9fc245d254081c183",
|
||||
"hostname": "c0e590462a15",
|
||||
"service": "lb",
|
||||
"image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.278929955Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 67108864,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "",
|
||||
"HostPort": "8084"
|
||||
}
|
||||
]
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-migrate-1",
|
||||
"id": "89f12c68b068d1aa7d398325407a0fc2bd9e8e3f3e63d8bb56f218617e4f440e",
|
||||
"hostname": "89f12c68b068",
|
||||
"service": "migrate",
|
||||
"image_id": "sha256:04c4a7c063087f247f2b71bebca9af01532751b7972abca830f0ec6b810fb864",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:33:09.510610693Z",
|
||||
"health": null,
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-reconciler-1",
|
||||
"id": "10543b9482036875de4048b2df74b850a98d958890dcfd5f9684980857525315",
|
||||
"hostname": "10543b948203",
|
||||
"service": "reconciler",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.730144813Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 268435456,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-1",
|
||||
"id": "41fe288f948ed63d950da39c42d23942703cb8e713f3110f3a0bb18b60508aac",
|
||||
"hostname": "41fe288f948e",
|
||||
"service": "s3",
|
||||
"image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.276760526Z",
|
||||
"health": null,
|
||||
"nano_cpus": 500000000,
|
||||
"memory_bytes": 805306368,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-init-1",
|
||||
"id": "1bac3f8b21417eca4cec0a8cfd779e7d804d8ef66ad830d7d0c60ed5c0fed9c1",
|
||||
"hostname": "1bac3f8b2141",
|
||||
"service": "s3-init",
|
||||
"image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:33:09.037626611Z",
|
||||
"health": null,
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-valkey-1",
|
||||
"id": "541af4b35c71939abfb80f67d4404eb23458551317324a09a5237bbe470e9625",
|
||||
"hostname": "541af4b35c71",
|
||||
"service": "valkey",
|
||||
"image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.237666389Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 134217728,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkey_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,150 @@
|
||||
[
|
||||
{
|
||||
"name": "/mtusi-lab4-api-1",
|
||||
"id": "f73f3d296d3ed0ac7395f526fec915a7b0a0833957d27ed1f2de5d28ea8f89a7",
|
||||
"hostname": "f73f3d296d3e",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:30:37.647258568Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-api-2",
|
||||
"id": "e2b4291a5ae676735910d3c89e3ec9f81a2c72c316fc1c18595e4a8099d0df45",
|
||||
"hostname": "e2b4291a5ae6",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:32:49.678956524Z",
|
||||
"health": "unhealthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-db-1",
|
||||
"id": "fd19a37a2f105c1fed35c9497a060fba08e0c7a149ba100fa1501928dee2e47d",
|
||||
"hostname": "fd19a37a2f10",
|
||||
"service": "db",
|
||||
"image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:54.939507016Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_postgres_data",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-lb-1",
|
||||
"id": "c0e590462a151fe77dcb24e7916cf35144561a992dc2bba9fc245d254081c183",
|
||||
"hostname": "c0e590462a15",
|
||||
"service": "lb",
|
||||
"image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:11:29.096381472Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 67108864,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "",
|
||||
"HostPort": "8084"
|
||||
}
|
||||
]
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-migrate-1",
|
||||
"id": "89f12c68b068d1aa7d398325407a0fc2bd9e8e3f3e63d8bb56f218617e4f440e",
|
||||
"hostname": "89f12c68b068",
|
||||
"service": "migrate",
|
||||
"image_id": "sha256:04c4a7c063087f247f2b71bebca9af01532751b7972abca830f0ec6b810fb864",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:32:48.463254232Z",
|
||||
"health": null,
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-reconciler-1",
|
||||
"id": "10543b9482036875de4048b2df74b850a98d958890dcfd5f9684980857525315",
|
||||
"hostname": "10543b948203",
|
||||
"service": "reconciler",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:32:44.14731806Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 268435456,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-1",
|
||||
"id": "41fe288f948ed63d950da39c42d23942703cb8e713f3110f3a0bb18b60508aac",
|
||||
"hostname": "41fe288f948e",
|
||||
"service": "s3",
|
||||
"image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:51.143991324Z",
|
||||
"health": null,
|
||||
"nano_cpus": 500000000,
|
||||
"memory_bytes": 805306368,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-init-1",
|
||||
"id": "1bac3f8b21417eca4cec0a8cfd779e7d804d8ef66ad830d7d0c60ed5c0fed9c1",
|
||||
"hostname": "1bac3f8b2141",
|
||||
"service": "s3-init",
|
||||
"image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:32:47.713300078Z",
|
||||
"health": null,
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-valkey-1",
|
||||
"id": "541af4b35c71939abfb80f67d4404eb23458551317324a09a5237bbe470e9625",
|
||||
"hostname": "541af4b35c71",
|
||||
"service": "valkey",
|
||||
"image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:10:03.402515174Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 134217728,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkey_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,163 @@
|
||||
{
|
||||
"status": "PASS",
|
||||
"uploader_instance": "e2b4291a5ae6",
|
||||
"download_instance": "f73f3d296d3e",
|
||||
"observed_instances_before": [
|
||||
"e2b4291a5ae6",
|
||||
"f73f3d296d3e"
|
||||
],
|
||||
"failed_attempts": 3,
|
||||
"first_download_write_recovery_seconds": 2.159,
|
||||
"sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"same_bytes": true,
|
||||
"containers_after_stop": [
|
||||
{
|
||||
"name": "/mtusi-lab4-api-1",
|
||||
"id": "f73f3d296d3ed0ac7395f526fec915a7b0a0833957d27ed1f2de5d28ea8f89a7",
|
||||
"hostname": "f73f3d296d3e",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:30:37.647258568Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-api-2",
|
||||
"id": "e2b4291a5ae676735910d3c89e3ec9f81a2c72c316fc1c18595e4a8099d0df45",
|
||||
"hostname": "e2b4291a5ae6",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:30:37.478730767Z",
|
||||
"health": "unhealthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-db-1",
|
||||
"id": "fd19a37a2f105c1fed35c9497a060fba08e0c7a149ba100fa1501928dee2e47d",
|
||||
"hostname": "fd19a37a2f10",
|
||||
"service": "db",
|
||||
"image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:54.939507016Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_postgres_data",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-lb-1",
|
||||
"id": "c0e590462a151fe77dcb24e7916cf35144561a992dc2bba9fc245d254081c183",
|
||||
"hostname": "c0e590462a15",
|
||||
"service": "lb",
|
||||
"image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:11:29.096381472Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 67108864,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "",
|
||||
"HostPort": "8084"
|
||||
}
|
||||
]
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-migrate-1",
|
||||
"id": "89f12c68b068d1aa7d398325407a0fc2bd9e8e3f3e63d8bb56f218617e4f440e",
|
||||
"hostname": "89f12c68b068",
|
||||
"service": "migrate",
|
||||
"image_id": "sha256:04c4a7c063087f247f2b71bebca9af01532751b7972abca830f0ec6b810fb864",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:32:43.014505315Z",
|
||||
"health": null,
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-reconciler-1",
|
||||
"id": "10543b9482036875de4048b2df74b850a98d958890dcfd5f9684980857525315",
|
||||
"hostname": "10543b948203",
|
||||
"service": "reconciler",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:32:44.14731806Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 268435456,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-1",
|
||||
"id": "41fe288f948ed63d950da39c42d23942703cb8e713f3110f3a0bb18b60508aac",
|
||||
"hostname": "41fe288f948e",
|
||||
"service": "s3",
|
||||
"image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:51.143991324Z",
|
||||
"health": null,
|
||||
"nano_cpus": 500000000,
|
||||
"memory_bytes": 805306368,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-init-1",
|
||||
"id": "1bac3f8b21417eca4cec0a8cfd779e7d804d8ef66ad830d7d0c60ed5c0fed9c1",
|
||||
"hostname": "1bac3f8b2141",
|
||||
"service": "s3-init",
|
||||
"image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:32:42.519564804Z",
|
||||
"health": null,
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-valkey-1",
|
||||
"id": "541af4b35c71939abfb80f67d4404eb23458551317324a09a5237bbe470e9625",
|
||||
"hostname": "541af4b35c71",
|
||||
"service": "valkey",
|
||||
"image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:10:03.402515174Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 134217728,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkey_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,13 @@
|
||||
{
|
||||
"status": "PASS",
|
||||
"uploader_instance": "e2b4291a5ae6",
|
||||
"download_instance": "f73f3d296d3e",
|
||||
"observed_instances_before": [
|
||||
"e2b4291a5ae6",
|
||||
"f73f3d296d3e"
|
||||
],
|
||||
"failed_attempts": 3,
|
||||
"first_download_write_recovery_seconds": 2.159,
|
||||
"sha256": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
|
||||
"same_bytes": true
|
||||
}
|
||||
@@ -0,0 +1,150 @@
|
||||
[
|
||||
{
|
||||
"name": "/mtusi-lab4-api-1",
|
||||
"id": "f73f3d296d3ed0ac7395f526fec915a7b0a0833957d27ed1f2de5d28ea8f89a7",
|
||||
"hostname": "f73f3d296d3e",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:30:37.647258568Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-api-2",
|
||||
"id": "e2b4291a5ae676735910d3c89e3ec9f81a2c72c316fc1c18595e4a8099d0df45",
|
||||
"hostname": "e2b4291a5ae6",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:10.693734728Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-db-1",
|
||||
"id": "fd19a37a2f105c1fed35c9497a060fba08e0c7a149ba100fa1501928dee2e47d",
|
||||
"hostname": "fd19a37a2f10",
|
||||
"service": "db",
|
||||
"image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:54.939507016Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_postgres_data",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-lb-1",
|
||||
"id": "c0e590462a151fe77dcb24e7916cf35144561a992dc2bba9fc245d254081c183",
|
||||
"hostname": "c0e590462a15",
|
||||
"service": "lb",
|
||||
"image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:11:29.096381472Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 67108864,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "",
|
||||
"HostPort": "8084"
|
||||
}
|
||||
]
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-migrate-1",
|
||||
"id": "89f12c68b068d1aa7d398325407a0fc2bd9e8e3f3e63d8bb56f218617e4f440e",
|
||||
"hostname": "89f12c68b068",
|
||||
"service": "migrate",
|
||||
"image_id": "sha256:04c4a7c063087f247f2b71bebca9af01532751b7972abca830f0ec6b810fb864",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:33:09.510610693Z",
|
||||
"health": null,
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-reconciler-1",
|
||||
"id": "10543b9482036875de4048b2df74b850a98d958890dcfd5f9684980857525315",
|
||||
"hostname": "10543b948203",
|
||||
"service": "reconciler",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:32:44.14731806Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 268435456,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-1",
|
||||
"id": "41fe288f948ed63d950da39c42d23942703cb8e713f3110f3a0bb18b60508aac",
|
||||
"hostname": "41fe288f948e",
|
||||
"service": "s3",
|
||||
"image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:27:51.143991324Z",
|
||||
"health": null,
|
||||
"nano_cpus": 500000000,
|
||||
"memory_bytes": 805306368,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-init-1",
|
||||
"id": "1bac3f8b21417eca4cec0a8cfd779e7d804d8ef66ad830d7d0c60ed5c0fed9c1",
|
||||
"hostname": "1bac3f8b2141",
|
||||
"service": "s3-init",
|
||||
"image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:33:09.037626611Z",
|
||||
"health": null,
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-valkey-1",
|
||||
"id": "541af4b35c71939abfb80f67d4404eb23458551317324a09a5237bbe470e9625",
|
||||
"hostname": "541af4b35c71",
|
||||
"service": "valkey",
|
||||
"image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:10:03.402515174Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 134217728,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkey_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,61 @@
|
||||
Compose can now delegate builds to bake for better performance.
|
||||
To do so, set COMPOSE_BAKE=true.
|
||||
#0 building with "colima" instance using docker driver
|
||||
|
||||
#1 [api internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 744B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [api auth] library/python:pull token for registry-1.docker.io
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [api internal] load metadata for docker.io/library/python:3.11.11-slim
|
||||
#3 DONE 0.9s
|
||||
|
||||
#4 [api internal] load .dockerignore
|
||||
#4 transferring context: 233B done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [api 1/10] FROM docker.io/library/python:3.11.11-slim@sha256:081075da77b2b55c23c088251026fb69a7b2bf92471e491ff5fd75c192fd38e5
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [api internal] load build context
|
||||
#6 transferring context: 55.27kB 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [api 2/10] WORKDIR /app
|
||||
#7 CACHED
|
||||
|
||||
#8 [api 3/10] COPY requirements.txt /app/requirements.txt
|
||||
#8 CACHED
|
||||
|
||||
#9 [api 4/10] RUN pip install --no-cache-dir -r /app/requirements.txt
|
||||
#9 CACHED
|
||||
|
||||
#10 [api 5/10] COPY app.py attachments.py reconcile.py migrate.py /app/
|
||||
#10 DONE 0.0s
|
||||
|
||||
#11 [api 6/10] COPY migrations /app/migrations
|
||||
#11 DONE 0.0s
|
||||
|
||||
#12 [api 7/10] COPY scripts /app/scripts
|
||||
#12 DONE 0.0s
|
||||
|
||||
#13 [api 8/10] COPY tests /app/tests
|
||||
#13 DONE 0.0s
|
||||
|
||||
#14 [api 9/10] COPY contracts /app/contracts
|
||||
#14 DONE 0.0s
|
||||
|
||||
#15 [api 10/10] COPY lab.json /app/lab.json
|
||||
#15 DONE 0.0s
|
||||
|
||||
#16 [api] exporting to image
|
||||
#16 exporting layers 0.0s done
|
||||
#16 writing image sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d done
|
||||
#16 naming to docker.io/library/mtusi-lab4-api:local done
|
||||
#16 DONE 0.0s
|
||||
|
||||
#17 [api] resolving provenance for metadata file
|
||||
#17 DONE 0.0s
|
||||
api Built
|
||||
@@ -0,0 +1,12 @@
|
||||
./scripts/compose.sh exec -T -e BASE_URL=http://lb:8080 -e CACHE_URL=redis://valkey:6379/0 api python - < tests/cache_consistency.py
|
||||
cache_key_exists=True
|
||||
ttl_seconds=3599
|
||||
avg_latency_ms=1.53
|
||||
p95_latency_ms=1.68
|
||||
stale_cache_rejected=True
|
||||
forged_identity_rejected=True
|
||||
concurrent_identity_checks=8/8
|
||||
malformed_cache_recovers=True
|
||||
repopulated_revoked_cache_rejected=True
|
||||
short_ttl_recovers_from_db=True
|
||||
logout_revokes_cache=True
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,8 @@
|
||||
Container mtusi-lab4-s3-1 Stopping
|
||||
Container mtusi-lab4-s3-1 Stopped
|
||||
Container mtusi-lab4-s3-1 Starting
|
||||
Container mtusi-lab4-s3-1 Started
|
||||
Container mtusi-lab4-db-1 Stopping
|
||||
Container mtusi-lab4-db-1 Stopped
|
||||
Container mtusi-lab4-db-1 Starting
|
||||
Container mtusi-lab4-db-1 Started
|
||||
@@ -0,0 +1,19 @@
|
||||
[
|
||||
{
|
||||
"dependency": "s3",
|
||||
"readiness": 503,
|
||||
"metadata_available": true,
|
||||
"download": 503,
|
||||
"upload": 503,
|
||||
"status": "PASS",
|
||||
"confirmed_original_preserved": true
|
||||
},
|
||||
{
|
||||
"dependency": "db",
|
||||
"readiness": 503,
|
||||
"upload": 503,
|
||||
"no_new_s3_objects": true,
|
||||
"status": "PASS",
|
||||
"confirmed_original_preserved": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,19 @@
|
||||
[
|
||||
{
|
||||
"dependency": "s3",
|
||||
"readiness": 503,
|
||||
"metadata_available": true,
|
||||
"download": 503,
|
||||
"upload": 503,
|
||||
"status": "PASS",
|
||||
"confirmed_original_preserved": true
|
||||
},
|
||||
{
|
||||
"dependency": "db",
|
||||
"readiness": 503,
|
||||
"upload": 503,
|
||||
"no_new_s3_objects": true,
|
||||
"status": "PASS",
|
||||
"confirmed_original_preserved": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 111, "failed_attempts": 3, "first_recovery_seconds": 1.846}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,150 @@
|
||||
[
|
||||
{
|
||||
"name": "/mtusi-lab4-api-1",
|
||||
"id": "f73f3d296d3ed0ac7395f526fec915a7b0a0833957d27ed1f2de5d28ea8f89a7",
|
||||
"hostname": "f73f3d296d3e",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.559505564Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-api-2",
|
||||
"id": "e2b4291a5ae676735910d3c89e3ec9f81a2c72c316fc1c18595e4a8099d0df45",
|
||||
"hostname": "e2b4291a5ae6",
|
||||
"service": "api",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.560857437Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-db-1",
|
||||
"id": "fd19a37a2f105c1fed35c9497a060fba08e0c7a149ba100fa1501928dee2e47d",
|
||||
"hostname": "fd19a37a2f10",
|
||||
"service": "db",
|
||||
"image_id": "sha256:b4fc54c57484e6077fad42c66fc44a6f5e7f5892b1a92fa48e910938bf5ce0ad",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.285275581Z",
|
||||
"health": "healthy",
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_postgres_data",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-lb-1",
|
||||
"id": "c0e590462a151fe77dcb24e7916cf35144561a992dc2bba9fc245d254081c183",
|
||||
"hostname": "c0e590462a15",
|
||||
"service": "lb",
|
||||
"image_id": "sha256:6a7f903d19e76bd3fa7fb5225e33d6acd5eb7f52407eece4858b58831c3e256a",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.278929955Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 67108864,
|
||||
"published_ports": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "",
|
||||
"HostPort": "8084"
|
||||
}
|
||||
]
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-migrate-1",
|
||||
"id": "89f12c68b068d1aa7d398325407a0fc2bd9e8e3f3e63d8bb56f218617e4f440e",
|
||||
"hostname": "89f12c68b068",
|
||||
"service": "migrate",
|
||||
"image_id": "sha256:04c4a7c063087f247f2b71bebca9af01532751b7972abca830f0ec6b810fb864",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:40:26.717903684Z",
|
||||
"health": null,
|
||||
"nano_cpus": 2000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-reconciler-1",
|
||||
"id": "10543b9482036875de4048b2df74b850a98d958890dcfd5f9684980857525315",
|
||||
"hostname": "10543b948203",
|
||||
"service": "reconciler",
|
||||
"image_id": "sha256:eb36496d11ab7325efa30097c8964754a9f326cdb2e3a5a4b0ce73d3c3ca517d",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:40:27.887585144Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 268435456,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-1",
|
||||
"id": "41fe288f948ed63d950da39c42d23942703cb8e713f3110f3a0bb18b60508aac",
|
||||
"hostname": "41fe288f948e",
|
||||
"service": "s3",
|
||||
"image_id": "sha256:8f08aee614800a237906bd48114d733e5ac5bfac4ccdf731f141b0e880d7a253",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.276760526Z",
|
||||
"health": null,
|
||||
"nano_cpus": 500000000,
|
||||
"memory_bytes": 805306368,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_s3_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-s3-init-1",
|
||||
"id": "1bac3f8b21417eca4cec0a8cfd779e7d804d8ef66ad830d7d0c60ed5c0fed9c1",
|
||||
"hostname": "1bac3f8b2141",
|
||||
"service": "s3-init",
|
||||
"image_id": "sha256:5dee113ef037d349ac22ab6c20193ade5c4701e2a38e3777fa1c1bec1c063ad1",
|
||||
"status": "exited",
|
||||
"started_at": "2026-11-06T16:40:26.207356505Z",
|
||||
"health": null,
|
||||
"nano_cpus": 1000000000,
|
||||
"memory_bytes": 536870912,
|
||||
"published_ports": {},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi-lab4-valkey-1",
|
||||
"id": "541af4b35c71939abfb80f67d4404eb23458551317324a09a5237bbe470e9625",
|
||||
"hostname": "541af4b35c71",
|
||||
"service": "valkey",
|
||||
"image_id": "sha256:7b2072cf1b86d58fee110f4da8dc3b0e1444b22ab64f58d7f61e822e0761f866",
|
||||
"status": "running",
|
||||
"started_at": "2026-11-06T16:33:15.237666389Z",
|
||||
"health": null,
|
||||
"nano_cpus": 250000000,
|
||||
"memory_bytes": 134217728,
|
||||
"published_ports": {},
|
||||
"volumes": [
|
||||
{
|
||||
"name": "mtusi-lab4_valkey_data",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/idempotency_concurrent.py --base-url "http://localhost:8084"
|
||||
{"parallel_requests": 16, "observed_instances": ["e2b4291a5ae6", "f73f3d296d3e"], "unique_messages": 1, "conflict": 409, "semantic_replay": true, "user_scope": true}
|
||||
@@ -0,0 +1,7 @@
|
||||
version | applied_at
|
||||
--------------------+-------------------------------
|
||||
001_initial_schema | 2026-11-06 16:10:07.12842+00
|
||||
002_idempotency | 2026-11-06 16:10:07.154748+00
|
||||
003_attachments | 2026-11-06 16:10:07.177593+00
|
||||
(3 rows)
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8084"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,16 @@
|
||||
{
|
||||
"status": "PASS",
|
||||
"anonymous_bucket_and_object_status": [
|
||||
403,
|
||||
403
|
||||
],
|
||||
"application_admin_operations_denied": [
|
||||
"create_bucket",
|
||||
"get_bucket_policy",
|
||||
"write_outside_prefix"
|
||||
],
|
||||
"visible_bucket_names": [
|
||||
"messenger-attachments"
|
||||
],
|
||||
"console_reachable": false
|
||||
}
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,14 @@
|
||||
Container mtusi-lab4-reconciler-1 Stopping
|
||||
Container mtusi-lab4-reconciler-1 Stopped
|
||||
Container mtusi-lab4-s3-init-1 Starting
|
||||
Container mtusi-lab4-db-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Started
|
||||
Container mtusi-lab4-db-1 Healthy
|
||||
Container mtusi-lab4-migrate-1 Starting
|
||||
Container mtusi-lab4-migrate-1 Started
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-reconciler-1 Starting
|
||||
Container mtusi-lab4-reconciler-1 Started
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,106 @@
|
||||
{
|
||||
"scan_cost": [
|
||||
{
|
||||
"extra_orphans": 0,
|
||||
"objects_scanned": 65,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 160.59,
|
||||
"min_ms": 151.176,
|
||||
"max_ms": 172.625,
|
||||
"stdev_ms": 10.962,
|
||||
"list_calls": 1,
|
||||
"head_calls": 130
|
||||
},
|
||||
{
|
||||
"extra_orphans": 50,
|
||||
"objects_scanned": 115,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 259.99,
|
||||
"min_ms": 219.672,
|
||||
"max_ms": 331.819,
|
||||
"stdev_ms": 62.361,
|
||||
"list_calls": 1,
|
||||
"head_calls": 180
|
||||
},
|
||||
{
|
||||
"extra_orphans": 200,
|
||||
"objects_scanned": 265,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 579.413,
|
||||
"min_ms": 460.906,
|
||||
"max_ms": 687.121,
|
||||
"stdev_ms": 113.494,
|
||||
"list_calls": 2,
|
||||
"head_calls": 330
|
||||
}
|
||||
],
|
||||
"upload_phases": [
|
||||
{
|
||||
"width": 512,
|
||||
"height": 512,
|
||||
"size_bytes": 787271,
|
||||
"concurrency": 10,
|
||||
"rounds": 2,
|
||||
"successful_uploads": 20,
|
||||
"errors": 0,
|
||||
"started_unix": 1793982275.5182576,
|
||||
"finished_unix": 1793982276.575706,
|
||||
"elapsed_seconds": 1.057448,
|
||||
"successful_rps": 18.913,
|
||||
"latency_ms": {
|
||||
"p50": 102.767,
|
||||
"p95": 176.198,
|
||||
"p99": 183.16
|
||||
},
|
||||
"observed_instances": [
|
||||
"2b11729802cd",
|
||||
"3586879492e3"
|
||||
],
|
||||
"api_memory": [
|
||||
{
|
||||
"container_id": "2b11729802cd7e23d8d5e26cfa9cb67478160c297bbce439c6e547b9fa3a8295",
|
||||
"sampled_peak_mib": 91.094
|
||||
},
|
||||
{
|
||||
"container_id": "3586879492e3830cc482e782e50c24b3a31757d2f7d9274786b4e6731650764a",
|
||||
"sampled_peak_mib": 91.312
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"width": 1536,
|
||||
"height": 1536,
|
||||
"size_bytes": 7081758,
|
||||
"concurrency": 10,
|
||||
"rounds": 2,
|
||||
"successful_uploads": 20,
|
||||
"errors": 0,
|
||||
"started_unix": 1793982276.6054053,
|
||||
"finished_unix": 1793982278.9907844,
|
||||
"elapsed_seconds": 2.385379,
|
||||
"successful_rps": 8.384,
|
||||
"latency_ms": {
|
||||
"p50": 617.87,
|
||||
"p95": 832.535,
|
||||
"p99": 896.355
|
||||
},
|
||||
"observed_instances": [
|
||||
"2b11729802cd",
|
||||
"3586879492e3"
|
||||
],
|
||||
"api_memory": [
|
||||
{
|
||||
"container_id": "2b11729802cd7e23d8d5e26cfa9cb67478160c297bbce439c6e547b9fa3a8295",
|
||||
"sampled_peak_mib": 124.629
|
||||
},
|
||||
{
|
||||
"container_id": "3586879492e3830cc482e782e50c24b3a31757d2f7d9274786b4e6731650764a",
|
||||
"sampled_peak_mib": 146.086
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,6 @@
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
s3-init-1 | PASS: private bucket and restricted application principal configured
|
||||
@@ -0,0 +1,38 @@
|
||||
[
|
||||
{
|
||||
"extra_orphans": 0,
|
||||
"objects_scanned": 65,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 160.59,
|
||||
"min_ms": 151.176,
|
||||
"max_ms": 172.625,
|
||||
"stdev_ms": 10.962,
|
||||
"list_calls": 1,
|
||||
"head_calls": 130
|
||||
},
|
||||
{
|
||||
"extra_orphans": 50,
|
||||
"objects_scanned": 115,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 259.99,
|
||||
"min_ms": 219.672,
|
||||
"max_ms": 331.819,
|
||||
"stdev_ms": 62.361,
|
||||
"list_calls": 1,
|
||||
"head_calls": 180
|
||||
},
|
||||
{
|
||||
"extra_orphans": 200,
|
||||
"objects_scanned": 265,
|
||||
"metadata_scanned": 65,
|
||||
"repeats": 3,
|
||||
"mean_ms": 579.413,
|
||||
"min_ms": 460.906,
|
||||
"max_ms": 687.121,
|
||||
"stdev_ms": 113.494,
|
||||
"list_calls": 2,
|
||||
"head_calls": 330
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,4 @@
|
||||
extra_orphans,objects_scanned,metadata_scanned,repeats,mean_ms,min_ms,max_ms,stdev_ms,list_calls,head_calls
|
||||
0,65,65,3,160.59,151.176,172.625,10.962,1,130
|
||||
50,115,65,3,259.99,219.672,331.819,62.361,1,180
|
||||
200,265,65,3,579.413,460.906,687.121,113.494,2,330
|
||||
|
Binary file not shown.
|
After Width: | Height: | Size: 59 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 39 KiB |
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
File diff suppressed because it is too large
Load Diff
Binary file not shown.
|
After Width: | Height: | Size: 64 KiB |
File diff suppressed because it is too large
Load Diff
|
After Width: | Height: | Size: 48 KiB |
@@ -0,0 +1,273 @@
|
||||
{
|
||||
"status": "PASS",
|
||||
"phases": [
|
||||
{
|
||||
"width": 512,
|
||||
"height": 512,
|
||||
"size_bytes": 787271,
|
||||
"concurrency": 10,
|
||||
"rounds": 2,
|
||||
"successful_uploads": 20,
|
||||
"errors": 0,
|
||||
"started_unix": 1793982275.5182576,
|
||||
"finished_unix": 1793982276.575706,
|
||||
"elapsed_seconds": 1.057448,
|
||||
"successful_rps": 18.913,
|
||||
"latency_ms": {
|
||||
"p50": 102.767,
|
||||
"p95": 176.198,
|
||||
"p99": 183.16
|
||||
},
|
||||
"observed_instances": [
|
||||
"2b11729802cd",
|
||||
"3586879492e3"
|
||||
],
|
||||
"individual_requests": [
|
||||
{
|
||||
"elapsed_ms": 165.792,
|
||||
"instance": "3586879492e3",
|
||||
"id": "c2fdfeae-4fc7-4f18-aeea-15128a1ce778"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 115.745,
|
||||
"instance": "3586879492e3",
|
||||
"id": "dc2ffcd1-c0da-4d7d-bc54-fdf79d0e0c4b"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 152.416,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "66a9427e-5c56-4616-b382-eecbf164f2a6"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 120.246,
|
||||
"instance": "3586879492e3",
|
||||
"id": "5fc86549-532d-4893-8adc-526480c8ca4a"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 183.16,
|
||||
"instance": "3586879492e3",
|
||||
"id": "f3103a13-e41d-4b7f-8101-be01e7d0b551"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 165.525,
|
||||
"instance": "3586879492e3",
|
||||
"id": "184a079f-1cf1-4486-a217-7d47f5159fc6"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 176.198,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "123bb8c5-a739-460e-8048-0b74e021b1c4"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 98.997,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "184c5689-8653-4598-9f22-66e833f44874"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 116.418,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "84805db4-100b-4e73-b055-d5aeb1b08a20"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 152.617,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "d7f12011-df5e-47ad-aff5-4048a834f21c"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 54.057,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "175665e6-6045-420e-bcd4-b5666d5fcf7c"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 87.786,
|
||||
"instance": "3586879492e3",
|
||||
"id": "d1ef2b99-f69f-4622-a0ac-d4f45eb0da37"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 54.613,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "4527cc17-d539-4e95-9ba7-cd0aec7b19ca"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 87.082,
|
||||
"instance": "3586879492e3",
|
||||
"id": "d3d16d58-61f0-4b3f-a205-6d696fa0cff6"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 102.767,
|
||||
"instance": "3586879492e3",
|
||||
"id": "690f4dbc-203a-4269-a0d6-f6089e1f80a7"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 53.332,
|
||||
"instance": "3586879492e3",
|
||||
"id": "c530cf03-e4f9-4476-b029-3210f1b79a07"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 85.73,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "a401af64-d3eb-4c57-86b3-b0760aa8c140"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 54.686,
|
||||
"instance": "3586879492e3",
|
||||
"id": "294ed5d9-cbfd-4903-abfb-e576e497ef58"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 86.839,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "9379c6d1-4be6-4984-80ed-3601463a6a7c"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 103.509,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "bd49733e-f9cc-49b8-a2c5-7dfde60239d7"
|
||||
}
|
||||
],
|
||||
"api_memory": [
|
||||
{
|
||||
"container_id": "2b11729802cd7e23d8d5e26cfa9cb67478160c297bbce439c6e547b9fa3a8295",
|
||||
"sampled_peak_mib": 91.094
|
||||
},
|
||||
{
|
||||
"container_id": "3586879492e3830cc482e782e50c24b3a31757d2f7d9274786b4e6731650764a",
|
||||
"sampled_peak_mib": 91.312
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"width": 1536,
|
||||
"height": 1536,
|
||||
"size_bytes": 7081758,
|
||||
"concurrency": 10,
|
||||
"rounds": 2,
|
||||
"successful_uploads": 20,
|
||||
"errors": 0,
|
||||
"started_unix": 1793982276.6054053,
|
||||
"finished_unix": 1793982278.9907844,
|
||||
"elapsed_seconds": 2.385379,
|
||||
"successful_rps": 8.384,
|
||||
"latency_ms": {
|
||||
"p50": 617.87,
|
||||
"p95": 832.535,
|
||||
"p99": 896.355
|
||||
},
|
||||
"observed_instances": [
|
||||
"2b11729802cd",
|
||||
"3586879492e3"
|
||||
],
|
||||
"individual_requests": [
|
||||
{
|
||||
"elapsed_ms": 716.744,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "de25dd86-bbff-4c73-b43b-b1a32ae54b58"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 519.935,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "5e31a195-4588-4217-a6b7-f60e8fc354d3"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 113.752,
|
||||
"instance": "3586879492e3",
|
||||
"id": "3c2d016c-49b7-4389-828c-3b13142ae128"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 701.82,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "b279556b-3662-4649-a63d-c3299cae9790"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 162.629,
|
||||
"instance": "3586879492e3",
|
||||
"id": "6f35eee0-b44c-4d8e-b9d7-941e969351c0"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 617.87,
|
||||
"instance": "3586879492e3",
|
||||
"id": "017476ec-3d6c-4a7f-9b2f-02d07308a308"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 609.742,
|
||||
"instance": "3586879492e3",
|
||||
"id": "beaf2bf4-e19a-403e-a034-d2a839b0723e"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 609.077,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "265535f4-faf6-4b2e-b5ea-2c8707dc7c44"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 439.875,
|
||||
"instance": "3586879492e3",
|
||||
"id": "fa001db4-f120-463d-8f42-7043a28331a1"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 313.432,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "bcb008ae-7734-4d5c-8056-f1196f785fed"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 832.535,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "b06dbcf2-7db6-4466-a7b4-0e63c36a1fdc"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 896.355,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "85880399-b7c2-47a9-b3f5-5d6d184f5050"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 827.618,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "5bdce531-4c9f-45a6-a165-8efb291a2abb"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 519.467,
|
||||
"instance": "3586879492e3",
|
||||
"id": "7e8eaf86-9280-4422-b7fe-ff8ab6113f92"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 648.035,
|
||||
"instance": "3586879492e3",
|
||||
"id": "a2fc1c26-501f-40c6-8aac-65879c7afd90"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 627.053,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "4e4f37a1-9dd5-4406-b0d3-50d92b3e38ae"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 421.265,
|
||||
"instance": "3586879492e3",
|
||||
"id": "be19fd8f-a481-4355-9392-4910191643ae"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 622.325,
|
||||
"instance": "2b11729802cd",
|
||||
"id": "bbc868dd-3437-455a-ae4b-3d893012f4c9"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 827.438,
|
||||
"instance": "3586879492e3",
|
||||
"id": "65a55f03-8eae-483f-badd-da0c71fbe96d"
|
||||
},
|
||||
{
|
||||
"elapsed_ms": 642.219,
|
||||
"instance": "3586879492e3",
|
||||
"id": "27e56e81-322a-47c7-892d-52484b4caa3d"
|
||||
}
|
||||
],
|
||||
"api_memory": [
|
||||
{
|
||||
"container_id": "2b11729802cd7e23d8d5e26cfa9cb67478160c297bbce439c6e547b9fa3a8295",
|
||||
"sampled_peak_mib": 124.629
|
||||
},
|
||||
{
|
||||
"container_id": "3586879492e3830cc482e782e50c24b3a31757d2f7d9274786b4e6731650764a",
|
||||
"sampled_peak_mib": 146.086
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,90 @@
|
||||
{
|
||||
"status": "PASS",
|
||||
"cases": [
|
||||
{
|
||||
"case": "corrupt_png",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "truncated_png",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "mime_spoof",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "unsupported_mime",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "empty_payload",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "unsafe_filename",
|
||||
"status": 400
|
||||
},
|
||||
{
|
||||
"case": "foreign_chat_upload",
|
||||
"status": 404
|
||||
},
|
||||
{
|
||||
"case": "unauthenticated_upload",
|
||||
"status": 401
|
||||
},
|
||||
{
|
||||
"case": "over_40_million_pixels",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "oversized_content_length_before_body",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "chunked_oversize",
|
||||
"status": 413
|
||||
},
|
||||
{
|
||||
"case": "foreign_attachment_metadata_and_bytes",
|
||||
"status": 404
|
||||
},
|
||||
{
|
||||
"case": "cross_chat_and_unknown_attachment",
|
||||
"status": 404
|
||||
},
|
||||
{
|
||||
"case": "attachment_idempotency_and_conflict",
|
||||
"status": "201/409"
|
||||
},
|
||||
{
|
||||
"case": "truncated_jpeg",
|
||||
"status": 415
|
||||
},
|
||||
{
|
||||
"case": "interrupted_http_body",
|
||||
"metadata_or_object_added": false
|
||||
}
|
||||
],
|
||||
"count": 21
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,14 @@
|
||||
{
|
||||
"Python": "3.11.11",
|
||||
"fastapi": "0.115.0",
|
||||
"uvicorn": "0.30.6",
|
||||
"psycopg": "3.3.6",
|
||||
"boto3": "1.42.0",
|
||||
"botocore": "1.41.6",
|
||||
"Pillow": "13.0.0",
|
||||
"redis": "5.1.0"
|
||||
}
|
||||
minio version RELEASE.2025-09-07T16-13-09Z (commit-id=07c3a429bfed433e49018cb0f78a52145d4bedeb)
|
||||
Runtime: go1.24.6 linux/arm64
|
||||
License: GNU AGPLv3 - https://www.gnu.org/licenses/agpl-3.0.html
|
||||
Copyright: 2015-2025 MinIO, Inc.
|
||||
+8
-4
@@ -1,7 +1,11 @@
|
||||
# Инфраструктура студента
|
||||
# Стенд lab4
|
||||
|
||||
Здесь разместите конфигурации выбранных сервисов; основную топологию — в корневом compose.yaml/stack.yaml. `compose.example.yaml` — только worksheet ролей и намеренно не запускается. `contracts/infrastructure.json` задаёт минимальные роли, не готовые образы/пароли.
|
||||
compose.yaml — отдельный проект mtusi-lab4. Публичен только HAProxy; API, PostgreSQL, Valkey и MinIO находятся в сети Compose. PostgreSQL/Valkey/MinIO имеют собственные именованные volumes.
|
||||
|
||||
В REPORT.md сопоставьте роль → service name → версия/digest → health/readiness → volume → сеть/порт → способ передачи credentials. Приведите bootstrap (schema, bucket, broker topology, а с lab6 provisioning) и безопасное повторение этих команд.
|
||||
- haproxy.cfg: round robin, активные readiness-проверки, Docker DNS обновление адресов.
|
||||
- init-s3.sh: повторяемый приватный bucket bootstrap, отдельный API principal.
|
||||
- api-policy.json: ListBucket целевого bucket, Get/Put/Delete только originals/*; административных прав нет.
|
||||
- Консоль MinIO не опубликована, привязана к loopback контейнера, browser UI отключён.
|
||||
- Reconciler выполняет apply с grace=300s, после прохода ждёт 60s. ops — отдельный профиль для ручной сверки/тестов.
|
||||
|
||||
Приложение строится из исходников. Не используйте заранее существующий образ преподавательского сервера вместо своей реализации. Restart hook перезапускает все соответствующие stores с volumes; failover hook останавливает только заданную API-реплику.
|
||||
Пароли генерируются scripts/bootstrap.sh в игнорируемом .env. Root S3 credentials не передаются API. Реальные digest/версии закреплены в Compose; запуск и ограничения — ../REPORT.md, исследование — ../RESEARCH.md.
|
||||
|
||||
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{"Effect":"Allow","Action":["s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]},
|
||||
{"Effect":"Allow","Action":["s3:PutObject","s3:GetObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/originals/*"]}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,31 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 512
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
timeout connect 1s
|
||||
timeout client 45s
|
||||
timeout server 45s
|
||||
timeout check 1s
|
||||
retries 0
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 2
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 1s
|
||||
hold obsolete 1s
|
||||
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend replicas
|
||||
|
||||
backend replicas
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
default-server inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
|
||||
server-template api 8 api:8080 check
|
||||
Executable
+17
@@ -0,0 +1,17 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
ready=false
|
||||
for attempt in $(seq 1 60); do
|
||||
if mc alias set local http://s3:9000 "$S3_ROOT_USER" "$S3_ROOT_PASSWORD" >/dev/null 2>&1; then
|
||||
ready=true
|
||||
break
|
||||
fi
|
||||
sleep 1
|
||||
done
|
||||
[ "$ready" = true ] || exit 1
|
||||
mc mb --ignore-existing local/messenger-attachments >/dev/null
|
||||
mc anonymous set none local/messenger-attachments >/dev/null
|
||||
mc admin user add local "$S3_API_USER" "$S3_API_PASSWORD" >/dev/null
|
||||
mc admin policy create local lab4-attachments /bootstrap/api-policy.json >/dev/null
|
||||
mc admin policy attach local lab4-attachments --user "$S3_API_USER" >/dev/null
|
||||
printf '%s\n' 'PASS: private bucket and restricted application principal configured'
|
||||
@@ -0,0 +1,8 @@
|
||||
from app import store
|
||||
|
||||
if __name__ == '__main__':
|
||||
store.pool.open(wait=True, timeout=30)
|
||||
try:
|
||||
store.init()
|
||||
finally:
|
||||
store.pool.close()
|
||||
@@ -0,0 +1,41 @@
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id UUID PRIMARY KEY,
|
||||
username TEXT NOT NULL UNIQUE,
|
||||
display_name TEXT NOT NULL,
|
||||
password_hash TEXT NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS chats (
|
||||
id UUID PRIMARY KEY,
|
||||
title TEXT NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS chat_members (
|
||||
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
PRIMARY KEY (chat_id, user_id)
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS messages (
|
||||
id UUID PRIMARY KEY,
|
||||
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
sender_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
text TEXT NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
|
||||
CREATE TABLE IF NOT EXISTS sessions (
|
||||
id UUID PRIMARY KEY,
|
||||
token TEXT NOT NULL UNIQUE,
|
||||
user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
expires_at TIMESTAMPTZ NOT NULL,
|
||||
revoked_at TIMESTAMPTZ,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW()
|
||||
);
|
||||
|
||||
CREATE INDEX IF NOT EXISTS idx_messages_chat_created ON messages(chat_id, created_at, id);
|
||||
CREATE INDEX IF NOT EXISTS idx_chat_members_user ON chat_members(user_id, chat_id);
|
||||
CREATE INDEX IF NOT EXISTS idx_chats_created ON chats(created_at, id);
|
||||
CREATE INDEX IF NOT EXISTS idx_sessions_user ON sessions(user_id, expires_at);
|
||||
@@ -0,0 +1,10 @@
|
||||
CREATE TABLE message_requests (
|
||||
sender_id UUID NOT NULL REFERENCES users(id),
|
||||
chat_id UUID NOT NULL REFERENCES chats(id),
|
||||
key VARCHAR(128) NOT NULL,
|
||||
body TEXT NOT NULL,
|
||||
response JSONB NOT NULL,
|
||||
expires_at TIMESTAMPTZ NOT NULL,
|
||||
PRIMARY KEY(sender_id, chat_id, key)
|
||||
);
|
||||
CREATE INDEX message_requests_expiry ON message_requests(expires_at);
|
||||
@@ -0,0 +1,27 @@
|
||||
CREATE TABLE attachments (
|
||||
id UUID PRIMARY KEY,
|
||||
chat_id UUID NOT NULL REFERENCES chats(id),
|
||||
owner_id UUID NOT NULL REFERENCES users(id),
|
||||
object_key TEXT NOT NULL UNIQUE,
|
||||
filename TEXT NOT NULL,
|
||||
content_type TEXT NOT NULL CHECK(content_type IN ('image/png','image/jpeg')),
|
||||
size_bytes BIGINT NOT NULL CHECK(size_bytes BETWEEN 1 AND 10485760),
|
||||
sha256 CHAR(64) NOT NULL,
|
||||
state TEXT NOT NULL CHECK(state IN ('pending','ready','failed')),
|
||||
error_code TEXT,
|
||||
created_at TIMESTAMPTZ NOT NULL,
|
||||
updated_at TIMESTAMPTZ NOT NULL
|
||||
);
|
||||
CREATE INDEX attachments_state_age ON attachments(state, updated_at);
|
||||
CREATE TABLE message_attachments (
|
||||
message_id UUID NOT NULL REFERENCES messages(id) ON DELETE CASCADE,
|
||||
attachment_id UUID NOT NULL REFERENCES attachments(id),
|
||||
position INTEGER NOT NULL CHECK(position BETWEEN 0 AND 9),
|
||||
PRIMARY KEY(message_id, attachment_id),
|
||||
UNIQUE(message_id, position)
|
||||
);
|
||||
CREATE INDEX message_attachments_attachment ON message_attachments(attachment_id);
|
||||
-- Preserve replay of lab3 text requests if an existing lab3 DB is upgraded.
|
||||
ALTER TABLE message_requests ALTER COLUMN body TYPE JSONB
|
||||
USING jsonb_build_object('text', body, 'attachment_ids', '[]'::jsonb);
|
||||
UPDATE message_requests SET response = response || '{"attachment_ids":[]}'::jsonb;
|
||||
+162
@@ -0,0 +1,162 @@
|
||||
"""Repeatable DB/S3 reconciler. Dry-run by default; no ready object is deleted."""
|
||||
import argparse
|
||||
from datetime import datetime, timedelta, timezone
|
||||
import json
|
||||
import time
|
||||
import uuid
|
||||
|
||||
from botocore.exceptions import ClientError
|
||||
from psycopg.rows import dict_row
|
||||
from attachments import object_lock
|
||||
|
||||
|
||||
def managed_key(key):
|
||||
try:
|
||||
return key == 'originals/' + str(uuid.UUID(key.removeprefix('originals/')))
|
||||
except ValueError:
|
||||
return False
|
||||
|
||||
|
||||
def reconcile(objects, *, apply=False, grace_seconds=300, allow_short_grace=False, prefix='originals/'):
|
||||
if grace_seconds < 1:
|
||||
raise ValueError("grace must be positive")
|
||||
if grace_seconds < 60 and not allow_short_grace:
|
||||
raise ValueError('production grace must be >=60s; tests must explicitly allow a shorter grace')
|
||||
if prefix != 'originals/':
|
||||
raise ValueError('only the managed originals/ namespace may be scanned')
|
||||
store, s3 = objects.store, objects.client
|
||||
cutoff = datetime.now(timezone.utc) - timedelta(seconds=grace_seconds)
|
||||
started = time.monotonic()
|
||||
result = {'mode': 'apply' if apply else 'dry-run', 'grace_seconds': grace_seconds,
|
||||
'objects_scanned': 0, 'metadata_scanned': 0, 's3_list_calls': 0,
|
||||
's3_head_calls': 0, 's3_delete_calls': 0, 'skipped_fresh': 0,
|
||||
'skipped_busy': 0, 'skipped_in_use': 0, 'action_counts': {}, 'actions_truncated': 0, 'actions': []}
|
||||
|
||||
def head(key):
|
||||
result['s3_head_calls'] += 1
|
||||
try:
|
||||
return s3.head_object(Bucket=objects.bucket, Key=key)
|
||||
except ClientError as exc:
|
||||
if exc.response['Error']['Code'] in ('404','NoSuchKey','NotFound'):
|
||||
return None
|
||||
raise # 403/5xx/timeouts are not proof of a missing object.
|
||||
|
||||
def action(kind, key, conn, row=None):
|
||||
result['action_counts'][kind] = result['action_counts'].get(kind, 0) + 1
|
||||
if len(result['actions']) < 1000:
|
||||
result['actions'].append({'kind': kind, 'key': key})
|
||||
else:
|
||||
result['actions_truncated'] += 1
|
||||
if not apply:
|
||||
return
|
||||
if kind in ('delete_orphan','abort_pending'):
|
||||
if head(key) is not None:
|
||||
s3.delete_object(Bucket=objects.bucket, Key=key)
|
||||
result['s3_delete_calls'] += 1
|
||||
if row is not None:
|
||||
conn.execute("UPDATE attachments SET state='failed',error_code='incomplete_upload',updated_at=NOW() WHERE id=%s", (row['id'],))
|
||||
elif kind in ('missing_object','corrupt_object'):
|
||||
conn.execute("UPDATE attachments SET state='failed',error_code=%s,updated_at=NOW() WHERE id=%s", (kind,row['id']))
|
||||
elif kind == 'restore_ready':
|
||||
conn.execute("UPDATE attachments SET state='ready',error_code=NULL,updated_at=NOW() WHERE id=%s", (row['id'],))
|
||||
|
||||
# One run at a time; object-level transaction locks are shared with uploads.
|
||||
with store.connect() as guard:
|
||||
acquired = guard.execute('SELECT pg_try_advisory_lock(202604)').fetchone()[0]
|
||||
if not acquired:
|
||||
raise RuntimeError('another reconciler is running')
|
||||
try:
|
||||
paginator = s3.get_paginator('list_objects_v2')
|
||||
for page in paginator.paginate(Bucket=objects.bucket, Prefix=prefix, PaginationConfig={'PageSize':200}):
|
||||
result['s3_list_calls'] += 1
|
||||
for item in page.get('Contents', []):
|
||||
result['objects_scanned'] += 1
|
||||
key = item['Key']
|
||||
if not managed_key(key):
|
||||
continue
|
||||
if item['LastModified'] > cutoff:
|
||||
result['skipped_fresh'] += 1
|
||||
continue
|
||||
with store.connect() as conn:
|
||||
if not object_lock(conn,key,wait=False):
|
||||
result['skipped_busy'] += 1
|
||||
continue
|
||||
# Re-read BOTH stores under lock instead of trusting an old list snapshot.
|
||||
aid = key.split('/')[1]
|
||||
row = objects.fetch(aid,conn)
|
||||
current = head(key)
|
||||
if current is None:
|
||||
continue
|
||||
if current['LastModified'] > cutoff:
|
||||
result['skipped_fresh'] += 1
|
||||
continue
|
||||
if conn.execute('SELECT 1 FROM message_attachments WHERE attachment_id=%s LIMIT 1',(aid,)).fetchone():
|
||||
result['skipped_in_use'] += 1
|
||||
continue
|
||||
if row is None:
|
||||
action('delete_orphan',key,conn)
|
||||
elif row['state']=='pending' and row['updated_at'] <= cutoff:
|
||||
action('abort_pending',key,conn,row)
|
||||
# Includes pending rows whose S3 PUT never occurred; keyset pages keep
|
||||
# scan RAM bounded. Failed missing/corrupt rows can recover if restored.
|
||||
last = '00000000-0000-0000-0000-000000000000'
|
||||
while True:
|
||||
with store.connect() as conn, conn.cursor(row_factory=dict_row) as cur:
|
||||
cur.execute("SELECT id FROM attachments WHERE id>%s AND (state IN ('ready','pending') OR error_code IN ('missing_object','corrupt_object')) ORDER BY id LIMIT 200", (last,))
|
||||
rows = cur.fetchall()
|
||||
if not rows:
|
||||
break
|
||||
for item in rows:
|
||||
last = str(item['id'])
|
||||
result['metadata_scanned'] += 1
|
||||
with store.connect() as conn:
|
||||
key = 'originals/' + last
|
||||
if not object_lock(conn,key,wait=False):
|
||||
result['skipped_busy'] += 1
|
||||
continue
|
||||
row = objects.fetch(last,conn)
|
||||
if row is None:
|
||||
continue
|
||||
if row['updated_at'] > cutoff:
|
||||
result['skipped_fresh'] += 1
|
||||
continue
|
||||
current = head(key)
|
||||
if row['state']=='pending':
|
||||
if conn.execute('SELECT 1 FROM message_attachments WHERE attachment_id=%s LIMIT 1',(last,)).fetchone():
|
||||
result['skipped_in_use'] += 1
|
||||
continue
|
||||
if current is not None and current['LastModified'] > cutoff:
|
||||
result['skipped_fresh'] += 1
|
||||
continue
|
||||
action('abort_pending',key,conn,row)
|
||||
elif current is None:
|
||||
if row['state']!='failed' or row['error_code']!='missing_object':
|
||||
action('missing_object',key,conn,row)
|
||||
elif current['ContentLength'] != row['size_bytes'] or current.get('Metadata',{}).get('sha256') != row['sha256']:
|
||||
if row['state']!='failed' or row['error_code']!='corrupt_object':
|
||||
action('corrupt_object',key,conn,row)
|
||||
elif row['state']=='failed':
|
||||
action('restore_ready',key,conn,row)
|
||||
finally:
|
||||
guard.execute('SELECT pg_advisory_unlock(202604)')
|
||||
result['elapsed_seconds'] = round(time.monotonic()-started,6)
|
||||
return result
|
||||
|
||||
|
||||
def main():
|
||||
parser=argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--apply',action='store_true')
|
||||
parser.add_argument('--grace-seconds',type=int,default=300)
|
||||
parser.add_argument('--allow-short-grace',action='store_true',help='isolated synthetic tests only')
|
||||
args=parser.parse_args()
|
||||
from app import store, object_store
|
||||
store.pool.open(wait=True,timeout=15)
|
||||
try:
|
||||
print(json.dumps(reconcile(object_store,apply=args.apply,grace_seconds=args.grace_seconds,
|
||||
allow_short_grace=args.allow_short_grace),indent=2))
|
||||
finally:
|
||||
store.pool.close()
|
||||
object_store.close()
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,2 @@
|
||||
# Standalone figures from sanitized evidence; API runtime does not need this.
|
||||
matplotlib==3.10.0
|
||||
@@ -0,0 +1,9 @@
|
||||
fastapi==0.115.0
|
||||
uvicorn==0.30.6
|
||||
psycopg[binary]==3.3.6
|
||||
psycopg-pool==3.2.6
|
||||
argon2-cffi==23.1.0
|
||||
python-dotenv==1.0.1
|
||||
redis==5.1.0
|
||||
boto3==1.42.0
|
||||
Pillow==13.0.0
|
||||
@@ -0,0 +1,57 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Actual dependency outages. Runs inside ops with an operator-authored hook."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client,Failure,check
|
||||
|
||||
|
||||
def main():
|
||||
parser=argparse.ArgumentParser()
|
||||
parser.add_argument('--dependency',choices=['s3','db'],required=True)
|
||||
args=parser.parse_args()
|
||||
# Host orchestrates this protocol; credentials/tokens remain inside this process.
|
||||
c=Client('http://lb:8080',timeout=15)
|
||||
direct=Client('http://api:8080',timeout=10)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
att,data=c.attachment(alice,chat)
|
||||
from app import object_store
|
||||
before=object_store.client.list_objects_v2(Bucket=object_store.bucket,Prefix='originals/').get('KeyCount',0)
|
||||
print('READY',flush=True)
|
||||
assert input().strip()=='STOPPED'
|
||||
result={'dependency':args.dependency}
|
||||
direct.call('GET','/health/ready',503,schema='Health')
|
||||
result['readiness']=503
|
||||
if args.dependency=='s3':
|
||||
direct.call('GET','/api/v1/attachments/'+att['id'],actor=bob,schema='Attachment')
|
||||
direct.call('GET','/api/v1/attachments/'+att['id']+'/content',503,actor=bob)
|
||||
direct.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=outage.png',503,actor=alice,raw=data,headers={'Content-Type':'image/png'})
|
||||
result.update(metadata_available=True,download=503,upload=503)
|
||||
else:
|
||||
direct.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=outage.png',503,actor=alice,raw=data,headers={'Content-Type':'image/png'})
|
||||
after=object_store.client.list_objects_v2(Bucket=object_store.bucket,Prefix='originals/').get('KeyCount',0)
|
||||
check(before==after,'DB failure created an untracked S3 object')
|
||||
result.update(upload=503,no_new_s3_objects=True)
|
||||
print('CHECKED',flush=True)
|
||||
assert input().strip()=='RESTORED'
|
||||
deadline=time.monotonic()+60
|
||||
while True:
|
||||
try:
|
||||
direct.call('GET','/health/ready',schema='Health')
|
||||
break
|
||||
except Failure:
|
||||
check(time.monotonic()<deadline,'dependency did not recover')
|
||||
time.sleep(.5)
|
||||
restored=direct.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
|
||||
check(restored['bytes']==data,'original changed after dependency restart')
|
||||
result.update(status='PASS',confirmed_original_preserved=True)
|
||||
object_store.close()
|
||||
print(json.dumps(result),flush=True)
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
Executable
+12
@@ -0,0 +1,12 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
if [ ! -f .env ]; then
|
||||
umask 077
|
||||
python3 - <<'PY' > .env
|
||||
import secrets
|
||||
for name in ('POSTGRES_PASSWORD','S3_ROOT_PASSWORD','S3_API_PASSWORD'):
|
||||
print(name+'='+secrets.token_hex(24))
|
||||
print('APP_PORT=8084')
|
||||
PY
|
||||
fi
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
if docker compose version >/dev/null 2>&1; then
|
||||
exec docker compose "$@"
|
||||
fi
|
||||
exec docker-compose "$@"
|
||||
@@ -0,0 +1,19 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Sanitized real-container evidence. Never dump environment or labels wholesale."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
ids=subprocess.check_output([str(ROOT/'scripts/compose.sh'),'ps','-a','-q'],cwd=ROOT,text=True).split()
|
||||
result=[]
|
||||
for item in json.loads(subprocess.check_output(['docker','inspect',*ids],text=True)):
|
||||
result.append({'name':item['Name'],'id':item['Id'],'hostname':item['Config']['Hostname'],
|
||||
'service':item['Config']['Labels']['com.docker.compose.service'],
|
||||
'image_id':item['Image'],'status':item['State']['Status'],
|
||||
'started_at':item['State']['StartedAt'],
|
||||
'health':item['State'].get('Health',{}).get('Status'),
|
||||
'nano_cpus':item['HostConfig']['NanoCpus'],'memory_bytes':item['HostConfig']['Memory'],
|
||||
'published_ports':item['HostConfig']['PortBindings'],
|
||||
'volumes':[{'name':m['Name'],'destination':m['Destination']} for m in item['Mounts'] if m['Type']=='volume']})
|
||||
print(json.dumps(sorted(result,key=lambda c:c['name']),indent=2))
|
||||
@@ -0,0 +1,20 @@
|
||||
"""Isolated CLI fault: real process death after PUT, before DB ready COMMIT."""
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import sys
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from app import store, object_store
|
||||
|
||||
|
||||
def crash(aid,key):
|
||||
print(json.dumps({'id':aid,'key':key}),flush=True)
|
||||
os._exit(86)
|
||||
|
||||
if __name__=='__main__':
|
||||
store.pool.open(wait=True,timeout=15)
|
||||
path=Path(__file__).resolve().parents[1]/'tests/fixtures/sample.png'
|
||||
payload=path.read_bytes()
|
||||
with path.open('rb') as stream:
|
||||
object_store.persist(stream,sys.argv[1],sys.argv[2],'crash.png','image/png',len(payload),hashlib.sha256(payload).hexdigest(),after_put=crash)
|
||||
@@ -0,0 +1,59 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Rebuild CSV summaries and standalone plots from sanitized research artifacts."""
|
||||
import csv
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import statistics
|
||||
|
||||
os.environ.setdefault('MPLCONFIGDIR','/tmp/mtusi-lab4-matplotlib')
|
||||
import matplotlib
|
||||
matplotlib.use('Agg')
|
||||
import matplotlib.pyplot as plt
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
EVIDENCE=ROOT/'evidence'
|
||||
|
||||
|
||||
def main():
|
||||
research=json.loads((EVIDENCE/'reconciliation.json').read_text())
|
||||
rows=[]
|
||||
for n in sorted({r['extra_orphans'] for r in research['scan_cost_runs']}):
|
||||
group=[r for r in research['scan_cost_runs'] if r['extra_orphans']==n]
|
||||
times=[1000*r['elapsed_seconds'] for r in group]
|
||||
rows.append({'extra_orphans':n,'objects_scanned':group[0]['objects_scanned'],
|
||||
'metadata_scanned':group[0]['metadata_scanned'],'repeats':len(group),
|
||||
'mean_ms':round(statistics.mean(times),3),'min_ms':round(min(times),3),
|
||||
'max_ms':round(max(times),3),'stdev_ms':round(statistics.stdev(times),3),
|
||||
'list_calls':group[0]['s3_list_calls'],'head_calls':group[0]['s3_head_calls']})
|
||||
with (EVIDENCE/'scan-cost.csv').open('w') as stream:
|
||||
writer=csv.DictWriter(stream,fieldnames=list(rows[0]));writer.writeheader();writer.writerows(rows)
|
||||
(EVIDENCE/'scan-cost-summary.json').write_text(json.dumps(rows,indent=2)+'\n')
|
||||
plt.rcParams.update({'font.size':10,'axes.grid':True,'grid.alpha':.25})
|
||||
fig,ax=plt.subplots(figsize=(7,4),layout='constrained')
|
||||
ax.errorbar([r['objects_scanned'] for r in rows],[r['mean_ms'] for r in rows],
|
||||
yerr=[r['stdev_ms'] for r in rows],marker='o',capsize=5)
|
||||
ax.set(xlabel='S3 objects scanned',ylabel='Dry-run time, ms (mean ± sample SD)',
|
||||
title='Reconciler scan cost: fixed metadata baseline, three repeats')
|
||||
for suffix in ('png','svg'):
|
||||
fig.savefig(EVIDENCE/('scan-cost.'+suffix),dpi=180)
|
||||
plt.close(fig)
|
||||
memory=json.loads((EVIDENCE/'upload-memory.json').read_text())
|
||||
phases=memory['workload']['phases']
|
||||
fig,axes=plt.subplots(1,2,figsize=(10,4),layout='constrained')
|
||||
labels=[f"{r['size_bytes']/1048576:.2f} MiB" for r in phases]
|
||||
for api in range(len(phases[0]['api_memory'])):
|
||||
x=[i+(api-.5)*.3 for i in range(len(phases))]
|
||||
axes[0].bar(x,[r['api_memory'][api]['sampled_peak_mib'] for r in phases],width=.3,label='API '+str(api+1))
|
||||
axes[0].axhline(512,ls='--',color='tab:red',label='Per-API memory limit')
|
||||
axes[0].set(xticks=range(len(labels)),xticklabels=labels,ylabel='Sampled cgroup memory peak, MiB',title='10 concurrent uploads, two rounds')
|
||||
axes[0].legend(fontsize=8)
|
||||
axes[1].bar(labels,[r['latency_ms']['p95'] for r in phases])
|
||||
axes[1].set(ylabel='Successful upload p95, ms',title='20 successful uploads per size')
|
||||
for suffix in ('png','svg'):
|
||||
fig.savefig(EVIDENCE/('upload-memory.'+suffix),dpi=180)
|
||||
plt.close(fig)
|
||||
print(json.dumps({'scan_cost':rows,'upload_phases':[{k:v for k,v in p.items() if k!='individual_requests'} for p in phases]},indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,25 @@
|
||||
"""Automatic, bounded-memory sweeps; errors never imply that objects are absent."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import time
|
||||
import signal
|
||||
import threading
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from app import store, object_store
|
||||
from reconcile import reconcile
|
||||
|
||||
stop=threading.Event()
|
||||
signal.signal(signal.SIGTERM,lambda *_: stop.set())
|
||||
signal.signal(signal.SIGINT,lambda *_: stop.set())
|
||||
store.pool.open(wait=True,timeout=30)
|
||||
try:
|
||||
while not stop.is_set():
|
||||
try:
|
||||
print(json.dumps(reconcile(object_store,apply=True,grace_seconds=300)),flush=True)
|
||||
except Exception as exc:
|
||||
print(json.dumps({'status':'retry_next_sweep','error_type':type(exc).__name__}),flush=True)
|
||||
stop.wait(60)
|
||||
finally:
|
||||
store.pool.close()
|
||||
object_store.close()
|
||||
@@ -0,0 +1,159 @@
|
||||
"""Track 2: repeatable faults, safe repair, protection and scan-cost measurements.
|
||||
|
||||
Run with automatic reconciler stopped, inside the isolated lab4 ops container.
|
||||
"""
|
||||
import hashlib
|
||||
import json
|
||||
from pathlib import Path
|
||||
import statistics
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
from unittest.mock import patch
|
||||
import psycopg
|
||||
from botocore.exceptions import ClientError
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
from app import store,object_store
|
||||
from attachments import object_lock
|
||||
from reconcile import reconcile
|
||||
from client import Client,check
|
||||
|
||||
|
||||
def main():
|
||||
store.pool.open(wait=True,timeout=15)
|
||||
s3=object_store.client
|
||||
bucket=object_store.bucket
|
||||
c=Client('http://lb:8080',timeout=20)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
data=(Path(__file__).resolve().parents[1]/'tests/fixtures/sample.png').read_bytes()
|
||||
sha=hashlib.sha256(data).hexdigest()
|
||||
def key():
|
||||
return 'originals/'+str(uuid.uuid4())
|
||||
def put(k,body=data):
|
||||
s3.put_object(Bucket=bucket,Key=k,Body=body,ContentType='image/png',Metadata={'sha256':hashlib.sha256(body).hexdigest()})
|
||||
def age(aid):
|
||||
with store.connect() as conn:
|
||||
conn.execute("UPDATE attachments SET created_at=NOW()-interval '10 minutes',updated_at=NOW()-interval '10 minutes' WHERE id=%s",(aid,))
|
||||
def states():
|
||||
with store.connect() as conn:
|
||||
return conn.execute('SELECT id,state,error_code FROM attachments ORDER BY id').fetchall()
|
||||
def present(k):
|
||||
try:
|
||||
s3.head_object(Bucket=bucket,Key=k)
|
||||
return True
|
||||
except ClientError as exc:
|
||||
if exc.response['Error']['Code'] in ('404','NoSuchKey','NotFound'):
|
||||
return False
|
||||
raise
|
||||
def sweep(apply=False,grace=5):
|
||||
return reconcile(object_store,apply=apply,grace_seconds=grace,allow_short_grace=True)
|
||||
missing,_=c.attachment(alice,chat)
|
||||
c.message(alice,chat,'missing-object fixture',attachments=[missing['id']])
|
||||
used,_=c.attachment(alice,chat)
|
||||
c.message(alice,chat,'preserve-used fixture',attachments=[used['id']])
|
||||
damaged,_=c.attachment(alice,chat)
|
||||
c.message(alice,chat,'corrupt-object fixture',attachments=[damaged['id']])
|
||||
# Simulate stale DB restore/loss of an unreferenced metadata row.
|
||||
orphan,_=c.attachment(alice,chat)
|
||||
orphan_key='originals/'+orphan['id']
|
||||
with store.connect() as conn:
|
||||
conn.execute('DELETE FROM attachments WHERE id=%s',(orphan['id'],))
|
||||
crash=subprocess.run([sys.executable,'scripts/fault_after_put.py',alice['id'],chat['id']],capture_output=True,text=True)
|
||||
check(crash.returncode==86,'fault process did not terminate at the real PUT/COMMIT boundary')
|
||||
crashed=json.loads(crash.stdout)
|
||||
check(present(crashed['key']),'PUT did not precede crash')
|
||||
empty_id=str(uuid.uuid4())
|
||||
# Another failure shape: intent was committed, but S3 PUT never succeeded.
|
||||
with store.connect() as conn:
|
||||
conn.execute("INSERT INTO attachments(id,chat_id,owner_id,object_key,filename,content_type,size_bytes,sha256,state,created_at,updated_at) VALUES (%s,%s,%s,%s,'no-put.png','image/png',%s,%s,'pending',NOW()-interval '10 minutes',NOW()-interval '10 minutes')",
|
||||
(empty_id,chat['id'],alice['id'],'originals/'+empty_id,len(data),sha))
|
||||
for aid in (missing['id'],used['id'],damaged['id'],crashed['id']):
|
||||
age(aid)
|
||||
s3.delete_object(Bucket=bucket,Key='originals/'+missing['id'])
|
||||
put('originals/'+damaged['id'],b'corrupt bytes')
|
||||
locked_key=key();put(locked_key)
|
||||
time.sleep(6) # Real S3 timestamps age; no fake server clock or lifecycle override.
|
||||
fresh,_=c.attachment(alice,chat)
|
||||
fresh_orphan=key();put(fresh_orphan)
|
||||
before=states()
|
||||
with store.connect() as uploader:
|
||||
object_lock(uploader,locked_key)
|
||||
dry=sweep()
|
||||
check(states()==before,'dry-run modified metadata')
|
||||
check(present(orphan_key) and present(crashed['key']),'dry-run deleted objects')
|
||||
required={('delete_orphan',orphan_key),('abort_pending',crashed['key']),
|
||||
('abort_pending','originals/'+empty_id),('missing_object','originals/'+missing['id']),
|
||||
('corrupt_object','originals/'+damaged['id'])}
|
||||
observed={(a['kind'],a['key']) for a in dry['actions']}
|
||||
check(required<=observed,'dry-run missed an injected failure')
|
||||
check(dry['skipped_busy']>=1,'active upload lock ignored')
|
||||
put(fresh_orphan) # Freshness is measured separately at each run's cutoff.
|
||||
applied=sweep(True)
|
||||
check(present(locked_key),'in-flight locked key deleted')
|
||||
check(present(fresh_orphan),'fresh object deleted')
|
||||
check(present('originals/'+fresh['id']),'fresh ready attachment deleted')
|
||||
check(present('originals/'+used['id']),'used ready attachment deleted')
|
||||
check(not present(orphan_key) and not present(crashed['key']),'old orphan/pending object not cleaned')
|
||||
for aid,expected in ((crashed['id'],'incomplete_upload'),(empty_id,'incomplete_upload'),(missing['id'],'missing_object'),(damaged['id'],'corrupt_object')):
|
||||
with store.connect() as conn:
|
||||
row=object_store.fetch(aid,conn)
|
||||
check(row['state']=='failed' and row['error_code']==expected,'incorrect repair state')
|
||||
c.call('GET','/api/v1/attachments/'+missing['id']+'/content',409,actor=bob)
|
||||
with store.connect() as conn:
|
||||
check(conn.execute('SELECT 1 FROM message_attachments WHERE attachment_id=%s',(missing['id'],)).fetchone() is not None,'missing metadata/usage link deleted')
|
||||
# Known test-only locked orphan is removed after proving lock protection.
|
||||
s3.delete_object(Bucket=bucket,Key=locked_key)
|
||||
put(fresh_orphan)
|
||||
repeated=sweep(True)
|
||||
check(not repeated['actions'],'second apply is not idempotent')
|
||||
put('originals/'+missing['id'])
|
||||
age(missing['id'])
|
||||
recovered=sweep(True)
|
||||
check(any(a['kind']=='restore_ready' and a['key']=='originals/'+missing['id'] for a in recovered['actions']),'restored object not made available')
|
||||
check(c.call('GET','/api/v1/attachments/'+missing['id']+'/content',actor=bob)['bytes']==data,'restoration changed original')
|
||||
# Errors are not evidence of absence: both failures must stop cleanup.
|
||||
before=states()
|
||||
failures=[]
|
||||
with patch.object(s3,'head_object',side_effect=ClientError({'Error':{'Code':'ServiceUnavailable'},'ResponseMetadata':{'HTTPStatusCode':503}},'HeadObject')):
|
||||
try:
|
||||
sweep(True)
|
||||
raise AssertionError('S3 503 was swallowed')
|
||||
except ClientError:
|
||||
failures.append('s3_503_aborts_without_missing_inference')
|
||||
with patch.object(store,'connect',side_effect=psycopg.OperationalError('injected database outage')):
|
||||
try:
|
||||
sweep(True)
|
||||
raise AssertionError('DB error was swallowed')
|
||||
except psycopg.OperationalError:
|
||||
failures.append('db_outage_aborts_before_s3_mutation')
|
||||
check(states()==before,'dependency error changed attachment states')
|
||||
s3.delete_object(Bucket=bucket,Key=fresh_orphan)
|
||||
protection={'fresh_orphan_preserved':True,'fresh_ready_preserved':True,'used_ready_preserved':True,
|
||||
'active_lock_preserved':True,'missing_metadata_and_links_retained':True,
|
||||
'dry_run_no_mutation':True,'second_apply_actions':len(repeated['actions'])}
|
||||
# Cost: independent orphan fixtures added to the same baseline, dry-run only.
|
||||
costs=[]
|
||||
cost_keys=[]
|
||||
time.sleep(6) # Age the fixed baseline before timing the zero-extra-object group.
|
||||
try:
|
||||
for target in (0,50,200):
|
||||
for _ in range(target-len(cost_keys)):
|
||||
k=key();put(k);cost_keys.append(k)
|
||||
if target:
|
||||
time.sleep(6)
|
||||
for repeat in range(3):
|
||||
row=sweep()
|
||||
costs.append({'extra_orphans':target,'repeat':repeat+1,**row})
|
||||
finally:
|
||||
for k in cost_keys:
|
||||
s3.delete_object(Bucket=bucket,Key=k)
|
||||
print(json.dumps({'status':'PASS','grace_seconds_in_isolated_test':5,'production_grace_seconds':300,
|
||||
'real_process_crash_exit':crash.returncode,'dry_run':dry,'applied':applied,
|
||||
'repeated':repeated,'recovered':recovered,'protection':protection,
|
||||
'dependency_failure_checks':failures,'scan_cost_runs':costs},indent=2))
|
||||
store.pool.close();object_store.close()
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,14 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Pause the normal cron worker for deterministic faults, always restore it."""
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
COMPOSE=str(ROOT/'scripts/compose.sh')
|
||||
subprocess.run([COMPOSE,'stop','reconciler'],cwd=ROOT,check=True)
|
||||
try:
|
||||
output=subprocess.check_output([COMPOSE,'run','--rm','-T','--no-deps','ops','python','scripts/research_consistency.py'],cwd=ROOT,text=True)
|
||||
(ROOT/'evidence/reconciliation.json').write_text(output)
|
||||
print(output)
|
||||
finally:
|
||||
subprocess.run([COMPOSE,'start','reconciler'],cwd=ROOT,check=True)
|
||||
@@ -0,0 +1,59 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Sample API cgroups at 50ms while ten clients upload through LB."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import uuid
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
COMPOSE=str(ROOT/'scripts/compose.sh')
|
||||
MONITOR=r'''
|
||||
import json,time,sys
|
||||
from pathlib import Path
|
||||
stop=Path(sys.argv[1]); group=Path('/sys/fs/cgroup')
|
||||
rows=[]
|
||||
print('READY',flush=True)
|
||||
for i in range(2400):
|
||||
rows.append({'at_unix':time.time(),'memory_current_bytes':int((group/'memory.current').read_text()),
|
||||
'lifetime_memory_peak_bytes':int((group/'memory.peak').read_text()),
|
||||
'cpu_stat':(group/'cpu.stat').read_text()})
|
||||
if stop.exists():
|
||||
stop.unlink()
|
||||
break
|
||||
time.sleep(.05)
|
||||
print(json.dumps(rows),flush=True)
|
||||
'''
|
||||
|
||||
|
||||
def main():
|
||||
ids=subprocess.check_output([COMPOSE,'ps','-q','api'],cwd=ROOT,text=True).split()
|
||||
assert len(ids)>=2
|
||||
monitors=[]
|
||||
try:
|
||||
for cid in ids:
|
||||
stop='/tmp/lab4-memory-probe-'+uuid.uuid4().hex
|
||||
proc=subprocess.Popen(['docker','exec',cid,'python','-u','-c',MONITOR,stop],text=True,stdout=subprocess.PIPE)
|
||||
assert proc.stdout.readline().strip()=='READY'
|
||||
monitors.append((cid,stop,proc))
|
||||
output=subprocess.check_output([COMPOSE,'run','--rm','-T','--no-deps','ops','python','tests/concurrent_uploads.py'],cwd=ROOT,text=True,timeout=100)
|
||||
workload=json.loads(output)
|
||||
finally:
|
||||
for cid,stop,proc in monitors:
|
||||
subprocess.run(['docker','exec',cid,'touch',stop],check=True,stdout=subprocess.DEVNULL)
|
||||
traces=[]
|
||||
for cid,stop,proc in monitors:
|
||||
data=json.loads(proc.stdout.read())
|
||||
assert proc.wait(timeout=10)==0
|
||||
traces.append({'container_id':cid,'samples':data,'sampled_peak_bytes':max(s['memory_current_bytes'] for s in data)})
|
||||
for phase in workload['phases']:
|
||||
phase['api_memory']=[{'container_id':t['container_id'],
|
||||
'sampled_peak_mib':round(max(s['memory_current_bytes'] for s in t['samples'] if phase['started_unix']<=s['at_unix']<=phase['finished_unix'])/1048576,3)} for t in traces]
|
||||
result={'status':'PASS','sample_interval_seconds':.05,
|
||||
'note':'memory.current includes page cache, kernel charges and a small sampler process; sampled peak is not a heap profile. lifetime_memory_peak includes prior requests.',
|
||||
'workload':workload,'api_traces':traces}
|
||||
target=ROOT/'evidence/upload-memory.json'
|
||||
target.write_text(json.dumps(result,indent=2)+'\n')
|
||||
print(json.dumps({'status':'PASS','phases':workload['phases']},indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
scripts/compose.sh restart db valkey s3 api lb reconciler
|
||||
Executable
+13
@@ -0,0 +1,13 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?Required API hostname from X-Instance-Id}"
|
||||
for id in $(scripts/compose.sh ps -q api); do
|
||||
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$id")
|
||||
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
|
||||
docker stop --time 3 "$id" >/dev/null
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
printf '%s\n' 'Target is not a running API replica' >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,144 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Generate the research report from the captured artifacts, without inventing data."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
E=ROOT/'evidence'
|
||||
|
||||
|
||||
def update_report(research_text):
|
||||
report = ROOT / 'REPORT.md'
|
||||
begin = '<!-- BEGIN RESEARCH RESULTS -->'
|
||||
end = '<!-- END RESEARCH RESULTS -->'
|
||||
results = research_text.split('## Обнаружение и исправление\n', 1)[1].split('## Воспроизведение\n', 1)[0]
|
||||
results = '### Обнаружение и исправление\n' + results.replace('\n## ', '\n### ')
|
||||
block = (begin + '\n## Таблицы и графики экспериментов\n\n'
|
||||
'Числа и рисунки ниже получены из сохранённых JSON. '
|
||||
'Полная методика и исходные условия приведены в [RESEARCH.md](RESEARCH.md).\n\n'
|
||||
+ results.rstrip() + '\n\n' + end + '\n\n')
|
||||
content = report.read_text()
|
||||
if begin in content:
|
||||
left, remaining = content.split(begin, 1)
|
||||
_, right = remaining.split(end, 1)
|
||||
content = left + block + right.lstrip('\n')
|
||||
else:
|
||||
content = content.replace('## Ограничения\n', block + '## Ограничения\n', 1)
|
||||
content = content.replace(
|
||||
'Результаты, таблицы стоимости и графики уровня 5 — в [RESEARCH.md](RESEARCH.md).',
|
||||
'Все таблицы результатов и оба графика включены ниже в этот отчёт; '
|
||||
'полная методика уровня 5 — в [RESEARCH.md](RESEARCH.md).')
|
||||
report.write_text(content)
|
||||
|
||||
|
||||
def main():
|
||||
r=json.loads((E/'reconciliation.json').read_text())
|
||||
costs=json.loads((E/'scan-cost-summary.json').read_text())
|
||||
memory=json.loads((E/'upload-memory.json').read_text())
|
||||
text='''# Исследование lab4: согласованность PostgreSQL и S3
|
||||
|
||||
Автор: Савин Александр, БВТ2303. Уровень 5, трек 2. Выполнено 6 ноября 2026 года на отдельном стенде lab4. Исходные данные находятся в evidence/, обязательные API-тесты не менялись.
|
||||
|
||||
## Гипотеза
|
||||
|
||||
Если устойчивое намерение создаётся до S3 PUT, а uploader и reconciler используют одну область транзакционной блокировки, можно обнаруживать незавершённые операции и расхождения без удаления свежих, используемых или ещё записываемых объектов. Повторное применение к уже исправленному состоянию не должно создавать новых изменений.
|
||||
|
||||
Дополнительная гипотеза: стоимость полной сверки растёт приблизительно с числом объектов и метаданных, а не с размером каждого оригинала, поскольку сверка использует List/HEAD и не скачивает все байты.
|
||||
|
||||
## Среда и методика
|
||||
|
||||
macOS/Colima, Linux arm64, Docker Engine 27.4.0, VM 4 vCPU/около 8 GB RAM. Версии и caps всех компонентов закреплены в compose.yaml, SDK — boto3 1.42.0. Исследовательский ops-контейнер: 1 CPU/512 MiB; обычный reconciler: 0.25 CPU/256 MiB, поэтому их абсолютное время не обязано совпадать. MinIO: 0.5 CPU/768 MiB, PostgreSQL: 1 CPU/512 MiB.
|
||||
|
||||
scripts/research_consistency_host.py временно останавливает штатный worker, запускает один изолированный эксперимент и восстанавливает worker в finally. Пользователи, чаты, файлы и fault fixtures синтетические. Прямые повреждения выполняются только исследовательским инструментом с доступом к двум хранилищам; HTTP-клиент не может включить failpoint.
|
||||
|
||||
Фазы опыта:
|
||||
|
||||
1. Загрузить valid PNG и связать часть вложений с сообщениями.
|
||||
2. Удалить метаданные одного неиспользуемого вложения, оставив S3-объект: orphan.
|
||||
3. Запустить отдельный Python-процесс, который делает настоящий PUT и завершает себя os._exit(86) до ready COMMIT. Проверить pending и существующий объект.
|
||||
4. Создать pending без объекта, моделируя неуспешный PUT.
|
||||
5. Удалить объект используемого вложения; заменить другой объект неверным содержимым.
|
||||
6. Состарить DB timestamps, дождаться реального старения S3 timestamps. Использовать grace=5s только с явным разрешением для теста; штатный grace остаётся 300s.
|
||||
7. Создать свежие ready/orphan fixtures и удерживать общий advisory lock для старого объекта, моделируя активный uploader.
|
||||
8. Выполнить dry-run и сравнить состояния/наличие: мутаций быть не должно. Затем apply с повторной проверкой обеих сторон под lock.
|
||||
9. Повторить apply; восстановить потерянный оригинал с его SHA metadata и вернуть ready без изменения UUID/связей.
|
||||
10. Имитировать S3 503 и ошибку соединения PostgreSQL: проход должен завершиться ошибкой без вывода «объект отсутствует» и без изменения статусов.
|
||||
|
||||
В тесте перед отдельными sweep обновляется timestamp test-only fresh orphan, чтобы на начало каждого прохода он действительно был моложе grace. Заблокированный тестовый orphan удаляется оператором только после проверки его защиты. Это отличает проверку текущей свежести от обещания хранить неподтверждённый orphan бесконечно.
|
||||
|
||||
## Обнаружение и исправление
|
||||
|
||||
'''
|
||||
text+='| Действие | Количество в apply |\n| --- | --- |\n'
|
||||
from collections import Counter
|
||||
counts=Counter(a['kind'] for a in r['applied']['actions'])
|
||||
for kind,n in sorted(counts.items()):
|
||||
text+=f'| {kind} | {n} |\n'
|
||||
text+=f"\nРеальный fault-процесс завершился с кодом **{r['real_process_crash_exit']}** после PUT. Последующий apply нашёл его pending и удалил объект после grace. Для исчезнувшего/повреждённого используемого вложения сохраняются метаданные и связи сообщений; меняется доступность, а не история. После восстановления исходного объекта действие restore_ready снова разрешило скачивание с тем же UUID.\n\n"
|
||||
text+='| Проверка безопасности | Результат |\n| --- | --- |\n'
|
||||
for name,value in r['protection'].items():
|
||||
text+=f'| {name} | {value} |\n'
|
||||
text+='\nПовторный apply не предложил новых действий. Это относится к уже исправленному тестовому состоянию; при появлении новых объектов/ошибок следующий проход закономерно может выполнить новые действия. Ошибки зависимостей в отдельной проверке не изменили статусы. Реальные остановки MinIO/PostgreSQL дополнительно проверены в evidence/dependency-outages.json.\n\n'
|
||||
text+='''## Стоимость обхода
|
||||
|
||||
К существующему фиксированному набору метаданных добавлялись 0, 50, 200 S3-объектов без метаданных. Это отдельные известные test-only ключи. Перед нулевой группой базовые timestamps выдерживаются за пределами тестового grace; после создания каждой следующей группы также выдерживается grace. Для каждого размера выполнено три dry-run, затем известные дополнительные ключи удалены. Порядок размеров возрастающий, кэш не сбрасывался.
|
||||
|
||||
Время измеряется time.monotonic внутри инструмента; запуск контейнера, подготовка fixtures и ожидание grace не входят в elapsed. Исходные отдельные результаты: reconciliation.json → scan_cost_runs. В таблице среднее/выборочное стандартное отклонение, не доверительный интервал.
|
||||
|
||||
'''
|
||||
text+='| Дополнительных orphan | Объектов S3 | Метаданных | Время, мс: mean ± SD | min–max, мс | List / HEAD вызовов |\n| --- | --- | --- | --- | --- | --- |\n'
|
||||
for row in costs:
|
||||
text+=f"| {row['extra_orphans']} | {row['objects_scanned']} | {row['metadata_scanned']} | {row['mean_ms']} ± {row['stdev_ms']} | {row['min_ms']}–{row['max_ms']} | {row['list_calls']} / {row['head_calls']} |\n"
|
||||
text+='''
|
||||

|
||||
|
||||
При росте набора увеличиваются число point-checks и время. Список S3 и DB-метаданные читаются страницами по 200, подробный журнал ограничен 1000 действиями; остальные учитываются счётчиками. Алгоритм делает O(N+M) обход при N объектах и M подходящих метаданных, с индексированными DB point lookups. Полный SHA-аудит bytes сюда не входит: HEAD сравнивает размер и записанный uploader-ом sha256 metadata. Результат не доказывает предельную производительность хранилища или точную линейность на миллионах объектов.
|
||||
|
||||
## Эксперимент уровня 4: память при параллельной загрузке
|
||||
|
||||
Десять клиентов одновременно стартуют по barrier, два раунда для каждого из двух размеров. Генератор находится внутри Compose-сети и идёт через LB. Каждая загрузка проверяет 201/ready, размер и SHA-256; один оригинал каждой фазы скачивается вторым участником и сравнивается побайтно.
|
||||
|
||||
Изображения — реальные синтетические RGB PNG, однотонные, сохранены без сжатия (compress_level=0), чтобы получить воспроизводимый большой файл. Это профиль передачи/памяти, а не worst-case для времени сложного JPEG/PNG-декодирования. Payload создаётся один раз на фазу и разделяется клиентскими потоками.
|
||||
|
||||
В каждом API cgroup memory.current читается раз в 50ms. Измерение включает page cache, kernel charges и небольшой Python sampler; это не RSS/heap-профиль. Пики — максимумы samples внутри фазы, не математическая гарантия отсутствия краткого пропущенного пика. В raw traces отдельно есть lifetime memory.peak, который включает более ранние операции. Лимит каждой API — 512 MiB, активных upload slots=2, decoder=1.
|
||||
|
||||
'''
|
||||
text+='| Файл, байт | Размер, MiB | Успешных загрузок | Ошибок | p50 / p95 / p99, мс | Пики API 1 / API 2, MiB |\n| --- | --- | --- | --- | --- | --- |\n'
|
||||
for phase in memory['workload']['phases']:
|
||||
lat=phase['latency_ms']; peaks=' / '.join(str(v['sampled_peak_mib']) for v in phase['api_memory'])
|
||||
text+=f"| {phase['size_bytes']} | {phase['size_bytes']/1048576:.3f} | {phase['successful_uploads']} | {phase['errors']} | {lat['p50']} / {lat['p95']} / {lat['p99']} | {peaks} |\n"
|
||||
text+='''
|
||||

|
||||
|
||||
Все 40 запросов прошли, в каждой фазе наблюдались две настоящие API. Измеренные пики ниже лимита. Это подтверждает выбранный профиль ≥10 конкурентных загрузок, но не доказывает пик для всех изображений вплоть до 40 млн пикселей или для одновременных массовых логинов Argon2id.
|
||||
|
||||
## Воспроизведение
|
||||
|
||||
```sh
|
||||
./scripts/bootstrap.sh
|
||||
./scripts/compose.sh up -d --build
|
||||
python3 scripts/wait_ready.py --base-url http://localhost:8084
|
||||
export BASE_URL=http://localhost:8084
|
||||
make research-consistency
|
||||
make research-memory
|
||||
make test-dependencies
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-research.txt
|
||||
.venv/bin/python scripts/plot_research.py
|
||||
python3 scripts/summarize_research.py
|
||||
```
|
||||
|
||||
Методика добавляет синтетические данные; не удаляет volumes. Известные дополнительные cost/orphan fixtures очищаются точечно. Готовые вложения и сообщения остаются, поскольку обязательный API не включает delete. Повтор может иметь другой размер baseline, поэтому реальные N/M сохраняются в каждой строке.
|
||||
|
||||
## Вывод и границы
|
||||
|
||||
Гипотеза подтверждена в заявленной модели: durable intent, grace и общие object locks позволяют корректно обработать проверенные разрывы между двумя хранилищами; dry-run наблюдаем, apply повторяем, свежие/используемые/активные объекты защищены. Штатный worker запускает ту же логику с grace=300s.
|
||||
|
||||
Восстановление утраченных bytes требует внешней копии; reconciler не заменяет backup. При потере всей БД, произвольных действиях root или нарушении инварианта неизменяемых ключей нужны отдельные процедуры восстановления. Метаданные являются авторитетом для классификации orphan. Локальные три коротких повтора на небольшом наборе и тёплом кэше не дают универсального SLA; стоимость штатного worker с меньшей CPU-квотой может отличаться от ops. Нет заявления о высокой доступности S3/БД, полной побайтовой проверке всех объектов или производственном zero-downtime.
|
||||
'''
|
||||
(ROOT/'RESEARCH.md').write_text(text)
|
||||
update_report(text)
|
||||
print('Generated RESEARCH.md and synchronized tables/figures in REPORT.md')
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,30 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Stop ONLY lab4 dependencies; restore each one in finally."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
COMPOSE=str(ROOT/'scripts/compose.sh')
|
||||
|
||||
|
||||
def main():
|
||||
rows=[]
|
||||
for dependency in ('s3','db'):
|
||||
proc=subprocess.Popen([COMPOSE,'run','--rm','-T','--no-deps','ops','python','scripts/attachment_failures.py','--dependency',dependency],cwd=ROOT,stdin=subprocess.PIPE,stdout=subprocess.PIPE,text=True)
|
||||
try:
|
||||
assert proc.stdout.readline().strip()=='READY','bootstrap failed'
|
||||
subprocess.run([COMPOSE,'stop',dependency],cwd=ROOT,check=True,stdout=subprocess.DEVNULL)
|
||||
proc.stdin.write('STOPPED\n');proc.stdin.flush()
|
||||
assert proc.stdout.readline().strip()=='CHECKED','outage check failed'
|
||||
finally:
|
||||
subprocess.run([COMPOSE,'start',dependency],cwd=ROOT,check=True,stdout=subprocess.DEVNULL)
|
||||
proc.stdin.write('RESTORED\n');proc.stdin.flush()
|
||||
report=json.loads(proc.stdout.readline())
|
||||
assert proc.wait(timeout=90)==0
|
||||
rows.append(report)
|
||||
(ROOT/'evidence/dependency-outages.json').write_text(json.dumps(rows,indent=2)+'\n')
|
||||
print(json.dumps(rows,indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,34 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Wait for actual healthy Compose API containers and their public LB aliases."""
|
||||
import argparse
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
parser=argparse.ArgumentParser()
|
||||
parser.add_argument('--base-url',default='http://localhost:8084')
|
||||
parser.add_argument('--replicas',type=int,default=2)
|
||||
args=parser.parse_args()
|
||||
deadline=time.monotonic()+90
|
||||
while time.monotonic()<deadline:
|
||||
ids=subprocess.check_output([str(ROOT/'scripts/compose.sh'),'ps','-q','api'],cwd=ROOT,text=True).split()
|
||||
if len(ids)==args.replicas:
|
||||
state=json.loads(subprocess.check_output(['docker','inspect',*ids],text=True))
|
||||
if all(c['State'].get('Health',{}).get('Status')=='healthy' for c in state):
|
||||
expected={c['Config']['Hostname'] for c in state}
|
||||
try:
|
||||
observed=set()
|
||||
for _ in range(16):
|
||||
with urllib.request.urlopen(args.base_url+'/health/ready',timeout=2) as response:
|
||||
observed.add(response.headers.get('X-Instance-Id'))
|
||||
if observed==expected:
|
||||
print('PASS: healthy API replicas observed through LB')
|
||||
break
|
||||
except OSError:
|
||||
pass
|
||||
time.sleep(.5)
|
||||
else:
|
||||
raise SystemExit('API readiness/LB discovery exceeded 90 seconds')
|
||||
@@ -0,0 +1,56 @@
|
||||
"""Stop the actual uploader replica, then download through the survivor via LB."""
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
from client import Client,Failure,arguments,check,run
|
||||
from resilience import history
|
||||
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
|
||||
|
||||
def main():
|
||||
args=arguments(__doc__)
|
||||
c=Client(args.base_url,timeout=15)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
data=(ROOT/'tests/fixtures/sample.png').read_bytes()
|
||||
response=c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=failover.png',201,
|
||||
actor=alice,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||
att=response['json'];uploader=response['headers']['X-Instance-Id']
|
||||
confirmed=c.message(alice,chat,'uploader failure',attachments=[att['id']])['json']
|
||||
observed={c.call('GET','/api/v1/users/me',actor=alice,schema='User')['headers']['X-Instance-Id'] for _ in range(20)}
|
||||
check(len(observed)>=2,'need two real processes')
|
||||
proc=subprocess.Popen([str(ROOT/'scripts/stop-one.sh')],env=dict(os.environ,TARGET_INSTANCE_ID=uploader),stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
|
||||
started=time.monotonic();errors=0;recovered=None;served=None
|
||||
c.timeout=2
|
||||
key=uuid.uuid4().hex
|
||||
while time.monotonic()-started<10:
|
||||
try:
|
||||
result=c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
|
||||
check(result['bytes']==data,'original bytes changed')
|
||||
served=result['headers']['X-Instance-Id']
|
||||
c.message(alice,chat,'write during file failover',key=key)
|
||||
if proc.poll()==0 and served!=uploader:
|
||||
recovered=time.monotonic()-started
|
||||
break
|
||||
except Failure:
|
||||
errors+=1
|
||||
time.sleep(.1)
|
||||
check(proc.wait(timeout=5)==0,'uploader hook failed')
|
||||
check(recovered is not None and recovered<=10,'download/write did not recover within 10 seconds')
|
||||
check(confirmed in history(c,bob,chat),'confirmed attachment message lost')
|
||||
snapshot=json.loads(subprocess.check_output([sys.executable,str(ROOT/'scripts/container_snapshot.py')],text=True))
|
||||
check(any(row['hostname']==uploader and row['status']=='exited' for row in snapshot),'uploader container was not actually stopped')
|
||||
report={'status':'PASS','uploader_instance':uploader,'download_instance':served,
|
||||
'observed_instances_before':sorted(observed),'failed_attempts':errors,
|
||||
'first_download_write_recovery_seconds':round(recovered,3),
|
||||
'sha256':hashlib.sha256(data).hexdigest(),'same_bytes':True,'containers_after_stop':snapshot}
|
||||
(ROOT/'evidence/attachment-failover.json').write_text(json.dumps(report,indent=2)+'\n')
|
||||
print(json.dumps({k:v for k,v in report.items() if k!='containers_after_stop'},indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,157 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Research track: cache consistency and stale session protection for Valkey-backed sessions."""
|
||||
import base64
|
||||
import json
|
||||
import os
|
||||
import statistics
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
|
||||
BASE_URL = os.environ.get("BASE_URL", "http://localhost:8080")
|
||||
CACHER_URL = os.environ.get("CACHE_URL", "redis://localhost:6379/0")
|
||||
|
||||
|
||||
def http_json(method, path, *, expected=200, headers=None, body=None):
|
||||
req_headers = {"Accept": "application/json"}
|
||||
if headers:
|
||||
req_headers.update(headers)
|
||||
data = None if body is None else json.dumps(body, ensure_ascii=False).encode("utf-8")
|
||||
if data is not None:
|
||||
req_headers.setdefault("Content-Type", "application/json")
|
||||
request = urllib.request.Request(BASE_URL + path, data=data, headers=req_headers, method=method)
|
||||
try:
|
||||
with urllib.request.urlopen(request, timeout=10) as resp:
|
||||
payload = resp.read()
|
||||
if not payload:
|
||||
return {"status": resp.status, "headers": dict(resp.headers), "body": None}
|
||||
if resp.status not in (expected if isinstance(expected, (list, tuple, set)) else [expected]):
|
||||
raise AssertionError(f"Expected {expected}, got {resp.status}")
|
||||
return {"status": resp.status, "headers": dict(resp.headers), "body": json.loads(payload.decode("utf-8"))}
|
||||
except urllib.error.HTTPError as exc:
|
||||
payload = exc.read()
|
||||
if payload:
|
||||
try:
|
||||
payload = json.loads(payload.decode("utf-8"))
|
||||
except Exception:
|
||||
payload = payload.decode("utf-8", errors="replace")
|
||||
if exc.code not in (expected if isinstance(expected, (list, tuple, set)) else [expected]):
|
||||
raise AssertionError(f"Expected status {expected}, got {exc.code} for {method} {path}: {payload}")
|
||||
return {"status": exc.code, "headers": dict(exc.headers), "body": payload}
|
||||
|
||||
|
||||
def call_with_latency(method, path, *, expected=200, headers=None, body=None):
|
||||
start = time.perf_counter()
|
||||
result = http_json(method, path, expected=expected, headers=headers, body=body)
|
||||
elapsed_ms = (time.perf_counter() - start) * 1000.0
|
||||
return result, elapsed_ms
|
||||
|
||||
|
||||
def main():
|
||||
import redis
|
||||
|
||||
r = redis.Redis.from_url(CACHER_URL, decode_responses=True, socket_connect_timeout=2, socket_timeout=2)
|
||||
|
||||
username = f"cache_{uuid.uuid4().hex[:12]}"
|
||||
password = "123456789012"
|
||||
body = {
|
||||
"username": username,
|
||||
"display_name": "Cache Consistency",
|
||||
"password": password,
|
||||
}
|
||||
registration = http_json("POST", "/api/v1/users", expected=201, body=body)
|
||||
assert registration["status"] == 201, registration
|
||||
|
||||
basic = "Basic " + base64.b64encode(f"{username}:{password}".encode()).decode()
|
||||
session = http_json("POST", "/api/v1/auth/sessions", expected=201, headers={"Authorization": basic})
|
||||
token = session["body"]["token"]
|
||||
assert token, session
|
||||
|
||||
key = f"session:{token}"
|
||||
assert r.get(key), "session was not populated in Valkey"
|
||||
ttl = r.ttl(key)
|
||||
assert ttl and ttl > 0, f"session TTL must be positive, got {ttl}"
|
||||
|
||||
latencies = []
|
||||
for _ in range(10):
|
||||
_, elapsed_ms = call_with_latency("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token})
|
||||
latencies.append(elapsed_ms)
|
||||
avg = sum(latencies) / len(latencies)
|
||||
p95 = sorted(latencies)[int(len(latencies) * 0.95) - 1]
|
||||
|
||||
stale_payload = {
|
||||
"token": token,
|
||||
"user_id": str(uuid.uuid4()),
|
||||
"expires_at": "2000-01-01T00:00:00Z",
|
||||
"revoked_at": None,
|
||||
"user": {"id": str(uuid.uuid4()), "username": "stale", "display_name": "stale", "created_at": "2020-01-01T00:00:00Z"},
|
||||
}
|
||||
r.setex(key, 120, json.dumps(stale_payload, separators=(",", ":"), ensure_ascii=False))
|
||||
stale_result = http_json("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token})
|
||||
assert stale_result["status"] == 200, stale_result
|
||||
assert stale_result["body"]["username"] == username, stale_result
|
||||
|
||||
# An unexpired payload must not be able to substitute another identity.
|
||||
stale_payload["expires_at"] = "2100-01-01T00:00:00Z"
|
||||
r.setex(key, 120, json.dumps(stale_payload))
|
||||
forged = http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token})
|
||||
assert forged["body"]["id"] == session["body"]["user"]["id"], forged
|
||||
assert forged["body"]["username"] == username, forged
|
||||
|
||||
r.setex(key, 120, json.dumps(stale_payload))
|
||||
def read_identity(_):
|
||||
return http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token})["body"]["id"]
|
||||
with ThreadPoolExecutor(max_workers=8) as executor:
|
||||
identities = list(executor.map(read_identity, range(8)))
|
||||
assert identities == [session["body"]["user"]["id"]] * 8, identities
|
||||
|
||||
# Syntactically valid JSON with missing fields must be treated as a miss.
|
||||
r.setex(key, 120, "{}")
|
||||
malformed = http_json("GET", "/api/v1/users/me", headers={"Authorization": "Bearer " + token})
|
||||
assert malformed["body"]["username"] == username, malformed
|
||||
|
||||
r.setex(key, 1, json.dumps({
|
||||
"token": token,
|
||||
"user_id": str(uuid.uuid4()),
|
||||
"expires_at": "2100-01-01T00:00:00Z",
|
||||
"revoked_at": None,
|
||||
"user": {"id": str(uuid.uuid4()), "username": "ttl-recovery", "display_name": "ttl-recovery", "created_at": "2020-01-01T00:00:00Z"},
|
||||
}, separators=(",", ":"), ensure_ascii=False))
|
||||
time.sleep(2)
|
||||
short_ttl = http_json("GET", "/api/v1/users/me", expected=200, headers={"Authorization": "Bearer " + token})
|
||||
assert short_ttl["status"] == 200, short_ttl
|
||||
assert short_ttl["body"]["username"] == username, short_ttl
|
||||
|
||||
revoke = http_json("DELETE", "/api/v1/auth/sessions/current", expected=204, headers={"Authorization": "Bearer " + token})
|
||||
assert revoke["status"] == 204, revoke
|
||||
assert not r.get(key), "revoked session key should be deleted from cache"
|
||||
|
||||
after_logout = http_json("GET", "/api/v1/users/me", expected=401, headers={"Authorization": "Bearer " + token})
|
||||
assert after_logout["status"] == 401, after_logout
|
||||
|
||||
# Simulate a writer repopulating the cache after logout's DELETE.
|
||||
stale_payload.update(session["body"])
|
||||
stale_payload["user_id"] = session["body"]["user"]["id"]
|
||||
stale_payload["revoked_at"] = None
|
||||
r.setex(key, 120, json.dumps(stale_payload))
|
||||
http_json("GET", "/api/v1/users/me", expected=401, headers={"Authorization": "Bearer " + token})
|
||||
assert not r.exists(key), "stale key after logout must be removed"
|
||||
|
||||
print("cache_key_exists=True")
|
||||
print(f"ttl_seconds={ttl}")
|
||||
print(f"avg_latency_ms={avg:.2f}")
|
||||
print(f"p95_latency_ms={p95:.2f}")
|
||||
print("stale_cache_rejected=True")
|
||||
print("forged_identity_rejected=True")
|
||||
print("concurrent_identity_checks=8/8")
|
||||
print("malformed_cache_recovers=True")
|
||||
print("repopulated_revoked_cache_rejected=True")
|
||||
print("short_ttl_recovers_from_db=True")
|
||||
print("logout_revokes_cache=True")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,53 @@
|
||||
"""Two payload sizes, ten simultaneous uploads, two rounds per size."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
from PIL import Image
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
from client import Client,check,run
|
||||
|
||||
|
||||
def main():
|
||||
c=Client('http://lb:8080',timeout=30)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
phases=[]
|
||||
for width in (512,1536):
|
||||
stream=io.BytesIO()
|
||||
Image.new('RGB',(width,width),'navy').save(stream,'PNG',compress_level=0)
|
||||
payload=stream.getvalue()
|
||||
checksum=hashlib.sha256(payload).hexdigest()
|
||||
samples=[]
|
||||
started=time.time()
|
||||
for repeat in range(2):
|
||||
barrier=threading.Barrier(10)
|
||||
def worker(index):
|
||||
local=Client(c.base,timeout=45)
|
||||
barrier.wait()
|
||||
t=time.monotonic()
|
||||
result=local.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=concurrent.png',201,
|
||||
actor=alice,raw=payload,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||
att=result['json']
|
||||
check(att['sha256']==checksum and att['size_bytes']==len(payload),'upload metadata mismatch')
|
||||
return {'elapsed_ms':round((time.monotonic()-t)*1000,3),'instance':result['headers']['X-Instance-Id'],'id':att['id']}
|
||||
with ThreadPoolExecutor(max_workers=10) as pool:
|
||||
samples.extend(pool.map(worker,range(10)))
|
||||
finished=time.time()
|
||||
instances=sorted({r['instance'] for r in samples})
|
||||
check(len(instances)>=2,'did not observe two upload processes')
|
||||
downloaded=c.call('GET','/api/v1/attachments/'+samples[-1]['id']+'/content',actor=bob)
|
||||
check(downloaded['bytes']==payload,'concurrent upload changed original')
|
||||
latency=sorted(r['elapsed_ms'] for r in samples)
|
||||
phases.append({'width':width,'height':width,'size_bytes':len(payload),'concurrency':10,'rounds':2,
|
||||
'successful_uploads':len(samples),'errors':0,'started_unix':started,'finished_unix':finished,
|
||||
'elapsed_seconds':round(finished-started,6),'successful_rps':round(len(samples)/(finished-started),3),
|
||||
'latency_ms':{'p50':latency[9],'p95':latency[18],'p99':latency[19]},
|
||||
'observed_instances':instances,'individual_requests':samples})
|
||||
print(json.dumps({'status':'PASS','phases':phases},indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,37 @@
|
||||
"""Concurrent shared-key requests through LB, real instance headers and history."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
import threading
|
||||
import uuid
|
||||
from client import Client, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments(__doc__)
|
||||
c = Client(args.base_url)
|
||||
alice, bob, eve, chat = c.bootstrap()
|
||||
key = uuid.uuid4().hex
|
||||
barrier = threading.Barrier(16)
|
||||
|
||||
def worker(_):
|
||||
local = Client(args.base_url)
|
||||
barrier.wait()
|
||||
return local.message(alice, chat, ' concurrent body ', key=key)
|
||||
|
||||
with ThreadPoolExecutor(max_workers=16) as pool:
|
||||
responses = list(pool.map(worker, range(16)))
|
||||
ids = {r['json']['id'] for r in responses}
|
||||
instances = {r['headers']['X-Instance-Id'] for r in responses}
|
||||
check(len(ids) == 1, 'concurrent duplicate messages')
|
||||
check(len(instances) >= 2, 'concurrent requests did not reach two replicas')
|
||||
path = '/api/v1/chats/' + chat['id'] + '/messages'
|
||||
c.call('POST', path, 409, actor=alice, body={'text': 'concurrent body'}, headers={'Idempotency-Key': key})
|
||||
again = c.call('POST', path, 201, actor=alice, body={'attachment_ids': [], 'text': ' concurrent body '}, headers={'Idempotency-Key': key}, schema='Message')
|
||||
check(again['json'] == responses[0]['json'], 'semantic replay differs')
|
||||
page = c.call('GET', path, actor=bob, schema='MessagePage')['json']
|
||||
check(len(page['items']) == 1, 'history contains duplicate effects')
|
||||
c.message(bob, chat, 'other user', key=key)
|
||||
print(json.dumps({'parallel_requests': 16, 'observed_instances': sorted(instances), 'unique_messages': len(ids), 'conflict': 409, 'semantic_replay': True, 'user_scope': True}))
|
||||
|
||||
if __name__ == '__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,52 @@
|
||||
"""Anonymous access outside API and least-privilege negative checks."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
from botocore.exceptions import ClientError
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client,check,run
|
||||
|
||||
|
||||
def main():
|
||||
from app import store,object_store
|
||||
c=Client('http://lb:8080',timeout=15)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
att,_=c.attachment(alice,chat)
|
||||
key='originals/'+att['id']
|
||||
anonymous=[]
|
||||
for suffix in ('','/'+key):
|
||||
try:
|
||||
urllib.request.urlopen('http://s3:9000/'+object_store.bucket+suffix,timeout=3)
|
||||
raise AssertionError('private bucket allowed anonymous access')
|
||||
except urllib.error.HTTPError as exc:
|
||||
check(exc.code==403,'anonymous access failed for an unexpected reason')
|
||||
anonymous.append(exc.code)
|
||||
# MinIO returns a filtered ListBuckets response to a ListBucket principal.
|
||||
visible=[b['Name'] for b in object_store.client.list_buckets().get('Buckets',[])]
|
||||
check(set(visible)<={object_store.bucket},'unrelated bucket names exposed')
|
||||
denied=[]
|
||||
for name,operation in [('create_bucket',lambda:object_store.client.create_bucket(Bucket='must-not-create-lab4')),
|
||||
('get_bucket_policy',lambda:object_store.client.get_bucket_policy(Bucket=object_store.bucket)),
|
||||
('write_outside_prefix',lambda:object_store.client.put_object(Bucket=object_store.bucket,Key='outside-policy',Body=b'no'))]:
|
||||
try:
|
||||
operation()
|
||||
raise AssertionError('application credentials have excessive privileges: '+name)
|
||||
except ClientError as exc:
|
||||
check(exc.response['Error']['Code']=='AccessDenied','unexpected permission error')
|
||||
denied.append(name)
|
||||
# The console is bound to 127.0.0.1 inside S3 and browser UI is disabled.
|
||||
import socket
|
||||
try:
|
||||
socket.create_connection(('s3',9001),timeout=1).close()
|
||||
raise AssertionError('S3 console reachable from another container')
|
||||
except OSError:
|
||||
pass
|
||||
print(json.dumps({'status':'PASS','anonymous_bucket_and_object_status':anonymous,
|
||||
'application_admin_operations_denied':denied,'visible_bucket_names':visible,'console_reachable':False},indent=2))
|
||||
object_store.close()
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,127 @@
|
||||
"""Contract boundaries and object authorization; runs in Compose ops network."""
|
||||
import hashlib
|
||||
import http.client
|
||||
import io
|
||||
import json
|
||||
from pathlib import Path
|
||||
import socket
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
from urllib.parse import quote, urlsplit
|
||||
import uuid
|
||||
import zlib
|
||||
from PIL import Image
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parent))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client, check, run
|
||||
|
||||
|
||||
def main():
|
||||
c=Client('http://lb:8080',timeout=15)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
path='/api/v1/chats/'+chat['id']+'/attachments'
|
||||
fixture=(Path(__file__).parent/'fixtures/sample.png').read_bytes()
|
||||
cases=[]
|
||||
def bad(label,status,data=fixture,mime='image/png',filename='test.png',actor=None):
|
||||
c.call('POST',path+'?filename='+quote(filename,safe=''),status,actor=actor or alice,raw=data,headers={'Content-Type':mime})
|
||||
cases.append({'case':label,'status':status})
|
||||
bad('corrupt_png',415,b'not an image')
|
||||
bad('truncated_png',415,fixture[:50])
|
||||
bad('mime_spoof',415,mime='image/jpeg')
|
||||
bad('unsupported_mime',415,mime='application/octet-stream')
|
||||
bad('empty_payload',415,b'')
|
||||
for filename in ('../secret.png','a\\b.png','x\x00.png','x\n.png','x\u202e.png','x'*256):
|
||||
bad('unsafe_filename',400,filename=filename)
|
||||
bad('foreign_chat_upload',404,actor=eve)
|
||||
c.call('POST',path+'?filename=x.png',401,raw=fixture,headers={'Content-Type':'image/png'})
|
||||
cases.append({'case':'unauthenticated_upload','status':401})
|
||||
# Oversized dimensions are rejected using headers before a full raster decode.
|
||||
data=bytearray(fixture)
|
||||
data[16:24]=struct.pack('>II',10000,4001)
|
||||
data[29:33]=struct.pack('>I',zlib.crc32(data[12:29])&0xffffffff)
|
||||
bad('over_40_million_pixels',413,bytes(data))
|
||||
# No large allocation or body transfer: reject declared size before reading.
|
||||
parsed=urlsplit(c.base)
|
||||
conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=10)
|
||||
conn.putrequest('POST',path+'?filename=big.png')
|
||||
for k,v in {'Authorization':'Bearer '+alice['token'],'Content-Type':'image/png','Content-Length':str(10485761)}.items():
|
||||
conn.putheader(k,v)
|
||||
conn.endheaders()
|
||||
response=conn.getresponse()
|
||||
check(response.status==413,'oversized content-length accepted')
|
||||
response.read();conn.close()
|
||||
cases.append({'case':'oversized_content_length_before_body','status':413})
|
||||
# True streamed overflow, no Content-Length; response is read after the last
|
||||
# chunk, even if the peer stopped accepting bytes once it knew the limit.
|
||||
conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=15)
|
||||
conn.putrequest('POST',path+'?filename=chunked.png')
|
||||
conn.putheader('Authorization','Bearer '+alice['token'])
|
||||
conn.putheader('Content-Type','image/png')
|
||||
conn.putheader('Transfer-Encoding','chunked')
|
||||
conn.endheaders()
|
||||
try:
|
||||
block=b'x'*65536
|
||||
for _ in range(161):
|
||||
conn.send(b'10000\r\n'+block+b'\r\n')
|
||||
conn.send(b'0\r\n\r\n')
|
||||
except (BrokenPipeError,ConnectionResetError):
|
||||
pass
|
||||
response=conn.getresponse()
|
||||
check(response.status==413,'streamed byte limit not enforced')
|
||||
response.read();conn.close()
|
||||
cases.append({'case':'chunked_oversize','status':413})
|
||||
att,content=c.attachment(alice,chat)
|
||||
# Another member can reference an attachment; ownership is not required.
|
||||
msg=c.message(bob,chat,'',attachments=[att['id']])['json']
|
||||
check(msg['attachment_ids']==[att['id']],'member could not link attachment')
|
||||
for suffix in ('','/content'):
|
||||
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
|
||||
c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',404,actor=alice)
|
||||
cases.append({'case':'foreign_attachment_metadata_and_bytes','status':404})
|
||||
other=c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
|
||||
other_path='/api/v1/chats/'+other['id']+'/messages'
|
||||
for aid in (att['id'],str(uuid.uuid4())):
|
||||
c.call('POST',other_path,404,actor=alice,body={'text':'','attachment_ids':[aid]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
cases.append({'case':'cross_chat_and_unknown_attachment','status':404})
|
||||
message_path='/api/v1/chats/'+chat['id']+'/messages'
|
||||
for ids in ([att['id'],att['id']],['bad-id'],[str(uuid.uuid4()) for _ in range(11)]):
|
||||
c.call('POST',message_path,400,actor=alice,body={'text':'','attachment_ids':ids},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
key=uuid.uuid4().hex
|
||||
first=c.message(alice,chat,'',key=key,attachments=[att['id']])['json']
|
||||
second=c.message(alice,chat,'',key=key,attachments=[att['id']])['json']
|
||||
check(first==second,'attachment message replay changed')
|
||||
c.call('POST',message_path,409,actor=alice,body={'text':'different','attachment_ids':[att['id']]},headers={'Idempotency-Key':key})
|
||||
cases.append({'case':'attachment_idempotency_and_conflict','status':'201/409'})
|
||||
# Full JPEG validation, including truncated entropy-coded body.
|
||||
stream=io.BytesIO()
|
||||
Image.new('RGB',(320,200),'blue').save(stream,'JPEG')
|
||||
jpeg=stream.getvalue()
|
||||
uploaded=c.call('POST',path+'?filename=photo.jpg',201,actor=alice,raw=jpeg,headers={'Content-Type':'image/jpeg'},schema='Attachment')['json']
|
||||
downloaded=c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob)
|
||||
check(downloaded['bytes']==jpeg,'JPEG original changed')
|
||||
bad('truncated_jpeg',415,jpeg[:-20],mime='image/jpeg')
|
||||
# A disconnect before receiving all bytes creates neither intent nor object.
|
||||
from app import store,object_store
|
||||
store.pool.open(wait=True,timeout=15)
|
||||
try:
|
||||
def counts():
|
||||
with store.connect() as db:
|
||||
n=db.execute('SELECT count(*) FROM attachments').fetchone()[0]
|
||||
return n,len(object_store.client.list_objects_v2(Bucket=object_store.bucket,Prefix='originals/').get('Contents',[]))
|
||||
before=counts()
|
||||
conn=http.client.HTTPConnection(parsed.hostname,parsed.port,timeout=5)
|
||||
conn.putrequest('POST',path+'?filename=interrupted.png')
|
||||
conn.putheader('Authorization','Bearer '+alice['token'])
|
||||
conn.putheader('Content-Type','image/png')
|
||||
conn.putheader('Content-Length',str(len(fixture)))
|
||||
conn.endheaders();conn.send(fixture[:50]);conn.close()
|
||||
time.sleep(1)
|
||||
check(counts()==before,'aborted upload persisted partial data')
|
||||
cases.append({'case':'interrupted_http_body','metadata_or_object_added':False})
|
||||
finally:
|
||||
store.pool.close();object_store.close()
|
||||
print(json.dumps({'status':'PASS','cases':cases,'count':len(cases)},ensure_ascii=False,indent=2))
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
Reference in New Issue
Block a user