forked from mtusi2026/mtusi2026lab4
Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
435a6465ec |
+1
-1
@@ -13,8 +13,8 @@ backups
|
|||||||
*.p12
|
*.p12
|
||||||
*.pfx
|
*.pfx
|
||||||
*.jks
|
*.jks
|
||||||
.venv
|
|
||||||
__pycache__
|
__pycache__
|
||||||
|
.venv
|
||||||
node_modules
|
node_modules
|
||||||
evidence
|
evidence
|
||||||
.DS_Store
|
.DS_Store
|
||||||
|
|||||||
@@ -0,0 +1,5 @@
|
|||||||
|
*.sh text eol=lf
|
||||||
|
*.cmd text eol=crlf
|
||||||
|
*.py text eol=lf
|
||||||
|
*.yaml text eol=lf
|
||||||
|
*.cfg text eol=lf
|
||||||
@@ -1,18 +1,60 @@
|
|||||||
## Лабораторная 4
|
## Лабораторная 4
|
||||||
|
|
||||||
Автор / группа: TODO
|
Заголовок PR: **ЛР 4 — БПИ2301 — Черненко — на 5**
|
||||||
Целевая оценка (3/4/5): TODO
|
Ветка решения: `solution/bpi2301-chernenko`, база: исходный `main` skeleton (`ec540a1`).
|
||||||
Трек 5, если заявлен: TODO
|
|
||||||
|
|
||||||
Что реализовано и что перенесено: TODO
|
Автор / группа: Черненко / БПИ2301.
|
||||||
Команды запуска из чистого clone: TODO
|
Целевая оценка: **5**.
|
||||||
Результаты проверок и ссылка на REPORT.md: TODO
|
Трек: **2 — согласованность двух хранилищ**.
|
||||||
Ограничения / известные ошибки: TODO
|
|
||||||
Источники и использование ИИ: TODO
|
|
||||||
|
|
||||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
Реализован синхронный proxy upload PNG/JPEG в приватный MinIO, метаданные и ACL
|
||||||
- [ ] Контракт и публичные тесты не ослаблены.
|
в PostgreSQL, авторизованный побайтный download, сообщения с вложениями,
|
||||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
две FastAPI-реплики и HAProxy с readiness. Минимум lab1–3 написан по контракту
|
||||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
текущего skeleton: Argon2id/Bearer-сессии, PostgreSQL persistence, чаты,
|
||||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
keyset pagination, атомарная идемпотентность сообщений между репликами.
|
||||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
Предыдущее личное решение не предоставлялось, чужое решение не переносилось.
|
||||||
|
|
||||||
|
Reconciler поддерживает dry-run/apply, grace period, orphan/missing,
|
||||||
|
повторный безопасный запуск и восстановление из проверенной копии. Shared/exclusive
|
||||||
|
DB advisory locks согласуют сверку с загрузкой и привязкой. Исследование внедряет
|
||||||
|
ошибку SQL после реального PUT, удаление оригинала и неправильный backup.
|
||||||
|
|
||||||
|
Запуск из clone (Linux/macOS, Windows: `py -X utf8` вместо `python3`):
|
||||||
|
|
||||||
|
```sh
|
||||||
|
python3 scripts/setup.py
|
||||||
|
docker compose --env-file .env config --quiet
|
||||||
|
docker compose up -d --build --wait --wait-timeout 180
|
||||||
|
docker compose exec -T api1 make check validate PYTHON=python
|
||||||
|
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
|
||||||
|
python3 scripts/run-all.py
|
||||||
|
```
|
||||||
|
|
||||||
|
При занятом 8080 задать `HOST_PORT=18084` в `.env`. Испытания проведены на 18084.
|
||||||
|
Первая сборка компилирует фиксированные официальные tags MinIO/mc, поскольку
|
||||||
|
готовые registry images были недоступны.
|
||||||
|
|
||||||
|
Проверки: полный прогон PASS, [REPORT.md](../REPORT.md),
|
||||||
|
[численные итоги](../evidence/SUMMARY.md), [памятка к защите](../DEFENSE.md).
|
||||||
|
Smoke, негативные сценарии, persistence всех хранилищ, failover каждой API,
|
||||||
|
отказы S3/PostgreSQL и сверка прошли. Публичный failover: 2,449 с до восстановления,
|
||||||
|
86 успешных записей, 1 переходная ошибка, без потерь и дублей.
|
||||||
|
60 измеряемых загрузок при concurrency=10 и двух размерах: 0 ошибок;
|
||||||
|
наблюдённые cgroup-пики обеих API ≈149/176 MiB при лимите 512 MiB.
|
||||||
|
Сверка 1085 объектов: 2 LIST, 0,136 с (один локальный проход, не production SLA).
|
||||||
|
|
||||||
|
Ограничения: один host и одиночные PostgreSQL/MinIO/LB; HTTP только локально;
|
||||||
|
ручной запуск сверки и необходимость backup при потере байтов. Сверка O(A+O)
|
||||||
|
держит exclusive DB lock на время прохода. Подробные ограничения измерений,
|
||||||
|
конкурентной пагинации и границ безопасности раскрыты в отчёте.
|
||||||
|
|
||||||
|
Источники и ИИ: нормативный skeleton, официальные Psycopg/MinIO/Pillow/S3 docs;
|
||||||
|
реализация и документация подготовлены с помощью Codex, реальные команды и
|
||||||
|
обезличенные результаты сохранены в `evidence/`. Обязательные файлы задания сохранены.
|
||||||
|
|
||||||
|
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||||
|
- [x] Контракт и публичные тесты не ослаблены.
|
||||||
|
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||||
|
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||||
|
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||||
|
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||||
|
|||||||
@@ -0,0 +1,23 @@
|
|||||||
|
name: Application acceptance
|
||||||
|
on: [push, pull_request]
|
||||||
|
permissions:
|
||||||
|
contents: read
|
||||||
|
jobs:
|
||||||
|
application:
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
timeout-minutes: 30
|
||||||
|
steps:
|
||||||
|
- uses: actions/checkout@v4
|
||||||
|
- uses: actions/setup-python@v5
|
||||||
|
with:
|
||||||
|
python-version: '3.12'
|
||||||
|
- run: python scripts/setup.py
|
||||||
|
- run: docker compose up -d --build --wait --wait-timeout 180
|
||||||
|
- run: python scripts/run-all.py
|
||||||
|
- uses: actions/upload-artifact@v4
|
||||||
|
if: always()
|
||||||
|
with:
|
||||||
|
name: lab4-evidence
|
||||||
|
path: evidence/
|
||||||
|
- if: always()
|
||||||
|
run: docker compose down
|
||||||
+131
@@ -0,0 +1,131 @@
|
|||||||
|
# Памятка к защите лабораторной 4
|
||||||
|
|
||||||
|
Автор: Черненко, БПИ2301. Цель — оценка 5, трек 2: согласованность двух хранилищ.
|
||||||
|
Команды запуска, фактические измерения и ограничения находятся в [REPORT.md](REPORT.md).
|
||||||
|
|
||||||
|
## Что требовалось сделать
|
||||||
|
|
||||||
|
Построить REST-мессенджер, у которого данные доступны через разные API-реплики.
|
||||||
|
Текст, пользователи, сессии и связи находятся в PostgreSQL. Изображения находятся
|
||||||
|
в приватном S3-совместимом хранилище. База хранит только их метаданные и ключи.
|
||||||
|
В работе нужно сохранить контракт предыдущих лабораторных, проверить сохранность
|
||||||
|
при рестарте и остановке API, безопасность и ограничения загрузки.
|
||||||
|
Для оценки 5 выбран дополнительный эксперимент: устранение расхождений БД/S3.
|
||||||
|
|
||||||
|
## Как рассказать решение за две минуты
|
||||||
|
|
||||||
|
«У меня два одинаковых FastAPI-процесса за HAProxy. Состояния внутри API нет:
|
||||||
|
сессии, сообщения и метаданные общие, в PostgreSQL. Изображения лежат в MinIO.
|
||||||
|
Пользователь входит через Basic и получает случайный Bearer-токен. Пароль
|
||||||
|
хешируется Argon2id; в БД хранится только SHA-256 случайного токена.
|
||||||
|
|
||||||
|
При загрузке я сначала проверяю сессию и участие в чате, затем потоково принимаю
|
||||||
|
не более 10 MiB. Проверяю настоящее изображение библиотекой Pillow, MIME и число
|
||||||
|
пикселей до декодирования. Сервер генерирует UUID-ключ, сохраняет оригинал в S3
|
||||||
|
и записывает метаданные в БД. Только после успешного COMMIT клиент получает 201.
|
||||||
|
|
||||||
|
Между S3 и PostgreSQL нет общей транзакции, поэтому после сбоя может остаться
|
||||||
|
лишний объект. Reconciler находит такие объекты и удаляет только старые,
|
||||||
|
неучтённые, после grace period. Если файл исчез, запись сохраняется и помечается
|
||||||
|
внутренним failed; API возвращает 409. Если восстановить правильный оригинал
|
||||||
|
из резервной копии, reconciler проверит размер и SHA-256 и вернёт ready».
|
||||||
|
|
||||||
|
## Путь запроса в коде
|
||||||
|
|
||||||
|
- `src/app.py`: `envelope` добавляет ID запроса и реплики, формирует безопасные ошибки.
|
||||||
|
- `actor` проверяет хеш токена и expiry в общей БД, `access` проверяет членство в чате.
|
||||||
|
- `upload` ограничивает входной поток и время, `validate_image` проверяет изображение,
|
||||||
|
вложенная функция `save` выполняет PUT и транзакцию метаданных.
|
||||||
|
- `get_attachment` проверяет ACL перед выдачей метаданных или байтов; `content`
|
||||||
|
читает оригинал блоками по 64 KiB и закрывает S3 stream.
|
||||||
|
- `send` сериализует одинаковые idempotency keys PostgreSQL advisory lock.
|
||||||
|
Сообщение, связи с файлами и результат идемпотентности записываются одной транзакцией.
|
||||||
|
- `src/reconcile.py` содержит операторскую сверку; `--apply` включает исправления.
|
||||||
|
- `migrations/001_initial.sql` создаёт таблицы и ограничения.
|
||||||
|
- `infra/haproxy.cfg` проверяет readiness и убирает неработающую реплику из балансировки.
|
||||||
|
|
||||||
|
## Ответы на вопросы README
|
||||||
|
|
||||||
|
### Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
|
||||||
|
|
||||||
|
Файл на отдельном volume не становится доступен другой машине или реплике
|
||||||
|
автоматически. Он связан с размещением процесса. S3 даёт общий сетевой API,
|
||||||
|
идентификацию объектов по ключу, отдельные права и жизненный цикл хранения.
|
||||||
|
У MinIO тоже есть volume, но им владеет общий S3-сервис, а API обращаются по сети.
|
||||||
|
Это не делает один MinIO на одном Docker-host отказоустойчивым к потере диска.
|
||||||
|
|
||||||
|
### Когда можно честно вернуть 201?
|
||||||
|
|
||||||
|
После проверки входа, успешного S3 PUT и COMMIT метаданных. К этому моменту
|
||||||
|
другой участник через другую API-реплику должен прочитать метаданные и исходные
|
||||||
|
байты. В этой лабораторной нет worker и отложенного обещания готовности.
|
||||||
|
Если COMMIT произошёл, но ответ потерялся, клиент не знает результата.
|
||||||
|
Загрузка не идемпотентна: её ручной повтор может создать ещё одно вложение.
|
||||||
|
|
||||||
|
### Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
|
||||||
|
|
||||||
|
Останется orphan — объект без метаданных. 201 не возвращается. Удалять его сразу
|
||||||
|
в обработчике любой ошибки COMMIT опасно: при обрыве соединения транзакция могла
|
||||||
|
успеть зафиксироваться. Поэтому объект оставляется, и оператор запускает сверку.
|
||||||
|
По умолчанию она ничего не меняет; `--apply` удаляет только объекты старше часа,
|
||||||
|
для которых всё ещё нет метаданных. При недоступной БД или ошибке LIST/HEAD
|
||||||
|
отсутствие объекта не предполагается наугад: проход прерывается.
|
||||||
|
|
||||||
|
### Почему случайный object key и приватный bucket не заменяют ACL приложения?
|
||||||
|
|
||||||
|
Непредсказуемость ключа не означает право доступа: ключ может утечь. Приватность
|
||||||
|
bucket закрывает анонимный S3 GET, но API имеет S3-credentials и технически может
|
||||||
|
читать все объекты своего prefix. Поэтому API отдельно проверяет Bearer-сессию
|
||||||
|
и членство в чате. Посторонний получает 404 без подтверждения существования файла.
|
||||||
|
Клиент не получает object key и S3-credentials.
|
||||||
|
|
||||||
|
## Дополнительные вопросы
|
||||||
|
|
||||||
|
**Почему нельзя одной SQL-транзакцией охватить S3?** S3 не участвует в транзакции
|
||||||
|
PostgreSQL. Нужен отдельный протокол компенсации, сверки либо модель saga.
|
||||||
|
Здесь используется eventual repair с ручным операторским запуском.
|
||||||
|
|
||||||
|
**Как reconciler не удаляет загрузку во время COMMIT?** Загрузка держит shared
|
||||||
|
advisory lock от PUT до выхода из транзакции, а reconciler берёт exclusive lock.
|
||||||
|
Он ждёт завершения загрузок и блокирует новые записи на время прохода.
|
||||||
|
Дополнительно проверяет возраст, HEAD и отсутствие метаданных перед DELETE.
|
||||||
|
|
||||||
|
**Как защищены используемые файлы?** Любая существующая запись Attachment защищает
|
||||||
|
объект, даже если его ещё не прикрепили к сообщению. Reconciler вообще не удаляет
|
||||||
|
метаданные и связи. Потерянные байты автоматически придумать нельзя: нужна копия.
|
||||||
|
|
||||||
|
**Почему память ограничена, если используется Pillow?** До чтения и во время чтения
|
||||||
|
проверяется лимит байтов. После 256 KiB вход переносится во временный spool.
|
||||||
|
На реплику одновременно допускаются две загрузки и одно полное декодирование.
|
||||||
|
До `load()` проверяется число пикселей. `/tmp` ограничен 64 MiB, контейнер — 512 MiB.
|
||||||
|
Tmpfs учитывается в памяти контейнера; файл в нём — временная проверочная копия,
|
||||||
|
не источник оригинала после успешной загрузки.
|
||||||
|
|
||||||
|
**Зачем Idempotency-Key?** При потере ответа клиент повторяет сообщение с тем же
|
||||||
|
ключом и тем же телом. В течение 24 часов получает ровно прежнее сообщение.
|
||||||
|
Другое тело с тем же ключом даёт 409. Область ключа — пользователь и чат,
|
||||||
|
метод/путь здесь единственный POST messages. Shared DB lock действует между репликами.
|
||||||
|
|
||||||
|
**Как устроена пагинация?** Cursor кодирует ресурс, время и UUID последней записи.
|
||||||
|
Следующая страница выбирается по `(created_at,id) > последняя_пара`, `limit+1`
|
||||||
|
позволяет узнать, есть ли продолжение. Cursor другого чата отклоняется.
|
||||||
|
Base64 делает cursor непрозрачным интерфейсом, но не шифрует и не подписывает его.
|
||||||
|
История между страницами не является snapshot: поздний COMMIT с более ранним временем
|
||||||
|
или перевод часов назад могут привести к пропуску при конкурентной записи.
|
||||||
|
|
||||||
|
**Почему readiness зависит от S3, а liveness нет?** Без S3 нельзя безопасно
|
||||||
|
обслужить обязательную загрузку/скачивание, но процесс может оставаться живым.
|
||||||
|
LB исключает такую реплику. При общем отказе S3 все реплики становятся unready.
|
||||||
|
|
||||||
|
## Демонстрация
|
||||||
|
|
||||||
|
1. Запустить стенд по `REPORT.md`, показать `docker compose ps` — две API и общие хранилища.
|
||||||
|
2. Запустить `make test` внутри api1 с `BASE_URL=http://lb:8080` — checksum, чат,
|
||||||
|
сообщение с вложением, второй участник и запрет для третьего.
|
||||||
|
3. Показать `evidence/acceptance.json`: MIME, размер, ACL, private bucket и права S3.
|
||||||
|
4. Показать `evidence/replica-directions.json`, `persistence.txt` и `failover.txt`.
|
||||||
|
5. Запустить `docker compose exec -T api1 python -m src.reconcile` — dry-run.
|
||||||
|
6. Открыть `student-tests/research.py` и `evidence/research.json`: PUT + SQL rollback,
|
||||||
|
пропавший файл, grace period, повтор и восстановление из правильной копии.
|
||||||
|
7. Объяснить ограничения из отчёта. Полный повтор всех испытаний:
|
||||||
|
`python scripts/run-all.py` (Windows: `py -X utf8 scripts/run-all.py`).
|
||||||
+11
@@ -0,0 +1,11 @@
|
|||||||
|
FROM python:3.12.10-slim
|
||||||
|
WORKDIR /app
|
||||||
|
COPY requirements.txt requirements-dev.txt ./
|
||||||
|
RUN apt-get update && apt-get install -y --no-install-recommends make \
|
||||||
|
&& rm -rf /var/lib/apt/lists/* \
|
||||||
|
&& pip install --no-cache-dir -r requirements.txt -r requirements-dev.txt \
|
||||||
|
&& useradd -u 10001 -m app
|
||||||
|
COPY . .
|
||||||
|
USER app
|
||||||
|
ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1
|
||||||
|
CMD ["uvicorn", "src.app:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-keep-alive", "5", "--no-access-log"]
|
||||||
@@ -1,37 +1,294 @@
|
|||||||
# Отчёт — лабораторная 4
|
# Отчёт — лабораторная 4
|
||||||
|
|
||||||
- Автор, группа: TODO
|
- Автор, группа: Черненко, БПИ2301.
|
||||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
- Целевая оценка: **5**, трек **2 — согласованность двух хранилищ**.
|
||||||
- Commit/PR: TODO после публикации
|
- Ветка: `solution/bpi2301-chernenko`, основана на исходном `main` (`ec540a1`).
|
||||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
В удалённом репозитории отдельной ветки skeleton нет. PR создаёт автор вручную;
|
||||||
|
готовый текст — `.github/pull_request_template.md`. Commit: `git rev-parse HEAD`.
|
||||||
|
- Дата испытаний: 6 ноября 2026. Использованы Python/FastAPI, psycopg,
|
||||||
|
boto3, Pillow, Argon2id, PostgreSQL, HAProxy и MinIO. Исходники и инструкции
|
||||||
|
подготовлены с помощью Codex; тесты выполнены на настоящем Docker Compose стенде.
|
||||||
|
Предыдущее личное решение lab3 не предоставлялось: необходимый минимум
|
||||||
|
lab1–3 реализован заново по контракту текущего skeleton, чужой код решения не переносился.
|
||||||
|
|
||||||
## Запуск из чистого clone
|
## Запуск из чистого clone
|
||||||
|
|
||||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
Нужны Docker Engine/Desktop в режиме Linux containers, Compose v2 с `--wait`,
|
||||||
|
доступ в Интернет для первой сборки и Python 3.9+ на host для управляющего скрипта.
|
||||||
|
На Windows используется `py -X utf8`, на Linux/macOS — `python3`.
|
||||||
|
Для первой сборки MinIO из исходников желательно 4+ GiB доступной Docker RAM.
|
||||||
|
|
||||||
|
Версии: Python 3.12.10, PostgreSQL 17.5-alpine, HAProxy 3.0.11-alpine;
|
||||||
|
MinIO `RELEASE.2025-04-22T22-12-26Z`, mc `RELEASE.2025-04-16T18-13-26Z`,
|
||||||
|
Go 1.24.2-alpine, Alpine 3.21.3. Прямые Python-зависимости закреплены в
|
||||||
|
`requirements.txt`; установленные версии сохраняются в `evidence/python-packages.txt`.
|
||||||
|
Официальные готовые образы MinIO/mc при проверке были недоступны, поэтому
|
||||||
|
`infra/Dockerfile.minio` и `infra/Dockerfile.mc` собирают фиксированные upstream tags
|
||||||
|
через Go module proxy с проверкой Go checksum database.
|
||||||
|
|
||||||
|
```sh
|
||||||
|
git clone https://gitea.privcloud.tech/quzzqq/mtusi2026lab4.git
|
||||||
|
cd mtusi2026lab4
|
||||||
|
git switch solution/bpi2301-chernenko
|
||||||
|
python3 scripts/setup.py
|
||||||
|
docker compose --env-file .env config --quiet
|
||||||
|
docker compose --env-file .env up -d --build --wait --wait-timeout 180
|
||||||
|
docker compose exec -T api1 make check validate PYTHON=python
|
||||||
|
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
|
||||||
|
python3 scripts/run-all.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Windows: заменить вызовы `python3 ...` на `py -X utf8 ...`.
|
||||||
|
Если секреты создавались контейнером со старыми правами, повторить setup в контейнере:
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
docker run --rm --mount "type=bind,source=$($PWD.Path),target=/app" -w /app python:3.12.10-slim python scripts/setup.py
|
||||||
|
```
|
||||||
|
|
||||||
|
`setup.py` создаёт локальные случайные secrets и `.env`, не печатает значения,
|
||||||
|
не заменяет существующие секреты. Каталог secrets закрыт для других host-users,
|
||||||
|
отдельные файлы доступны непривилегированному пользователю контейнера через mounts.
|
||||||
|
Ни `.env`, ни secrets не входят в Git или Docker build context.
|
||||||
|
Не подменять setup простым копированием логического `.env.example`: сначала нужны secrets.
|
||||||
|
|
||||||
|
Публикуется только LB на loopback. Порт по умолчанию 8080; при конфликте добавить
|
||||||
|
в `.env` `HOST_PORT=18084` и повторить `docker compose up -d`. **При наших испытаниях
|
||||||
|
использовался 18084**, так как 8080 занят посторонним сервисом. `run-all.py`
|
||||||
|
автоматически узнаёт фактический порт через `docker compose port lb 8080`.
|
||||||
|
API, PostgreSQL, S3 и административная консоль не публикуют host-порты.
|
||||||
|
|
||||||
|
Миграции выполняет одноразовый `migrate` до API; SQL идемпотентен и защищён
|
||||||
|
advisory lock. `bootstrap` создаёт приватный bucket, отдельного S3-пользователя
|
||||||
|
и ограниченную policy. Повторный запуск bootstrap сохраняет данные и проходит успешно.
|
||||||
|
Оператор ждёт `--wait` и HTTP readiness. Первая компиляция MinIO может занять несколько минут.
|
||||||
|
|
||||||
|
Полный `run-all.py` выполняет check/validate/smoke, собственные проверки,
|
||||||
|
persistence, остановку каждой API, публичный failover, отказы S3 и PostgreSQL,
|
||||||
|
исследование, загрузки и 30-секундную нагрузку сообщений. Он останавливает **только**
|
||||||
|
сервисы Compose project `chernenko-lab4`, восстанавливает их после испытаний и
|
||||||
|
сохраняет обезличенные результаты в `evidence/`. Повтор создаёт новые синтетические данные.
|
||||||
|
|
||||||
|
Отдельные публичные сценарии (Linux/macOS; Python на host, Docker CLI доступен):
|
||||||
|
|
||||||
|
```sh
|
||||||
|
chmod +x scripts/restart.sh scripts/stop-one.sh
|
||||||
|
make test-persistence PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/restart.sh
|
||||||
|
docker compose start api1 api2
|
||||||
|
make test-failover PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/stop-one.sh
|
||||||
|
docker compose start api1 api2
|
||||||
|
```
|
||||||
|
|
||||||
|
На Windows `run-all.py` выбирает `.cmd` hooks. Они делают те же реальные Docker-действия.
|
||||||
|
`restart` перезапускает PostgreSQL, MinIO, обе API и LB с volumes; `stop-one` по
|
||||||
|
`TARGET_INSTANCE_ID` останавливает именно соответствующую реплику и оставляет её выключенной.
|
||||||
|
Для ручного запуска public tests на Windows задайте `BASE_URL` и используйте
|
||||||
|
`py -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd`.
|
||||||
|
|
||||||
|
Безопасная остановка: `docker compose down` (данные и сессии остаются в volumes).
|
||||||
|
Восстановление: прежний `docker compose up -d --wait` с теми же secrets.
|
||||||
|
**Намеренное удаление всех учебных данных этого стенда:** `docker compose down --volumes`.
|
||||||
|
Эту последнюю команду не использовать для проверки persistence.
|
||||||
|
|
||||||
## Архитектура и решения
|
## Архитектура и решения
|
||||||
|
|
||||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
Клиент → HAProxy → api1/api2 → PostgreSQL + MinIO. Один uvicorn process на реплику;
|
||||||
|
балансировка round-robin с HTTP `/health/ready` каждую секунду. Live проверяет
|
||||||
|
только процесс; ready — PostgreSQL и доступ к приватному bucket. Оба хранилища
|
||||||
|
критичны для обязательного синхронного пути. При их общем отказе LB не обещает
|
||||||
|
обслуживание текстовых операций через исключённые API.
|
||||||
|
|
||||||
|
PostgreSQL — источник истины для users, sessions, chats/members, messages,
|
||||||
|
message_attachments, attachments и idempotency. Сессии переживают рестарт,
|
||||||
|
TTL=3600 не продлевается при чтении/рестарте, logout удаляет hash токена.
|
||||||
|
Токен имеет 256 бит случайности, в БД хранится его SHA-256. Пароли — Argon2id
|
||||||
|
(time_cost=2, memory_cost=19456 KiB, parallelism=1), plaintext не сохраняется.
|
||||||
|
|
||||||
|
Сообщение, связи и idempotency результат фиксируются атомарно в PostgreSQL.
|
||||||
|
Advisory lock по user/chat/key исключает дубли между процессами; 24 часа
|
||||||
|
отсчитываются от успешной записи. Другой body даёт 409, отсутствие attachment_ids
|
||||||
|
равно пустому массиву. Неопределённый POST messages повторяется с прежним ключом.
|
||||||
|
Чтение идёт в общую БД без устаревающего кэша. Пагинация keyset по `(created_at,id)`;
|
||||||
|
cursor содержит ресурс, время, UUID. Snapshot между запросами не гарантируется.
|
||||||
|
|
||||||
|
Оригиналы — только `messenger-attachments/originals/<UUID>`. Filename не образует
|
||||||
|
путь и не раскрывается как S3 key. Byte-stream ограничен 10 MiB до накопления,
|
||||||
|
spool после 256 KiB переносится в ограниченный tmpfs; на API допускаются 2 загрузки
|
||||||
|
и 1 декодирование одновременно. На приём body отведено 20 секунд, очередь
|
||||||
|
загрузок ждёт до 15 секунд, connect/read S3 — 2/5 секунд без прозрачных retry;
|
||||||
|
SQL connect=3 секунды, statement=15, lock=10. HAProxy client/server timeout=30 секунд.
|
||||||
|
Изображение проверяется по формату и полностью декодируется после проверки
|
||||||
|
40 млн пикселей; оригинал не перекодируется. Download передаёт по 64 KiB через API.
|
||||||
|
Tmpfs — временная копия для проверки, после запроса не используется для download.
|
||||||
|
|
||||||
|
Граница upload: проверка ACL → приём/проверка → shared DB advisory lock → S3 PUT →
|
||||||
|
INSERT Attachment → COMMIT → 201 ready. Общей транзакции S3/SQL нет. При любой
|
||||||
|
неопределённости COMMIT синхронное удаление S3 не выполняется: оно могло бы стереть
|
||||||
|
уже зафиксированный оригинал. Дальнейшая компенсация — операторская сверка.
|
||||||
|
|
||||||
|
Reconciler по умолчанию dry-run; запуск:
|
||||||
|
|
||||||
|
```sh
|
||||||
|
docker compose exec -T api1 python -m src.reconcile
|
||||||
|
docker compose exec -T api1 python -m src.reconcile --apply
|
||||||
|
```
|
||||||
|
|
||||||
|
Оператор сначала оценивает dry-run, затем применяет. Grace по умолчанию 3600 секунд,
|
||||||
|
минимум 60 — только для контролируемого теста. Полный LIST prefix выполняется до
|
||||||
|
исправлений, с пагинацией. Exclusive advisory lock согласует сверку с PUT/COMMIT
|
||||||
|
и привязкой сообщений. Любая запись Attachment защищает объект, даже без Message.
|
||||||
|
Orphan после grace повторно проверяется через HEAD и SQL и удаляется; missing
|
||||||
|
старше grace проверяется HEAD 404, метаданные и ссылки сохраняются, внутренний
|
||||||
|
статус становится failed/missing_object. Неуспех LIST/HEAD/DB прерывает проход.
|
||||||
|
Повторный запуск безопасен. Восстановление оригинала из копии проверяется по
|
||||||
|
размеру и SHA-256 перед ready. Сверка сама не восстанавливает потерянные байты.
|
||||||
|
Публичные успешные Attachment остаются ready согласно контракту; внутренний
|
||||||
|
failed доступен через 409, после проверки ACL. Детали: `contracts/extensions.md`.
|
||||||
|
|
||||||
|
Соответствие `.env.example`: APP_HOST/APP_PORT реализованы аргументами uvicorn
|
||||||
|
`0.0.0.0:8080`, APP_ENV — только логическое описание; API_REPLICAS=2 реализовано
|
||||||
|
двумя сервисами; SESSION_STORE=postgres, CACHE_URL_FILE не используется — Redis
|
||||||
|
не обязателен для минимума предыдущих лабораторных. SESSION_TTL_SECONDS реально
|
||||||
|
передаётся из `.env`. IDEMPOTENCY_TTL_SECONDS фиксирован контрактными 86400 секундами.
|
||||||
|
DATABASE_URL_FILE и оба S3 credential FILE смонтированы как secrets. S3_ENDPOINT,
|
||||||
|
S3_BUCKET, MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS заданы в Compose; S3_REGION=us-east-1
|
||||||
|
берётся по умолчанию. Лимиты можно только уменьшить относительно обязательных максимумов.
|
||||||
|
Дополнительный HOST_PORT — host-порт LB. Другие логические переменные примера
|
||||||
|
не выдаются за изменяемые Compose-настройки.
|
||||||
|
|
||||||
## Доказательства критериев
|
## Доказательства критериев
|
||||||
|
|
||||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
Каждый пункт ниже проверяется `python3 scripts/run-all.py`; отдельные команды
|
||||||
| --- | --- | --- | --- |
|
для app/student-tests выполняются через `docker compose exec -T api1 python ...`.
|
||||||
| Публичный smoke | make test | TODO | TODO |
|
|
||||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
|
||||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
|
||||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
|
||||||
|
|
||||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
- Целостность skeleton, OpenAPI: `make check validate PYTHON=python` внутри API.
|
||||||
|
Обе проверки PASS — `evidence/check-validate.txt`. Контракт, README задания,
|
||||||
|
COURSE, CONTRIBUTING и публичные tests не изменялись.
|
||||||
|
- Минимум lab1–3 и обязательный lab4 API: `make test PYTHON=python BASE_URL=http://lb:8080`.
|
||||||
|
PASS, включая PNG checksum, attachment-only message, второго участника, 404
|
||||||
|
для третьего, сессии, пагинацию, idempotency — `evidence/smoke.txt`.
|
||||||
|
- Реальные PNG/JPEG, лимиты, MIME и filename: `student-tests/acceptance.py`.
|
||||||
|
PASS: повреждённые bytes и подмена MIME → 415, >10 MiB и 42 млн пикселей → 413,
|
||||||
|
опасные имена → 400, корректный JPEG скачивается без изменений — `evidence/acceptance.json`.
|
||||||
|
- Чужой attachment_id и файл другого чата: тот же сценарий, 404. Неверный cursor,
|
||||||
|
UUID, sender_id — 400; 12 одновременных idempotency повторов → 1 Message.
|
||||||
|
- Потеря API загрузившей реплики: остановка **каждой** API с последующим download
|
||||||
|
и записью через вторую. SHA-256/байты совпадают — `evidence/replica-directions.json`.
|
||||||
|
- Публичный failover с параллельными POST: `tests/resilience.py --mode failover`
|
||||||
|
с собственным hook. PASS; восстановление ≤10 секунд, нет дубликатов/потерь,
|
||||||
|
остановленная реплика отсутствует в конце — `evidence/failover.txt`,
|
||||||
|
`evidence/after-failover.json` и `evidence/after-failover-started.txt`.
|
||||||
|
- Рестарт API **и PostgreSQL/MinIO/LB**: `tests/resilience.py --mode persistence`.
|
||||||
|
PASS, прежняя сессия, сообщения и оригинал сохранены. `evidence/persistence.txt`,
|
||||||
|
`before-restart-started.txt` / `after-restart-started.txt` доказывают изменение
|
||||||
|
StartedAt всех пяти реальных контейнеров. Volumes не удалялись.
|
||||||
|
- Отказ S3 и PostgreSQL: `student-tests/storage_outage.py` при реальной остановке
|
||||||
|
зависимости управляющим скриптом. Live=200, ready/upload/download=503,
|
||||||
|
reconciler прекращает работу, после возврата хранилища исходные bytes совпадают —
|
||||||
|
`evidence/s3-outage.json`, `evidence/postgres-outage.json`.
|
||||||
|
- Прерванная загрузка: raw TCP request с неполным Content-Length и закрытием
|
||||||
|
соединения, отсутствие новых метаданных — `evidence/acceptance.json`.
|
||||||
|
- Сбой PUT → SQL: `student-tests/research.py` временно ставит trigger на тестовый
|
||||||
|
filename, реальный API PUT проходит, INSERT падает, HTTP 500 не раскрывает SQL,
|
||||||
|
остаётся ровно один orphan. После grace он обнаруживается и удаляется —
|
||||||
|
`evidence/research.json`. Trigger удаляется в finally; production failpoints нет.
|
||||||
|
- RAM при ≥10 загрузках: отдельный генератор, 2 размера, по 3 серии × 10,
|
||||||
|
20 ms cgroup/RSS sampling обеих API и Docker CPU stats — `evidence/uploads.json`,
|
||||||
|
`evidence/memory-peaks.json`, `evidence/memory.json`.
|
||||||
|
- Private bucket, scoped S3 credentials, закрытая консоль: анонимный GET существующего
|
||||||
|
объекта → 403; API-пользователь не может создать bucket — `evidence/acceptance.json`.
|
||||||
|
Публикация только LB подтверждается `compose.yaml` и `evidence/final-state.json`.
|
||||||
|
Bootstrap выполнен повторно без удаления данных; вывод — `evidence/bootstrap.txt`.
|
||||||
|
- Законченный трек 2: dry-run не меняет orphan, apply удаляет старый orphan,
|
||||||
|
свежий и используемый оригиналы сохраняются, повтор не повторяет удаление,
|
||||||
|
missing не выдаётся как ready, неверная копия не публикуется, правильная
|
||||||
|
восстанавливается с прежними bytes, >1000 объектов обходятся несколькими LIST —
|
||||||
|
`evidence/research.json`. Стоимость измерена, ограничения приведены ниже.
|
||||||
|
|
||||||
## Эксперименты и отказы
|
## Эксперименты и отказы
|
||||||
|
|
||||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
Гипотеза трека 2: shared/exclusive DB locks, повторная проверка и grace позволяют
|
||||||
|
безопасно убрать неучтённые старые S3-объекты и пометить missing без удаления
|
||||||
|
живых метаданных; повторный проход не порождает новые повреждения.
|
||||||
|
|
||||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
Методика: создать synthetic chat и ready-вложения, одно привязать к Message.
|
||||||
| --- | --- | --- | --- |
|
Внедрить SQL-ошибку в реальный upload после PUT и отдельно удалить оригинал
|
||||||
| TODO | TODO | TODO | TODO |
|
второго ready-вложения. Проверить fresh orphan до grace, выждать настоящие
|
||||||
|
62 секунды S3-времени, создать ещё один свежий orphan, сравнить dry-run/apply/repeat.
|
||||||
|
Missing-метаданные искусственно состарены на 2 часа SQL-командой в тесте,
|
||||||
|
S3 LastModified не подделывается. Затем проверить плохую/правильную резервную копию.
|
||||||
|
Добавить 1005 fresh keys по одному байту для проверки LIST pagination, замерить
|
||||||
|
время и число запросов, убрать только точные служебные ключи этого сценария.
|
||||||
|
Используемое вложение сохраняется побайтно после каждого ремонта.
|
||||||
|
|
||||||
|
Результаты трека, нагрузки и памяти записаны отдельным воспроизводимым
|
||||||
|
численным итогом в `evidence/SUMMARY.md`; исходные JSON остаются рядом.
|
||||||
|
Это измерения конкретного локального стенда, а не обещание производительности.
|
||||||
|
|
||||||
|
Окружение: Docker Desktop Linux VM, 16 vCPU, 7 950 495 744 bytes RAM,
|
||||||
|
API по 1 CPU / 512 MiB, `/tmp` по 64 MiB, PostgreSQL и MinIO по 512 MiB,
|
||||||
|
LB 64 MiB. Host Python — 3.14.3, внутри контейнеров — 3.12.10.
|
||||||
|
Перед тестами readiness подтверждена, изображения прогреваются одной загрузкой
|
||||||
|
каждого размера. PNG генерируются из случайных RGB bytes (размеры приблизительно
|
||||||
|
0,75 MiB и 9,28 MiB; точные bytes в JSON). По 3 closed-loop burst-серии на размер,
|
||||||
|
concurrency=10, всего 60 измеряемых успешных загрузок плюс 2 прогревочных.
|
||||||
|
Генератор работает отдельным временным контейнером `migrate`, его RAM не входит
|
||||||
|
в измеряемые API. Duration, successful RPS, errors и p50/p95/p99 каждой серии
|
||||||
|
находятся в `uploads.json`. При n=10 p95 и p99 — максимальная задержка серии.
|
||||||
|
|
||||||
|
Память: `memory-peaks.json` содержит baseline, максимум memory.current с шагом
|
||||||
|
20 ms, RSS PID 1 и kernel memory.peak до/после. Последний — максимум за **всё время
|
||||||
|
жизни контейнера**, включая предыдущие тесты; его нельзя выдавать за чистый пик
|
||||||
|
только загрузок. Sampling может пропустить короткий всплеск. Небольшой probe
|
||||||
|
работает в том же cgroup и добавляет собственный overhead. `docker stats`
|
||||||
|
из `memory.json` содержит CPU и контрольный замер RAM с более редким шагом.
|
||||||
|
|
||||||
|
Отдельно `tests/load.py --duration 30 --concurrency 4` измеряет POST messages,
|
||||||
|
не изображения. JSON включает successful RPS, долю ошибок, p50/p95/p99 успешных
|
||||||
|
ответов. Этот closed-loop тест имеет coordinated omission и ограничения клиента;
|
||||||
|
не определяет максимальную мощность сервера. Запуски добавляют данные, поэтому
|
||||||
|
размер набора растёт; для сравнения на чистом наборе нужен отдельный volume.
|
||||||
|
|
||||||
|
Отказы: API-восстановление ожидается за ≤10 секунд; public test подтвердил это.
|
||||||
|
Рестарт всех сервисов сохраняет подтверждённые данные и действующий токен.
|
||||||
|
S3/PostgreSQL outages честно дают 503 до ручного возврата зависимости, без обещания HA.
|
||||||
|
Orphan исправляется только явным запуском после grace; missing требует backup.
|
||||||
|
В эксперименте не потеряны подтверждённые сообщения или исходные bytes,
|
||||||
|
кроме специально удалённого S3-объекта, который восстановлен из тестовой копии.
|
||||||
|
|
||||||
## Ограничения и следующие шаги
|
## Ограничения и следующие шаги
|
||||||
|
|
||||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
Один host, один PostgreSQL, один MinIO и один LB — единые точки отказа.
|
||||||
|
Нет репликации БД/S3, автоматических резервных копий и восстановления потерянного
|
||||||
|
диска; API failover не доказывает устойчивость ко всем инфраструктурным отказам.
|
||||||
|
HTTP допустим только локально с синтетическими данными; для удалённого показа нужен TLS.
|
||||||
|
UI, presigned flow, thumbnail/worker lab5 не входят в выбранную работу.
|
||||||
|
|
||||||
|
Reconciler удерживает exclusive lock на время полного прохода, хранит метаданные
|
||||||
|
и LIST в RAM: стоимость O(A+O), время LIST ≈ceil(O/1000), дополнительные HEAD
|
||||||
|
только для кандидатов. Восстановление failed читает файл для проверки checksum.
|
||||||
|
На большом bucket это мешает записи; statement/lock timeout ограничивает ожидание,
|
||||||
|
но весь проход не имеет отдельного wall-clock SLA. Для production нужна пакетная
|
||||||
|
сверка с журналом/lease, отдельными правами оператора и метриками. Этого улучшения
|
||||||
|
данные опыта не доказывают. Внешний root-оператор S3 может обойти DB lock:
|
||||||
|
ручное восстановление согласовывать с обслуживанием.
|
||||||
|
|
||||||
|
Сверка не ищет побитовую порчу уже ready-файлов и не удаляет корректные, но давно
|
||||||
|
не привязанные вложения. Это сознательные границы orphan/missing-трека.
|
||||||
|
Глобальная корректность конкурентной истории при коррекции часов не гарантируется:
|
||||||
|
между страницами нет snapshot, поздний COMMIT может попасть до cursor.
|
||||||
|
Expired sessions и неиспользуемые просроченные idempotency rows не очищаются
|
||||||
|
периодическим job; это следующий эксплуатационный шаг, expiry при доступе действует.
|
||||||
|
Попытки входа не rate-limit-ятся. Полная защита lab7 здесь не заявляется.
|
||||||
|
|
||||||
|
## Источники и подготовка к защите
|
||||||
|
|
||||||
|
- [Нормативная семантика skeleton](contracts/README.md), [COURSE.md](COURSE.md).
|
||||||
|
- [Psycopg: транзакции и context manager](https://www.psycopg.org/psycopg3/docs/basic/transactions.html).
|
||||||
|
- [MinIO upstream tags и исходники](https://github.com/minio/minio/releases/tag/RELEASE.2025-04-22T22-12-26Z).
|
||||||
|
- [MinIO: policy create/attach](https://min.io/docs/minio/linux/reference/minio-mc-admin/mc-admin-policy.html).
|
||||||
|
- [Pillow: ограничения декодирования](https://pillow.readthedocs.io/en/stable/reference/Image.html).
|
||||||
|
- [S3: загрузка объектов](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html).
|
||||||
|
|
||||||
|
Развёрнутые ответы на все вопросы README, объяснение основных функций и порядок
|
||||||
|
демонстрации — [DEFENSE.md](DEFENSE.md). Использование ИИ раскрыто выше; автору
|
||||||
|
необходимо самостоятельно понимать код и уметь изменить его на защите.
|
||||||
|
|||||||
+101
@@ -0,0 +1,101 @@
|
|||||||
|
name: chernenko-lab4
|
||||||
|
x-api: &api
|
||||||
|
build: .
|
||||||
|
image: chernenko-lab4-api:local
|
||||||
|
restart: unless-stopped
|
||||||
|
environment: &api-env
|
||||||
|
DATABASE_URL_FILE: /run/secrets/database_url
|
||||||
|
S3_ENDPOINT: http://s3:9000
|
||||||
|
S3_BUCKET: messenger-attachments
|
||||||
|
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||||
|
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||||
|
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||||
|
MAX_UPLOAD_BYTES: 10485760
|
||||||
|
MAX_IMAGE_PIXELS: 40000000
|
||||||
|
secrets: [database_url, s3_access_key_id, s3_secret_access_key]
|
||||||
|
depends_on:
|
||||||
|
migrate: {condition: service_completed_successfully}
|
||||||
|
bootstrap: {condition: service_completed_successfully}
|
||||||
|
mem_limit: 512m
|
||||||
|
cpus: 1
|
||||||
|
tmpfs: ['/tmp:size=64m,mode=1777']
|
||||||
|
healthcheck:
|
||||||
|
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready',timeout=8)"]
|
||||||
|
interval: 3s
|
||||||
|
timeout: 10s
|
||||||
|
retries: 20
|
||||||
|
services:
|
||||||
|
postgres:
|
||||||
|
image: postgres:17.5-alpine
|
||||||
|
environment:
|
||||||
|
POSTGRES_USER: messenger
|
||||||
|
POSTGRES_DB: messenger
|
||||||
|
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||||
|
secrets: [postgres_password]
|
||||||
|
volumes: [pgdata:/var/lib/postgresql/data]
|
||||||
|
mem_limit: 512m
|
||||||
|
healthcheck:
|
||||||
|
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
s3:
|
||||||
|
build: {context: ., dockerfile: infra/Dockerfile.minio}
|
||||||
|
image: chernenko-lab4-minio:2025.04.22
|
||||||
|
command: server /data --console-address :9001
|
||||||
|
environment:
|
||||||
|
MINIO_ROOT_USER_FILE: /run/secrets/minio_root_user
|
||||||
|
MINIO_ROOT_PASSWORD_FILE: /run/secrets/minio_root_password
|
||||||
|
secrets: [minio_root_user, minio_root_password]
|
||||||
|
volumes: [s3data:/data]
|
||||||
|
mem_limit: 512m
|
||||||
|
healthcheck:
|
||||||
|
test: [CMD, curl, -f, http://localhost:9000/minio/health/live]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 30
|
||||||
|
bootstrap:
|
||||||
|
build: {context: ., dockerfile: infra/Dockerfile.mc}
|
||||||
|
image: chernenko-lab4-mc:2025.04.16
|
||||||
|
entrypoint: [/bin/sh, /config/bootstrap.sh]
|
||||||
|
secrets: [minio_root_user, minio_root_password, s3_access_key_id, s3_secret_access_key]
|
||||||
|
volumes: ['./infra:/config:ro']
|
||||||
|
depends_on:
|
||||||
|
s3: {condition: service_healthy}
|
||||||
|
migrate:
|
||||||
|
build: .
|
||||||
|
image: chernenko-lab4-api:local
|
||||||
|
command: python -m src.storage
|
||||||
|
environment:
|
||||||
|
DATABASE_URL_FILE: /run/secrets/database_url
|
||||||
|
secrets: [database_url]
|
||||||
|
depends_on:
|
||||||
|
postgres: {condition: service_healthy}
|
||||||
|
api1:
|
||||||
|
<<: *api
|
||||||
|
environment:
|
||||||
|
<<: *api-env
|
||||||
|
INSTANCE_ID: api1
|
||||||
|
api2:
|
||||||
|
<<: *api
|
||||||
|
environment:
|
||||||
|
<<: *api-env
|
||||||
|
INSTANCE_ID: api2
|
||||||
|
lb:
|
||||||
|
image: haproxy:3.0.11-alpine
|
||||||
|
ports: ['127.0.0.1:${HOST_PORT:-8080}:8080']
|
||||||
|
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
|
||||||
|
depends_on:
|
||||||
|
api1: {condition: service_healthy}
|
||||||
|
api2: {condition: service_healthy}
|
||||||
|
mem_limit: 64m
|
||||||
|
volumes:
|
||||||
|
pgdata:
|
||||||
|
s3data:
|
||||||
|
secrets:
|
||||||
|
postgres_password: {file: ./secrets/postgres_password}
|
||||||
|
database_url: {file: ./secrets/database_url}
|
||||||
|
minio_root_user: {file: ./secrets/minio_root_user}
|
||||||
|
minio_root_password: {file: ./secrets/minio_root_password}
|
||||||
|
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||||||
|
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
# Операторское расширение: сверка S3/PostgreSQL
|
||||||
|
|
||||||
|
Обязательный OpenAPI лабораторной 4 не изменён. Новых публичных HTTP endpoints нет.
|
||||||
|
CLI `python -m src.reconcile [--apply] [--grace-seconds N]` выполняется оператором
|
||||||
|
внутри API-контейнера с его scoped S3-credentials. По умолчанию dry-run и grace=3600;
|
||||||
|
минимальное разрешённое значение — 60 секунд, для воспроизводимого эксперимента.
|
||||||
|
|
||||||
|
Внутренние состояния Attachment: `ready` и `failed` с `error_code=missing_object`.
|
||||||
|
В lab4 схема успешного Attachment допускает только ready. Поэтому GET metadata
|
||||||
|
или content для внутреннего failed возвращает 409 в общем формате ошибки;
|
||||||
|
новое состояние не публикуется как несовместимый успешный JSON.
|
||||||
|
Привязка failed к сообщению также даёт 409. Все проверки ACL выполняются раньше.
|
||||||
|
|
||||||
|
Orphan — ключ из управляемого `originals/` без метаданных. Он удаляется только
|
||||||
|
после grace, повторных HEAD/SQL-проверок и при exclusive advisory lock.
|
||||||
|
Missing — старые метаданные без оригинала, подтверждённые HEAD 404. Они сохраняются,
|
||||||
|
а статус меняется на failed. Правильная резервная копия возвращает ready после
|
||||||
|
проверки исходного размера и SHA-256; неправильная остаётся failed.
|
||||||
|
|
||||||
|
JSON-результат CLI содержит mode, grace_seconds, scanned_objects/scanned_metadata,
|
||||||
|
list_requests/head_requests, orphan/missing/repaired, fresh_skipped, elapsed_seconds.
|
||||||
|
Поле head_requests считает только HEAD, а не LIST/GET/DELETE и не SQL.
|
||||||
|
Ключи в операторском выводе — внутренняя диагностика; HTTP API их не возвращает.
|
||||||
|
CLI не является планировщиком: оператор запускает его явно, сначала с dry-run.
|
||||||
|
|
||||||
|
Безопасность предполагает, что обычные изменения prefix выполняются API и этим
|
||||||
|
reconciler. Внешний администратор с root-правами способен обойти advisory lock;
|
||||||
|
на время ручного восстановления нужен согласованный режим обслуживания.
|
||||||
@@ -0,0 +1,60 @@
|
|||||||
|
# Численные результаты, 6 ноября 2026
|
||||||
|
|
||||||
|
Полный прогон `py -X utf8 scripts/run-all.py` завершился PASS на Docker Desktop.
|
||||||
|
Фактическая конфигурация — 16 vCPU, 7 950 495 744 bytes RAM Docker VM;
|
||||||
|
каждая API ограничена 1 CPU / 512 MiB. API доступны через LB на host-порту 18084.
|
||||||
|
|
||||||
|
## Трек 2
|
||||||
|
|
||||||
|
В базе в момент прохода — 79 вложений. Dry-run обнаружил 1 старый orphan и
|
||||||
|
1 missing, не удалил orphan. Apply: 80 объектов, 1 LIST, 2 HEAD, 0,044078 с;
|
||||||
|
старый orphan удалён, свежий сохранён, используемый оригинал скачан без изменений.
|
||||||
|
Повтор: 0 orphan, 1 missing, 0,061837 с. Missing остаётся диагностируемым до backup.
|
||||||
|
Плохая копия не вернула ready; правильная восстановлена за проход 0,043260 с.
|
||||||
|
До истечения grace свежий orphan не удалён; после настоящего ожидания 62 с — удалён.
|
||||||
|
После добавления 1005 однобайтовых объектов: 1085 объектов, 79 метаданных,
|
||||||
|
2 LIST, 0 HEAD, 0,135529 с (dry-run). Служебные fresh keys затем явно удалены тестом.
|
||||||
|
Это один запуск на каждой точке, не статистически надёжный benchmark масштабирования.
|
||||||
|
Исходные данные — `research.json`; список HEAD не включает GET/DELETE/SQL.
|
||||||
|
|
||||||
|
## Загрузки изображений
|
||||||
|
|
||||||
|
Отдельный генератор, один прогрев на размер, concurrency=10, по 3 burst-повтора.
|
||||||
|
60 измеряемых запросов успешны, ошибок 0.
|
||||||
|
|
||||||
|
- PNG 788 085 bytes, 512×512: длительности серий 0,323 / 0,287 / 0,427 с;
|
||||||
|
successful RPS 30,97 / 34,80 / 23,40;
|
||||||
|
p50 0,239 / 0,220 / 0,356 с; p95=p99 0,312 / 0,281 / 0,418 с.
|
||||||
|
- PNG 9 734 289 bytes, 1800×1800: длительности 1,415 / 1,018 / 1,062 с;
|
||||||
|
successful RPS 7,07 / 9,82 / 9,42;
|
||||||
|
p50 0,995 / 0,744 / 0,676 с; p95=p99 1,404 / 1,007 / 1,055 с.
|
||||||
|
|
||||||
|
20 ms sampling, приблизительно 7 секунд наблюдения:
|
||||||
|
|
||||||
|
- api1: baseline 104 833 024 bytes (99,98 MiB), sampled peak 156 479 488
|
||||||
|
(149,23 MiB), API RSS peak 138 665 984 (132,24 MiB), 337 samples.
|
||||||
|
- api2: baseline 124 416 000 bytes (118,65 MiB), sampled peak 184 819 712
|
||||||
|
(176,26 MiB), API RSS peak 161 771 520 (154,28 MiB), 352 samples.
|
||||||
|
- Kernel lifetime peak после теста: api1 163 160 064 bytes (155,60 MiB),
|
||||||
|
api2 185 077 760 bytes (176,50 MiB). Этот счётчик включает прежние сценарии.
|
||||||
|
- Наибольшие наблюдённые Docker CPU samples: api1 76,51%, api2 78,48% одного CPU.
|
||||||
|
|
||||||
|
Данные: `uploads.json`, `memory-peaks.json`, `memory.json`. Sampling не доказывает
|
||||||
|
точную величину мгновенного пика; kernel lifetime peak даёт более широкий верхний
|
||||||
|
наблюдаемый контекст. Генератор не входит в API cgroups, probe входит.
|
||||||
|
|
||||||
|
## Сообщения и отказы
|
||||||
|
|
||||||
|
POST messages: concurrency=4, 30,273 с, 2207 успехов, 0 ошибок, 72,903 успешных
|
||||||
|
RPS; p50/p95/p99 49,708 / 79,677 / 106,861 мс. См. `messages-load.json`.
|
||||||
|
Это closed-loop с coordinated omission и процентилями только успешных ответов.
|
||||||
|
|
||||||
|
Public failover: наблюдены обе реплики, 86 успешных записей, 1 переходная ошибка,
|
||||||
|
первая успешная запись после hook за 2,449 с. Потерь и дублей не обнаружено.
|
||||||
|
`replica-directions.json` дополнительно доказывает чтение байтов при отказе каждой API.
|
||||||
|
Persistence прошёл с прежним токеном и оригиналом; StartedAt всех зависимостей
|
||||||
|
изменился. При реальных остановках S3 и PostgreSQL live=200,
|
||||||
|
ready/upload/download=503, reconciler прерывался. После старта зависимости данные доступны.
|
||||||
|
|
||||||
|
Результат подтверждает выбранные локальные сценарии. Он не доказывает HA одного
|
||||||
|
Docker-host, PostgreSQL/S3/LB, устойчивость к повреждению диска или production SLA.
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
{"result": "PASS", "negative_image_and_acl": true, "private_bucket_status": 403, "scoped_credentials": true, "parallel_idempotency_requests": 12, "unique_messages": 1, "interrupted_upload_no_metadata": true}
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
|
||||||
|
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
|
||||||
|
/chernenko-lab4-api1-1 2026-11-06T13:43:48.73468237Z
|
||||||
|
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
|
||||||
|
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||||
@@ -0,0 +1,170 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=api1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.container-number=1,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.oneoff=False,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"Names": "chernenko-lab4-api1-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "About a minute ago",
|
||||||
|
"Service": "api1",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 14 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"Names": "chernenko-lab4-api2-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "About a minute ago",
|
||||||
|
"Service": "api2",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 21 seconds (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "060f1b699b19",
|
||||||
|
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||||
|
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.service=bootstrap",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Names": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "About a minute ago",
|
||||||
|
"Service": "bootstrap",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 21 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "6164f1e72222",
|
||||||
|
"Image": "haproxy:3.0.11-alpine",
|
||||||
|
"Labels": "com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=lb-1",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-lb-1",
|
||||||
|
"Names": "chernenko-lab4-lb-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "127.0.0.1",
|
||||||
|
"TargetPort": 8080,
|
||||||
|
"PublishedPort": 18084,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "5 minutes ago",
|
||||||
|
"Service": "lb",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 42 seconds"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"python -m src.stora\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "3202e401b8fd",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,com.docker.compose.version=5.1.0",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-migrate-1",
|
||||||
|
"Names": "chernenko-lab4-migrate-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "About a minute ago",
|
||||||
|
"Service": "migrate",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 21 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "edbbd4f47c8c",
|
||||||
|
"Image": "postgres:17.5-alpine",
|
||||||
|
"Labels": "com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||||
|
"Name": "chernenko-lab4-postgres-1",
|
||||||
|
"Names": "chernenko-lab4-postgres-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "5432/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "",
|
||||||
|
"TargetPort": 5432,
|
||||||
|
"PublishedPort": 0,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "9 minutes ago",
|
||||||
|
"Service": "postgres",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 42 seconds (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"minio server /data \u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "f9079ac9c968",
|
||||||
|
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||||
|
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.replace=s3-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.depends_on=,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.container-number=1,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-s3-1",
|
||||||
|
"Names": "chernenko-lab4-s3-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "About a minute ago",
|
||||||
|
"Service": "s3",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 42 seconds (healthy)"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
|
||||||
|
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
|
||||||
|
/chernenko-lab4-api1-1 2026-11-06T13:43:38.109037225Z
|
||||||
|
/chernenko-lab4-api2-1 2026-11-06T13:43:38.029048242Z
|
||||||
|
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||||
@@ -0,0 +1,170 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/database_url,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api1,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.replace=api1-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"Names": "chernenko-lab4-api1-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "49 seconds ago",
|
||||||
|
"Service": "api1",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 seconds (health: starting)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "starting",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"Names": "chernenko-lab4-api2-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "49 seconds ago",
|
||||||
|
"Service": "api2",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 seconds (health: starting)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "060f1b699b19",
|
||||||
|
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||||
|
"Labels": "com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.replace=bootstrap-1,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.container-number=1,com.docker.compose.depends_on=s3:service_healthy:false",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Names": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "50 seconds ago",
|
||||||
|
"Service": "bootstrap",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 41 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "6164f1e72222",
|
||||||
|
"Image": "haproxy:3.0.11-alpine",
|
||||||
|
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project=chernenko-lab4,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.replace=lb-1,com.docker.compose.service=lb,com.docker.compose.version=5.1.0,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-lb-1",
|
||||||
|
"Names": "chernenko-lab4-lb-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "127.0.0.1",
|
||||||
|
"TargetPort": 8080,
|
||||||
|
"PublishedPort": 18084,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "lb",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 seconds"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"python -m src.stora\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "3202e401b8fd",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=migrate-1,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-migrate-1",
|
||||||
|
"Names": "chernenko-lab4-migrate-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "50 seconds ago",
|
||||||
|
"Service": "migrate",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 44 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "edbbd4f47c8c",
|
||||||
|
"Image": "postgres:17.5-alpine",
|
||||||
|
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||||
|
"Name": "chernenko-lab4-postgres-1",
|
||||||
|
"Names": "chernenko-lab4-postgres-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "5432/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "",
|
||||||
|
"TargetPort": 5432,
|
||||||
|
"PublishedPort": 0,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "8 minutes ago",
|
||||||
|
"Service": "postgres",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 seconds (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"minio server /data \u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "f9079ac9c968",
|
||||||
|
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||||
|
"Labels": "com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=,com.docker.compose.replace=s3-1,com.docker.compose.service=s3,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-s3-1",
|
||||||
|
"Names": "chernenko-lab4-s3-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "50 seconds ago",
|
||||||
|
"Service": "s3",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 4 seconds (healthy)"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
/chernenko-lab4-postgres-1 2026-11-06T13:39:11.75831067Z
|
||||||
|
/chernenko-lab4-s3-1 2026-11-06T13:42:56.365718327Z
|
||||||
|
/chernenko-lab4-api1-1 2026-11-06T13:43:00.119864269Z
|
||||||
|
/chernenko-lab4-api2-1 2026-11-06T13:43:00.124296365Z
|
||||||
|
/chernenko-lab4-lb-1 2026-11-06T13:39:11.322683321Z
|
||||||
@@ -0,0 +1,170 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"Names": "chernenko-lab4-api1-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "43 seconds ago",
|
||||||
|
"Service": "api1",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 35 seconds (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "desktop.docker.io/mounts/2/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"Names": "chernenko-lab4-api2-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "43 seconds ago",
|
||||||
|
"Service": "api2",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 35 seconds (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "060f1b699b19",
|
||||||
|
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||||
|
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,desktop.docker.io/binds/0/Target=/config",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Names": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "44 seconds ago",
|
||||||
|
"Service": "bootstrap",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 35 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "6164f1e72222",
|
||||||
|
"Image": "haproxy:3.0.11-alpine",
|
||||||
|
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.replace=lb-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.version=5.1.0",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-lb-1",
|
||||||
|
"Names": "chernenko-lab4-lb-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "127.0.0.1",
|
||||||
|
"TargetPort": 8080,
|
||||||
|
"PublishedPort": 18084,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "lb",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 4 minutes"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"python -m src.stora\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "3202e401b8fd",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=migrate,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-migrate-1",
|
||||||
|
"Names": "chernenko-lab4-migrate-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "44 seconds ago",
|
||||||
|
"Service": "migrate",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 38 seconds ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "edbbd4f47c8c",
|
||||||
|
"Image": "postgres:17.5-alpine",
|
||||||
|
"Labels": "com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=postgres,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.container-number=1",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||||
|
"Name": "chernenko-lab4-postgres-1",
|
||||||
|
"Names": "chernenko-lab4-postgres-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "5432/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "",
|
||||||
|
"TargetPort": 5432,
|
||||||
|
"PublishedPort": 0,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "8 minutes ago",
|
||||||
|
"Service": "postgres",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 4 minutes (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"minio server /data \u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "f9079ac9c968",
|
||||||
|
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||||
|
"Labels": "com.docker.compose.service=s3,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-s3-1",
|
||||||
|
"Names": "chernenko-lab4-s3-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "44 seconds ago",
|
||||||
|
"Service": "s3",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 39 seconds (healthy)"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
Private bucket and scoped application user ready
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
python scripts/check_contract.py
|
||||||
|
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||||
|
python scripts/validate_openapi.py
|
||||||
|
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
PASS: docker compose config --quiet (exit 0)
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||||
|
{"observed_instances_before": 2, "successful_writes": 86, "failed_attempts": 1, "first_recovery_seconds": 2.449}
|
||||||
|
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
/chernenko-lab4-postgres-1 2026-11-06T13:45:08.909781813Z
|
||||||
|
/chernenko-lab4-s3-1 2026-11-06T13:44:46.147669345Z
|
||||||
|
/chernenko-lab4-api1-1 2026-11-06T13:44:23.398321123Z
|
||||||
|
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
|
||||||
|
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||||
@@ -0,0 +1,170 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"Names": "chernenko-lab4-api1-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "api1",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 2 minutes (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"Names": "chernenko-lab4-api2-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "api2",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 minutes (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "060f1b699b19",
|
||||||
|
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||||
|
"Labels": "desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.replace=bootstrap-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Names": "chernenko-lab4-bootstrap-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "bootstrap",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 2 minutes ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "6164f1e72222",
|
||||||
|
"Image": "haproxy:3.0.11-alpine",
|
||||||
|
"Labels": "com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.replace=lb-1,com.docker.compose.version=5.1.0,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-lb-1",
|
||||||
|
"Names": "chernenko-lab4-lb-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "127.0.0.1",
|
||||||
|
"TargetPort": 8080,
|
||||||
|
"PublishedPort": 18084,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "8 minutes ago",
|
||||||
|
"Service": "lb",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 3 minutes"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"python -m src.stora\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "",
|
||||||
|
"ID": "3202e401b8fd",
|
||||||
|
"Image": "chernenko-lab4-api:local",
|
||||||
|
"Labels": "com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1",
|
||||||
|
"LocalVolumes": "0",
|
||||||
|
"Mounts": "/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-migrate-1",
|
||||||
|
"Names": "chernenko-lab4-migrate-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "migrate",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "exited",
|
||||||
|
"Status": "Exited (0) 2 minutes ago"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "edbbd4f47c8c",
|
||||||
|
"Image": "postgres:17.5-alpine",
|
||||||
|
"Labels": "com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||||
|
"Name": "chernenko-lab4-postgres-1",
|
||||||
|
"Names": "chernenko-lab4-postgres-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "5432/tcp",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [
|
||||||
|
{
|
||||||
|
"URL": "",
|
||||||
|
"TargetPort": 5432,
|
||||||
|
"PublishedPort": 0,
|
||||||
|
"Protocol": "tcp"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"RunningFor": "12 minutes ago",
|
||||||
|
"Service": "postgres",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up About a minute (healthy)"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Command": "\"minio server /data \u2026\"",
|
||||||
|
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||||
|
"ExitCode": 0,
|
||||||
|
"Health": "healthy",
|
||||||
|
"ID": "f9079ac9c968",
|
||||||
|
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||||
|
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
|
||||||
|
"LocalVolumes": "1",
|
||||||
|
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||||
|
"Name": "chernenko-lab4-s3-1",
|
||||||
|
"Names": "chernenko-lab4-s3-1",
|
||||||
|
"Networks": "chernenko-lab4_default",
|
||||||
|
"Ports": "",
|
||||||
|
"Project": "chernenko-lab4",
|
||||||
|
"Publishers": [],
|
||||||
|
"RunningFor": "4 minutes ago",
|
||||||
|
"Service": "s3",
|
||||||
|
"Size": "0B",
|
||||||
|
"State": "running",
|
||||||
|
"Status": "Up 2 minutes (healthy)"
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
CPUs=16 memory_bytes=7950495744 OS=Docker Desktop
|
||||||
@@ -0,0 +1,8 @@
|
|||||||
|
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||||
|
chernenko-lab4-api1-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||||
|
chernenko-lab4-api2-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||||
|
chernenko-lab4-bootstrap-1 chernenko-lab4-mc 2025.04.16 linux/amd64 9cd6b1619c90 25.5MB 13 minutes ago
|
||||||
|
chernenko-lab4-lb-1 haproxy 3.0.11-alpine linux/amd64 e49b7beb96f4 13.6MB 17 months ago
|
||||||
|
chernenko-lab4-migrate-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||||
|
chernenko-lab4-postgres-1 postgres 17.5-alpine linux/amd64 6567bca8d7bc 111MB 17 months ago
|
||||||
|
chernenko-lab4-s3-1 chernenko-lab4-minio 2025.04.22 linux/amd64 d6e5173cc106 76MB 12 minutes ago
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
{
|
||||||
|
"api1": {
|
||||||
|
"baseline_bytes": 104833024,
|
||||||
|
"sampled_peak_bytes": 156479488,
|
||||||
|
"kernel_lifetime_peak_before_bytes": 163160064,
|
||||||
|
"kernel_lifetime_peak_after_bytes": 163160064,
|
||||||
|
"api_rss_peak_bytes": 138665984,
|
||||||
|
"sample_count": 337,
|
||||||
|
"interval_seconds": 0.02,
|
||||||
|
"elapsed_seconds": 7.063227589999997
|
||||||
|
},
|
||||||
|
"api2": {
|
||||||
|
"baseline_bytes": 124416000,
|
||||||
|
"sampled_peak_bytes": 184819712,
|
||||||
|
"kernel_lifetime_peak_before_bytes": 158715904,
|
||||||
|
"kernel_lifetime_peak_after_bytes": 185077760,
|
||||||
|
"api_rss_peak_bytes": 161771520,
|
||||||
|
"sample_count": 352,
|
||||||
|
"interval_seconds": 0.02,
|
||||||
|
"elapsed_seconds": 7.281432108999979
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,110 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"elapsed": 1.166,
|
||||||
|
"replicas": [
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "19.87%",
|
||||||
|
"Container": "chernenko-lab4-api1-1",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"MemPerc": "22.66%",
|
||||||
|
"MemUsage": "116MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"NetIO": "3.02MB / 2.87MB",
|
||||||
|
"PIDs": "5"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "19.56%",
|
||||||
|
"Container": "chernenko-lab4-api2-1",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"MemPerc": "26.86%",
|
||||||
|
"MemUsage": "137.5MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"NetIO": "1.31MB / 1.56MB",
|
||||||
|
"PIDs": "5"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"elapsed": 3.227,
|
||||||
|
"replicas": [
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "47.58%",
|
||||||
|
"Container": "chernenko-lab4-api1-1",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"MemPerc": "27.55%",
|
||||||
|
"MemUsage": "141MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"NetIO": "40.8MB / 15.7MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "56.44%",
|
||||||
|
"Container": "chernenko-lab4-api2-1",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"MemPerc": "31.94%",
|
||||||
|
"MemUsage": "163.5MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"NetIO": "48.6MB / 23.4MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"elapsed": 5.284,
|
||||||
|
"replicas": [
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "76.51%",
|
||||||
|
"Container": "chernenko-lab4-api1-1",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"MemPerc": "23.07%",
|
||||||
|
"MemUsage": "118.1MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"NetIO": "114MB / 113MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "78.48%",
|
||||||
|
"Container": "chernenko-lab4-api2-1",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"MemPerc": "29.24%",
|
||||||
|
"MemUsage": "149.7MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"NetIO": "122MB / 111MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"elapsed": 7.294,
|
||||||
|
"replicas": [
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "3.86%",
|
||||||
|
"Container": "chernenko-lab4-api1-1",
|
||||||
|
"ID": "e94c185c04f1",
|
||||||
|
"MemPerc": "23.10%",
|
||||||
|
"MemUsage": "118.3MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api1-1",
|
||||||
|
"NetIO": "162MB / 162MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"BlockIO": "0B / 0B",
|
||||||
|
"CPUPerc": "9.13%",
|
||||||
|
"Container": "chernenko-lab4-api2-1",
|
||||||
|
"ID": "c17142b64593",
|
||||||
|
"MemPerc": "27.36%",
|
||||||
|
"MemUsage": "140.1MiB / 512MiB",
|
||||||
|
"Name": "chernenko-lab4-api2-1",
|
||||||
|
"NetIO": "171MB / 170MB",
|
||||||
|
"PIDs": "6"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
{
|
||||||
|
"lab": 4,
|
||||||
|
"workload": "closed-loop POST messages; no automatic retries",
|
||||||
|
"requested_duration_seconds": 30.0,
|
||||||
|
"elapsed_seconds": 30.273,
|
||||||
|
"concurrency": 4,
|
||||||
|
"successful_requests": 2207,
|
||||||
|
"failed_requests": 0,
|
||||||
|
"error_ratio": 0.0,
|
||||||
|
"successful_rps": 72.903,
|
||||||
|
"successful_latency_ms": {
|
||||||
|
"p50": 49.708,
|
||||||
|
"p95": 79.677,
|
||||||
|
"p99": 106.861
|
||||||
|
},
|
||||||
|
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||||
|
}
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
{
|
||||||
|
"lab": 4,
|
||||||
|
"workload": "closed-loop POST messages; no automatic retries",
|
||||||
|
"requested_duration_seconds": 30.0,
|
||||||
|
"elapsed_seconds": 30.273,
|
||||||
|
"concurrency": 4,
|
||||||
|
"successful_requests": 2207,
|
||||||
|
"failed_requests": 0,
|
||||||
|
"error_ratio": 0.0,
|
||||||
|
"successful_rps": 72.903,
|
||||||
|
"successful_latency_ms": {
|
||||||
|
"p50": 49.708,
|
||||||
|
"p95": 79.677,
|
||||||
|
"p99": 106.861
|
||||||
|
},
|
||||||
|
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||||
|
}
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||||
|
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
{"result": "PASS", "dependency": "postgres", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
|
||||||
@@ -0,0 +1,41 @@
|
|||||||
|
annotated-types==0.8.0
|
||||||
|
anyio==4.16.0
|
||||||
|
argon2-cffi==23.1.0
|
||||||
|
argon2-cffi-bindings==26.1.0
|
||||||
|
attrs==26.1.0
|
||||||
|
boto3==1.38.23
|
||||||
|
botocore==1.38.46
|
||||||
|
certifi==2026.10.23
|
||||||
|
cffi==2.1.1
|
||||||
|
charset-normalizer==3.5.2
|
||||||
|
click==8.5.0
|
||||||
|
fastapi==0.115.12
|
||||||
|
h11==0.16.0
|
||||||
|
idna==3.20
|
||||||
|
jmespath==1.1.0
|
||||||
|
jsonschema==4.23.0
|
||||||
|
jsonschema-path==0.3.4
|
||||||
|
jsonschema-specifications==2025.9.1
|
||||||
|
lazy-object-proxy==1.13.0
|
||||||
|
openapi-schema-validator==0.6.3
|
||||||
|
openapi-spec-validator==0.7.2
|
||||||
|
pathable==0.4.4
|
||||||
|
pillow==11.2.1
|
||||||
|
psycopg==3.2.9
|
||||||
|
psycopg-binary==3.2.9
|
||||||
|
pycparser==3.12
|
||||||
|
pydantic==2.14.3
|
||||||
|
pydantic_core==2.50.4
|
||||||
|
python-dateutil==2.9.0.post0
|
||||||
|
PyYAML==6.0.3
|
||||||
|
referencing==0.36.2
|
||||||
|
requests==2.34.2
|
||||||
|
rfc3339-validator==0.1.4
|
||||||
|
rpds-py==2026.9.1
|
||||||
|
s3transfer==0.13.1
|
||||||
|
six==1.17.0
|
||||||
|
starlette==0.46.2
|
||||||
|
typing-inspection==0.4.5
|
||||||
|
typing_extensions==4.16.0
|
||||||
|
urllib3==2.8.0
|
||||||
|
uvicorn==0.34.2
|
||||||
@@ -0,0 +1,12 @@
|
|||||||
|
[
|
||||||
|
{
|
||||||
|
"stopped": "api1",
|
||||||
|
"served_by": "api2",
|
||||||
|
"checksum_equal": true
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"stopped": "api2",
|
||||||
|
"served_by": "api1",
|
||||||
|
"checksum_equal": true
|
||||||
|
}
|
||||||
|
]
|
||||||
@@ -0,0 +1,108 @@
|
|||||||
|
{
|
||||||
|
"result": "PASS",
|
||||||
|
"early": {
|
||||||
|
"mode": "apply",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 79,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 1,
|
||||||
|
"orphan": [],
|
||||||
|
"missing": [
|
||||||
|
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||||
|
],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.046923
|
||||||
|
},
|
||||||
|
"dry_run": {
|
||||||
|
"mode": "dry-run",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 80,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 2,
|
||||||
|
"orphan": [
|
||||||
|
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
|
||||||
|
],
|
||||||
|
"missing": [
|
||||||
|
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||||
|
],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.042767
|
||||||
|
},
|
||||||
|
"apply": {
|
||||||
|
"mode": "apply",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 80,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 2,
|
||||||
|
"orphan": [
|
||||||
|
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
|
||||||
|
],
|
||||||
|
"missing": [
|
||||||
|
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||||
|
],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.044078
|
||||||
|
},
|
||||||
|
"repeat": {
|
||||||
|
"mode": "apply",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 79,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 1,
|
||||||
|
"orphan": [],
|
||||||
|
"missing": [
|
||||||
|
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||||
|
],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.061837
|
||||||
|
},
|
||||||
|
"wrong_backup": {
|
||||||
|
"mode": "apply",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 80,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 0,
|
||||||
|
"orphan": [],
|
||||||
|
"missing": [],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.069966
|
||||||
|
},
|
||||||
|
"restore": {
|
||||||
|
"mode": "apply",
|
||||||
|
"grace_seconds": 60,
|
||||||
|
"scanned_objects": 80,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 1,
|
||||||
|
"head_requests": 0,
|
||||||
|
"orphan": [],
|
||||||
|
"missing": [],
|
||||||
|
"repaired": [
|
||||||
|
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||||
|
],
|
||||||
|
"fresh_skipped": 1,
|
||||||
|
"elapsed_seconds": 0.04326
|
||||||
|
},
|
||||||
|
"scale": {
|
||||||
|
"mode": "dry-run",
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"scanned_objects": 1085,
|
||||||
|
"scanned_metadata": 79,
|
||||||
|
"list_requests": 2,
|
||||||
|
"head_requests": 0,
|
||||||
|
"orphan": [],
|
||||||
|
"missing": [],
|
||||||
|
"repaired": [],
|
||||||
|
"fresh_skipped": 1006,
|
||||||
|
"elapsed_seconds": 0.135529
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
{"result": "PASS", "dependency": "s3", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
PASS: S3 down: ready=503, live=200
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
python tests/smoke.py --base-url "http://lb:8080"
|
||||||
|
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||||
@@ -0,0 +1,80 @@
|
|||||||
|
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Creating
|
||||||
|
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Created
|
||||||
|
{
|
||||||
|
"result": "PASS",
|
||||||
|
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
|
||||||
|
"results": [
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 1,
|
||||||
|
"duration_seconds": 0.3228425799998149,
|
||||||
|
"successful_rps": 30.97484848499765,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.23937289499997405,
|
||||||
|
"p95_seconds": 0.3116505430000416,
|
||||||
|
"p99_seconds": 0.3116505430000416
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 2,
|
||||||
|
"duration_seconds": 0.28736012400008804,
|
||||||
|
"successful_rps": 34.7995395491858,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.21971024050003507,
|
||||||
|
"p95_seconds": 0.280770332999964,
|
||||||
|
"p99_seconds": 0.280770332999964
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 3,
|
||||||
|
"duration_seconds": 0.4273819759998787,
|
||||||
|
"successful_rps": 23.398272649670275,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.35630944649994944,
|
||||||
|
"p95_seconds": 0.41798241600008623,
|
||||||
|
"p99_seconds": 0.41798241600008623
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 1,
|
||||||
|
"duration_seconds": 1.414869691999911,
|
||||||
|
"successful_rps": 7.067788685094421,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.9954542405000666,
|
||||||
|
"p95_seconds": 1.4035137710000072,
|
||||||
|
"p99_seconds": 1.4035137710000072
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 2,
|
||||||
|
"duration_seconds": 1.0182373059999463,
|
||||||
|
"successful_rps": 9.820893362554257,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.743775241499975,
|
||||||
|
"p95_seconds": 1.0071358039999723,
|
||||||
|
"p99_seconds": 1.0071358039999723
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 3,
|
||||||
|
"duration_seconds": 1.0615374129999964,
|
||||||
|
"successful_rps": 9.420299160007122,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.6756271810000953,
|
||||||
|
"p95_seconds": 1.0547382820000166,
|
||||||
|
"p99_seconds": 1.0547382820000166
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,78 @@
|
|||||||
|
{
|
||||||
|
"result": "PASS",
|
||||||
|
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
|
||||||
|
"results": [
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 1,
|
||||||
|
"duration_seconds": 0.3228425799998149,
|
||||||
|
"successful_rps": 30.97484848499765,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.23937289499997405,
|
||||||
|
"p95_seconds": 0.3116505430000416,
|
||||||
|
"p99_seconds": 0.3116505430000416
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 2,
|
||||||
|
"duration_seconds": 0.28736012400008804,
|
||||||
|
"successful_rps": 34.7995395491858,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.21971024050003507,
|
||||||
|
"p95_seconds": 0.280770332999964,
|
||||||
|
"p99_seconds": 0.280770332999964
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 788085,
|
||||||
|
"pixels": 262144,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 3,
|
||||||
|
"duration_seconds": 0.4273819759998787,
|
||||||
|
"successful_rps": 23.398272649670275,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.35630944649994944,
|
||||||
|
"p95_seconds": 0.41798241600008623,
|
||||||
|
"p99_seconds": 0.41798241600008623
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 1,
|
||||||
|
"duration_seconds": 1.414869691999911,
|
||||||
|
"successful_rps": 7.067788685094421,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.9954542405000666,
|
||||||
|
"p95_seconds": 1.4035137710000072,
|
||||||
|
"p99_seconds": 1.4035137710000072
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 2,
|
||||||
|
"duration_seconds": 1.0182373059999463,
|
||||||
|
"successful_rps": 9.820893362554257,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.743775241499975,
|
||||||
|
"p95_seconds": 1.0071358039999723,
|
||||||
|
"p99_seconds": 1.0071358039999723
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"size_bytes": 9734289,
|
||||||
|
"pixels": 3240000,
|
||||||
|
"concurrency": 10,
|
||||||
|
"repeat": 3,
|
||||||
|
"duration_seconds": 1.0615374129999964,
|
||||||
|
"successful_rps": 9.420299160007122,
|
||||||
|
"errors": 0,
|
||||||
|
"p50_seconds": 0.6756271810000953,
|
||||||
|
"p95_seconds": 1.0547382820000166,
|
||||||
|
"p99_seconds": 1.0547382820000166
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
FROM golang:1.24.2-alpine AS build
|
||||||
|
RUN apk add --no-cache git
|
||||||
|
RUN go install github.com/minio/mc@RELEASE.2025-04-16T18-13-26Z
|
||||||
|
FROM alpine:3.21.3
|
||||||
|
RUN apk add --no-cache ca-certificates
|
||||||
|
COPY --from=build /go/bin/mc /usr/local/bin/mc
|
||||||
|
ENTRYPOINT ["mc"]
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
FROM golang:1.24.2-alpine AS build
|
||||||
|
RUN apk add --no-cache git
|
||||||
|
RUN go install github.com/minio/minio@RELEASE.2025-04-22T22-12-26Z
|
||||||
|
FROM alpine:3.21.3
|
||||||
|
RUN apk add --no-cache ca-certificates curl
|
||||||
|
COPY --from=build /go/bin/minio /usr/local/bin/minio
|
||||||
|
ENTRYPOINT ["minio"]
|
||||||
Executable
+9
@@ -0,0 +1,9 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
mc alias set local http://s3:9000 "$(cat /run/secrets/minio_root_user)" "$(cat /run/secrets/minio_root_password)" >/dev/null
|
||||||
|
mc mb --ignore-existing local/messenger-attachments >/dev/null
|
||||||
|
mc anonymous set none local/messenger-attachments >/dev/null
|
||||||
|
mc admin user add local "$(cat /run/secrets/s3_access_key_id)" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null
|
||||||
|
mc admin policy create local messenger /config/s3-policy.json >/dev/null
|
||||||
|
mc admin policy attach local messenger --user "$(cat /run/secrets/s3_access_key_id)" >/dev/null
|
||||||
|
echo 'Private bucket and scoped application user ready'
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
global
|
||||||
|
maxconn 128
|
||||||
|
defaults
|
||||||
|
mode http
|
||||||
|
timeout connect 2s
|
||||||
|
timeout client 30s
|
||||||
|
timeout server 30s
|
||||||
|
frontend public
|
||||||
|
bind :8080
|
||||||
|
default_backend api
|
||||||
|
backend api
|
||||||
|
balance roundrobin
|
||||||
|
option httpchk GET /health/ready
|
||||||
|
http-check expect status 200
|
||||||
|
default-server inter 1s fall 2 rise 1
|
||||||
|
server api1 api1:8080 check
|
||||||
|
server api2 api2:8080 check
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/originals/*"]}]}
|
||||||
@@ -0,0 +1,27 @@
|
|||||||
|
CREATE TABLE IF NOT EXISTS users (
|
||||||
|
id uuid PRIMARY KEY, username text UNIQUE NOT NULL, display_name text NOT NULL,
|
||||||
|
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||||
|
CREATE TABLE IF NOT EXISTS sessions (
|
||||||
|
token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users(id), expires_at timestamptz NOT NULL);
|
||||||
|
CREATE TABLE IF NOT EXISTS chats (
|
||||||
|
id uuid PRIMARY KEY, title text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||||
|
CREATE TABLE IF NOT EXISTS members (
|
||||||
|
chat_id uuid REFERENCES chats(id), user_id uuid REFERENCES users(id), PRIMARY KEY(chat_id,user_id));
|
||||||
|
CREATE TABLE IF NOT EXISTS attachments (
|
||||||
|
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), owner_id uuid NOT NULL REFERENCES users(id),
|
||||||
|
object_key text UNIQUE NOT NULL, filename text NOT NULL, content_type text NOT NULL,
|
||||||
|
size_bytes integer NOT NULL, sha256 text NOT NULL, width integer NOT NULL, height integer NOT NULL,
|
||||||
|
status text NOT NULL CHECK(status IN ('ready','failed')), error_code text,
|
||||||
|
created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||||
|
CREATE TABLE IF NOT EXISTS messages (
|
||||||
|
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), sender_id uuid NOT NULL REFERENCES users(id),
|
||||||
|
text text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||||
|
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,created_at,id);
|
||||||
|
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||||
|
message_id uuid REFERENCES messages(id), attachment_id uuid REFERENCES attachments(id),
|
||||||
|
position integer NOT NULL, PRIMARY KEY(message_id,attachment_id));
|
||||||
|
CREATE TABLE IF NOT EXISTS idempotency (
|
||||||
|
user_id uuid REFERENCES users(id), chat_id uuid REFERENCES chats(id), key text,
|
||||||
|
body_hash text NOT NULL, message_id uuid NOT NULL REFERENCES messages(id),
|
||||||
|
expires_at timestamptz NOT NULL, PRIMARY KEY(user_id,chat_id,key));
|
||||||
|
ALTER TABLE attachments ADD COLUMN IF NOT EXISTS updated_at timestamptz NOT NULL DEFAULT clock_timestamp();
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
fastapi==0.115.12
|
||||||
|
uvicorn==0.34.2
|
||||||
|
psycopg[binary]==3.2.9
|
||||||
|
boto3==1.38.23
|
||||||
|
Pillow==11.2.1
|
||||||
|
argon2-cffi==23.1.0
|
||||||
|
jsonschema==4.23.0
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
@echo off
|
||||||
|
cd /d "%~dp0.."
|
||||||
|
docker compose restart postgres s3 api1 api2 lb
|
||||||
Executable
+4
@@ -0,0 +1,4 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
docker compose restart postgres s3 api1 api2 lb
|
||||||
@@ -0,0 +1,174 @@
|
|||||||
|
"""Reproduce evidence on a LOCAL synthetic Compose stand, Python 3.9+ and Docker.
|
||||||
|
|
||||||
|
No secrets in summaries. Fails immediately on a broken check; restores stopped services.
|
||||||
|
"""
|
||||||
|
import concurrent.futures
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
import threading
|
||||||
|
import time
|
||||||
|
import urllib.error
|
||||||
|
import urllib.request
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
OUT = ROOT/'evidence'
|
||||||
|
OUT.mkdir(exist_ok=True)
|
||||||
|
os.chdir(ROOT)
|
||||||
|
os.environ['PYTHONUTF8'] = '1'
|
||||||
|
|
||||||
|
|
||||||
|
def command(args, file=None):
|
||||||
|
result = subprocess.run(args,stdout=subprocess.PIPE,stderr=subprocess.PIPE,
|
||||||
|
text=True,encoding='utf-8',errors='replace')
|
||||||
|
if file:
|
||||||
|
(OUT/file).write_text(result.stdout,encoding='utf-8')
|
||||||
|
if result.returncode:
|
||||||
|
print(result.stdout+result.stderr)
|
||||||
|
raise RuntimeError('Command failed: '+' '.join(args[:5]))
|
||||||
|
return result.stdout
|
||||||
|
|
||||||
|
|
||||||
|
def ready():
|
||||||
|
for _ in range(90):
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(os.environ['BASE_URL']+'/health/ready',timeout=3) as r:
|
||||||
|
if r.status==200:
|
||||||
|
return
|
||||||
|
except (OSError,urllib.error.URLError):
|
||||||
|
pass
|
||||||
|
time.sleep(1)
|
||||||
|
raise RuntimeError('Readiness deadline')
|
||||||
|
|
||||||
|
|
||||||
|
def snapshot(name):
|
||||||
|
# No environment/inspect Config: Docker environments can contain secrets.
|
||||||
|
data = command(['docker','compose','ps','--all','--format','json'])
|
||||||
|
# Compose emits JSON Lines; evidence files must be valid standalone JSON.
|
||||||
|
try:
|
||||||
|
parsed = json.loads(data)
|
||||||
|
rows = parsed if isinstance(parsed,list) else [parsed]
|
||||||
|
except json.JSONDecodeError:
|
||||||
|
rows = [json.loads(line) for line in data.splitlines() if line.strip()]
|
||||||
|
(OUT/name).write_text(json.dumps(rows,indent=2),encoding='utf-8')
|
||||||
|
starts = command(['docker','inspect','--format',
|
||||||
|
'{{.Name}} {{.State.StartedAt}}',
|
||||||
|
'chernenko-lab4-postgres-1','chernenko-lab4-s3-1',
|
||||||
|
'chernenko-lab4-api1-1','chernenko-lab4-api2-1','chernenko-lab4-lb-1'])
|
||||||
|
(OUT/(Path(name).stem+'-started.txt')).write_text(starts,encoding='utf-8')
|
||||||
|
|
||||||
|
|
||||||
|
def execute_inside(script,filename):
|
||||||
|
return command(['docker','compose','exec','-T','api1','python',script],filename)
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
command(['docker','compose','config','--quiet'],'compose-config.txt')
|
||||||
|
(OUT/'compose-config.txt').write_text('PASS: docker compose config --quiet (exit 0)\n',encoding='utf-8')
|
||||||
|
address = command(['docker','compose','port','lb','8080']).strip()
|
||||||
|
os.environ['BASE_URL'] = 'http://'+address
|
||||||
|
command(['docker','compose','exec','-T','api1','make','check','validate','PYTHON=python'],'check-validate.txt')
|
||||||
|
ready()
|
||||||
|
command(['docker','compose','exec','-T','api1','make','test','PYTHON=python','BASE_URL=http://lb:8080'],'smoke.txt')
|
||||||
|
execute_inside('student-tests/acceptance.py','acceptance.json')
|
||||||
|
snapshot('before-restart.json')
|
||||||
|
hook = 'scripts/restart.cmd' if os.name=='nt' else 'scripts/restart.sh'
|
||||||
|
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','persistence',
|
||||||
|
'--action-script',hook],'persistence.txt')
|
||||||
|
snapshot('after-restart.json')
|
||||||
|
# Both failure directions deterministically, including bytes and existing session.
|
||||||
|
sys.path.insert(0,str(ROOT/'tests'))
|
||||||
|
from client import Client, check
|
||||||
|
c = Client(timeout=20)
|
||||||
|
a,b,e,ch = c.bootstrap()
|
||||||
|
att,raw = c.attachment(a,ch)
|
||||||
|
c.message(a,ch,'survives',attachments=[att['id']])
|
||||||
|
outages = []
|
||||||
|
for target in ('api1','api2'):
|
||||||
|
command(['docker','compose','stop',target])
|
||||||
|
try:
|
||||||
|
time.sleep(3)
|
||||||
|
result = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)
|
||||||
|
check(result['bytes']==raw,'failover changed bytes')
|
||||||
|
check(result['headers']['X-Instance-Id']!=target,'stopped replica served response')
|
||||||
|
c.message(a,ch,'after '+target)
|
||||||
|
outages.append(dict(stopped=target,served_by=result['headers']['X-Instance-Id'],checksum_equal=True))
|
||||||
|
finally:
|
||||||
|
command(['docker','compose','start',target])
|
||||||
|
time.sleep(4)
|
||||||
|
ready()
|
||||||
|
hook = 'scripts/stop-one.cmd' if os.name=='nt' else 'scripts/stop-one.sh'
|
||||||
|
try:
|
||||||
|
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','failover',
|
||||||
|
'--action-script',hook],'failover.txt')
|
||||||
|
snapshot('after-failover.json')
|
||||||
|
finally:
|
||||||
|
command(['docker','compose','start','api1','api2'])
|
||||||
|
time.sleep(4)
|
||||||
|
ready()
|
||||||
|
# Internal API avoids LB-generated 503 masking application behavior. Sessions
|
||||||
|
# are passed only over stdin, never saved in evidence or process arguments.
|
||||||
|
for dependency in ('s3','postgres'):
|
||||||
|
try:
|
||||||
|
command(['docker','compose','stop',dependency])
|
||||||
|
result = subprocess.run(['docker','compose','exec','-T','api2','python',
|
||||||
|
'student-tests/storage_outage.py',dependency],input=json.dumps(
|
||||||
|
{'actor':{'id':a['id'],'token':a['token']},'chat':ch,'attachment':att}),text=True,encoding='utf-8',
|
||||||
|
stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
|
||||||
|
(OUT/(dependency+'-outage.json')).write_text(result.stdout,encoding='utf-8')
|
||||||
|
if result.returncode:
|
||||||
|
raise RuntimeError(dependency+' outage assertions failed: '+result.stdout)
|
||||||
|
finally:
|
||||||
|
command(['docker','compose','start',dependency])
|
||||||
|
time.sleep(4)
|
||||||
|
ready()
|
||||||
|
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)['bytes']==raw,
|
||||||
|
'storage restart changed original')
|
||||||
|
(OUT/'replica-directions.json').write_text(json.dumps(outages,indent=2),encoding='utf-8')
|
||||||
|
execute_inside('student-tests/research.py','research.json')
|
||||||
|
samples = []
|
||||||
|
done = threading.Event()
|
||||||
|
def sample():
|
||||||
|
while not done.is_set():
|
||||||
|
raw = command(['docker','stats','--no-stream','--format','{{json .}}',
|
||||||
|
'chernenko-lab4-api1-1','chernenko-lab4-api2-1'])
|
||||||
|
samples.append({'elapsed':round(time.monotonic()-start,3),
|
||||||
|
'replicas':[json.loads(x) for x in raw.splitlines() if x.strip()]})
|
||||||
|
done.wait(0.2)
|
||||||
|
start = time.monotonic()
|
||||||
|
thread = threading.Thread(target=sample)
|
||||||
|
thread.start()
|
||||||
|
probes = {service:subprocess.Popen(['docker','compose','exec','-T',service,'python',
|
||||||
|
'student-tests/memory_probe.py'],stdin=subprocess.PIPE,stdout=subprocess.PIPE,
|
||||||
|
stderr=subprocess.PIPE,text=True,encoding='utf-8') for service in ('api1','api2')}
|
||||||
|
try:
|
||||||
|
# Separate generator container: its image generation RAM is not charged
|
||||||
|
# to either measured API replica.
|
||||||
|
command(['docker','compose','run','--rm','--no-deps','migrate','python',
|
||||||
|
'student-tests/upload_load.py'],'uploads.json')
|
||||||
|
finally:
|
||||||
|
done.set()
|
||||||
|
thread.join()
|
||||||
|
(OUT/'memory.json').write_text(json.dumps(samples,indent=2),encoding='utf-8')
|
||||||
|
peaks = {}
|
||||||
|
for service,process in probes.items():
|
||||||
|
output,error = process.communicate(input='done',timeout=10)
|
||||||
|
if process.returncode:
|
||||||
|
raise RuntimeError('Memory probe failed: '+error)
|
||||||
|
peaks[service] = json.loads(output)
|
||||||
|
(OUT/'memory-peaks.json').write_text(json.dumps(peaks,indent=2),encoding='utf-8')
|
||||||
|
command([sys.executable,'-X','utf8','tests/load.py','--duration','30','--concurrency','4',
|
||||||
|
'--output','evidence/messages-load.json'],'messages-load.txt')
|
||||||
|
command(['docker','info','--format','CPUs={{.NCPU}} memory_bytes={{.MemTotal}} OS={{.OperatingSystem}}'],
|
||||||
|
'hardware.txt')
|
||||||
|
command(['docker','compose','images'],'images.txt')
|
||||||
|
command(['docker','compose','exec','-T','api1','python','-m','pip','freeze'],'python-packages.txt')
|
||||||
|
command(['docker','compose','run','--rm','bootstrap'],'bootstrap.txt')
|
||||||
|
snapshot('final-state.json')
|
||||||
|
print('PASS: all lab4 scenarios. Sanitized evidence in evidence/')
|
||||||
|
|
||||||
|
|
||||||
|
if __name__=='__main__':
|
||||||
|
main()
|
||||||
@@ -0,0 +1,30 @@
|
|||||||
|
"""Create LOCAL secrets once; never print their values or overwrite existing state."""
|
||||||
|
from pathlib import Path
|
||||||
|
import secrets
|
||||||
|
|
||||||
|
root = Path(__file__).resolve().parents[1]
|
||||||
|
folder = root/'secrets'
|
||||||
|
folder.mkdir(exist_ok=True)
|
||||||
|
folder.chmod(0o700)
|
||||||
|
password = folder/'postgres_password'
|
||||||
|
if not password.exists():
|
||||||
|
password.write_text(secrets.token_hex(24))
|
||||||
|
values = {
|
||||||
|
'database_url':'postgresql://messenger:'+password.read_text().strip()+'@postgres:5432/messenger',
|
||||||
|
'minio_root_user':'root_'+secrets.token_hex(8),
|
||||||
|
'minio_root_password':secrets.token_hex(24),
|
||||||
|
's3_access_key_id':'app_'+secrets.token_hex(8),
|
||||||
|
's3_secret_access_key':secrets.token_hex(24),
|
||||||
|
}
|
||||||
|
for name,value in values.items():
|
||||||
|
path = folder/name
|
||||||
|
if not path.exists():
|
||||||
|
path.write_text(value)
|
||||||
|
# Parent directory is owner-only; individual secret mounts are readable by
|
||||||
|
# the unprivileged container user even on native Linux bind mounts.
|
||||||
|
path.chmod(0o444)
|
||||||
|
password.chmod(0o444)
|
||||||
|
env = root/'.env'
|
||||||
|
if not env.exists():
|
||||||
|
env.write_text('SESSION_TTL_SECONDS=3600\n')
|
||||||
|
print('Local secrets ready; no values printed')
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
@echo off
|
||||||
|
cd /d "%~dp0.."
|
||||||
|
if "%TARGET_INSTANCE_ID%"=="api1" (docker compose stop -t 1 api1 & exit /b)
|
||||||
|
if "%TARGET_INSTANCE_ID%"=="api2" (docker compose stop -t 1 api2 & exit /b)
|
||||||
|
exit /b 1
|
||||||
Executable
+7
@@ -0,0 +1,7 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
case "${TARGET_INSTANCE_ID:-}" in
|
||||||
|
api1|api2) docker compose stop -t 1 "$TARGET_INSTANCE_ID" ;;
|
||||||
|
*) echo 'Unknown instance alias' >&2; exit 1 ;;
|
||||||
|
esac
|
||||||
+476
@@ -0,0 +1,476 @@
|
|||||||
|
"""Synchronous lab4 contract. Binary reads are bounded, temporary spools are ephemeral."""
|
||||||
|
import asyncio
|
||||||
|
import base64
|
||||||
|
import datetime as dt
|
||||||
|
import hashlib
|
||||||
|
import json
|
||||||
|
import re
|
||||||
|
import secrets
|
||||||
|
import tempfile
|
||||||
|
import unicodedata
|
||||||
|
import uuid
|
||||||
|
|
||||||
|
import psycopg
|
||||||
|
from argon2 import PasswordHasher
|
||||||
|
from argon2.exceptions import VerificationError
|
||||||
|
from botocore.exceptions import BotoCoreError, ClientError
|
||||||
|
from fastapi import FastAPI, Request
|
||||||
|
from fastapi.responses import JSONResponse, Response, StreamingResponse
|
||||||
|
from jsonschema import Draft202012Validator
|
||||||
|
from PIL import Image, UnidentifiedImageError
|
||||||
|
from starlette.concurrency import run_in_threadpool
|
||||||
|
from starlette.exceptions import HTTPException
|
||||||
|
from starlette.requests import ClientDisconnect
|
||||||
|
|
||||||
|
from src.storage import BUCKET, PREFIX, LOCK, db, s3, setting
|
||||||
|
|
||||||
|
INSTANCE = setting('INSTANCE_ID', secrets.token_hex(8))
|
||||||
|
MAX_BYTES = min(int(setting('MAX_UPLOAD_BYTES', '10485760')), 10485760)
|
||||||
|
MAX_PIXELS = min(int(setting('MAX_IMAGE_PIXELS', '40000000')), 40000000)
|
||||||
|
Image.MAX_IMAGE_PIXELS = MAX_PIXELS
|
||||||
|
PH = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
|
||||||
|
DUMMY = PH.hash(secrets.token_hex(16))
|
||||||
|
SCHEMAS = json.load(open('contracts/openapi.json', encoding='utf-8'))['components']['schemas']
|
||||||
|
UPLOAD_SLOTS = asyncio.Semaphore(2)
|
||||||
|
DECODE_SLOT = asyncio.Semaphore(1)
|
||||||
|
ERRORS = {400:'invalid_request',401:'unauthorized',404:'not_found',409:'conflict',
|
||||||
|
413:'payload_too_large',415:'unsupported_media_type',503:'unavailable',500:'internal_error'}
|
||||||
|
|
||||||
|
|
||||||
|
class Problem(Exception):
|
||||||
|
def __init__(self, status):
|
||||||
|
self.status = status
|
||||||
|
|
||||||
|
|
||||||
|
def fail(status):
|
||||||
|
raise Problem(status)
|
||||||
|
|
||||||
|
|
||||||
|
def encode(value):
|
||||||
|
if isinstance(value, (uuid.UUID,)):
|
||||||
|
return str(value)
|
||||||
|
if isinstance(value, dt.datetime):
|
||||||
|
return value.astimezone(dt.timezone.utc).isoformat().replace('+00:00', 'Z')
|
||||||
|
raise TypeError()
|
||||||
|
|
||||||
|
|
||||||
|
def reply(value, status=200):
|
||||||
|
return Response(json.dumps(value, default=encode, ensure_ascii=False), status,
|
||||||
|
media_type='application/json')
|
||||||
|
|
||||||
|
|
||||||
|
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
|
||||||
|
|
||||||
|
|
||||||
|
@app.middleware('http')
|
||||||
|
async def envelope(request, call_next):
|
||||||
|
rid = uuid.uuid4().hex
|
||||||
|
try:
|
||||||
|
response = await call_next(request)
|
||||||
|
except Exception as exc:
|
||||||
|
status = exc.status if isinstance(exc, Problem) else (
|
||||||
|
503 if isinstance(exc, (psycopg.OperationalError, BotoCoreError, ClientError)) else 500)
|
||||||
|
# Never expose SQL, keys, tokens, tracebacks or request bodies.
|
||||||
|
response = JSONResponse({'error':{'code':ERRORS[status],
|
||||||
|
'message':ERRORS[status], 'request_id':rid}}, status_code=status)
|
||||||
|
if status == 401:
|
||||||
|
scheme = 'Basic' if request.url.path == '/api/v1/auth/sessions' else 'Bearer'
|
||||||
|
response.headers['WWW-Authenticate'] = scheme + ' realm="messenger"' + (
|
||||||
|
', charset="UTF-8"' if scheme == 'Basic' else '')
|
||||||
|
response.headers['X-Request-Id'] = rid
|
||||||
|
response.headers['X-Instance-Id'] = INSTANCE
|
||||||
|
return response
|
||||||
|
|
||||||
|
|
||||||
|
@app.exception_handler(HTTPException)
|
||||||
|
async def http_error(request, exc):
|
||||||
|
# Route misses travel through the same error envelope.
|
||||||
|
fail(404 if exc.status_code == 404 else 400)
|
||||||
|
|
||||||
|
|
||||||
|
def uid(value):
|
||||||
|
try:
|
||||||
|
return str(uuid.UUID(value))
|
||||||
|
except (ValueError, TypeError, AttributeError):
|
||||||
|
fail(400)
|
||||||
|
|
||||||
|
|
||||||
|
async def body(request, schema):
|
||||||
|
if request.headers.get('content-type', '').split(';')[0] != 'application/json':
|
||||||
|
fail(400)
|
||||||
|
data = bytearray()
|
||||||
|
async for chunk in request.stream():
|
||||||
|
if len(data) + len(chunk) > 65536:
|
||||||
|
fail(413)
|
||||||
|
data.extend(chunk)
|
||||||
|
try:
|
||||||
|
result = json.loads(data)
|
||||||
|
if not Draft202012Validator(SCHEMAS[schema]).is_valid(result):
|
||||||
|
fail(400)
|
||||||
|
for name in ('display_name', 'title'):
|
||||||
|
if name in result and not result[name].strip():
|
||||||
|
fail(400)
|
||||||
|
if schema == 'CreateUser' and not re.fullmatch('[a-z0-9_]{3,32}',result['username']):
|
||||||
|
fail(400)
|
||||||
|
# Reject unpaired JSON Unicode surrogates before database/UTF-8 encoding.
|
||||||
|
json.dumps(result,ensure_ascii=False).encode('utf-8')
|
||||||
|
return result
|
||||||
|
except (ValueError, UnicodeError):
|
||||||
|
fail(400)
|
||||||
|
|
||||||
|
|
||||||
|
def user_view(row):
|
||||||
|
return {k:row[k] for k in ('id','username','display_name','created_at')}
|
||||||
|
|
||||||
|
|
||||||
|
def actor(c, request):
|
||||||
|
auth = request.headers.get('authorization', '')
|
||||||
|
if not auth.startswith('Bearer ') or not auth[7:]:
|
||||||
|
fail(401)
|
||||||
|
row = c.execute('SELECT u.* FROM users u JOIN sessions s ON s.user_id=u.id '
|
||||||
|
'WHERE s.token_hash=%s AND s.expires_at>clock_timestamp()',
|
||||||
|
(hashlib.sha256(auth[7:].encode()).hexdigest(),)).fetchone()
|
||||||
|
if not row:
|
||||||
|
fail(401)
|
||||||
|
return row
|
||||||
|
|
||||||
|
|
||||||
|
def access(c, chat, user):
|
||||||
|
if not c.execute('SELECT 1 FROM members WHERE chat_id=%s AND user_id=%s',
|
||||||
|
(chat, user['id'])).fetchone():
|
||||||
|
fail(404)
|
||||||
|
|
||||||
|
|
||||||
|
def chat_view(c, row):
|
||||||
|
return {**row, 'member_ids':[r['user_id'] for r in c.execute(
|
||||||
|
'SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id', (row['id'],))]}
|
||||||
|
|
||||||
|
|
||||||
|
def message_view(c, row):
|
||||||
|
return {**row, 'attachment_ids':[r['attachment_id'] for r in c.execute(
|
||||||
|
'SELECT attachment_id FROM message_attachments WHERE message_id=%s ORDER BY position', (row['id'],))]}
|
||||||
|
|
||||||
|
|
||||||
|
def attachment_view(row):
|
||||||
|
if row['status'] != 'ready':
|
||||||
|
fail(409)
|
||||||
|
return {**{k:v for k,v in row.items() if k not in ('object_key','width','height')},
|
||||||
|
'variants':[]}
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/health/live')
|
||||||
|
def live():
|
||||||
|
return reply({'status':'ok'})
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/health/ready')
|
||||||
|
def ready():
|
||||||
|
with db() as c:
|
||||||
|
c.execute('SELECT 1')
|
||||||
|
s3().head_bucket(Bucket=BUCKET)
|
||||||
|
return reply({'status':'ok'})
|
||||||
|
|
||||||
|
|
||||||
|
@app.post('/api/v1/users')
|
||||||
|
async def register(request: Request):
|
||||||
|
data = await body(request, 'CreateUser')
|
||||||
|
def save():
|
||||||
|
with db() as c:
|
||||||
|
try:
|
||||||
|
row = c.execute('INSERT INTO users(id,username,display_name,password_hash) '
|
||||||
|
'VALUES (%s,%s,%s,%s) RETURNING *',
|
||||||
|
(uuid.uuid4(), data['username'],data['display_name'],PH.hash(data['password']))).fetchone()
|
||||||
|
except psycopg.errors.UniqueViolation:
|
||||||
|
fail(409)
|
||||||
|
return reply(user_view(row),201)
|
||||||
|
return await run_in_threadpool(save)
|
||||||
|
|
||||||
|
|
||||||
|
@app.post('/api/v1/auth/sessions')
|
||||||
|
async def login(request: Request):
|
||||||
|
async for chunk in request.stream():
|
||||||
|
if chunk:
|
||||||
|
fail(400)
|
||||||
|
try:
|
||||||
|
scheme, credential = request.headers.get('authorization','').split(' ',1)
|
||||||
|
if scheme != 'Basic':
|
||||||
|
fail(401)
|
||||||
|
name, password = base64.b64decode(credential,validate=True).decode('utf-8').split(':',1)
|
||||||
|
if not re.fullmatch('[a-z0-9_]{3,32}',name) or not 12 <= len(password) <= 128:
|
||||||
|
fail(401)
|
||||||
|
except (ValueError, UnicodeError):
|
||||||
|
fail(401)
|
||||||
|
def create():
|
||||||
|
with db() as c:
|
||||||
|
row = c.execute('SELECT * FROM users WHERE username=%s',(name,)).fetchone()
|
||||||
|
try:
|
||||||
|
PH.verify(row['password_hash'] if row else DUMMY,password)
|
||||||
|
except VerificationError:
|
||||||
|
fail(401)
|
||||||
|
if not row:
|
||||||
|
fail(401)
|
||||||
|
token = secrets.token_urlsafe(32)
|
||||||
|
expiry = c.execute('INSERT INTO sessions VALUES (%s,%s,clock_timestamp()+%s*interval \'1 second\') '
|
||||||
|
'RETURNING expires_at',(hashlib.sha256(token.encode()).hexdigest(),row['id'],
|
||||||
|
int(setting('SESSION_TTL_SECONDS','3600')))).fetchone()['expires_at']
|
||||||
|
return reply({'token':token,'token_type':'Bearer','expires_at':expiry,'user':user_view(row)},201)
|
||||||
|
return await run_in_threadpool(create)
|
||||||
|
|
||||||
|
|
||||||
|
@app.delete('/api/v1/auth/sessions/current')
|
||||||
|
def logout(request: Request):
|
||||||
|
with db() as c:
|
||||||
|
actor(c,request)
|
||||||
|
c.execute('DELETE FROM sessions WHERE token_hash=%s',
|
||||||
|
(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
|
||||||
|
return Response(status_code=204)
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/users/me')
|
||||||
|
def me(request: Request):
|
||||||
|
with db() as c:
|
||||||
|
return reply(user_view(actor(c,request)))
|
||||||
|
|
||||||
|
|
||||||
|
@app.post('/api/v1/chats')
|
||||||
|
async def create_chat(request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
data = await body(request,'CreateChat')
|
||||||
|
ids = [uid(i) for i in data['member_ids']]
|
||||||
|
if len(set(ids)) != len(ids) or str(user['id']) not in ids:
|
||||||
|
fail(400)
|
||||||
|
def save():
|
||||||
|
with db() as c:
|
||||||
|
if c.execute('SELECT count(*) n FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchone()['n'] != len(ids):
|
||||||
|
fail(400)
|
||||||
|
row = c.execute('INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING *',
|
||||||
|
(uuid.uuid4(),data['title'])).fetchone()
|
||||||
|
for i in ids:
|
||||||
|
c.execute('INSERT INTO members VALUES (%s,%s)',(row['id'],i))
|
||||||
|
result = chat_view(c,row)
|
||||||
|
return reply(result,201)
|
||||||
|
return await run_in_threadpool(save)
|
||||||
|
|
||||||
|
|
||||||
|
def page_args(request, resource):
|
||||||
|
limit = request.query_params.get('limit','50')
|
||||||
|
if not re.fullmatch('[0-9]+',limit) or not 1 <= int(limit) <= 100:
|
||||||
|
fail(400)
|
||||||
|
cursor = request.query_params.get('cursor')
|
||||||
|
point = None
|
||||||
|
if cursor is not None:
|
||||||
|
try:
|
||||||
|
scope, stamp, ident = json.loads(base64.b64decode(cursor,altchars=b'-_',validate=True))
|
||||||
|
if scope != resource:
|
||||||
|
fail(400)
|
||||||
|
point = (dt.datetime.fromisoformat(stamp.replace('Z','+00:00')), uid(ident))
|
||||||
|
if point[0].tzinfo is None:
|
||||||
|
fail(400)
|
||||||
|
except (ValueError,TypeError,UnicodeError):
|
||||||
|
fail(400)
|
||||||
|
return int(limit), point
|
||||||
|
|
||||||
|
|
||||||
|
def page(rows, limit, resource, view):
|
||||||
|
more = len(rows)>limit
|
||||||
|
rows = rows[:limit]
|
||||||
|
cursor = base64.urlsafe_b64encode(json.dumps([resource,encode(rows[-1]['created_at']),
|
||||||
|
str(rows[-1]['id'])]).encode()).decode() if more else None
|
||||||
|
return reply({'items':[view(r) for r in rows],'next_cursor':cursor})
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/chats')
|
||||||
|
def chats(request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
resource = 'chats:'+str(user['id'])
|
||||||
|
limit, point = page_args(request,resource)
|
||||||
|
rows = c.execute('SELECT ch.* FROM chats ch JOIN members m ON m.chat_id=ch.id '
|
||||||
|
'WHERE m.user_id=%s '+('AND (ch.created_at,ch.id)>(%s,%s::uuid) ' if point else '')+
|
||||||
|
'ORDER BY ch.created_at,ch.id LIMIT %s',(user['id'],*(point or ()),limit+1)).fetchall()
|
||||||
|
return page(rows,limit,resource,lambda row:chat_view(c,row))
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/chats/{chat_id}')
|
||||||
|
def get_chat(chat_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
chat = uid(chat_id)
|
||||||
|
access(c,chat,user)
|
||||||
|
return reply(chat_view(c,c.execute('SELECT * FROM chats WHERE id=%s',(chat,)).fetchone()))
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/chats/{chat_id}/messages')
|
||||||
|
def history(chat_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
chat = uid(chat_id)
|
||||||
|
access(c,chat,user)
|
||||||
|
limit, point = page_args(request,chat)
|
||||||
|
rows = c.execute('SELECT * FROM messages WHERE chat_id=%s '+
|
||||||
|
('AND (created_at,id)>(%s,%s::uuid) ' if point else '')+
|
||||||
|
'ORDER BY created_at,id LIMIT %s',(chat,*(point or ()),limit+1)).fetchall()
|
||||||
|
return page(rows,limit,chat,lambda row:message_view(c,row))
|
||||||
|
|
||||||
|
|
||||||
|
@app.post('/api/v1/chats/{chat_id}/messages')
|
||||||
|
async def send(chat_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
chat = uid(chat_id)
|
||||||
|
access(c,chat,user)
|
||||||
|
data = await body(request,'CreateMessage')
|
||||||
|
ids = [uid(i) for i in data.get('attachment_ids',[])]
|
||||||
|
if not data['text'].strip() and not ids:
|
||||||
|
fail(400)
|
||||||
|
if len(set(ids)) != len(ids):
|
||||||
|
fail(400)
|
||||||
|
key = request.headers.get('idempotency-key','')
|
||||||
|
if not re.fullmatch('[A-Za-z0-9._:-]{1,128}',key):
|
||||||
|
fail(400)
|
||||||
|
digest = hashlib.sha256(json.dumps({'text':data['text'],'attachment_ids':ids},sort_keys=True).encode()).hexdigest()
|
||||||
|
def save():
|
||||||
|
with db() as c:
|
||||||
|
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
|
||||||
|
# Serialize equal keys across all API processes before checking/creating.
|
||||||
|
c.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',
|
||||||
|
(str(user['id'])+chat+':'+key,))
|
||||||
|
old = c.execute('SELECT * FROM idempotency WHERE user_id=%s AND chat_id=%s AND key=%s '
|
||||||
|
'AND expires_at>clock_timestamp()',(user['id'],chat,key)).fetchone()
|
||||||
|
if old:
|
||||||
|
if old['body_hash'] != digest:
|
||||||
|
fail(409)
|
||||||
|
return reply(message_view(c,c.execute('SELECT * FROM messages WHERE id=%s',
|
||||||
|
(old['message_id'],)).fetchone()),201)
|
||||||
|
for ident in ids:
|
||||||
|
att = c.execute('SELECT * FROM attachments WHERE id=%s AND chat_id=%s',(ident,chat)).fetchone()
|
||||||
|
if not att:
|
||||||
|
fail(404)
|
||||||
|
if att['status'] != 'ready':
|
||||||
|
fail(409)
|
||||||
|
row = c.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *',
|
||||||
|
(uuid.uuid4(),chat,user['id'],data['text'])).fetchone()
|
||||||
|
for n, ident in enumerate(ids):
|
||||||
|
c.execute('INSERT INTO message_attachments VALUES (%s,%s,%s)',(row['id'],ident,n))
|
||||||
|
c.execute('INSERT INTO idempotency VALUES (%s,%s,%s,%s,%s,clock_timestamp()+interval \'24 hours\') '
|
||||||
|
'ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body_hash=excluded.body_hash, '
|
||||||
|
'message_id=excluded.message_id,expires_at=excluded.expires_at',
|
||||||
|
(user['id'],chat,key,digest,row['id']))
|
||||||
|
result = message_view(c,row)
|
||||||
|
return reply(result,201)
|
||||||
|
return await run_in_threadpool(save)
|
||||||
|
|
||||||
|
|
||||||
|
def validate_image(spool, mime):
|
||||||
|
try:
|
||||||
|
image = Image.open(spool)
|
||||||
|
width,height = image.size
|
||||||
|
if width*height > MAX_PIXELS:
|
||||||
|
fail(413)
|
||||||
|
actual = {'PNG':'image/png','JPEG':'image/jpeg'}.get(image.format)
|
||||||
|
if actual != mime:
|
||||||
|
fail(415)
|
||||||
|
image.verify()
|
||||||
|
spool.seek(0)
|
||||||
|
with Image.open(spool) as decoded:
|
||||||
|
decoded.load() # reject truncated JPEG/PNG, after dimension check
|
||||||
|
spool.seek(0)
|
||||||
|
return width,height
|
||||||
|
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
|
||||||
|
fail(413)
|
||||||
|
except (UnidentifiedImageError, OSError, ValueError, SyntaxError):
|
||||||
|
fail(415)
|
||||||
|
|
||||||
|
|
||||||
|
@app.post('/api/v1/chats/{chat_id}/attachments')
|
||||||
|
async def upload(chat_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
user = actor(c,request)
|
||||||
|
chat = uid(chat_id)
|
||||||
|
access(c,chat,user)
|
||||||
|
filename = request.query_params.get('filename','')
|
||||||
|
if not 1 <= len(filename) <= 255 or any(x in '/\\' or unicodedata.category(x) in ('Cc','Cs') for x in filename):
|
||||||
|
fail(400)
|
||||||
|
mime = request.headers.get('content-type','')
|
||||||
|
if mime not in ('image/png','image/jpeg'):
|
||||||
|
fail(415)
|
||||||
|
length = request.headers.get('content-length')
|
||||||
|
if length and (not length.isdecimal() or int(length)>MAX_BYTES):
|
||||||
|
fail(413 if length.isdecimal() else 400)
|
||||||
|
try:
|
||||||
|
await asyncio.wait_for(UPLOAD_SLOTS.acquire(),timeout=15)
|
||||||
|
except asyncio.TimeoutError:
|
||||||
|
fail(503)
|
||||||
|
try:
|
||||||
|
with tempfile.SpooledTemporaryFile(max_size=262144) as spool:
|
||||||
|
size = 0
|
||||||
|
digest = hashlib.sha256()
|
||||||
|
try:
|
||||||
|
async with asyncio.timeout(20):
|
||||||
|
async for chunk in request.stream():
|
||||||
|
size += len(chunk)
|
||||||
|
if size>MAX_BYTES:
|
||||||
|
fail(413)
|
||||||
|
spool.write(chunk)
|
||||||
|
digest.update(chunk)
|
||||||
|
except (TimeoutError,ClientDisconnect):
|
||||||
|
fail(400)
|
||||||
|
async with DECODE_SLOT:
|
||||||
|
spool.seek(0)
|
||||||
|
width,height = await run_in_threadpool(validate_image,spool,mime)
|
||||||
|
def save():
|
||||||
|
ident = uuid.uuid4()
|
||||||
|
key = PREFIX+str(ident)
|
||||||
|
# Hold shared advisory lock until COMMIT. An uncertain COMMIT must
|
||||||
|
# never trigger immediate deletion: reconciler decides after grace.
|
||||||
|
with db() as c:
|
||||||
|
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
|
||||||
|
s3().put_object(Bucket=BUCKET,Key=key,Body=spool,ContentLength=size,ContentType=mime)
|
||||||
|
row = c.execute('INSERT INTO attachments(id,chat_id,owner_id,object_key,filename,content_type,'
|
||||||
|
'size_bytes,sha256,width,height,status) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,\'ready\') RETURNING *',
|
||||||
|
(ident,chat,user['id'],key,filename,mime,size,digest.hexdigest(),width,height)).fetchone()
|
||||||
|
return reply(attachment_view(row),201)
|
||||||
|
return await run_in_threadpool(save)
|
||||||
|
finally:
|
||||||
|
UPLOAD_SLOTS.release()
|
||||||
|
|
||||||
|
|
||||||
|
def get_attachment(c, request, ident):
|
||||||
|
user = actor(c,request)
|
||||||
|
ident = uid(ident)
|
||||||
|
row = c.execute('SELECT * FROM attachments WHERE id=%s',(ident,)).fetchone()
|
||||||
|
if not row:
|
||||||
|
fail(404)
|
||||||
|
access(c,row['chat_id'],user)
|
||||||
|
return row
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/attachments/{attachment_id}')
|
||||||
|
def attachment(attachment_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
return reply(attachment_view(get_attachment(c,request,attachment_id)))
|
||||||
|
|
||||||
|
|
||||||
|
@app.get('/api/v1/attachments/{attachment_id}/content')
|
||||||
|
def content(attachment_id: str, request: Request):
|
||||||
|
with db() as c:
|
||||||
|
row = get_attachment(c,request,attachment_id)
|
||||||
|
if row['status'] != 'ready':
|
||||||
|
fail(409)
|
||||||
|
if request.query_params.get('variant','original') != 'original':
|
||||||
|
fail(404)
|
||||||
|
try:
|
||||||
|
stream = s3().get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
|
||||||
|
except ClientError as exc:
|
||||||
|
if exc.response['Error']['Code'] in ('NoSuchKey','404'):
|
||||||
|
fail(503)
|
||||||
|
raise
|
||||||
|
def chunks():
|
||||||
|
try:
|
||||||
|
while block := stream.read(65536):
|
||||||
|
yield block
|
||||||
|
finally:
|
||||||
|
stream.close()
|
||||||
|
return StreamingResponse(chunks(),media_type=row['content_type'],
|
||||||
|
headers={'Content-Length':str(row['size_bytes']), 'X-Content-Type-Options':'nosniff'})
|
||||||
@@ -0,0 +1,94 @@
|
|||||||
|
"""Operator-only, dry-run by default. Never infer missing from a failed LIST/HEAD."""
|
||||||
|
import argparse
|
||||||
|
import datetime as dt
|
||||||
|
import json
|
||||||
|
import time
|
||||||
|
|
||||||
|
from botocore.exceptions import ClientError
|
||||||
|
from src.storage import BUCKET, PREFIX, LOCK, db, s3
|
||||||
|
|
||||||
|
|
||||||
|
def reconcile(apply=False, grace=3600):
|
||||||
|
if grace < 60:
|
||||||
|
raise ValueError('Grace must be at least 60 seconds')
|
||||||
|
start = time.monotonic()
|
||||||
|
result = dict(mode='apply' if apply else 'dry-run', grace_seconds=grace,
|
||||||
|
scanned_objects=0, scanned_metadata=0, list_requests=0, head_requests=0,
|
||||||
|
orphan=[], missing=[], repaired=[], fresh_skipped=0)
|
||||||
|
client = s3()
|
||||||
|
with db() as c:
|
||||||
|
# Exclusive counterpart of upload/message shared locks: recheck and repair
|
||||||
|
# cannot race an in-flight PUT/COMMIT, even when the upload lasts past grace.
|
||||||
|
c.execute('SELECT pg_advisory_xact_lock(%s)',(LOCK,))
|
||||||
|
now = c.execute('SELECT clock_timestamp() t').fetchone()['t']
|
||||||
|
cutoff = now-dt.timedelta(seconds=grace)
|
||||||
|
rows = c.execute('SELECT * FROM attachments').fetchall()
|
||||||
|
by_key = {r['object_key']:r for r in rows}
|
||||||
|
result['scanned_metadata'] = len(rows)
|
||||||
|
# Complete list before any mutation. API-created names are unique, never reused.
|
||||||
|
objects = {}
|
||||||
|
for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX):
|
||||||
|
result['list_requests'] += 1
|
||||||
|
for obj in page.get('Contents',[]):
|
||||||
|
objects[obj['Key']] = obj
|
||||||
|
result['scanned_objects'] = len(objects)
|
||||||
|
for key, obj in objects.items():
|
||||||
|
if key in by_key:
|
||||||
|
continue
|
||||||
|
if obj['LastModified'] >= cutoff:
|
||||||
|
result['fresh_skipped'] += 1
|
||||||
|
continue
|
||||||
|
# Re-read immediately before delete, under the exclusive DB lock.
|
||||||
|
result['head_requests'] += 1
|
||||||
|
current = client.head_object(Bucket=BUCKET,Key=key)
|
||||||
|
if current['LastModified'] >= cutoff or current['ETag'] != obj['ETag']:
|
||||||
|
continue
|
||||||
|
if c.execute('SELECT 1 FROM attachments WHERE object_key=%s',(key,)).fetchone():
|
||||||
|
continue
|
||||||
|
result['orphan'].append(key)
|
||||||
|
if apply:
|
||||||
|
client.delete_object(Bucket=BUCKET,Key=key)
|
||||||
|
for row in rows:
|
||||||
|
key = row['object_key']
|
||||||
|
if key in objects or row['created_at'] >= cutoff:
|
||||||
|
continue
|
||||||
|
result['head_requests'] += 1
|
||||||
|
try:
|
||||||
|
client.head_object(Bucket=BUCKET,Key=key)
|
||||||
|
except ClientError as exc:
|
||||||
|
if exc.response['Error']['Code'] not in ('404','NoSuchKey'):
|
||||||
|
raise
|
||||||
|
else:
|
||||||
|
# Restored objects can safely recover failed metadata.
|
||||||
|
continue
|
||||||
|
result['missing'].append(str(row['id']))
|
||||||
|
if apply and row['status'] != 'failed':
|
||||||
|
c.execute("UPDATE attachments SET status='failed',error_code='missing_object',updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
|
||||||
|
for row in rows:
|
||||||
|
if row['status'] != 'failed' or row['error_code'] != 'missing_object' or row['object_key'] not in objects:
|
||||||
|
continue
|
||||||
|
# A restored backup must match the original bytes before publishing ready.
|
||||||
|
import hashlib
|
||||||
|
obj = client.get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
|
||||||
|
digest = hashlib.sha256()
|
||||||
|
size = 0
|
||||||
|
try:
|
||||||
|
for chunk in obj.iter_chunks(65536):
|
||||||
|
size += len(chunk)
|
||||||
|
digest.update(chunk)
|
||||||
|
finally:
|
||||||
|
obj.close()
|
||||||
|
if size == row['size_bytes'] and digest.hexdigest() == row['sha256']:
|
||||||
|
result['repaired'].append(str(row['id']))
|
||||||
|
if apply:
|
||||||
|
c.execute("UPDATE attachments SET status='ready',error_code=NULL,updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
|
||||||
|
result['elapsed_seconds'] = round(time.monotonic()-start,6)
|
||||||
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
parser = argparse.ArgumentParser(description=__doc__)
|
||||||
|
parser.add_argument('--apply',action='store_true')
|
||||||
|
parser.add_argument('--grace-seconds',type=int,default=3600)
|
||||||
|
args = parser.parse_args()
|
||||||
|
print(json.dumps(reconcile(args.apply,args.grace_seconds),indent=2))
|
||||||
@@ -0,0 +1,42 @@
|
|||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import boto3
|
||||||
|
import psycopg
|
||||||
|
from botocore.config import Config
|
||||||
|
from psycopg.rows import dict_row
|
||||||
|
|
||||||
|
|
||||||
|
def setting(name, default=None):
|
||||||
|
path = os.getenv(name + '_FILE')
|
||||||
|
return Path(path).read_text().strip() if path else os.getenv(name, default)
|
||||||
|
|
||||||
|
|
||||||
|
BUCKET = setting('S3_BUCKET', 'messenger-attachments')
|
||||||
|
PREFIX = 'originals/'
|
||||||
|
# Shared lock serializes reconciler with uploads/linking; downloads retain metadata.
|
||||||
|
LOCK = 4082301
|
||||||
|
|
||||||
|
|
||||||
|
def db():
|
||||||
|
return psycopg.connect(setting('DATABASE_URL'), row_factory=dict_row,
|
||||||
|
connect_timeout=3, options='-c statement_timeout=15000 -c lock_timeout=10000')
|
||||||
|
|
||||||
|
|
||||||
|
def s3():
|
||||||
|
return boto3.client('s3', endpoint_url=setting('S3_ENDPOINT', 'http://s3:9000'),
|
||||||
|
region_name=setting('S3_REGION', 'us-east-1'),
|
||||||
|
aws_access_key_id=setting('S3_ACCESS_KEY_ID'),
|
||||||
|
aws_secret_access_key=setting('S3_SECRET_ACCESS_KEY'),
|
||||||
|
config=Config(connect_timeout=2, read_timeout=5,
|
||||||
|
retries={'max_attempts': 0}, s3={'addressing_style': 'path'}))
|
||||||
|
|
||||||
|
|
||||||
|
def migrate():
|
||||||
|
with db() as c:
|
||||||
|
c.execute('SELECT pg_advisory_xact_lock(%s)', (LOCK,))
|
||||||
|
c.execute(Path('migrations/001_initial.sql').read_text())
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
migrate()
|
||||||
@@ -0,0 +1,94 @@
|
|||||||
|
"""Additional contract, image, concurrency and private-bucket tests; run inside api1."""
|
||||||
|
import concurrent.futures
|
||||||
|
import hashlib
|
||||||
|
import io
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import socket
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
import urllib.error
|
||||||
|
import urllib.request
|
||||||
|
import uuid
|
||||||
|
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||||
|
from client import Client, check
|
||||||
|
from PIL import Image
|
||||||
|
from src.storage import BUCKET, db, s3
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
c = Client('http://lb:8080',timeout=30)
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
path = '/api/v1/chats/'+chat['id']
|
||||||
|
fixture = Path('tests/fixtures/sample.png').read_bytes()
|
||||||
|
def upload(raw=fixture,mime='image/png',filename='photo.png',expected=201):
|
||||||
|
return c.call('POST',path+'/attachments?filename='+filename,expected,actor=alice,
|
||||||
|
raw=raw,headers={'Content-Type':mime},schema='Attachment' if expected==201 else None)
|
||||||
|
upload(raw=b'broken',expected=415)
|
||||||
|
upload(mime='image/jpeg',expected=415)
|
||||||
|
upload(filename='..%2Fsecret.png',expected=400)
|
||||||
|
upload(filename='bad%00.png',expected=400)
|
||||||
|
upload(raw=b'x'*(10485760+1),expected=413)
|
||||||
|
out = io.BytesIO()
|
||||||
|
Image.new('RGB',(7000,6000)).save(out,format='PNG')
|
||||||
|
upload(raw=out.getvalue(),expected=413)
|
||||||
|
out = io.BytesIO()
|
||||||
|
Image.new('RGB',(40,30)).save(out,format='JPEG')
|
||||||
|
jpeg = upload(raw=out.getvalue(),mime='image/jpeg')['json']
|
||||||
|
check(c.call('GET','/api/v1/attachments/'+jpeg['id']+'/content',actor=bob)['bytes']==out.getvalue(),'JPEG changed')
|
||||||
|
att = upload()['json']
|
||||||
|
c.call('GET','/api/v1/attachments/'+att['id'],404,actor=eve)
|
||||||
|
other = c.call('POST','/api/v1/chats',201,actor=alice,
|
||||||
|
body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
|
||||||
|
c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,
|
||||||
|
body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||||
|
c.call('POST',path+'/messages',404,actor=alice,
|
||||||
|
body={'text':'','attachment_ids':[str(uuid.uuid4())]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||||
|
c.call('POST',path+'/messages',400,actor=alice,body={'text':'x','sender_id':eve['id']})
|
||||||
|
c.call('GET','/api/v1/chats/not-a-uuid',400,actor=alice)
|
||||||
|
c.call('GET',path+'/messages?cursor=invalid',400,actor=alice)
|
||||||
|
m1 = c.message(alice,chat,'one')['json']
|
||||||
|
c.message(alice,chat,'two')
|
||||||
|
cursor = c.call('GET',path+'/messages?limit=1',actor=alice,schema='MessagePage')['json']['next_cursor']
|
||||||
|
c.call('GET','/api/v1/chats/'+other['id']+'/messages?cursor='+cursor,400,actor=alice)
|
||||||
|
key = uuid.uuid4().hex
|
||||||
|
with concurrent.futures.ThreadPoolExecutor(max_workers=12) as pool:
|
||||||
|
rows = list(pool.map(lambda _:c.message(alice,chat,'same',key=key)['json'],range(12)))
|
||||||
|
check(len({r['id'] for r in rows})==1,'concurrent duplicate message')
|
||||||
|
c.call('POST',path+'/messages',201,actor=alice,body={'attachment_ids':[],'text':'same'},
|
||||||
|
headers={'Idempotency-Key':key},schema='Message')
|
||||||
|
with db() as con:
|
||||||
|
objkey = con.execute('SELECT object_key FROM attachments WHERE id=%s',(att['id'],)).fetchone()['object_key']
|
||||||
|
before = con.execute('SELECT count(*) n FROM attachments').fetchone()['n']
|
||||||
|
try:
|
||||||
|
urllib.request.urlopen('http://s3:9000/'+BUCKET+'/'+objkey)
|
||||||
|
except urllib.error.HTTPError as exc:
|
||||||
|
check(exc.code==403,'unexpected anonymous S3 status')
|
||||||
|
else:
|
||||||
|
raise AssertionError('bucket public')
|
||||||
|
try:
|
||||||
|
s3().create_bucket(Bucket='forbidden-'+uuid.uuid4().hex)
|
||||||
|
except Exception as exc:
|
||||||
|
check(getattr(exc,'response',{}).get('Error',{}).get('Code')=='AccessDenied','scope test failed')
|
||||||
|
else:
|
||||||
|
raise AssertionError('application has admin S3 rights')
|
||||||
|
# Abandon binary request before declared end; it must never reach PUT.
|
||||||
|
sock = socket.create_connection(('api2',8080))
|
||||||
|
headers = ('POST '+path+'/attachments?filename=partial.png HTTP/1.1\r\nHost: api2\r\n'
|
||||||
|
'Authorization: Bearer '+alice['token']+'\r\nContent-Type: image/png\r\n'
|
||||||
|
'Content-Length: 100000\r\n\r\n').encode()
|
||||||
|
sock.sendall(headers+fixture[:80])
|
||||||
|
sock.close()
|
||||||
|
time.sleep(1)
|
||||||
|
with db() as con:
|
||||||
|
check(con.execute('SELECT count(*) n FROM attachments').fetchone()['n']==before,'partial upload committed')
|
||||||
|
print(json.dumps({'result':'PASS','negative_image_and_acl':True,'private_bucket_status':403,
|
||||||
|
'scoped_credentials':True,'parallel_idempotency_requests':12,
|
||||||
|
'unique_messages':1,'interrupted_upload_no_metadata':True}))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
@@ -0,0 +1,34 @@
|
|||||||
|
"""20 ms cgroup-v2 memory sampler; stop by EOF on stdin. No privileged access."""
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
import threading
|
||||||
|
import time
|
||||||
|
|
||||||
|
done = threading.Event()
|
||||||
|
def wait():
|
||||||
|
import sys
|
||||||
|
sys.stdin.read()
|
||||||
|
done.set()
|
||||||
|
threading.Thread(target=wait,daemon=True).start()
|
||||||
|
root = Path('/sys/fs/cgroup')
|
||||||
|
def read(name):
|
||||||
|
path = root/name
|
||||||
|
return int(path.read_text()) if path.exists() else None
|
||||||
|
def rss():
|
||||||
|
lines = Path('/proc/1/status').read_text().splitlines()
|
||||||
|
return int(next(x.split()[1] for x in lines if x.startswith('VmRSS:')))*1024
|
||||||
|
baseline = read('memory.current')
|
||||||
|
peak_before = read('memory.peak')
|
||||||
|
peak = baseline
|
||||||
|
rss_peak = rss()
|
||||||
|
samples = 0
|
||||||
|
start = time.monotonic()
|
||||||
|
while not done.is_set():
|
||||||
|
peak = max(peak,read('memory.current'))
|
||||||
|
rss_peak = max(rss_peak,rss())
|
||||||
|
samples += 1
|
||||||
|
done.wait(0.02)
|
||||||
|
print(json.dumps(dict(baseline_bytes=baseline,sampled_peak_bytes=peak,
|
||||||
|
kernel_lifetime_peak_before_bytes=peak_before,kernel_lifetime_peak_after_bytes=read('memory.peak'),
|
||||||
|
api_rss_peak_bytes=rss_peak,sample_count=samples,interval_seconds=0.02,
|
||||||
|
elapsed_seconds=time.monotonic()-start)))
|
||||||
@@ -0,0 +1,92 @@
|
|||||||
|
"""Track 2: real S3 PUT + rolled-back SQL, missing bytes, safe repeated repairs."""
|
||||||
|
import datetime as dt
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
import uuid
|
||||||
|
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||||
|
from client import Client, check
|
||||||
|
from src.storage import BUCKET, PREFIX, db, s3
|
||||||
|
from src.reconcile import reconcile
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
client = s3()
|
||||||
|
c = Client('http://lb:8080')
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
used,raw = c.attachment(alice,chat)
|
||||||
|
c.message(alice,chat,'keep',attachments=[used['id']])
|
||||||
|
missing,_ = c.attachment(alice,chat)
|
||||||
|
with db() as con:
|
||||||
|
rows = con.execute('SELECT * FROM attachments WHERE id=ANY(%s::uuid[])',([used['id'],missing['id']],)).fetchall()
|
||||||
|
keys = {str(row['id']):row['object_key'] for row in rows}
|
||||||
|
def all_keys():
|
||||||
|
return {obj['Key'] for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX)
|
||||||
|
for obj in page.get('Contents',[])}
|
||||||
|
before = all_keys()
|
||||||
|
# Failure injection is entirely in the test DB, not a production HTTP switch.
|
||||||
|
# A filename-specific trigger aborts the real API INSERT, after its real PUT.
|
||||||
|
marker = 'inject-'+uuid.uuid4().hex+'.png'
|
||||||
|
with db() as con:
|
||||||
|
con.execute("""CREATE OR REPLACE FUNCTION lab4_inject_failure() RETURNS trigger
|
||||||
|
LANGUAGE plpgsql AS $$ BEGIN IF NEW.filename LIKE 'inject-%%' THEN
|
||||||
|
RAISE EXCEPTION 'synthetic commit-path failure'; END IF; RETURN NEW; END $$""")
|
||||||
|
con.execute('CREATE TRIGGER lab4_inject BEFORE INSERT ON attachments '
|
||||||
|
'FOR EACH ROW EXECUTE FUNCTION lab4_inject_failure()')
|
||||||
|
try:
|
||||||
|
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename='+marker,500,
|
||||||
|
actor=alice,raw=raw,headers={'Content-Type':'image/png'})
|
||||||
|
finally:
|
||||||
|
with db() as con:
|
||||||
|
con.execute('DROP TRIGGER IF EXISTS lab4_inject ON attachments')
|
||||||
|
con.execute('DROP FUNCTION IF EXISTS lab4_inject_failure()')
|
||||||
|
new_keys = all_keys()-before
|
||||||
|
check(len(new_keys)==1,'failed real upload must leave exactly one orphan')
|
||||||
|
orphan = new_keys.pop()
|
||||||
|
client.delete_object(Bucket=BUCKET,Key=keys[missing['id']])
|
||||||
|
with db() as con:
|
||||||
|
con.execute("UPDATE attachments SET created_at=clock_timestamp()-interval '2 hours' WHERE id=ANY(%s::uuid[])",
|
||||||
|
([used['id'],missing['id']],))
|
||||||
|
early = reconcile(True,60)
|
||||||
|
check(orphan not in early['orphan'],'fresh orphan deleted')
|
||||||
|
# LIST timestamps are assigned by S3, not forged. Wait for genuine grace expiry.
|
||||||
|
time.sleep(62)
|
||||||
|
fresh = PREFIX+'fresh-'+uuid.uuid4().hex
|
||||||
|
client.put_object(Bucket=BUCKET,Key=fresh,Body=raw)
|
||||||
|
preview = reconcile(False,60)
|
||||||
|
check(orphan in preview['orphan'] and missing['id'] in preview['missing'],'dry-run missed discrepancies')
|
||||||
|
check(client.head_object(Bucket=BUCKET,Key=orphan)['ContentLength']==len(raw),'dry-run mutated S3')
|
||||||
|
applied = reconcile(True,60)
|
||||||
|
check(orphan in applied['orphan'],'orphan not removed')
|
||||||
|
check(client.head_object(Bucket=BUCKET,Key=fresh)['ContentLength']==len(raw),'fresh deleted')
|
||||||
|
check(c.call('GET','/api/v1/attachments/'+used['id']+'/content',actor=bob)['bytes']==raw,'used attachment deleted')
|
||||||
|
c.call('GET','/api/v1/attachments/'+missing['id'],409,actor=alice)
|
||||||
|
again = reconcile(True,60)
|
||||||
|
check(not again['orphan'],'second run repeated deletion')
|
||||||
|
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=b'bad-backup')
|
||||||
|
wrong = reconcile(True,60)
|
||||||
|
check(missing['id'] not in wrong['repaired'],'corrupt backup published')
|
||||||
|
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=raw,ContentType='image/png')
|
||||||
|
restored = reconcile(True,60)
|
||||||
|
check(missing['id'] in restored['repaired'],'backup not restored')
|
||||||
|
check(c.call('GET','/api/v1/attachments/'+missing['id']+'/content',actor=bob)['bytes']==raw,'restored bytes mismatch')
|
||||||
|
# Force pagination (>1000 keys); new objects must all survive even --apply.
|
||||||
|
scale_prefix = PREFIX+'scale-'+uuid.uuid4().hex+'-'
|
||||||
|
import concurrent.futures
|
||||||
|
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
|
||||||
|
list(pool.map(lambda n:client.put_object(Bucket=BUCKET,Key=scale_prefix+str(n),Body=b'x'),range(1005)))
|
||||||
|
scaled = reconcile(False,3600)
|
||||||
|
check(scaled['list_requests']>=2,'pagination not tested')
|
||||||
|
# Clean only the exact keys this scenario owns (operator test cleanup).
|
||||||
|
for start in (0,1000):
|
||||||
|
client.delete_objects(Bucket=BUCKET,Delete={'Objects':[{'Key':scale_prefix+str(i)} for i in range(start,min(start+1000,1005))]})
|
||||||
|
client.delete_object(Bucket=BUCKET,Key=fresh)
|
||||||
|
print(json.dumps({'result':'PASS','early':early,'dry_run':preview,'apply':applied,
|
||||||
|
'repeat':again,'wrong_backup':wrong,'restore':restored,'scale':scaled},indent=2))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
@@ -0,0 +1,27 @@
|
|||||||
|
"""Called with session/chat/attachment over stdin, never via arguments or files."""
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
import sys
|
||||||
|
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||||
|
from client import Client, check
|
||||||
|
from src.reconcile import reconcile
|
||||||
|
from src.storage import db
|
||||||
|
|
||||||
|
data = json.load(sys.stdin)
|
||||||
|
c = Client('http://api1:8080',timeout=15)
|
||||||
|
c.call('GET','/health/ready',503)
|
||||||
|
c.call('GET','/health/live',200)
|
||||||
|
path = '/api/v1/chats/'+data['chat']['id']+'/attachments?filename=outage.png'
|
||||||
|
c.call('POST',path,503,actor=data['actor'],raw=Path('tests/fixtures/sample.png').read_bytes(),
|
||||||
|
headers={'Content-Type':'image/png'})
|
||||||
|
c.call('GET','/api/v1/attachments/'+data['attachment']['id']+'/content',503,actor=data['actor'])
|
||||||
|
try:
|
||||||
|
reconcile(True)
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
raise AssertionError('reconciler pretended unavailable storage was empty')
|
||||||
|
print(json.dumps({'result':'PASS','dependency':sys.argv[1],'live':200,'ready':503,
|
||||||
|
'upload':503,'download':503,'reconcile_aborted':True}))
|
||||||
@@ -0,0 +1,47 @@
|
|||||||
|
"""10 concurrent real PNG uploads at two sizes; RSS includes all API processes.
|
||||||
|
|
||||||
|
Run in api1: /proc gives that replica's RSS; Docker stats sampled by run-all.py
|
||||||
|
records memory (including tmpfs/cache) for BOTH replicas during the same run.
|
||||||
|
"""
|
||||||
|
import concurrent.futures
|
||||||
|
import io
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
import statistics
|
||||||
|
import sys
|
||||||
|
import time
|
||||||
|
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||||
|
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||||
|
from client import Client, check
|
||||||
|
from PIL import Image
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
c = Client('http://lb:8080',timeout=60)
|
||||||
|
alice,bob,eve,chat = c.bootstrap()
|
||||||
|
results = []
|
||||||
|
for side in (512,1800):
|
||||||
|
out = io.BytesIO()
|
||||||
|
Image.frombytes('RGB',(side,side),os.urandom(side*side*3)).save(out,format='PNG')
|
||||||
|
data = out.getvalue()
|
||||||
|
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=warm.png',201,
|
||||||
|
actor=alice,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||||
|
for repeat in range(3):
|
||||||
|
start = time.monotonic()
|
||||||
|
def one(_):
|
||||||
|
return c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=load.png',
|
||||||
|
actor=alice,expected=201,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')['elapsed']
|
||||||
|
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
|
||||||
|
times = sorted(pool.map(one,range(10)))
|
||||||
|
duration = time.monotonic()-start
|
||||||
|
results.append(dict(size_bytes=len(data),pixels=side*side,concurrency=10,repeat=repeat+1,
|
||||||
|
duration_seconds=duration,successful_rps=10/duration,errors=0,
|
||||||
|
p50_seconds=statistics.median(times),p95_seconds=times[9],p99_seconds=times[9]))
|
||||||
|
print(json.dumps({'result':'PASS','profile':'closed-loop, 10 simultaneous uploads, 3 repeats/size',
|
||||||
|
'results':results},indent=2))
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
Reference in New Issue
Block a user