forked from mtusi2026/mtusi2026lab4
Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
435a6465ec |
+1
-1
@@ -13,8 +13,8 @@ backups
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
.venv
|
||||
__pycache__
|
||||
.venv
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
|
||||
@@ -0,0 +1,5 @@
|
||||
*.sh text eol=lf
|
||||
*.cmd text eol=crlf
|
||||
*.py text eol=lf
|
||||
*.yaml text eol=lf
|
||||
*.cfg text eol=lf
|
||||
@@ -1,18 +1,60 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Заголовок PR: **ЛР 4 — БПИ2301 — Черненко — на 5**
|
||||
Ветка решения: `solution/bpi2301-chernenko`, база: исходный `main` skeleton (`ec540a1`).
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Автор / группа: Черненко / БПИ2301.
|
||||
Целевая оценка: **5**.
|
||||
Трек: **2 — согласованность двух хранилищ**.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Реализован синхронный proxy upload PNG/JPEG в приватный MinIO, метаданные и ACL
|
||||
в PostgreSQL, авторизованный побайтный download, сообщения с вложениями,
|
||||
две FastAPI-реплики и HAProxy с readiness. Минимум lab1–3 написан по контракту
|
||||
текущего skeleton: Argon2id/Bearer-сессии, PostgreSQL persistence, чаты,
|
||||
keyset pagination, атомарная идемпотентность сообщений между репликами.
|
||||
Предыдущее личное решение не предоставлялось, чужое решение не переносилось.
|
||||
|
||||
Reconciler поддерживает dry-run/apply, grace period, orphan/missing,
|
||||
повторный безопасный запуск и восстановление из проверенной копии. Shared/exclusive
|
||||
DB advisory locks согласуют сверку с загрузкой и привязкой. Исследование внедряет
|
||||
ошибку SQL после реального PUT, удаление оригинала и неправильный backup.
|
||||
|
||||
Запуск из clone (Linux/macOS, Windows: `py -X utf8` вместо `python3`):
|
||||
|
||||
```sh
|
||||
python3 scripts/setup.py
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose up -d --build --wait --wait-timeout 180
|
||||
docker compose exec -T api1 make check validate PYTHON=python
|
||||
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
|
||||
python3 scripts/run-all.py
|
||||
```
|
||||
|
||||
При занятом 8080 задать `HOST_PORT=18084` в `.env`. Испытания проведены на 18084.
|
||||
Первая сборка компилирует фиксированные официальные tags MinIO/mc, поскольку
|
||||
готовые registry images были недоступны.
|
||||
|
||||
Проверки: полный прогон PASS, [REPORT.md](../REPORT.md),
|
||||
[численные итоги](../evidence/SUMMARY.md), [памятка к защите](../DEFENSE.md).
|
||||
Smoke, негативные сценарии, persistence всех хранилищ, failover каждой API,
|
||||
отказы S3/PostgreSQL и сверка прошли. Публичный failover: 2,449 с до восстановления,
|
||||
86 успешных записей, 1 переходная ошибка, без потерь и дублей.
|
||||
60 измеряемых загрузок при concurrency=10 и двух размерах: 0 ошибок;
|
||||
наблюдённые cgroup-пики обеих API ≈149/176 MiB при лимите 512 MiB.
|
||||
Сверка 1085 объектов: 2 LIST, 0,136 с (один локальный проход, не production SLA).
|
||||
|
||||
Ограничения: один host и одиночные PostgreSQL/MinIO/LB; HTTP только локально;
|
||||
ручной запуск сверки и необходимость backup при потере байтов. Сверка O(A+O)
|
||||
держит exclusive DB lock на время прохода. Подробные ограничения измерений,
|
||||
конкурентной пагинации и границ безопасности раскрыты в отчёте.
|
||||
|
||||
Источники и ИИ: нормативный skeleton, официальные Psycopg/MinIO/Pillow/S3 docs;
|
||||
реализация и документация подготовлены с помощью Codex, реальные команды и
|
||||
обезличенные результаты сохранены в `evidence/`. Обязательные файлы задания сохранены.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
@@ -0,0 +1,23 @@
|
||||
name: Application acceptance
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 30
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.12'
|
||||
- run: python scripts/setup.py
|
||||
- run: docker compose up -d --build --wait --wait-timeout 180
|
||||
- run: python scripts/run-all.py
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
name: lab4-evidence
|
||||
path: evidence/
|
||||
- if: always()
|
||||
run: docker compose down
|
||||
+131
@@ -0,0 +1,131 @@
|
||||
# Памятка к защите лабораторной 4
|
||||
|
||||
Автор: Черненко, БПИ2301. Цель — оценка 5, трек 2: согласованность двух хранилищ.
|
||||
Команды запуска, фактические измерения и ограничения находятся в [REPORT.md](REPORT.md).
|
||||
|
||||
## Что требовалось сделать
|
||||
|
||||
Построить REST-мессенджер, у которого данные доступны через разные API-реплики.
|
||||
Текст, пользователи, сессии и связи находятся в PostgreSQL. Изображения находятся
|
||||
в приватном S3-совместимом хранилище. База хранит только их метаданные и ключи.
|
||||
В работе нужно сохранить контракт предыдущих лабораторных, проверить сохранность
|
||||
при рестарте и остановке API, безопасность и ограничения загрузки.
|
||||
Для оценки 5 выбран дополнительный эксперимент: устранение расхождений БД/S3.
|
||||
|
||||
## Как рассказать решение за две минуты
|
||||
|
||||
«У меня два одинаковых FastAPI-процесса за HAProxy. Состояния внутри API нет:
|
||||
сессии, сообщения и метаданные общие, в PostgreSQL. Изображения лежат в MinIO.
|
||||
Пользователь входит через Basic и получает случайный Bearer-токен. Пароль
|
||||
хешируется Argon2id; в БД хранится только SHA-256 случайного токена.
|
||||
|
||||
При загрузке я сначала проверяю сессию и участие в чате, затем потоково принимаю
|
||||
не более 10 MiB. Проверяю настоящее изображение библиотекой Pillow, MIME и число
|
||||
пикселей до декодирования. Сервер генерирует UUID-ключ, сохраняет оригинал в S3
|
||||
и записывает метаданные в БД. Только после успешного COMMIT клиент получает 201.
|
||||
|
||||
Между S3 и PostgreSQL нет общей транзакции, поэтому после сбоя может остаться
|
||||
лишний объект. Reconciler находит такие объекты и удаляет только старые,
|
||||
неучтённые, после grace period. Если файл исчез, запись сохраняется и помечается
|
||||
внутренним failed; API возвращает 409. Если восстановить правильный оригинал
|
||||
из резервной копии, reconciler проверит размер и SHA-256 и вернёт ready».
|
||||
|
||||
## Путь запроса в коде
|
||||
|
||||
- `src/app.py`: `envelope` добавляет ID запроса и реплики, формирует безопасные ошибки.
|
||||
- `actor` проверяет хеш токена и expiry в общей БД, `access` проверяет членство в чате.
|
||||
- `upload` ограничивает входной поток и время, `validate_image` проверяет изображение,
|
||||
вложенная функция `save` выполняет PUT и транзакцию метаданных.
|
||||
- `get_attachment` проверяет ACL перед выдачей метаданных или байтов; `content`
|
||||
читает оригинал блоками по 64 KiB и закрывает S3 stream.
|
||||
- `send` сериализует одинаковые idempotency keys PostgreSQL advisory lock.
|
||||
Сообщение, связи с файлами и результат идемпотентности записываются одной транзакцией.
|
||||
- `src/reconcile.py` содержит операторскую сверку; `--apply` включает исправления.
|
||||
- `migrations/001_initial.sql` создаёт таблицы и ограничения.
|
||||
- `infra/haproxy.cfg` проверяет readiness и убирает неработающую реплику из балансировки.
|
||||
|
||||
## Ответы на вопросы README
|
||||
|
||||
### Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
|
||||
|
||||
Файл на отдельном volume не становится доступен другой машине или реплике
|
||||
автоматически. Он связан с размещением процесса. S3 даёт общий сетевой API,
|
||||
идентификацию объектов по ключу, отдельные права и жизненный цикл хранения.
|
||||
У MinIO тоже есть volume, но им владеет общий S3-сервис, а API обращаются по сети.
|
||||
Это не делает один MinIO на одном Docker-host отказоустойчивым к потере диска.
|
||||
|
||||
### Когда можно честно вернуть 201?
|
||||
|
||||
После проверки входа, успешного S3 PUT и COMMIT метаданных. К этому моменту
|
||||
другой участник через другую API-реплику должен прочитать метаданные и исходные
|
||||
байты. В этой лабораторной нет worker и отложенного обещания готовности.
|
||||
Если COMMIT произошёл, но ответ потерялся, клиент не знает результата.
|
||||
Загрузка не идемпотентна: её ручной повтор может создать ещё одно вложение.
|
||||
|
||||
### Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
|
||||
|
||||
Останется orphan — объект без метаданных. 201 не возвращается. Удалять его сразу
|
||||
в обработчике любой ошибки COMMIT опасно: при обрыве соединения транзакция могла
|
||||
успеть зафиксироваться. Поэтому объект оставляется, и оператор запускает сверку.
|
||||
По умолчанию она ничего не меняет; `--apply` удаляет только объекты старше часа,
|
||||
для которых всё ещё нет метаданных. При недоступной БД или ошибке LIST/HEAD
|
||||
отсутствие объекта не предполагается наугад: проход прерывается.
|
||||
|
||||
### Почему случайный object key и приватный bucket не заменяют ACL приложения?
|
||||
|
||||
Непредсказуемость ключа не означает право доступа: ключ может утечь. Приватность
|
||||
bucket закрывает анонимный S3 GET, но API имеет S3-credentials и технически может
|
||||
читать все объекты своего prefix. Поэтому API отдельно проверяет Bearer-сессию
|
||||
и членство в чате. Посторонний получает 404 без подтверждения существования файла.
|
||||
Клиент не получает object key и S3-credentials.
|
||||
|
||||
## Дополнительные вопросы
|
||||
|
||||
**Почему нельзя одной SQL-транзакцией охватить S3?** S3 не участвует в транзакции
|
||||
PostgreSQL. Нужен отдельный протокол компенсации, сверки либо модель saga.
|
||||
Здесь используется eventual repair с ручным операторским запуском.
|
||||
|
||||
**Как reconciler не удаляет загрузку во время COMMIT?** Загрузка держит shared
|
||||
advisory lock от PUT до выхода из транзакции, а reconciler берёт exclusive lock.
|
||||
Он ждёт завершения загрузок и блокирует новые записи на время прохода.
|
||||
Дополнительно проверяет возраст, HEAD и отсутствие метаданных перед DELETE.
|
||||
|
||||
**Как защищены используемые файлы?** Любая существующая запись Attachment защищает
|
||||
объект, даже если его ещё не прикрепили к сообщению. Reconciler вообще не удаляет
|
||||
метаданные и связи. Потерянные байты автоматически придумать нельзя: нужна копия.
|
||||
|
||||
**Почему память ограничена, если используется Pillow?** До чтения и во время чтения
|
||||
проверяется лимит байтов. После 256 KiB вход переносится во временный spool.
|
||||
На реплику одновременно допускаются две загрузки и одно полное декодирование.
|
||||
До `load()` проверяется число пикселей. `/tmp` ограничен 64 MiB, контейнер — 512 MiB.
|
||||
Tmpfs учитывается в памяти контейнера; файл в нём — временная проверочная копия,
|
||||
не источник оригинала после успешной загрузки.
|
||||
|
||||
**Зачем Idempotency-Key?** При потере ответа клиент повторяет сообщение с тем же
|
||||
ключом и тем же телом. В течение 24 часов получает ровно прежнее сообщение.
|
||||
Другое тело с тем же ключом даёт 409. Область ключа — пользователь и чат,
|
||||
метод/путь здесь единственный POST messages. Shared DB lock действует между репликами.
|
||||
|
||||
**Как устроена пагинация?** Cursor кодирует ресурс, время и UUID последней записи.
|
||||
Следующая страница выбирается по `(created_at,id) > последняя_пара`, `limit+1`
|
||||
позволяет узнать, есть ли продолжение. Cursor другого чата отклоняется.
|
||||
Base64 делает cursor непрозрачным интерфейсом, но не шифрует и не подписывает его.
|
||||
История между страницами не является snapshot: поздний COMMIT с более ранним временем
|
||||
или перевод часов назад могут привести к пропуску при конкурентной записи.
|
||||
|
||||
**Почему readiness зависит от S3, а liveness нет?** Без S3 нельзя безопасно
|
||||
обслужить обязательную загрузку/скачивание, но процесс может оставаться живым.
|
||||
LB исключает такую реплику. При общем отказе S3 все реплики становятся unready.
|
||||
|
||||
## Демонстрация
|
||||
|
||||
1. Запустить стенд по `REPORT.md`, показать `docker compose ps` — две API и общие хранилища.
|
||||
2. Запустить `make test` внутри api1 с `BASE_URL=http://lb:8080` — checksum, чат,
|
||||
сообщение с вложением, второй участник и запрет для третьего.
|
||||
3. Показать `evidence/acceptance.json`: MIME, размер, ACL, private bucket и права S3.
|
||||
4. Показать `evidence/replica-directions.json`, `persistence.txt` и `failover.txt`.
|
||||
5. Запустить `docker compose exec -T api1 python -m src.reconcile` — dry-run.
|
||||
6. Открыть `student-tests/research.py` и `evidence/research.json`: PUT + SQL rollback,
|
||||
пропавший файл, grace period, повтор и восстановление из правильной копии.
|
||||
7. Объяснить ограничения из отчёта. Полный повтор всех испытаний:
|
||||
`python scripts/run-all.py` (Windows: `py -X utf8 scripts/run-all.py`).
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
FROM python:3.12.10-slim
|
||||
WORKDIR /app
|
||||
COPY requirements.txt requirements-dev.txt ./
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends make \
|
||||
&& rm -rf /var/lib/apt/lists/* \
|
||||
&& pip install --no-cache-dir -r requirements.txt -r requirements-dev.txt \
|
||||
&& useradd -u 10001 -m app
|
||||
COPY . .
|
||||
USER app
|
||||
ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1
|
||||
CMD ["uvicorn", "src.app:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-keep-alive", "5", "--no-access-log"]
|
||||
@@ -1,37 +1,294 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Черненко, БПИ2301.
|
||||
- Целевая оценка: **5**, трек **2 — согласованность двух хранилищ**.
|
||||
- Ветка: `solution/bpi2301-chernenko`, основана на исходном `main` (`ec540a1`).
|
||||
В удалённом репозитории отдельной ветки skeleton нет. PR создаёт автор вручную;
|
||||
готовый текст — `.github/pull_request_template.md`. Commit: `git rev-parse HEAD`.
|
||||
- Дата испытаний: 6 ноября 2026. Использованы Python/FastAPI, psycopg,
|
||||
boto3, Pillow, Argon2id, PostgreSQL, HAProxy и MinIO. Исходники и инструкции
|
||||
подготовлены с помощью Codex; тесты выполнены на настоящем Docker Compose стенде.
|
||||
Предыдущее личное решение lab3 не предоставлялось: необходимый минимум
|
||||
lab1–3 реализован заново по контракту текущего skeleton, чужой код решения не переносился.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Нужны Docker Engine/Desktop в режиме Linux containers, Compose v2 с `--wait`,
|
||||
доступ в Интернет для первой сборки и Python 3.9+ на host для управляющего скрипта.
|
||||
На Windows используется `py -X utf8`, на Linux/macOS — `python3`.
|
||||
Для первой сборки MinIO из исходников желательно 4+ GiB доступной Docker RAM.
|
||||
|
||||
Версии: Python 3.12.10, PostgreSQL 17.5-alpine, HAProxy 3.0.11-alpine;
|
||||
MinIO `RELEASE.2025-04-22T22-12-26Z`, mc `RELEASE.2025-04-16T18-13-26Z`,
|
||||
Go 1.24.2-alpine, Alpine 3.21.3. Прямые Python-зависимости закреплены в
|
||||
`requirements.txt`; установленные версии сохраняются в `evidence/python-packages.txt`.
|
||||
Официальные готовые образы MinIO/mc при проверке были недоступны, поэтому
|
||||
`infra/Dockerfile.minio` и `infra/Dockerfile.mc` собирают фиксированные upstream tags
|
||||
через Go module proxy с проверкой Go checksum database.
|
||||
|
||||
```sh
|
||||
git clone https://gitea.privcloud.tech/quzzqq/mtusi2026lab4.git
|
||||
cd mtusi2026lab4
|
||||
git switch solution/bpi2301-chernenko
|
||||
python3 scripts/setup.py
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build --wait --wait-timeout 180
|
||||
docker compose exec -T api1 make check validate PYTHON=python
|
||||
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
|
||||
python3 scripts/run-all.py
|
||||
```
|
||||
|
||||
Windows: заменить вызовы `python3 ...` на `py -X utf8 ...`.
|
||||
Если секреты создавались контейнером со старыми правами, повторить setup в контейнере:
|
||||
|
||||
```powershell
|
||||
docker run --rm --mount "type=bind,source=$($PWD.Path),target=/app" -w /app python:3.12.10-slim python scripts/setup.py
|
||||
```
|
||||
|
||||
`setup.py` создаёт локальные случайные secrets и `.env`, не печатает значения,
|
||||
не заменяет существующие секреты. Каталог secrets закрыт для других host-users,
|
||||
отдельные файлы доступны непривилегированному пользователю контейнера через mounts.
|
||||
Ни `.env`, ни secrets не входят в Git или Docker build context.
|
||||
Не подменять setup простым копированием логического `.env.example`: сначала нужны secrets.
|
||||
|
||||
Публикуется только LB на loopback. Порт по умолчанию 8080; при конфликте добавить
|
||||
в `.env` `HOST_PORT=18084` и повторить `docker compose up -d`. **При наших испытаниях
|
||||
использовался 18084**, так как 8080 занят посторонним сервисом. `run-all.py`
|
||||
автоматически узнаёт фактический порт через `docker compose port lb 8080`.
|
||||
API, PostgreSQL, S3 и административная консоль не публикуют host-порты.
|
||||
|
||||
Миграции выполняет одноразовый `migrate` до API; SQL идемпотентен и защищён
|
||||
advisory lock. `bootstrap` создаёт приватный bucket, отдельного S3-пользователя
|
||||
и ограниченную policy. Повторный запуск bootstrap сохраняет данные и проходит успешно.
|
||||
Оператор ждёт `--wait` и HTTP readiness. Первая компиляция MinIO может занять несколько минут.
|
||||
|
||||
Полный `run-all.py` выполняет check/validate/smoke, собственные проверки,
|
||||
persistence, остановку каждой API, публичный failover, отказы S3 и PostgreSQL,
|
||||
исследование, загрузки и 30-секундную нагрузку сообщений. Он останавливает **только**
|
||||
сервисы Compose project `chernenko-lab4`, восстанавливает их после испытаний и
|
||||
сохраняет обезличенные результаты в `evidence/`. Повтор создаёт новые синтетические данные.
|
||||
|
||||
Отдельные публичные сценарии (Linux/macOS; Python на host, Docker CLI доступен):
|
||||
|
||||
```sh
|
||||
chmod +x scripts/restart.sh scripts/stop-one.sh
|
||||
make test-persistence PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/restart.sh
|
||||
docker compose start api1 api2
|
||||
make test-failover PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/stop-one.sh
|
||||
docker compose start api1 api2
|
||||
```
|
||||
|
||||
На Windows `run-all.py` выбирает `.cmd` hooks. Они делают те же реальные Docker-действия.
|
||||
`restart` перезапускает PostgreSQL, MinIO, обе API и LB с volumes; `stop-one` по
|
||||
`TARGET_INSTANCE_ID` останавливает именно соответствующую реплику и оставляет её выключенной.
|
||||
Для ручного запуска public tests на Windows задайте `BASE_URL` и используйте
|
||||
`py -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd`.
|
||||
|
||||
Безопасная остановка: `docker compose down` (данные и сессии остаются в volumes).
|
||||
Восстановление: прежний `docker compose up -d --wait` с теми же secrets.
|
||||
**Намеренное удаление всех учебных данных этого стенда:** `docker compose down --volumes`.
|
||||
Эту последнюю команду не использовать для проверки persistence.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → HAProxy → api1/api2 → PostgreSQL + MinIO. Один uvicorn process на реплику;
|
||||
балансировка round-robin с HTTP `/health/ready` каждую секунду. Live проверяет
|
||||
только процесс; ready — PostgreSQL и доступ к приватному bucket. Оба хранилища
|
||||
критичны для обязательного синхронного пути. При их общем отказе LB не обещает
|
||||
обслуживание текстовых операций через исключённые API.
|
||||
|
||||
PostgreSQL — источник истины для users, sessions, chats/members, messages,
|
||||
message_attachments, attachments и idempotency. Сессии переживают рестарт,
|
||||
TTL=3600 не продлевается при чтении/рестарте, logout удаляет hash токена.
|
||||
Токен имеет 256 бит случайности, в БД хранится его SHA-256. Пароли — Argon2id
|
||||
(time_cost=2, memory_cost=19456 KiB, parallelism=1), plaintext не сохраняется.
|
||||
|
||||
Сообщение, связи и idempotency результат фиксируются атомарно в PostgreSQL.
|
||||
Advisory lock по user/chat/key исключает дубли между процессами; 24 часа
|
||||
отсчитываются от успешной записи. Другой body даёт 409, отсутствие attachment_ids
|
||||
равно пустому массиву. Неопределённый POST messages повторяется с прежним ключом.
|
||||
Чтение идёт в общую БД без устаревающего кэша. Пагинация keyset по `(created_at,id)`;
|
||||
cursor содержит ресурс, время, UUID. Snapshot между запросами не гарантируется.
|
||||
|
||||
Оригиналы — только `messenger-attachments/originals/<UUID>`. Filename не образует
|
||||
путь и не раскрывается как S3 key. Byte-stream ограничен 10 MiB до накопления,
|
||||
spool после 256 KiB переносится в ограниченный tmpfs; на API допускаются 2 загрузки
|
||||
и 1 декодирование одновременно. На приём body отведено 20 секунд, очередь
|
||||
загрузок ждёт до 15 секунд, connect/read S3 — 2/5 секунд без прозрачных retry;
|
||||
SQL connect=3 секунды, statement=15, lock=10. HAProxy client/server timeout=30 секунд.
|
||||
Изображение проверяется по формату и полностью декодируется после проверки
|
||||
40 млн пикселей; оригинал не перекодируется. Download передаёт по 64 KiB через API.
|
||||
Tmpfs — временная копия для проверки, после запроса не используется для download.
|
||||
|
||||
Граница upload: проверка ACL → приём/проверка → shared DB advisory lock → S3 PUT →
|
||||
INSERT Attachment → COMMIT → 201 ready. Общей транзакции S3/SQL нет. При любой
|
||||
неопределённости COMMIT синхронное удаление S3 не выполняется: оно могло бы стереть
|
||||
уже зафиксированный оригинал. Дальнейшая компенсация — операторская сверка.
|
||||
|
||||
Reconciler по умолчанию dry-run; запуск:
|
||||
|
||||
```sh
|
||||
docker compose exec -T api1 python -m src.reconcile
|
||||
docker compose exec -T api1 python -m src.reconcile --apply
|
||||
```
|
||||
|
||||
Оператор сначала оценивает dry-run, затем применяет. Grace по умолчанию 3600 секунд,
|
||||
минимум 60 — только для контролируемого теста. Полный LIST prefix выполняется до
|
||||
исправлений, с пагинацией. Exclusive advisory lock согласует сверку с PUT/COMMIT
|
||||
и привязкой сообщений. Любая запись Attachment защищает объект, даже без Message.
|
||||
Orphan после grace повторно проверяется через HEAD и SQL и удаляется; missing
|
||||
старше grace проверяется HEAD 404, метаданные и ссылки сохраняются, внутренний
|
||||
статус становится failed/missing_object. Неуспех LIST/HEAD/DB прерывает проход.
|
||||
Повторный запуск безопасен. Восстановление оригинала из копии проверяется по
|
||||
размеру и SHA-256 перед ready. Сверка сама не восстанавливает потерянные байты.
|
||||
Публичные успешные Attachment остаются ready согласно контракту; внутренний
|
||||
failed доступен через 409, после проверки ACL. Детали: `contracts/extensions.md`.
|
||||
|
||||
Соответствие `.env.example`: APP_HOST/APP_PORT реализованы аргументами uvicorn
|
||||
`0.0.0.0:8080`, APP_ENV — только логическое описание; API_REPLICAS=2 реализовано
|
||||
двумя сервисами; SESSION_STORE=postgres, CACHE_URL_FILE не используется — Redis
|
||||
не обязателен для минимума предыдущих лабораторных. SESSION_TTL_SECONDS реально
|
||||
передаётся из `.env`. IDEMPOTENCY_TTL_SECONDS фиксирован контрактными 86400 секундами.
|
||||
DATABASE_URL_FILE и оба S3 credential FILE смонтированы как secrets. S3_ENDPOINT,
|
||||
S3_BUCKET, MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS заданы в Compose; S3_REGION=us-east-1
|
||||
берётся по умолчанию. Лимиты можно только уменьшить относительно обязательных максимумов.
|
||||
Дополнительный HOST_PORT — host-порт LB. Другие логические переменные примера
|
||||
не выдаются за изменяемые Compose-настройки.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Каждый пункт ниже проверяется `python3 scripts/run-all.py`; отдельные команды
|
||||
для app/student-tests выполняются через `docker compose exec -T api1 python ...`.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
- Целостность skeleton, OpenAPI: `make check validate PYTHON=python` внутри API.
|
||||
Обе проверки PASS — `evidence/check-validate.txt`. Контракт, README задания,
|
||||
COURSE, CONTRIBUTING и публичные tests не изменялись.
|
||||
- Минимум lab1–3 и обязательный lab4 API: `make test PYTHON=python BASE_URL=http://lb:8080`.
|
||||
PASS, включая PNG checksum, attachment-only message, второго участника, 404
|
||||
для третьего, сессии, пагинацию, idempotency — `evidence/smoke.txt`.
|
||||
- Реальные PNG/JPEG, лимиты, MIME и filename: `student-tests/acceptance.py`.
|
||||
PASS: повреждённые bytes и подмена MIME → 415, >10 MiB и 42 млн пикселей → 413,
|
||||
опасные имена → 400, корректный JPEG скачивается без изменений — `evidence/acceptance.json`.
|
||||
- Чужой attachment_id и файл другого чата: тот же сценарий, 404. Неверный cursor,
|
||||
UUID, sender_id — 400; 12 одновременных idempotency повторов → 1 Message.
|
||||
- Потеря API загрузившей реплики: остановка **каждой** API с последующим download
|
||||
и записью через вторую. SHA-256/байты совпадают — `evidence/replica-directions.json`.
|
||||
- Публичный failover с параллельными POST: `tests/resilience.py --mode failover`
|
||||
с собственным hook. PASS; восстановление ≤10 секунд, нет дубликатов/потерь,
|
||||
остановленная реплика отсутствует в конце — `evidence/failover.txt`,
|
||||
`evidence/after-failover.json` и `evidence/after-failover-started.txt`.
|
||||
- Рестарт API **и PostgreSQL/MinIO/LB**: `tests/resilience.py --mode persistence`.
|
||||
PASS, прежняя сессия, сообщения и оригинал сохранены. `evidence/persistence.txt`,
|
||||
`before-restart-started.txt` / `after-restart-started.txt` доказывают изменение
|
||||
StartedAt всех пяти реальных контейнеров. Volumes не удалялись.
|
||||
- Отказ S3 и PostgreSQL: `student-tests/storage_outage.py` при реальной остановке
|
||||
зависимости управляющим скриптом. Live=200, ready/upload/download=503,
|
||||
reconciler прекращает работу, после возврата хранилища исходные bytes совпадают —
|
||||
`evidence/s3-outage.json`, `evidence/postgres-outage.json`.
|
||||
- Прерванная загрузка: raw TCP request с неполным Content-Length и закрытием
|
||||
соединения, отсутствие новых метаданных — `evidence/acceptance.json`.
|
||||
- Сбой PUT → SQL: `student-tests/research.py` временно ставит trigger на тестовый
|
||||
filename, реальный API PUT проходит, INSERT падает, HTTP 500 не раскрывает SQL,
|
||||
остаётся ровно один orphan. После grace он обнаруживается и удаляется —
|
||||
`evidence/research.json`. Trigger удаляется в finally; production failpoints нет.
|
||||
- RAM при ≥10 загрузках: отдельный генератор, 2 размера, по 3 серии × 10,
|
||||
20 ms cgroup/RSS sampling обеих API и Docker CPU stats — `evidence/uploads.json`,
|
||||
`evidence/memory-peaks.json`, `evidence/memory.json`.
|
||||
- Private bucket, scoped S3 credentials, закрытая консоль: анонимный GET существующего
|
||||
объекта → 403; API-пользователь не может создать bucket — `evidence/acceptance.json`.
|
||||
Публикация только LB подтверждается `compose.yaml` и `evidence/final-state.json`.
|
||||
Bootstrap выполнен повторно без удаления данных; вывод — `evidence/bootstrap.txt`.
|
||||
- Законченный трек 2: dry-run не меняет orphan, apply удаляет старый orphan,
|
||||
свежий и используемый оригиналы сохраняются, повтор не повторяет удаление,
|
||||
missing не выдаётся как ready, неверная копия не публикуется, правильная
|
||||
восстанавливается с прежними bytes, >1000 объектов обходятся несколькими LIST —
|
||||
`evidence/research.json`. Стоимость измерена, ограничения приведены ниже.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотеза трека 2: shared/exclusive DB locks, повторная проверка и grace позволяют
|
||||
безопасно убрать неучтённые старые S3-объекты и пометить missing без удаления
|
||||
живых метаданных; повторный проход не порождает новые повреждения.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Методика: создать synthetic chat и ready-вложения, одно привязать к Message.
|
||||
Внедрить SQL-ошибку в реальный upload после PUT и отдельно удалить оригинал
|
||||
второго ready-вложения. Проверить fresh orphan до grace, выждать настоящие
|
||||
62 секунды S3-времени, создать ещё один свежий orphan, сравнить dry-run/apply/repeat.
|
||||
Missing-метаданные искусственно состарены на 2 часа SQL-командой в тесте,
|
||||
S3 LastModified не подделывается. Затем проверить плохую/правильную резервную копию.
|
||||
Добавить 1005 fresh keys по одному байту для проверки LIST pagination, замерить
|
||||
время и число запросов, убрать только точные служебные ключи этого сценария.
|
||||
Используемое вложение сохраняется побайтно после каждого ремонта.
|
||||
|
||||
Результаты трека, нагрузки и памяти записаны отдельным воспроизводимым
|
||||
численным итогом в `evidence/SUMMARY.md`; исходные JSON остаются рядом.
|
||||
Это измерения конкретного локального стенда, а не обещание производительности.
|
||||
|
||||
Окружение: Docker Desktop Linux VM, 16 vCPU, 7 950 495 744 bytes RAM,
|
||||
API по 1 CPU / 512 MiB, `/tmp` по 64 MiB, PostgreSQL и MinIO по 512 MiB,
|
||||
LB 64 MiB. Host Python — 3.14.3, внутри контейнеров — 3.12.10.
|
||||
Перед тестами readiness подтверждена, изображения прогреваются одной загрузкой
|
||||
каждого размера. PNG генерируются из случайных RGB bytes (размеры приблизительно
|
||||
0,75 MiB и 9,28 MiB; точные bytes в JSON). По 3 closed-loop burst-серии на размер,
|
||||
concurrency=10, всего 60 измеряемых успешных загрузок плюс 2 прогревочных.
|
||||
Генератор работает отдельным временным контейнером `migrate`, его RAM не входит
|
||||
в измеряемые API. Duration, successful RPS, errors и p50/p95/p99 каждой серии
|
||||
находятся в `uploads.json`. При n=10 p95 и p99 — максимальная задержка серии.
|
||||
|
||||
Память: `memory-peaks.json` содержит baseline, максимум memory.current с шагом
|
||||
20 ms, RSS PID 1 и kernel memory.peak до/после. Последний — максимум за **всё время
|
||||
жизни контейнера**, включая предыдущие тесты; его нельзя выдавать за чистый пик
|
||||
только загрузок. Sampling может пропустить короткий всплеск. Небольшой probe
|
||||
работает в том же cgroup и добавляет собственный overhead. `docker stats`
|
||||
из `memory.json` содержит CPU и контрольный замер RAM с более редким шагом.
|
||||
|
||||
Отдельно `tests/load.py --duration 30 --concurrency 4` измеряет POST messages,
|
||||
не изображения. JSON включает successful RPS, долю ошибок, p50/p95/p99 успешных
|
||||
ответов. Этот closed-loop тест имеет coordinated omission и ограничения клиента;
|
||||
не определяет максимальную мощность сервера. Запуски добавляют данные, поэтому
|
||||
размер набора растёт; для сравнения на чистом наборе нужен отдельный volume.
|
||||
|
||||
Отказы: API-восстановление ожидается за ≤10 секунд; public test подтвердил это.
|
||||
Рестарт всех сервисов сохраняет подтверждённые данные и действующий токен.
|
||||
S3/PostgreSQL outages честно дают 503 до ручного возврата зависимости, без обещания HA.
|
||||
Orphan исправляется только явным запуском после grace; missing требует backup.
|
||||
В эксперименте не потеряны подтверждённые сообщения или исходные bytes,
|
||||
кроме специально удалённого S3-объекта, который восстановлен из тестовой копии.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Один host, один PostgreSQL, один MinIO и один LB — единые точки отказа.
|
||||
Нет репликации БД/S3, автоматических резервных копий и восстановления потерянного
|
||||
диска; API failover не доказывает устойчивость ко всем инфраструктурным отказам.
|
||||
HTTP допустим только локально с синтетическими данными; для удалённого показа нужен TLS.
|
||||
UI, presigned flow, thumbnail/worker lab5 не входят в выбранную работу.
|
||||
|
||||
Reconciler удерживает exclusive lock на время полного прохода, хранит метаданные
|
||||
и LIST в RAM: стоимость O(A+O), время LIST ≈ceil(O/1000), дополнительные HEAD
|
||||
только для кандидатов. Восстановление failed читает файл для проверки checksum.
|
||||
На большом bucket это мешает записи; statement/lock timeout ограничивает ожидание,
|
||||
но весь проход не имеет отдельного wall-clock SLA. Для production нужна пакетная
|
||||
сверка с журналом/lease, отдельными правами оператора и метриками. Этого улучшения
|
||||
данные опыта не доказывают. Внешний root-оператор S3 может обойти DB lock:
|
||||
ручное восстановление согласовывать с обслуживанием.
|
||||
|
||||
Сверка не ищет побитовую порчу уже ready-файлов и не удаляет корректные, но давно
|
||||
не привязанные вложения. Это сознательные границы orphan/missing-трека.
|
||||
Глобальная корректность конкурентной истории при коррекции часов не гарантируется:
|
||||
между страницами нет snapshot, поздний COMMIT может попасть до cursor.
|
||||
Expired sessions и неиспользуемые просроченные idempotency rows не очищаются
|
||||
периодическим job; это следующий эксплуатационный шаг, expiry при доступе действует.
|
||||
Попытки входа не rate-limit-ятся. Полная защита lab7 здесь не заявляется.
|
||||
|
||||
## Источники и подготовка к защите
|
||||
|
||||
- [Нормативная семантика skeleton](contracts/README.md), [COURSE.md](COURSE.md).
|
||||
- [Psycopg: транзакции и context manager](https://www.psycopg.org/psycopg3/docs/basic/transactions.html).
|
||||
- [MinIO upstream tags и исходники](https://github.com/minio/minio/releases/tag/RELEASE.2025-04-22T22-12-26Z).
|
||||
- [MinIO: policy create/attach](https://min.io/docs/minio/linux/reference/minio-mc-admin/mc-admin-policy.html).
|
||||
- [Pillow: ограничения декодирования](https://pillow.readthedocs.io/en/stable/reference/Image.html).
|
||||
- [S3: загрузка объектов](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html).
|
||||
|
||||
Развёрнутые ответы на все вопросы README, объяснение основных функций и порядок
|
||||
демонстрации — [DEFENSE.md](DEFENSE.md). Использование ИИ раскрыто выше; автору
|
||||
необходимо самостоятельно понимать код и уметь изменить его на защите.
|
||||
|
||||
+101
@@ -0,0 +1,101 @@
|
||||
name: chernenko-lab4
|
||||
x-api: &api
|
||||
build: .
|
||||
image: chernenko-lab4-api:local
|
||||
restart: unless-stopped
|
||||
environment: &api-env
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
S3_ENDPOINT: http://s3:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
MAX_UPLOAD_BYTES: 10485760
|
||||
MAX_IMAGE_PIXELS: 40000000
|
||||
secrets: [database_url, s3_access_key_id, s3_secret_access_key]
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
bootstrap: {condition: service_completed_successfully}
|
||||
mem_limit: 512m
|
||||
cpus: 1
|
||||
tmpfs: ['/tmp:size=64m,mode=1777']
|
||||
healthcheck:
|
||||
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready',timeout=8)"]
|
||||
interval: 3s
|
||||
timeout: 10s
|
||||
retries: 20
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:17.5-alpine
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes: [pgdata:/var/lib/postgresql/data]
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
s3:
|
||||
build: {context: ., dockerfile: infra/Dockerfile.minio}
|
||||
image: chernenko-lab4-minio:2025.04.22
|
||||
command: server /data --console-address :9001
|
||||
environment:
|
||||
MINIO_ROOT_USER_FILE: /run/secrets/minio_root_user
|
||||
MINIO_ROOT_PASSWORD_FILE: /run/secrets/minio_root_password
|
||||
secrets: [minio_root_user, minio_root_password]
|
||||
volumes: [s3data:/data]
|
||||
mem_limit: 512m
|
||||
healthcheck:
|
||||
test: [CMD, curl, -f, http://localhost:9000/minio/health/live]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
bootstrap:
|
||||
build: {context: ., dockerfile: infra/Dockerfile.mc}
|
||||
image: chernenko-lab4-mc:2025.04.16
|
||||
entrypoint: [/bin/sh, /config/bootstrap.sh]
|
||||
secrets: [minio_root_user, minio_root_password, s3_access_key_id, s3_secret_access_key]
|
||||
volumes: ['./infra:/config:ro']
|
||||
depends_on:
|
||||
s3: {condition: service_healthy}
|
||||
migrate:
|
||||
build: .
|
||||
image: chernenko-lab4-api:local
|
||||
command: python -m src.storage
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
secrets: [database_url]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
api1:
|
||||
<<: *api
|
||||
environment:
|
||||
<<: *api-env
|
||||
INSTANCE_ID: api1
|
||||
api2:
|
||||
<<: *api
|
||||
environment:
|
||||
<<: *api-env
|
||||
INSTANCE_ID: api2
|
||||
lb:
|
||||
image: haproxy:3.0.11-alpine
|
||||
ports: ['127.0.0.1:${HOST_PORT:-8080}:8080']
|
||||
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
|
||||
depends_on:
|
||||
api1: {condition: service_healthy}
|
||||
api2: {condition: service_healthy}
|
||||
mem_limit: 64m
|
||||
volumes:
|
||||
pgdata:
|
||||
s3data:
|
||||
secrets:
|
||||
postgres_password: {file: ./secrets/postgres_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
minio_root_user: {file: ./secrets/minio_root_user}
|
||||
minio_root_password: {file: ./secrets/minio_root_password}
|
||||
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||||
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||||
@@ -0,0 +1,28 @@
|
||||
# Операторское расширение: сверка S3/PostgreSQL
|
||||
|
||||
Обязательный OpenAPI лабораторной 4 не изменён. Новых публичных HTTP endpoints нет.
|
||||
CLI `python -m src.reconcile [--apply] [--grace-seconds N]` выполняется оператором
|
||||
внутри API-контейнера с его scoped S3-credentials. По умолчанию dry-run и grace=3600;
|
||||
минимальное разрешённое значение — 60 секунд, для воспроизводимого эксперимента.
|
||||
|
||||
Внутренние состояния Attachment: `ready` и `failed` с `error_code=missing_object`.
|
||||
В lab4 схема успешного Attachment допускает только ready. Поэтому GET metadata
|
||||
или content для внутреннего failed возвращает 409 в общем формате ошибки;
|
||||
новое состояние не публикуется как несовместимый успешный JSON.
|
||||
Привязка failed к сообщению также даёт 409. Все проверки ACL выполняются раньше.
|
||||
|
||||
Orphan — ключ из управляемого `originals/` без метаданных. Он удаляется только
|
||||
после grace, повторных HEAD/SQL-проверок и при exclusive advisory lock.
|
||||
Missing — старые метаданные без оригинала, подтверждённые HEAD 404. Они сохраняются,
|
||||
а статус меняется на failed. Правильная резервная копия возвращает ready после
|
||||
проверки исходного размера и SHA-256; неправильная остаётся failed.
|
||||
|
||||
JSON-результат CLI содержит mode, grace_seconds, scanned_objects/scanned_metadata,
|
||||
list_requests/head_requests, orphan/missing/repaired, fresh_skipped, elapsed_seconds.
|
||||
Поле head_requests считает только HEAD, а не LIST/GET/DELETE и не SQL.
|
||||
Ключи в операторском выводе — внутренняя диагностика; HTTP API их не возвращает.
|
||||
CLI не является планировщиком: оператор запускает его явно, сначала с dry-run.
|
||||
|
||||
Безопасность предполагает, что обычные изменения prefix выполняются API и этим
|
||||
reconciler. Внешний администратор с root-правами способен обойти advisory lock;
|
||||
на время ручного восстановления нужен согласованный режим обслуживания.
|
||||
@@ -0,0 +1,60 @@
|
||||
# Численные результаты, 6 ноября 2026
|
||||
|
||||
Полный прогон `py -X utf8 scripts/run-all.py` завершился PASS на Docker Desktop.
|
||||
Фактическая конфигурация — 16 vCPU, 7 950 495 744 bytes RAM Docker VM;
|
||||
каждая API ограничена 1 CPU / 512 MiB. API доступны через LB на host-порту 18084.
|
||||
|
||||
## Трек 2
|
||||
|
||||
В базе в момент прохода — 79 вложений. Dry-run обнаружил 1 старый orphan и
|
||||
1 missing, не удалил orphan. Apply: 80 объектов, 1 LIST, 2 HEAD, 0,044078 с;
|
||||
старый orphan удалён, свежий сохранён, используемый оригинал скачан без изменений.
|
||||
Повтор: 0 orphan, 1 missing, 0,061837 с. Missing остаётся диагностируемым до backup.
|
||||
Плохая копия не вернула ready; правильная восстановлена за проход 0,043260 с.
|
||||
До истечения grace свежий orphan не удалён; после настоящего ожидания 62 с — удалён.
|
||||
После добавления 1005 однобайтовых объектов: 1085 объектов, 79 метаданных,
|
||||
2 LIST, 0 HEAD, 0,135529 с (dry-run). Служебные fresh keys затем явно удалены тестом.
|
||||
Это один запуск на каждой точке, не статистически надёжный benchmark масштабирования.
|
||||
Исходные данные — `research.json`; список HEAD не включает GET/DELETE/SQL.
|
||||
|
||||
## Загрузки изображений
|
||||
|
||||
Отдельный генератор, один прогрев на размер, concurrency=10, по 3 burst-повтора.
|
||||
60 измеряемых запросов успешны, ошибок 0.
|
||||
|
||||
- PNG 788 085 bytes, 512×512: длительности серий 0,323 / 0,287 / 0,427 с;
|
||||
successful RPS 30,97 / 34,80 / 23,40;
|
||||
p50 0,239 / 0,220 / 0,356 с; p95=p99 0,312 / 0,281 / 0,418 с.
|
||||
- PNG 9 734 289 bytes, 1800×1800: длительности 1,415 / 1,018 / 1,062 с;
|
||||
successful RPS 7,07 / 9,82 / 9,42;
|
||||
p50 0,995 / 0,744 / 0,676 с; p95=p99 1,404 / 1,007 / 1,055 с.
|
||||
|
||||
20 ms sampling, приблизительно 7 секунд наблюдения:
|
||||
|
||||
- api1: baseline 104 833 024 bytes (99,98 MiB), sampled peak 156 479 488
|
||||
(149,23 MiB), API RSS peak 138 665 984 (132,24 MiB), 337 samples.
|
||||
- api2: baseline 124 416 000 bytes (118,65 MiB), sampled peak 184 819 712
|
||||
(176,26 MiB), API RSS peak 161 771 520 (154,28 MiB), 352 samples.
|
||||
- Kernel lifetime peak после теста: api1 163 160 064 bytes (155,60 MiB),
|
||||
api2 185 077 760 bytes (176,50 MiB). Этот счётчик включает прежние сценарии.
|
||||
- Наибольшие наблюдённые Docker CPU samples: api1 76,51%, api2 78,48% одного CPU.
|
||||
|
||||
Данные: `uploads.json`, `memory-peaks.json`, `memory.json`. Sampling не доказывает
|
||||
точную величину мгновенного пика; kernel lifetime peak даёт более широкий верхний
|
||||
наблюдаемый контекст. Генератор не входит в API cgroups, probe входит.
|
||||
|
||||
## Сообщения и отказы
|
||||
|
||||
POST messages: concurrency=4, 30,273 с, 2207 успехов, 0 ошибок, 72,903 успешных
|
||||
RPS; p50/p95/p99 49,708 / 79,677 / 106,861 мс. См. `messages-load.json`.
|
||||
Это closed-loop с coordinated omission и процентилями только успешных ответов.
|
||||
|
||||
Public failover: наблюдены обе реплики, 86 успешных записей, 1 переходная ошибка,
|
||||
первая успешная запись после hook за 2,449 с. Потерь и дублей не обнаружено.
|
||||
`replica-directions.json` дополнительно доказывает чтение байтов при отказе каждой API.
|
||||
Persistence прошёл с прежним токеном и оригиналом; StartedAt всех зависимостей
|
||||
изменился. При реальных остановках S3 и PostgreSQL live=200,
|
||||
ready/upload/download=503, reconciler прерывался. После старта зависимости данные доступны.
|
||||
|
||||
Результат подтверждает выбранные локальные сценарии. Он не доказывает HA одного
|
||||
Docker-host, PostgreSQL/S3/LB, устойчивость к повреждению диска или production SLA.
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "negative_image_and_acl": true, "private_bucket_status": 403, "scoped_credentials": true, "parallel_idempotency_requests": 12, "unique_messages": 1, "interrupted_upload_no_metadata": true}
|
||||
@@ -0,0 +1,5 @@
|
||||
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
|
||||
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
|
||||
/chernenko-lab4-api1-1 2026-11-06T13:43:48.73468237Z
|
||||
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
|
||||
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||
@@ -0,0 +1,170 @@
|
||||
[
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "e94c185c04f1",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=api1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.container-number=1,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.oneoff=False,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"Names": "chernenko-lab4-api1-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "About a minute ago",
|
||||
"Service": "api1",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 14 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "c17142b64593",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"Names": "chernenko-lab4-api2-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "About a minute ago",
|
||||
"Service": "api2",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 21 seconds (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "060f1b699b19",
|
||||
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.service=bootstrap",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-bootstrap-1",
|
||||
"Names": "chernenko-lab4-bootstrap-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "About a minute ago",
|
||||
"Service": "bootstrap",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 21 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "6164f1e72222",
|
||||
"Image": "haproxy:3.0.11-alpine",
|
||||
"Labels": "com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=lb-1",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-lb-1",
|
||||
"Names": "chernenko-lab4-lb-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "127.0.0.1",
|
||||
"TargetPort": 8080,
|
||||
"PublishedPort": 18084,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "5 minutes ago",
|
||||
"Service": "lb",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 42 seconds"
|
||||
},
|
||||
{
|
||||
"Command": "\"python -m src.stora\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "3202e401b8fd",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,com.docker.compose.version=5.1.0",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-migrate-1",
|
||||
"Names": "chernenko-lab4-migrate-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "About a minute ago",
|
||||
"Service": "migrate",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 21 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "edbbd4f47c8c",
|
||||
"Image": "postgres:17.5-alpine",
|
||||
"Labels": "com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||
"Name": "chernenko-lab4-postgres-1",
|
||||
"Names": "chernenko-lab4-postgres-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "5432/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "",
|
||||
"TargetPort": 5432,
|
||||
"PublishedPort": 0,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "9 minutes ago",
|
||||
"Service": "postgres",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 42 seconds (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"minio server /data \u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "f9079ac9c968",
|
||||
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.replace=s3-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.depends_on=,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.container-number=1,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-s3-1",
|
||||
"Names": "chernenko-lab4-s3-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "About a minute ago",
|
||||
"Service": "s3",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 42 seconds (healthy)"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,5 @@
|
||||
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
|
||||
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
|
||||
/chernenko-lab4-api1-1 2026-11-06T13:43:38.109037225Z
|
||||
/chernenko-lab4-api2-1 2026-11-06T13:43:38.029048242Z
|
||||
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||
@@ -0,0 +1,170 @@
|
||||
[
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "e94c185c04f1",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/database_url,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api1,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.replace=api1-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"Names": "chernenko-lab4-api1-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "49 seconds ago",
|
||||
"Service": "api1",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 seconds (health: starting)"
|
||||
},
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "starting",
|
||||
"ID": "c17142b64593",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"Names": "chernenko-lab4-api2-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "49 seconds ago",
|
||||
"Service": "api2",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 seconds (health: starting)"
|
||||
},
|
||||
{
|
||||
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "060f1b699b19",
|
||||
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||
"Labels": "com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.replace=bootstrap-1,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.container-number=1,com.docker.compose.depends_on=s3:service_healthy:false",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-bootstrap-1",
|
||||
"Names": "chernenko-lab4-bootstrap-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "50 seconds ago",
|
||||
"Service": "bootstrap",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 41 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "6164f1e72222",
|
||||
"Image": "haproxy:3.0.11-alpine",
|
||||
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project=chernenko-lab4,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.replace=lb-1,com.docker.compose.service=lb,com.docker.compose.version=5.1.0,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-lb-1",
|
||||
"Names": "chernenko-lab4-lb-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "127.0.0.1",
|
||||
"TargetPort": 8080,
|
||||
"PublishedPort": 18084,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "lb",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 seconds"
|
||||
},
|
||||
{
|
||||
"Command": "\"python -m src.stora\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "3202e401b8fd",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=migrate-1,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-migrate-1",
|
||||
"Names": "chernenko-lab4-migrate-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "50 seconds ago",
|
||||
"Service": "migrate",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 44 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "edbbd4f47c8c",
|
||||
"Image": "postgres:17.5-alpine",
|
||||
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||
"Name": "chernenko-lab4-postgres-1",
|
||||
"Names": "chernenko-lab4-postgres-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "5432/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "",
|
||||
"TargetPort": 5432,
|
||||
"PublishedPort": 0,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "8 minutes ago",
|
||||
"Service": "postgres",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 seconds (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"minio server /data \u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "f9079ac9c968",
|
||||
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||
"Labels": "com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=,com.docker.compose.replace=s3-1,com.docker.compose.service=s3,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-s3-1",
|
||||
"Names": "chernenko-lab4-s3-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "50 seconds ago",
|
||||
"Service": "s3",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 4 seconds (healthy)"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,5 @@
|
||||
/chernenko-lab4-postgres-1 2026-11-06T13:39:11.75831067Z
|
||||
/chernenko-lab4-s3-1 2026-11-06T13:42:56.365718327Z
|
||||
/chernenko-lab4-api1-1 2026-11-06T13:43:00.119864269Z
|
||||
/chernenko-lab4-api2-1 2026-11-06T13:43:00.124296365Z
|
||||
/chernenko-lab4-lb-1 2026-11-06T13:39:11.322683321Z
|
||||
@@ -0,0 +1,170 @@
|
||||
[
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "e94c185c04f1",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"Names": "chernenko-lab4-api1-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "43 seconds ago",
|
||||
"Service": "api1",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 35 seconds (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "c17142b64593",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "desktop.docker.io/mounts/2/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"Names": "chernenko-lab4-api2-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "43 seconds ago",
|
||||
"Service": "api2",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 35 seconds (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "060f1b699b19",
|
||||
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,desktop.docker.io/binds/0/Target=/config",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-bootstrap-1",
|
||||
"Names": "chernenko-lab4-bootstrap-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "44 seconds ago",
|
||||
"Service": "bootstrap",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 35 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "6164f1e72222",
|
||||
"Image": "haproxy:3.0.11-alpine",
|
||||
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.replace=lb-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.version=5.1.0",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-lb-1",
|
||||
"Names": "chernenko-lab4-lb-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "127.0.0.1",
|
||||
"TargetPort": 8080,
|
||||
"PublishedPort": 18084,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "lb",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 4 minutes"
|
||||
},
|
||||
{
|
||||
"Command": "\"python -m src.stora\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "3202e401b8fd",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=migrate,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-migrate-1",
|
||||
"Names": "chernenko-lab4-migrate-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "44 seconds ago",
|
||||
"Service": "migrate",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 38 seconds ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "edbbd4f47c8c",
|
||||
"Image": "postgres:17.5-alpine",
|
||||
"Labels": "com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=postgres,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.container-number=1",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||
"Name": "chernenko-lab4-postgres-1",
|
||||
"Names": "chernenko-lab4-postgres-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "5432/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "",
|
||||
"TargetPort": 5432,
|
||||
"PublishedPort": 0,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "8 minutes ago",
|
||||
"Service": "postgres",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 4 minutes (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"minio server /data \u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "f9079ac9c968",
|
||||
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||
"Labels": "com.docker.compose.service=s3,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-s3-1",
|
||||
"Names": "chernenko-lab4-s3-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "44 seconds ago",
|
||||
"Service": "s3",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 39 seconds (healthy)"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1 @@
|
||||
Private bucket and scoped application user ready
|
||||
@@ -0,0 +1,4 @@
|
||||
python scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: docker compose config --quiet (exit 0)
|
||||
@@ -0,0 +1,3 @@
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 86, "failed_attempts": 1, "first_recovery_seconds": 2.449}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,5 @@
|
||||
/chernenko-lab4-postgres-1 2026-11-06T13:45:08.909781813Z
|
||||
/chernenko-lab4-s3-1 2026-11-06T13:44:46.147669345Z
|
||||
/chernenko-lab4-api1-1 2026-11-06T13:44:23.398321123Z
|
||||
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
|
||||
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
|
||||
@@ -0,0 +1,170 @@
|
||||
[
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "e94c185c04f1",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"Names": "chernenko-lab4-api1-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "api1",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 2 minutes (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"uvicorn src.app:app\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "c17142b64593",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"Names": "chernenko-lab4-api2-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "api2",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 minutes (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"/bin/sh /config/boo\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "060f1b699b19",
|
||||
"Image": "chernenko-lab4-mc:2025.04.16",
|
||||
"Labels": "desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.replace=bootstrap-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-bootstrap-1",
|
||||
"Names": "chernenko-lab4-bootstrap-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "bootstrap",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 2 minutes ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "6164f1e72222",
|
||||
"Image": "haproxy:3.0.11-alpine",
|
||||
"Labels": "com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.replace=lb-1,com.docker.compose.version=5.1.0,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-lb-1",
|
||||
"Names": "chernenko-lab4-lb-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "127.0.0.1:18084->8080/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "127.0.0.1",
|
||||
"TargetPort": 8080,
|
||||
"PublishedPort": 18084,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "8 minutes ago",
|
||||
"Service": "lb",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 3 minutes"
|
||||
},
|
||||
{
|
||||
"Command": "\"python -m src.stora\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "",
|
||||
"ID": "3202e401b8fd",
|
||||
"Image": "chernenko-lab4-api:local",
|
||||
"Labels": "com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1",
|
||||
"LocalVolumes": "0",
|
||||
"Mounts": "/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-migrate-1",
|
||||
"Names": "chernenko-lab4-migrate-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "migrate",
|
||||
"Size": "0B",
|
||||
"State": "exited",
|
||||
"Status": "Exited (0) 2 minutes ago"
|
||||
},
|
||||
{
|
||||
"Command": "\"docker-entrypoint.s\u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "edbbd4f47c8c",
|
||||
"Image": "postgres:17.5-alpine",
|
||||
"Labels": "com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
|
||||
"Name": "chernenko-lab4-postgres-1",
|
||||
"Names": "chernenko-lab4-postgres-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "5432/tcp",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [
|
||||
{
|
||||
"URL": "",
|
||||
"TargetPort": 5432,
|
||||
"PublishedPort": 0,
|
||||
"Protocol": "tcp"
|
||||
}
|
||||
],
|
||||
"RunningFor": "12 minutes ago",
|
||||
"Service": "postgres",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up About a minute (healthy)"
|
||||
},
|
||||
{
|
||||
"Command": "\"minio server /data \u2026\"",
|
||||
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
|
||||
"ExitCode": 0,
|
||||
"Health": "healthy",
|
||||
"ID": "f9079ac9c968",
|
||||
"Image": "chernenko-lab4-minio:2025.04.22",
|
||||
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
|
||||
"LocalVolumes": "1",
|
||||
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
|
||||
"Name": "chernenko-lab4-s3-1",
|
||||
"Names": "chernenko-lab4-s3-1",
|
||||
"Networks": "chernenko-lab4_default",
|
||||
"Ports": "",
|
||||
"Project": "chernenko-lab4",
|
||||
"Publishers": [],
|
||||
"RunningFor": "4 minutes ago",
|
||||
"Service": "s3",
|
||||
"Size": "0B",
|
||||
"State": "running",
|
||||
"Status": "Up 2 minutes (healthy)"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1 @@
|
||||
CPUs=16 memory_bytes=7950495744 OS=Docker Desktop
|
||||
@@ -0,0 +1,8 @@
|
||||
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
|
||||
chernenko-lab4-api1-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||
chernenko-lab4-api2-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||
chernenko-lab4-bootstrap-1 chernenko-lab4-mc 2025.04.16 linux/amd64 9cd6b1619c90 25.5MB 13 minutes ago
|
||||
chernenko-lab4-lb-1 haproxy 3.0.11-alpine linux/amd64 e49b7beb96f4 13.6MB 17 months ago
|
||||
chernenko-lab4-migrate-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
|
||||
chernenko-lab4-postgres-1 postgres 17.5-alpine linux/amd64 6567bca8d7bc 111MB 17 months ago
|
||||
chernenko-lab4-s3-1 chernenko-lab4-minio 2025.04.22 linux/amd64 d6e5173cc106 76MB 12 minutes ago
|
||||
@@ -0,0 +1,22 @@
|
||||
{
|
||||
"api1": {
|
||||
"baseline_bytes": 104833024,
|
||||
"sampled_peak_bytes": 156479488,
|
||||
"kernel_lifetime_peak_before_bytes": 163160064,
|
||||
"kernel_lifetime_peak_after_bytes": 163160064,
|
||||
"api_rss_peak_bytes": 138665984,
|
||||
"sample_count": 337,
|
||||
"interval_seconds": 0.02,
|
||||
"elapsed_seconds": 7.063227589999997
|
||||
},
|
||||
"api2": {
|
||||
"baseline_bytes": 124416000,
|
||||
"sampled_peak_bytes": 184819712,
|
||||
"kernel_lifetime_peak_before_bytes": 158715904,
|
||||
"kernel_lifetime_peak_after_bytes": 185077760,
|
||||
"api_rss_peak_bytes": 161771520,
|
||||
"sample_count": 352,
|
||||
"interval_seconds": 0.02,
|
||||
"elapsed_seconds": 7.281432108999979
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,110 @@
|
||||
[
|
||||
{
|
||||
"elapsed": 1.166,
|
||||
"replicas": [
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "19.87%",
|
||||
"Container": "chernenko-lab4-api1-1",
|
||||
"ID": "e94c185c04f1",
|
||||
"MemPerc": "22.66%",
|
||||
"MemUsage": "116MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"NetIO": "3.02MB / 2.87MB",
|
||||
"PIDs": "5"
|
||||
},
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "19.56%",
|
||||
"Container": "chernenko-lab4-api2-1",
|
||||
"ID": "c17142b64593",
|
||||
"MemPerc": "26.86%",
|
||||
"MemUsage": "137.5MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"NetIO": "1.31MB / 1.56MB",
|
||||
"PIDs": "5"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"elapsed": 3.227,
|
||||
"replicas": [
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "47.58%",
|
||||
"Container": "chernenko-lab4-api1-1",
|
||||
"ID": "e94c185c04f1",
|
||||
"MemPerc": "27.55%",
|
||||
"MemUsage": "141MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"NetIO": "40.8MB / 15.7MB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "56.44%",
|
||||
"Container": "chernenko-lab4-api2-1",
|
||||
"ID": "c17142b64593",
|
||||
"MemPerc": "31.94%",
|
||||
"MemUsage": "163.5MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"NetIO": "48.6MB / 23.4MB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"elapsed": 5.284,
|
||||
"replicas": [
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "76.51%",
|
||||
"Container": "chernenko-lab4-api1-1",
|
||||
"ID": "e94c185c04f1",
|
||||
"MemPerc": "23.07%",
|
||||
"MemUsage": "118.1MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"NetIO": "114MB / 113MB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "78.48%",
|
||||
"Container": "chernenko-lab4-api2-1",
|
||||
"ID": "c17142b64593",
|
||||
"MemPerc": "29.24%",
|
||||
"MemUsage": "149.7MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"NetIO": "122MB / 111MB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"elapsed": 7.294,
|
||||
"replicas": [
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "3.86%",
|
||||
"Container": "chernenko-lab4-api1-1",
|
||||
"ID": "e94c185c04f1",
|
||||
"MemPerc": "23.10%",
|
||||
"MemUsage": "118.3MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api1-1",
|
||||
"NetIO": "162MB / 162MB",
|
||||
"PIDs": "6"
|
||||
},
|
||||
{
|
||||
"BlockIO": "0B / 0B",
|
||||
"CPUPerc": "9.13%",
|
||||
"Container": "chernenko-lab4-api2-1",
|
||||
"ID": "c17142b64593",
|
||||
"MemPerc": "27.36%",
|
||||
"MemUsage": "140.1MiB / 512MiB",
|
||||
"Name": "chernenko-lab4-api2-1",
|
||||
"NetIO": "171MB / 170MB",
|
||||
"PIDs": "6"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.273,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 2207,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 72.903,
|
||||
"successful_latency_ms": {
|
||||
"p50": 49.708,
|
||||
"p95": 79.677,
|
||||
"p99": 106.861
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 4,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 30.0,
|
||||
"elapsed_seconds": 30.273,
|
||||
"concurrency": 4,
|
||||
"successful_requests": 2207,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 72.903,
|
||||
"successful_latency_ms": {
|
||||
"p50": 49.708,
|
||||
"p95": 79.677,
|
||||
"p99": 106.861
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "dependency": "postgres", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
|
||||
@@ -0,0 +1,41 @@
|
||||
annotated-types==0.8.0
|
||||
anyio==4.16.0
|
||||
argon2-cffi==23.1.0
|
||||
argon2-cffi-bindings==26.1.0
|
||||
attrs==26.1.0
|
||||
boto3==1.38.23
|
||||
botocore==1.38.46
|
||||
certifi==2026.10.23
|
||||
cffi==2.1.1
|
||||
charset-normalizer==3.5.2
|
||||
click==8.5.0
|
||||
fastapi==0.115.12
|
||||
h11==0.16.0
|
||||
idna==3.20
|
||||
jmespath==1.1.0
|
||||
jsonschema==4.23.0
|
||||
jsonschema-path==0.3.4
|
||||
jsonschema-specifications==2025.9.1
|
||||
lazy-object-proxy==1.13.0
|
||||
openapi-schema-validator==0.6.3
|
||||
openapi-spec-validator==0.7.2
|
||||
pathable==0.4.4
|
||||
pillow==11.2.1
|
||||
psycopg==3.2.9
|
||||
psycopg-binary==3.2.9
|
||||
pycparser==3.12
|
||||
pydantic==2.14.3
|
||||
pydantic_core==2.50.4
|
||||
python-dateutil==2.9.0.post0
|
||||
PyYAML==6.0.3
|
||||
referencing==0.36.2
|
||||
requests==2.34.2
|
||||
rfc3339-validator==0.1.4
|
||||
rpds-py==2026.9.1
|
||||
s3transfer==0.13.1
|
||||
six==1.17.0
|
||||
starlette==0.46.2
|
||||
typing-inspection==0.4.5
|
||||
typing_extensions==4.16.0
|
||||
urllib3==2.8.0
|
||||
uvicorn==0.34.2
|
||||
@@ -0,0 +1,12 @@
|
||||
[
|
||||
{
|
||||
"stopped": "api1",
|
||||
"served_by": "api2",
|
||||
"checksum_equal": true
|
||||
},
|
||||
{
|
||||
"stopped": "api2",
|
||||
"served_by": "api1",
|
||||
"checksum_equal": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,108 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"early": {
|
||||
"mode": "apply",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 79,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 1,
|
||||
"orphan": [],
|
||||
"missing": [
|
||||
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||
],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.046923
|
||||
},
|
||||
"dry_run": {
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 80,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 2,
|
||||
"orphan": [
|
||||
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
|
||||
],
|
||||
"missing": [
|
||||
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||
],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.042767
|
||||
},
|
||||
"apply": {
|
||||
"mode": "apply",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 80,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 2,
|
||||
"orphan": [
|
||||
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
|
||||
],
|
||||
"missing": [
|
||||
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||
],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.044078
|
||||
},
|
||||
"repeat": {
|
||||
"mode": "apply",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 79,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 1,
|
||||
"orphan": [],
|
||||
"missing": [
|
||||
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||
],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.061837
|
||||
},
|
||||
"wrong_backup": {
|
||||
"mode": "apply",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 80,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 0,
|
||||
"orphan": [],
|
||||
"missing": [],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.069966
|
||||
},
|
||||
"restore": {
|
||||
"mode": "apply",
|
||||
"grace_seconds": 60,
|
||||
"scanned_objects": 80,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 1,
|
||||
"head_requests": 0,
|
||||
"orphan": [],
|
||||
"missing": [],
|
||||
"repaired": [
|
||||
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
|
||||
],
|
||||
"fresh_skipped": 1,
|
||||
"elapsed_seconds": 0.04326
|
||||
},
|
||||
"scale": {
|
||||
"mode": "dry-run",
|
||||
"grace_seconds": 3600,
|
||||
"scanned_objects": 1085,
|
||||
"scanned_metadata": 79,
|
||||
"list_requests": 2,
|
||||
"head_requests": 0,
|
||||
"orphan": [],
|
||||
"missing": [],
|
||||
"repaired": [],
|
||||
"fresh_skipped": 1006,
|
||||
"elapsed_seconds": 0.135529
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1 @@
|
||||
{"result": "PASS", "dependency": "s3", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
|
||||
@@ -0,0 +1 @@
|
||||
PASS: S3 down: ready=503, live=200
|
||||
@@ -0,0 +1,2 @@
|
||||
python tests/smoke.py --base-url "http://lb:8080"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,80 @@
|
||||
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Creating
|
||||
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Created
|
||||
{
|
||||
"result": "PASS",
|
||||
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
|
||||
"results": [
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 1,
|
||||
"duration_seconds": 0.3228425799998149,
|
||||
"successful_rps": 30.97484848499765,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.23937289499997405,
|
||||
"p95_seconds": 0.3116505430000416,
|
||||
"p99_seconds": 0.3116505430000416
|
||||
},
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 2,
|
||||
"duration_seconds": 0.28736012400008804,
|
||||
"successful_rps": 34.7995395491858,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.21971024050003507,
|
||||
"p95_seconds": 0.280770332999964,
|
||||
"p99_seconds": 0.280770332999964
|
||||
},
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 3,
|
||||
"duration_seconds": 0.4273819759998787,
|
||||
"successful_rps": 23.398272649670275,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.35630944649994944,
|
||||
"p95_seconds": 0.41798241600008623,
|
||||
"p99_seconds": 0.41798241600008623
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 1,
|
||||
"duration_seconds": 1.414869691999911,
|
||||
"successful_rps": 7.067788685094421,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.9954542405000666,
|
||||
"p95_seconds": 1.4035137710000072,
|
||||
"p99_seconds": 1.4035137710000072
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 2,
|
||||
"duration_seconds": 1.0182373059999463,
|
||||
"successful_rps": 9.820893362554257,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.743775241499975,
|
||||
"p95_seconds": 1.0071358039999723,
|
||||
"p99_seconds": 1.0071358039999723
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 3,
|
||||
"duration_seconds": 1.0615374129999964,
|
||||
"successful_rps": 9.420299160007122,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.6756271810000953,
|
||||
"p95_seconds": 1.0547382820000166,
|
||||
"p99_seconds": 1.0547382820000166
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,78 @@
|
||||
{
|
||||
"result": "PASS",
|
||||
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
|
||||
"results": [
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 1,
|
||||
"duration_seconds": 0.3228425799998149,
|
||||
"successful_rps": 30.97484848499765,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.23937289499997405,
|
||||
"p95_seconds": 0.3116505430000416,
|
||||
"p99_seconds": 0.3116505430000416
|
||||
},
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 2,
|
||||
"duration_seconds": 0.28736012400008804,
|
||||
"successful_rps": 34.7995395491858,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.21971024050003507,
|
||||
"p95_seconds": 0.280770332999964,
|
||||
"p99_seconds": 0.280770332999964
|
||||
},
|
||||
{
|
||||
"size_bytes": 788085,
|
||||
"pixels": 262144,
|
||||
"concurrency": 10,
|
||||
"repeat": 3,
|
||||
"duration_seconds": 0.4273819759998787,
|
||||
"successful_rps": 23.398272649670275,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.35630944649994944,
|
||||
"p95_seconds": 0.41798241600008623,
|
||||
"p99_seconds": 0.41798241600008623
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 1,
|
||||
"duration_seconds": 1.414869691999911,
|
||||
"successful_rps": 7.067788685094421,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.9954542405000666,
|
||||
"p95_seconds": 1.4035137710000072,
|
||||
"p99_seconds": 1.4035137710000072
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 2,
|
||||
"duration_seconds": 1.0182373059999463,
|
||||
"successful_rps": 9.820893362554257,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.743775241499975,
|
||||
"p95_seconds": 1.0071358039999723,
|
||||
"p99_seconds": 1.0071358039999723
|
||||
},
|
||||
{
|
||||
"size_bytes": 9734289,
|
||||
"pixels": 3240000,
|
||||
"concurrency": 10,
|
||||
"repeat": 3,
|
||||
"duration_seconds": 1.0615374129999964,
|
||||
"successful_rps": 9.420299160007122,
|
||||
"errors": 0,
|
||||
"p50_seconds": 0.6756271810000953,
|
||||
"p95_seconds": 1.0547382820000166,
|
||||
"p99_seconds": 1.0547382820000166
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
FROM golang:1.24.2-alpine AS build
|
||||
RUN apk add --no-cache git
|
||||
RUN go install github.com/minio/mc@RELEASE.2025-04-16T18-13-26Z
|
||||
FROM alpine:3.21.3
|
||||
RUN apk add --no-cache ca-certificates
|
||||
COPY --from=build /go/bin/mc /usr/local/bin/mc
|
||||
ENTRYPOINT ["mc"]
|
||||
@@ -0,0 +1,7 @@
|
||||
FROM golang:1.24.2-alpine AS build
|
||||
RUN apk add --no-cache git
|
||||
RUN go install github.com/minio/minio@RELEASE.2025-04-22T22-12-26Z
|
||||
FROM alpine:3.21.3
|
||||
RUN apk add --no-cache ca-certificates curl
|
||||
COPY --from=build /go/bin/minio /usr/local/bin/minio
|
||||
ENTRYPOINT ["minio"]
|
||||
Executable
+9
@@ -0,0 +1,9 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
mc alias set local http://s3:9000 "$(cat /run/secrets/minio_root_user)" "$(cat /run/secrets/minio_root_password)" >/dev/null
|
||||
mc mb --ignore-existing local/messenger-attachments >/dev/null
|
||||
mc anonymous set none local/messenger-attachments >/dev/null
|
||||
mc admin user add local "$(cat /run/secrets/s3_access_key_id)" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null
|
||||
mc admin policy create local messenger /config/s3-policy.json >/dev/null
|
||||
mc admin policy attach local messenger --user "$(cat /run/secrets/s3_access_key_id)" >/dev/null
|
||||
echo 'Private bucket and scoped application user ready'
|
||||
@@ -0,0 +1,17 @@
|
||||
global
|
||||
maxconn 128
|
||||
defaults
|
||||
mode http
|
||||
timeout connect 2s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
frontend public
|
||||
bind :8080
|
||||
default_backend api
|
||||
backend api
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
default-server inter 1s fall 2 rise 1
|
||||
server api1 api1:8080 check
|
||||
server api2 api2:8080 check
|
||||
@@ -0,0 +1 @@
|
||||
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/originals/*"]}]}
|
||||
@@ -0,0 +1,27 @@
|
||||
CREATE TABLE IF NOT EXISTS users (
|
||||
id uuid PRIMARY KEY, username text UNIQUE NOT NULL, display_name text NOT NULL,
|
||||
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE TABLE IF NOT EXISTS sessions (
|
||||
token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users(id), expires_at timestamptz NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS chats (
|
||||
id uuid PRIMARY KEY, title text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE TABLE IF NOT EXISTS members (
|
||||
chat_id uuid REFERENCES chats(id), user_id uuid REFERENCES users(id), PRIMARY KEY(chat_id,user_id));
|
||||
CREATE TABLE IF NOT EXISTS attachments (
|
||||
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), owner_id uuid NOT NULL REFERENCES users(id),
|
||||
object_key text UNIQUE NOT NULL, filename text NOT NULL, content_type text NOT NULL,
|
||||
size_bytes integer NOT NULL, sha256 text NOT NULL, width integer NOT NULL, height integer NOT NULL,
|
||||
status text NOT NULL CHECK(status IN ('ready','failed')), error_code text,
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE TABLE IF NOT EXISTS messages (
|
||||
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), sender_id uuid NOT NULL REFERENCES users(id),
|
||||
text text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,created_at,id);
|
||||
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||
message_id uuid REFERENCES messages(id), attachment_id uuid REFERENCES attachments(id),
|
||||
position integer NOT NULL, PRIMARY KEY(message_id,attachment_id));
|
||||
CREATE TABLE IF NOT EXISTS idempotency (
|
||||
user_id uuid REFERENCES users(id), chat_id uuid REFERENCES chats(id), key text,
|
||||
body_hash text NOT NULL, message_id uuid NOT NULL REFERENCES messages(id),
|
||||
expires_at timestamptz NOT NULL, PRIMARY KEY(user_id,chat_id,key));
|
||||
ALTER TABLE attachments ADD COLUMN IF NOT EXISTS updated_at timestamptz NOT NULL DEFAULT clock_timestamp();
|
||||
@@ -0,0 +1,7 @@
|
||||
fastapi==0.115.12
|
||||
uvicorn==0.34.2
|
||||
psycopg[binary]==3.2.9
|
||||
boto3==1.38.23
|
||||
Pillow==11.2.1
|
||||
argon2-cffi==23.1.0
|
||||
jsonschema==4.23.0
|
||||
@@ -0,0 +1,3 @@
|
||||
@echo off
|
||||
cd /d "%~dp0.."
|
||||
docker compose restart postgres s3 api1 api2 lb
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose restart postgres s3 api1 api2 lb
|
||||
@@ -0,0 +1,174 @@
|
||||
"""Reproduce evidence on a LOCAL synthetic Compose stand, Python 3.9+ and Docker.
|
||||
|
||||
No secrets in summaries. Fails immediately on a broken check; restores stopped services.
|
||||
"""
|
||||
import concurrent.futures
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import threading
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
OUT = ROOT/'evidence'
|
||||
OUT.mkdir(exist_ok=True)
|
||||
os.chdir(ROOT)
|
||||
os.environ['PYTHONUTF8'] = '1'
|
||||
|
||||
|
||||
def command(args, file=None):
|
||||
result = subprocess.run(args,stdout=subprocess.PIPE,stderr=subprocess.PIPE,
|
||||
text=True,encoding='utf-8',errors='replace')
|
||||
if file:
|
||||
(OUT/file).write_text(result.stdout,encoding='utf-8')
|
||||
if result.returncode:
|
||||
print(result.stdout+result.stderr)
|
||||
raise RuntimeError('Command failed: '+' '.join(args[:5]))
|
||||
return result.stdout
|
||||
|
||||
|
||||
def ready():
|
||||
for _ in range(90):
|
||||
try:
|
||||
with urllib.request.urlopen(os.environ['BASE_URL']+'/health/ready',timeout=3) as r:
|
||||
if r.status==200:
|
||||
return
|
||||
except (OSError,urllib.error.URLError):
|
||||
pass
|
||||
time.sleep(1)
|
||||
raise RuntimeError('Readiness deadline')
|
||||
|
||||
|
||||
def snapshot(name):
|
||||
# No environment/inspect Config: Docker environments can contain secrets.
|
||||
data = command(['docker','compose','ps','--all','--format','json'])
|
||||
# Compose emits JSON Lines; evidence files must be valid standalone JSON.
|
||||
try:
|
||||
parsed = json.loads(data)
|
||||
rows = parsed if isinstance(parsed,list) else [parsed]
|
||||
except json.JSONDecodeError:
|
||||
rows = [json.loads(line) for line in data.splitlines() if line.strip()]
|
||||
(OUT/name).write_text(json.dumps(rows,indent=2),encoding='utf-8')
|
||||
starts = command(['docker','inspect','--format',
|
||||
'{{.Name}} {{.State.StartedAt}}',
|
||||
'chernenko-lab4-postgres-1','chernenko-lab4-s3-1',
|
||||
'chernenko-lab4-api1-1','chernenko-lab4-api2-1','chernenko-lab4-lb-1'])
|
||||
(OUT/(Path(name).stem+'-started.txt')).write_text(starts,encoding='utf-8')
|
||||
|
||||
|
||||
def execute_inside(script,filename):
|
||||
return command(['docker','compose','exec','-T','api1','python',script],filename)
|
||||
|
||||
|
||||
def main():
|
||||
command(['docker','compose','config','--quiet'],'compose-config.txt')
|
||||
(OUT/'compose-config.txt').write_text('PASS: docker compose config --quiet (exit 0)\n',encoding='utf-8')
|
||||
address = command(['docker','compose','port','lb','8080']).strip()
|
||||
os.environ['BASE_URL'] = 'http://'+address
|
||||
command(['docker','compose','exec','-T','api1','make','check','validate','PYTHON=python'],'check-validate.txt')
|
||||
ready()
|
||||
command(['docker','compose','exec','-T','api1','make','test','PYTHON=python','BASE_URL=http://lb:8080'],'smoke.txt')
|
||||
execute_inside('student-tests/acceptance.py','acceptance.json')
|
||||
snapshot('before-restart.json')
|
||||
hook = 'scripts/restart.cmd' if os.name=='nt' else 'scripts/restart.sh'
|
||||
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','persistence',
|
||||
'--action-script',hook],'persistence.txt')
|
||||
snapshot('after-restart.json')
|
||||
# Both failure directions deterministically, including bytes and existing session.
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client, check
|
||||
c = Client(timeout=20)
|
||||
a,b,e,ch = c.bootstrap()
|
||||
att,raw = c.attachment(a,ch)
|
||||
c.message(a,ch,'survives',attachments=[att['id']])
|
||||
outages = []
|
||||
for target in ('api1','api2'):
|
||||
command(['docker','compose','stop',target])
|
||||
try:
|
||||
time.sleep(3)
|
||||
result = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)
|
||||
check(result['bytes']==raw,'failover changed bytes')
|
||||
check(result['headers']['X-Instance-Id']!=target,'stopped replica served response')
|
||||
c.message(a,ch,'after '+target)
|
||||
outages.append(dict(stopped=target,served_by=result['headers']['X-Instance-Id'],checksum_equal=True))
|
||||
finally:
|
||||
command(['docker','compose','start',target])
|
||||
time.sleep(4)
|
||||
ready()
|
||||
hook = 'scripts/stop-one.cmd' if os.name=='nt' else 'scripts/stop-one.sh'
|
||||
try:
|
||||
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','failover',
|
||||
'--action-script',hook],'failover.txt')
|
||||
snapshot('after-failover.json')
|
||||
finally:
|
||||
command(['docker','compose','start','api1','api2'])
|
||||
time.sleep(4)
|
||||
ready()
|
||||
# Internal API avoids LB-generated 503 masking application behavior. Sessions
|
||||
# are passed only over stdin, never saved in evidence or process arguments.
|
||||
for dependency in ('s3','postgres'):
|
||||
try:
|
||||
command(['docker','compose','stop',dependency])
|
||||
result = subprocess.run(['docker','compose','exec','-T','api2','python',
|
||||
'student-tests/storage_outage.py',dependency],input=json.dumps(
|
||||
{'actor':{'id':a['id'],'token':a['token']},'chat':ch,'attachment':att}),text=True,encoding='utf-8',
|
||||
stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
|
||||
(OUT/(dependency+'-outage.json')).write_text(result.stdout,encoding='utf-8')
|
||||
if result.returncode:
|
||||
raise RuntimeError(dependency+' outage assertions failed: '+result.stdout)
|
||||
finally:
|
||||
command(['docker','compose','start',dependency])
|
||||
time.sleep(4)
|
||||
ready()
|
||||
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)['bytes']==raw,
|
||||
'storage restart changed original')
|
||||
(OUT/'replica-directions.json').write_text(json.dumps(outages,indent=2),encoding='utf-8')
|
||||
execute_inside('student-tests/research.py','research.json')
|
||||
samples = []
|
||||
done = threading.Event()
|
||||
def sample():
|
||||
while not done.is_set():
|
||||
raw = command(['docker','stats','--no-stream','--format','{{json .}}',
|
||||
'chernenko-lab4-api1-1','chernenko-lab4-api2-1'])
|
||||
samples.append({'elapsed':round(time.monotonic()-start,3),
|
||||
'replicas':[json.loads(x) for x in raw.splitlines() if x.strip()]})
|
||||
done.wait(0.2)
|
||||
start = time.monotonic()
|
||||
thread = threading.Thread(target=sample)
|
||||
thread.start()
|
||||
probes = {service:subprocess.Popen(['docker','compose','exec','-T',service,'python',
|
||||
'student-tests/memory_probe.py'],stdin=subprocess.PIPE,stdout=subprocess.PIPE,
|
||||
stderr=subprocess.PIPE,text=True,encoding='utf-8') for service in ('api1','api2')}
|
||||
try:
|
||||
# Separate generator container: its image generation RAM is not charged
|
||||
# to either measured API replica.
|
||||
command(['docker','compose','run','--rm','--no-deps','migrate','python',
|
||||
'student-tests/upload_load.py'],'uploads.json')
|
||||
finally:
|
||||
done.set()
|
||||
thread.join()
|
||||
(OUT/'memory.json').write_text(json.dumps(samples,indent=2),encoding='utf-8')
|
||||
peaks = {}
|
||||
for service,process in probes.items():
|
||||
output,error = process.communicate(input='done',timeout=10)
|
||||
if process.returncode:
|
||||
raise RuntimeError('Memory probe failed: '+error)
|
||||
peaks[service] = json.loads(output)
|
||||
(OUT/'memory-peaks.json').write_text(json.dumps(peaks,indent=2),encoding='utf-8')
|
||||
command([sys.executable,'-X','utf8','tests/load.py','--duration','30','--concurrency','4',
|
||||
'--output','evidence/messages-load.json'],'messages-load.txt')
|
||||
command(['docker','info','--format','CPUs={{.NCPU}} memory_bytes={{.MemTotal}} OS={{.OperatingSystem}}'],
|
||||
'hardware.txt')
|
||||
command(['docker','compose','images'],'images.txt')
|
||||
command(['docker','compose','exec','-T','api1','python','-m','pip','freeze'],'python-packages.txt')
|
||||
command(['docker','compose','run','--rm','bootstrap'],'bootstrap.txt')
|
||||
snapshot('final-state.json')
|
||||
print('PASS: all lab4 scenarios. Sanitized evidence in evidence/')
|
||||
|
||||
|
||||
if __name__=='__main__':
|
||||
main()
|
||||
@@ -0,0 +1,30 @@
|
||||
"""Create LOCAL secrets once; never print their values or overwrite existing state."""
|
||||
from pathlib import Path
|
||||
import secrets
|
||||
|
||||
root = Path(__file__).resolve().parents[1]
|
||||
folder = root/'secrets'
|
||||
folder.mkdir(exist_ok=True)
|
||||
folder.chmod(0o700)
|
||||
password = folder/'postgres_password'
|
||||
if not password.exists():
|
||||
password.write_text(secrets.token_hex(24))
|
||||
values = {
|
||||
'database_url':'postgresql://messenger:'+password.read_text().strip()+'@postgres:5432/messenger',
|
||||
'minio_root_user':'root_'+secrets.token_hex(8),
|
||||
'minio_root_password':secrets.token_hex(24),
|
||||
's3_access_key_id':'app_'+secrets.token_hex(8),
|
||||
's3_secret_access_key':secrets.token_hex(24),
|
||||
}
|
||||
for name,value in values.items():
|
||||
path = folder/name
|
||||
if not path.exists():
|
||||
path.write_text(value)
|
||||
# Parent directory is owner-only; individual secret mounts are readable by
|
||||
# the unprivileged container user even on native Linux bind mounts.
|
||||
path.chmod(0o444)
|
||||
password.chmod(0o444)
|
||||
env = root/'.env'
|
||||
if not env.exists():
|
||||
env.write_text('SESSION_TTL_SECONDS=3600\n')
|
||||
print('Local secrets ready; no values printed')
|
||||
@@ -0,0 +1,5 @@
|
||||
@echo off
|
||||
cd /d "%~dp0.."
|
||||
if "%TARGET_INSTANCE_ID%"=="api1" (docker compose stop -t 1 api1 & exit /b)
|
||||
if "%TARGET_INSTANCE_ID%"=="api2" (docker compose stop -t 1 api2 & exit /b)
|
||||
exit /b 1
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
case "${TARGET_INSTANCE_ID:-}" in
|
||||
api1|api2) docker compose stop -t 1 "$TARGET_INSTANCE_ID" ;;
|
||||
*) echo 'Unknown instance alias' >&2; exit 1 ;;
|
||||
esac
|
||||
+476
@@ -0,0 +1,476 @@
|
||||
"""Synchronous lab4 contract. Binary reads are bounded, temporary spools are ephemeral."""
|
||||
import asyncio
|
||||
import base64
|
||||
import datetime as dt
|
||||
import hashlib
|
||||
import json
|
||||
import re
|
||||
import secrets
|
||||
import tempfile
|
||||
import unicodedata
|
||||
import uuid
|
||||
|
||||
import psycopg
|
||||
from argon2 import PasswordHasher
|
||||
from argon2.exceptions import VerificationError
|
||||
from botocore.exceptions import BotoCoreError, ClientError
|
||||
from fastapi import FastAPI, Request
|
||||
from fastapi.responses import JSONResponse, Response, StreamingResponse
|
||||
from jsonschema import Draft202012Validator
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
from starlette.exceptions import HTTPException
|
||||
from starlette.requests import ClientDisconnect
|
||||
|
||||
from src.storage import BUCKET, PREFIX, LOCK, db, s3, setting
|
||||
|
||||
INSTANCE = setting('INSTANCE_ID', secrets.token_hex(8))
|
||||
MAX_BYTES = min(int(setting('MAX_UPLOAD_BYTES', '10485760')), 10485760)
|
||||
MAX_PIXELS = min(int(setting('MAX_IMAGE_PIXELS', '40000000')), 40000000)
|
||||
Image.MAX_IMAGE_PIXELS = MAX_PIXELS
|
||||
PH = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
|
||||
DUMMY = PH.hash(secrets.token_hex(16))
|
||||
SCHEMAS = json.load(open('contracts/openapi.json', encoding='utf-8'))['components']['schemas']
|
||||
UPLOAD_SLOTS = asyncio.Semaphore(2)
|
||||
DECODE_SLOT = asyncio.Semaphore(1)
|
||||
ERRORS = {400:'invalid_request',401:'unauthorized',404:'not_found',409:'conflict',
|
||||
413:'payload_too_large',415:'unsupported_media_type',503:'unavailable',500:'internal_error'}
|
||||
|
||||
|
||||
class Problem(Exception):
|
||||
def __init__(self, status):
|
||||
self.status = status
|
||||
|
||||
|
||||
def fail(status):
|
||||
raise Problem(status)
|
||||
|
||||
|
||||
def encode(value):
|
||||
if isinstance(value, (uuid.UUID,)):
|
||||
return str(value)
|
||||
if isinstance(value, dt.datetime):
|
||||
return value.astimezone(dt.timezone.utc).isoformat().replace('+00:00', 'Z')
|
||||
raise TypeError()
|
||||
|
||||
|
||||
def reply(value, status=200):
|
||||
return Response(json.dumps(value, default=encode, ensure_ascii=False), status,
|
||||
media_type='application/json')
|
||||
|
||||
|
||||
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
|
||||
|
||||
|
||||
@app.middleware('http')
|
||||
async def envelope(request, call_next):
|
||||
rid = uuid.uuid4().hex
|
||||
try:
|
||||
response = await call_next(request)
|
||||
except Exception as exc:
|
||||
status = exc.status if isinstance(exc, Problem) else (
|
||||
503 if isinstance(exc, (psycopg.OperationalError, BotoCoreError, ClientError)) else 500)
|
||||
# Never expose SQL, keys, tokens, tracebacks or request bodies.
|
||||
response = JSONResponse({'error':{'code':ERRORS[status],
|
||||
'message':ERRORS[status], 'request_id':rid}}, status_code=status)
|
||||
if status == 401:
|
||||
scheme = 'Basic' if request.url.path == '/api/v1/auth/sessions' else 'Bearer'
|
||||
response.headers['WWW-Authenticate'] = scheme + ' realm="messenger"' + (
|
||||
', charset="UTF-8"' if scheme == 'Basic' else '')
|
||||
response.headers['X-Request-Id'] = rid
|
||||
response.headers['X-Instance-Id'] = INSTANCE
|
||||
return response
|
||||
|
||||
|
||||
@app.exception_handler(HTTPException)
|
||||
async def http_error(request, exc):
|
||||
# Route misses travel through the same error envelope.
|
||||
fail(404 if exc.status_code == 404 else 400)
|
||||
|
||||
|
||||
def uid(value):
|
||||
try:
|
||||
return str(uuid.UUID(value))
|
||||
except (ValueError, TypeError, AttributeError):
|
||||
fail(400)
|
||||
|
||||
|
||||
async def body(request, schema):
|
||||
if request.headers.get('content-type', '').split(';')[0] != 'application/json':
|
||||
fail(400)
|
||||
data = bytearray()
|
||||
async for chunk in request.stream():
|
||||
if len(data) + len(chunk) > 65536:
|
||||
fail(413)
|
||||
data.extend(chunk)
|
||||
try:
|
||||
result = json.loads(data)
|
||||
if not Draft202012Validator(SCHEMAS[schema]).is_valid(result):
|
||||
fail(400)
|
||||
for name in ('display_name', 'title'):
|
||||
if name in result and not result[name].strip():
|
||||
fail(400)
|
||||
if schema == 'CreateUser' and not re.fullmatch('[a-z0-9_]{3,32}',result['username']):
|
||||
fail(400)
|
||||
# Reject unpaired JSON Unicode surrogates before database/UTF-8 encoding.
|
||||
json.dumps(result,ensure_ascii=False).encode('utf-8')
|
||||
return result
|
||||
except (ValueError, UnicodeError):
|
||||
fail(400)
|
||||
|
||||
|
||||
def user_view(row):
|
||||
return {k:row[k] for k in ('id','username','display_name','created_at')}
|
||||
|
||||
|
||||
def actor(c, request):
|
||||
auth = request.headers.get('authorization', '')
|
||||
if not auth.startswith('Bearer ') or not auth[7:]:
|
||||
fail(401)
|
||||
row = c.execute('SELECT u.* FROM users u JOIN sessions s ON s.user_id=u.id '
|
||||
'WHERE s.token_hash=%s AND s.expires_at>clock_timestamp()',
|
||||
(hashlib.sha256(auth[7:].encode()).hexdigest(),)).fetchone()
|
||||
if not row:
|
||||
fail(401)
|
||||
return row
|
||||
|
||||
|
||||
def access(c, chat, user):
|
||||
if not c.execute('SELECT 1 FROM members WHERE chat_id=%s AND user_id=%s',
|
||||
(chat, user['id'])).fetchone():
|
||||
fail(404)
|
||||
|
||||
|
||||
def chat_view(c, row):
|
||||
return {**row, 'member_ids':[r['user_id'] for r in c.execute(
|
||||
'SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id', (row['id'],))]}
|
||||
|
||||
|
||||
def message_view(c, row):
|
||||
return {**row, 'attachment_ids':[r['attachment_id'] for r in c.execute(
|
||||
'SELECT attachment_id FROM message_attachments WHERE message_id=%s ORDER BY position', (row['id'],))]}
|
||||
|
||||
|
||||
def attachment_view(row):
|
||||
if row['status'] != 'ready':
|
||||
fail(409)
|
||||
return {**{k:v for k,v in row.items() if k not in ('object_key','width','height')},
|
||||
'variants':[]}
|
||||
|
||||
|
||||
@app.get('/health/live')
|
||||
def live():
|
||||
return reply({'status':'ok'})
|
||||
|
||||
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with db() as c:
|
||||
c.execute('SELECT 1')
|
||||
s3().head_bucket(Bucket=BUCKET)
|
||||
return reply({'status':'ok'})
|
||||
|
||||
|
||||
@app.post('/api/v1/users')
|
||||
async def register(request: Request):
|
||||
data = await body(request, 'CreateUser')
|
||||
def save():
|
||||
with db() as c:
|
||||
try:
|
||||
row = c.execute('INSERT INTO users(id,username,display_name,password_hash) '
|
||||
'VALUES (%s,%s,%s,%s) RETURNING *',
|
||||
(uuid.uuid4(), data['username'],data['display_name'],PH.hash(data['password']))).fetchone()
|
||||
except psycopg.errors.UniqueViolation:
|
||||
fail(409)
|
||||
return reply(user_view(row),201)
|
||||
return await run_in_threadpool(save)
|
||||
|
||||
|
||||
@app.post('/api/v1/auth/sessions')
|
||||
async def login(request: Request):
|
||||
async for chunk in request.stream():
|
||||
if chunk:
|
||||
fail(400)
|
||||
try:
|
||||
scheme, credential = request.headers.get('authorization','').split(' ',1)
|
||||
if scheme != 'Basic':
|
||||
fail(401)
|
||||
name, password = base64.b64decode(credential,validate=True).decode('utf-8').split(':',1)
|
||||
if not re.fullmatch('[a-z0-9_]{3,32}',name) or not 12 <= len(password) <= 128:
|
||||
fail(401)
|
||||
except (ValueError, UnicodeError):
|
||||
fail(401)
|
||||
def create():
|
||||
with db() as c:
|
||||
row = c.execute('SELECT * FROM users WHERE username=%s',(name,)).fetchone()
|
||||
try:
|
||||
PH.verify(row['password_hash'] if row else DUMMY,password)
|
||||
except VerificationError:
|
||||
fail(401)
|
||||
if not row:
|
||||
fail(401)
|
||||
token = secrets.token_urlsafe(32)
|
||||
expiry = c.execute('INSERT INTO sessions VALUES (%s,%s,clock_timestamp()+%s*interval \'1 second\') '
|
||||
'RETURNING expires_at',(hashlib.sha256(token.encode()).hexdigest(),row['id'],
|
||||
int(setting('SESSION_TTL_SECONDS','3600')))).fetchone()['expires_at']
|
||||
return reply({'token':token,'token_type':'Bearer','expires_at':expiry,'user':user_view(row)},201)
|
||||
return await run_in_threadpool(create)
|
||||
|
||||
|
||||
@app.delete('/api/v1/auth/sessions/current')
|
||||
def logout(request: Request):
|
||||
with db() as c:
|
||||
actor(c,request)
|
||||
c.execute('DELETE FROM sessions WHERE token_hash=%s',
|
||||
(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
|
||||
return Response(status_code=204)
|
||||
|
||||
|
||||
@app.get('/api/v1/users/me')
|
||||
def me(request: Request):
|
||||
with db() as c:
|
||||
return reply(user_view(actor(c,request)))
|
||||
|
||||
|
||||
@app.post('/api/v1/chats')
|
||||
async def create_chat(request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
data = await body(request,'CreateChat')
|
||||
ids = [uid(i) for i in data['member_ids']]
|
||||
if len(set(ids)) != len(ids) or str(user['id']) not in ids:
|
||||
fail(400)
|
||||
def save():
|
||||
with db() as c:
|
||||
if c.execute('SELECT count(*) n FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchone()['n'] != len(ids):
|
||||
fail(400)
|
||||
row = c.execute('INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING *',
|
||||
(uuid.uuid4(),data['title'])).fetchone()
|
||||
for i in ids:
|
||||
c.execute('INSERT INTO members VALUES (%s,%s)',(row['id'],i))
|
||||
result = chat_view(c,row)
|
||||
return reply(result,201)
|
||||
return await run_in_threadpool(save)
|
||||
|
||||
|
||||
def page_args(request, resource):
|
||||
limit = request.query_params.get('limit','50')
|
||||
if not re.fullmatch('[0-9]+',limit) or not 1 <= int(limit) <= 100:
|
||||
fail(400)
|
||||
cursor = request.query_params.get('cursor')
|
||||
point = None
|
||||
if cursor is not None:
|
||||
try:
|
||||
scope, stamp, ident = json.loads(base64.b64decode(cursor,altchars=b'-_',validate=True))
|
||||
if scope != resource:
|
||||
fail(400)
|
||||
point = (dt.datetime.fromisoformat(stamp.replace('Z','+00:00')), uid(ident))
|
||||
if point[0].tzinfo is None:
|
||||
fail(400)
|
||||
except (ValueError,TypeError,UnicodeError):
|
||||
fail(400)
|
||||
return int(limit), point
|
||||
|
||||
|
||||
def page(rows, limit, resource, view):
|
||||
more = len(rows)>limit
|
||||
rows = rows[:limit]
|
||||
cursor = base64.urlsafe_b64encode(json.dumps([resource,encode(rows[-1]['created_at']),
|
||||
str(rows[-1]['id'])]).encode()).decode() if more else None
|
||||
return reply({'items':[view(r) for r in rows],'next_cursor':cursor})
|
||||
|
||||
|
||||
@app.get('/api/v1/chats')
|
||||
def chats(request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
resource = 'chats:'+str(user['id'])
|
||||
limit, point = page_args(request,resource)
|
||||
rows = c.execute('SELECT ch.* FROM chats ch JOIN members m ON m.chat_id=ch.id '
|
||||
'WHERE m.user_id=%s '+('AND (ch.created_at,ch.id)>(%s,%s::uuid) ' if point else '')+
|
||||
'ORDER BY ch.created_at,ch.id LIMIT %s',(user['id'],*(point or ()),limit+1)).fetchall()
|
||||
return page(rows,limit,resource,lambda row:chat_view(c,row))
|
||||
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}')
|
||||
def get_chat(chat_id: str, request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
chat = uid(chat_id)
|
||||
access(c,chat,user)
|
||||
return reply(chat_view(c,c.execute('SELECT * FROM chats WHERE id=%s',(chat,)).fetchone()))
|
||||
|
||||
|
||||
@app.get('/api/v1/chats/{chat_id}/messages')
|
||||
def history(chat_id: str, request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
chat = uid(chat_id)
|
||||
access(c,chat,user)
|
||||
limit, point = page_args(request,chat)
|
||||
rows = c.execute('SELECT * FROM messages WHERE chat_id=%s '+
|
||||
('AND (created_at,id)>(%s,%s::uuid) ' if point else '')+
|
||||
'ORDER BY created_at,id LIMIT %s',(chat,*(point or ()),limit+1)).fetchall()
|
||||
return page(rows,limit,chat,lambda row:message_view(c,row))
|
||||
|
||||
|
||||
@app.post('/api/v1/chats/{chat_id}/messages')
|
||||
async def send(chat_id: str, request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
chat = uid(chat_id)
|
||||
access(c,chat,user)
|
||||
data = await body(request,'CreateMessage')
|
||||
ids = [uid(i) for i in data.get('attachment_ids',[])]
|
||||
if not data['text'].strip() and not ids:
|
||||
fail(400)
|
||||
if len(set(ids)) != len(ids):
|
||||
fail(400)
|
||||
key = request.headers.get('idempotency-key','')
|
||||
if not re.fullmatch('[A-Za-z0-9._:-]{1,128}',key):
|
||||
fail(400)
|
||||
digest = hashlib.sha256(json.dumps({'text':data['text'],'attachment_ids':ids},sort_keys=True).encode()).hexdigest()
|
||||
def save():
|
||||
with db() as c:
|
||||
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
|
||||
# Serialize equal keys across all API processes before checking/creating.
|
||||
c.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',
|
||||
(str(user['id'])+chat+':'+key,))
|
||||
old = c.execute('SELECT * FROM idempotency WHERE user_id=%s AND chat_id=%s AND key=%s '
|
||||
'AND expires_at>clock_timestamp()',(user['id'],chat,key)).fetchone()
|
||||
if old:
|
||||
if old['body_hash'] != digest:
|
||||
fail(409)
|
||||
return reply(message_view(c,c.execute('SELECT * FROM messages WHERE id=%s',
|
||||
(old['message_id'],)).fetchone()),201)
|
||||
for ident in ids:
|
||||
att = c.execute('SELECT * FROM attachments WHERE id=%s AND chat_id=%s',(ident,chat)).fetchone()
|
||||
if not att:
|
||||
fail(404)
|
||||
if att['status'] != 'ready':
|
||||
fail(409)
|
||||
row = c.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *',
|
||||
(uuid.uuid4(),chat,user['id'],data['text'])).fetchone()
|
||||
for n, ident in enumerate(ids):
|
||||
c.execute('INSERT INTO message_attachments VALUES (%s,%s,%s)',(row['id'],ident,n))
|
||||
c.execute('INSERT INTO idempotency VALUES (%s,%s,%s,%s,%s,clock_timestamp()+interval \'24 hours\') '
|
||||
'ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body_hash=excluded.body_hash, '
|
||||
'message_id=excluded.message_id,expires_at=excluded.expires_at',
|
||||
(user['id'],chat,key,digest,row['id']))
|
||||
result = message_view(c,row)
|
||||
return reply(result,201)
|
||||
return await run_in_threadpool(save)
|
||||
|
||||
|
||||
def validate_image(spool, mime):
|
||||
try:
|
||||
image = Image.open(spool)
|
||||
width,height = image.size
|
||||
if width*height > MAX_PIXELS:
|
||||
fail(413)
|
||||
actual = {'PNG':'image/png','JPEG':'image/jpeg'}.get(image.format)
|
||||
if actual != mime:
|
||||
fail(415)
|
||||
image.verify()
|
||||
spool.seek(0)
|
||||
with Image.open(spool) as decoded:
|
||||
decoded.load() # reject truncated JPEG/PNG, after dimension check
|
||||
spool.seek(0)
|
||||
return width,height
|
||||
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
|
||||
fail(413)
|
||||
except (UnidentifiedImageError, OSError, ValueError, SyntaxError):
|
||||
fail(415)
|
||||
|
||||
|
||||
@app.post('/api/v1/chats/{chat_id}/attachments')
|
||||
async def upload(chat_id: str, request: Request):
|
||||
with db() as c:
|
||||
user = actor(c,request)
|
||||
chat = uid(chat_id)
|
||||
access(c,chat,user)
|
||||
filename = request.query_params.get('filename','')
|
||||
if not 1 <= len(filename) <= 255 or any(x in '/\\' or unicodedata.category(x) in ('Cc','Cs') for x in filename):
|
||||
fail(400)
|
||||
mime = request.headers.get('content-type','')
|
||||
if mime not in ('image/png','image/jpeg'):
|
||||
fail(415)
|
||||
length = request.headers.get('content-length')
|
||||
if length and (not length.isdecimal() or int(length)>MAX_BYTES):
|
||||
fail(413 if length.isdecimal() else 400)
|
||||
try:
|
||||
await asyncio.wait_for(UPLOAD_SLOTS.acquire(),timeout=15)
|
||||
except asyncio.TimeoutError:
|
||||
fail(503)
|
||||
try:
|
||||
with tempfile.SpooledTemporaryFile(max_size=262144) as spool:
|
||||
size = 0
|
||||
digest = hashlib.sha256()
|
||||
try:
|
||||
async with asyncio.timeout(20):
|
||||
async for chunk in request.stream():
|
||||
size += len(chunk)
|
||||
if size>MAX_BYTES:
|
||||
fail(413)
|
||||
spool.write(chunk)
|
||||
digest.update(chunk)
|
||||
except (TimeoutError,ClientDisconnect):
|
||||
fail(400)
|
||||
async with DECODE_SLOT:
|
||||
spool.seek(0)
|
||||
width,height = await run_in_threadpool(validate_image,spool,mime)
|
||||
def save():
|
||||
ident = uuid.uuid4()
|
||||
key = PREFIX+str(ident)
|
||||
# Hold shared advisory lock until COMMIT. An uncertain COMMIT must
|
||||
# never trigger immediate deletion: reconciler decides after grace.
|
||||
with db() as c:
|
||||
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
|
||||
s3().put_object(Bucket=BUCKET,Key=key,Body=spool,ContentLength=size,ContentType=mime)
|
||||
row = c.execute('INSERT INTO attachments(id,chat_id,owner_id,object_key,filename,content_type,'
|
||||
'size_bytes,sha256,width,height,status) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,\'ready\') RETURNING *',
|
||||
(ident,chat,user['id'],key,filename,mime,size,digest.hexdigest(),width,height)).fetchone()
|
||||
return reply(attachment_view(row),201)
|
||||
return await run_in_threadpool(save)
|
||||
finally:
|
||||
UPLOAD_SLOTS.release()
|
||||
|
||||
|
||||
def get_attachment(c, request, ident):
|
||||
user = actor(c,request)
|
||||
ident = uid(ident)
|
||||
row = c.execute('SELECT * FROM attachments WHERE id=%s',(ident,)).fetchone()
|
||||
if not row:
|
||||
fail(404)
|
||||
access(c,row['chat_id'],user)
|
||||
return row
|
||||
|
||||
|
||||
@app.get('/api/v1/attachments/{attachment_id}')
|
||||
def attachment(attachment_id: str, request: Request):
|
||||
with db() as c:
|
||||
return reply(attachment_view(get_attachment(c,request,attachment_id)))
|
||||
|
||||
|
||||
@app.get('/api/v1/attachments/{attachment_id}/content')
|
||||
def content(attachment_id: str, request: Request):
|
||||
with db() as c:
|
||||
row = get_attachment(c,request,attachment_id)
|
||||
if row['status'] != 'ready':
|
||||
fail(409)
|
||||
if request.query_params.get('variant','original') != 'original':
|
||||
fail(404)
|
||||
try:
|
||||
stream = s3().get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
|
||||
except ClientError as exc:
|
||||
if exc.response['Error']['Code'] in ('NoSuchKey','404'):
|
||||
fail(503)
|
||||
raise
|
||||
def chunks():
|
||||
try:
|
||||
while block := stream.read(65536):
|
||||
yield block
|
||||
finally:
|
||||
stream.close()
|
||||
return StreamingResponse(chunks(),media_type=row['content_type'],
|
||||
headers={'Content-Length':str(row['size_bytes']), 'X-Content-Type-Options':'nosniff'})
|
||||
@@ -0,0 +1,94 @@
|
||||
"""Operator-only, dry-run by default. Never infer missing from a failed LIST/HEAD."""
|
||||
import argparse
|
||||
import datetime as dt
|
||||
import json
|
||||
import time
|
||||
|
||||
from botocore.exceptions import ClientError
|
||||
from src.storage import BUCKET, PREFIX, LOCK, db, s3
|
||||
|
||||
|
||||
def reconcile(apply=False, grace=3600):
|
||||
if grace < 60:
|
||||
raise ValueError('Grace must be at least 60 seconds')
|
||||
start = time.monotonic()
|
||||
result = dict(mode='apply' if apply else 'dry-run', grace_seconds=grace,
|
||||
scanned_objects=0, scanned_metadata=0, list_requests=0, head_requests=0,
|
||||
orphan=[], missing=[], repaired=[], fresh_skipped=0)
|
||||
client = s3()
|
||||
with db() as c:
|
||||
# Exclusive counterpart of upload/message shared locks: recheck and repair
|
||||
# cannot race an in-flight PUT/COMMIT, even when the upload lasts past grace.
|
||||
c.execute('SELECT pg_advisory_xact_lock(%s)',(LOCK,))
|
||||
now = c.execute('SELECT clock_timestamp() t').fetchone()['t']
|
||||
cutoff = now-dt.timedelta(seconds=grace)
|
||||
rows = c.execute('SELECT * FROM attachments').fetchall()
|
||||
by_key = {r['object_key']:r for r in rows}
|
||||
result['scanned_metadata'] = len(rows)
|
||||
# Complete list before any mutation. API-created names are unique, never reused.
|
||||
objects = {}
|
||||
for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX):
|
||||
result['list_requests'] += 1
|
||||
for obj in page.get('Contents',[]):
|
||||
objects[obj['Key']] = obj
|
||||
result['scanned_objects'] = len(objects)
|
||||
for key, obj in objects.items():
|
||||
if key in by_key:
|
||||
continue
|
||||
if obj['LastModified'] >= cutoff:
|
||||
result['fresh_skipped'] += 1
|
||||
continue
|
||||
# Re-read immediately before delete, under the exclusive DB lock.
|
||||
result['head_requests'] += 1
|
||||
current = client.head_object(Bucket=BUCKET,Key=key)
|
||||
if current['LastModified'] >= cutoff or current['ETag'] != obj['ETag']:
|
||||
continue
|
||||
if c.execute('SELECT 1 FROM attachments WHERE object_key=%s',(key,)).fetchone():
|
||||
continue
|
||||
result['orphan'].append(key)
|
||||
if apply:
|
||||
client.delete_object(Bucket=BUCKET,Key=key)
|
||||
for row in rows:
|
||||
key = row['object_key']
|
||||
if key in objects or row['created_at'] >= cutoff:
|
||||
continue
|
||||
result['head_requests'] += 1
|
||||
try:
|
||||
client.head_object(Bucket=BUCKET,Key=key)
|
||||
except ClientError as exc:
|
||||
if exc.response['Error']['Code'] not in ('404','NoSuchKey'):
|
||||
raise
|
||||
else:
|
||||
# Restored objects can safely recover failed metadata.
|
||||
continue
|
||||
result['missing'].append(str(row['id']))
|
||||
if apply and row['status'] != 'failed':
|
||||
c.execute("UPDATE attachments SET status='failed',error_code='missing_object',updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
|
||||
for row in rows:
|
||||
if row['status'] != 'failed' or row['error_code'] != 'missing_object' or row['object_key'] not in objects:
|
||||
continue
|
||||
# A restored backup must match the original bytes before publishing ready.
|
||||
import hashlib
|
||||
obj = client.get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
|
||||
digest = hashlib.sha256()
|
||||
size = 0
|
||||
try:
|
||||
for chunk in obj.iter_chunks(65536):
|
||||
size += len(chunk)
|
||||
digest.update(chunk)
|
||||
finally:
|
||||
obj.close()
|
||||
if size == row['size_bytes'] and digest.hexdigest() == row['sha256']:
|
||||
result['repaired'].append(str(row['id']))
|
||||
if apply:
|
||||
c.execute("UPDATE attachments SET status='ready',error_code=NULL,updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
|
||||
result['elapsed_seconds'] = round(time.monotonic()-start,6)
|
||||
return result
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--apply',action='store_true')
|
||||
parser.add_argument('--grace-seconds',type=int,default=3600)
|
||||
args = parser.parse_args()
|
||||
print(json.dumps(reconcile(args.apply,args.grace_seconds),indent=2))
|
||||
@@ -0,0 +1,42 @@
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
import boto3
|
||||
import psycopg
|
||||
from botocore.config import Config
|
||||
from psycopg.rows import dict_row
|
||||
|
||||
|
||||
def setting(name, default=None):
|
||||
path = os.getenv(name + '_FILE')
|
||||
return Path(path).read_text().strip() if path else os.getenv(name, default)
|
||||
|
||||
|
||||
BUCKET = setting('S3_BUCKET', 'messenger-attachments')
|
||||
PREFIX = 'originals/'
|
||||
# Shared lock serializes reconciler with uploads/linking; downloads retain metadata.
|
||||
LOCK = 4082301
|
||||
|
||||
|
||||
def db():
|
||||
return psycopg.connect(setting('DATABASE_URL'), row_factory=dict_row,
|
||||
connect_timeout=3, options='-c statement_timeout=15000 -c lock_timeout=10000')
|
||||
|
||||
|
||||
def s3():
|
||||
return boto3.client('s3', endpoint_url=setting('S3_ENDPOINT', 'http://s3:9000'),
|
||||
region_name=setting('S3_REGION', 'us-east-1'),
|
||||
aws_access_key_id=setting('S3_ACCESS_KEY_ID'),
|
||||
aws_secret_access_key=setting('S3_SECRET_ACCESS_KEY'),
|
||||
config=Config(connect_timeout=2, read_timeout=5,
|
||||
retries={'max_attempts': 0}, s3={'addressing_style': 'path'}))
|
||||
|
||||
|
||||
def migrate():
|
||||
with db() as c:
|
||||
c.execute('SELECT pg_advisory_xact_lock(%s)', (LOCK,))
|
||||
c.execute(Path('migrations/001_initial.sql').read_text())
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
migrate()
|
||||
@@ -0,0 +1,94 @@
|
||||
"""Additional contract, image, concurrency and private-bucket tests; run inside api1."""
|
||||
import concurrent.futures
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import socket
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
import uuid
|
||||
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client, check
|
||||
from PIL import Image
|
||||
from src.storage import BUCKET, db, s3
|
||||
|
||||
|
||||
def main():
|
||||
c = Client('http://lb:8080',timeout=30)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
path = '/api/v1/chats/'+chat['id']
|
||||
fixture = Path('tests/fixtures/sample.png').read_bytes()
|
||||
def upload(raw=fixture,mime='image/png',filename='photo.png',expected=201):
|
||||
return c.call('POST',path+'/attachments?filename='+filename,expected,actor=alice,
|
||||
raw=raw,headers={'Content-Type':mime},schema='Attachment' if expected==201 else None)
|
||||
upload(raw=b'broken',expected=415)
|
||||
upload(mime='image/jpeg',expected=415)
|
||||
upload(filename='..%2Fsecret.png',expected=400)
|
||||
upload(filename='bad%00.png',expected=400)
|
||||
upload(raw=b'x'*(10485760+1),expected=413)
|
||||
out = io.BytesIO()
|
||||
Image.new('RGB',(7000,6000)).save(out,format='PNG')
|
||||
upload(raw=out.getvalue(),expected=413)
|
||||
out = io.BytesIO()
|
||||
Image.new('RGB',(40,30)).save(out,format='JPEG')
|
||||
jpeg = upload(raw=out.getvalue(),mime='image/jpeg')['json']
|
||||
check(c.call('GET','/api/v1/attachments/'+jpeg['id']+'/content',actor=bob)['bytes']==out.getvalue(),'JPEG changed')
|
||||
att = upload()['json']
|
||||
c.call('GET','/api/v1/attachments/'+att['id'],404,actor=eve)
|
||||
other = c.call('POST','/api/v1/chats',201,actor=alice,
|
||||
body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
|
||||
c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,
|
||||
body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
c.call('POST',path+'/messages',404,actor=alice,
|
||||
body={'text':'','attachment_ids':[str(uuid.uuid4())]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
c.call('POST',path+'/messages',400,actor=alice,body={'text':'x','sender_id':eve['id']})
|
||||
c.call('GET','/api/v1/chats/not-a-uuid',400,actor=alice)
|
||||
c.call('GET',path+'/messages?cursor=invalid',400,actor=alice)
|
||||
m1 = c.message(alice,chat,'one')['json']
|
||||
c.message(alice,chat,'two')
|
||||
cursor = c.call('GET',path+'/messages?limit=1',actor=alice,schema='MessagePage')['json']['next_cursor']
|
||||
c.call('GET','/api/v1/chats/'+other['id']+'/messages?cursor='+cursor,400,actor=alice)
|
||||
key = uuid.uuid4().hex
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=12) as pool:
|
||||
rows = list(pool.map(lambda _:c.message(alice,chat,'same',key=key)['json'],range(12)))
|
||||
check(len({r['id'] for r in rows})==1,'concurrent duplicate message')
|
||||
c.call('POST',path+'/messages',201,actor=alice,body={'attachment_ids':[],'text':'same'},
|
||||
headers={'Idempotency-Key':key},schema='Message')
|
||||
with db() as con:
|
||||
objkey = con.execute('SELECT object_key FROM attachments WHERE id=%s',(att['id'],)).fetchone()['object_key']
|
||||
before = con.execute('SELECT count(*) n FROM attachments').fetchone()['n']
|
||||
try:
|
||||
urllib.request.urlopen('http://s3:9000/'+BUCKET+'/'+objkey)
|
||||
except urllib.error.HTTPError as exc:
|
||||
check(exc.code==403,'unexpected anonymous S3 status')
|
||||
else:
|
||||
raise AssertionError('bucket public')
|
||||
try:
|
||||
s3().create_bucket(Bucket='forbidden-'+uuid.uuid4().hex)
|
||||
except Exception as exc:
|
||||
check(getattr(exc,'response',{}).get('Error',{}).get('Code')=='AccessDenied','scope test failed')
|
||||
else:
|
||||
raise AssertionError('application has admin S3 rights')
|
||||
# Abandon binary request before declared end; it must never reach PUT.
|
||||
sock = socket.create_connection(('api2',8080))
|
||||
headers = ('POST '+path+'/attachments?filename=partial.png HTTP/1.1\r\nHost: api2\r\n'
|
||||
'Authorization: Bearer '+alice['token']+'\r\nContent-Type: image/png\r\n'
|
||||
'Content-Length: 100000\r\n\r\n').encode()
|
||||
sock.sendall(headers+fixture[:80])
|
||||
sock.close()
|
||||
time.sleep(1)
|
||||
with db() as con:
|
||||
check(con.execute('SELECT count(*) n FROM attachments').fetchone()['n']==before,'partial upload committed')
|
||||
print(json.dumps({'result':'PASS','negative_image_and_acl':True,'private_bucket_status':403,
|
||||
'scoped_credentials':True,'parallel_idempotency_requests':12,
|
||||
'unique_messages':1,'interrupted_upload_no_metadata':True}))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,34 @@
|
||||
"""20 ms cgroup-v2 memory sampler; stop by EOF on stdin. No privileged access."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import threading
|
||||
import time
|
||||
|
||||
done = threading.Event()
|
||||
def wait():
|
||||
import sys
|
||||
sys.stdin.read()
|
||||
done.set()
|
||||
threading.Thread(target=wait,daemon=True).start()
|
||||
root = Path('/sys/fs/cgroup')
|
||||
def read(name):
|
||||
path = root/name
|
||||
return int(path.read_text()) if path.exists() else None
|
||||
def rss():
|
||||
lines = Path('/proc/1/status').read_text().splitlines()
|
||||
return int(next(x.split()[1] for x in lines if x.startswith('VmRSS:')))*1024
|
||||
baseline = read('memory.current')
|
||||
peak_before = read('memory.peak')
|
||||
peak = baseline
|
||||
rss_peak = rss()
|
||||
samples = 0
|
||||
start = time.monotonic()
|
||||
while not done.is_set():
|
||||
peak = max(peak,read('memory.current'))
|
||||
rss_peak = max(rss_peak,rss())
|
||||
samples += 1
|
||||
done.wait(0.02)
|
||||
print(json.dumps(dict(baseline_bytes=baseline,sampled_peak_bytes=peak,
|
||||
kernel_lifetime_peak_before_bytes=peak_before,kernel_lifetime_peak_after_bytes=read('memory.peak'),
|
||||
api_rss_peak_bytes=rss_peak,sample_count=samples,interval_seconds=0.02,
|
||||
elapsed_seconds=time.monotonic()-start)))
|
||||
@@ -0,0 +1,92 @@
|
||||
"""Track 2: real S3 PUT + rolled-back SQL, missing bytes, safe repeated repairs."""
|
||||
import datetime as dt
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client, check
|
||||
from src.storage import BUCKET, PREFIX, db, s3
|
||||
from src.reconcile import reconcile
|
||||
|
||||
|
||||
def main():
|
||||
client = s3()
|
||||
c = Client('http://lb:8080')
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
used,raw = c.attachment(alice,chat)
|
||||
c.message(alice,chat,'keep',attachments=[used['id']])
|
||||
missing,_ = c.attachment(alice,chat)
|
||||
with db() as con:
|
||||
rows = con.execute('SELECT * FROM attachments WHERE id=ANY(%s::uuid[])',([used['id'],missing['id']],)).fetchall()
|
||||
keys = {str(row['id']):row['object_key'] for row in rows}
|
||||
def all_keys():
|
||||
return {obj['Key'] for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX)
|
||||
for obj in page.get('Contents',[])}
|
||||
before = all_keys()
|
||||
# Failure injection is entirely in the test DB, not a production HTTP switch.
|
||||
# A filename-specific trigger aborts the real API INSERT, after its real PUT.
|
||||
marker = 'inject-'+uuid.uuid4().hex+'.png'
|
||||
with db() as con:
|
||||
con.execute("""CREATE OR REPLACE FUNCTION lab4_inject_failure() RETURNS trigger
|
||||
LANGUAGE plpgsql AS $$ BEGIN IF NEW.filename LIKE 'inject-%%' THEN
|
||||
RAISE EXCEPTION 'synthetic commit-path failure'; END IF; RETURN NEW; END $$""")
|
||||
con.execute('CREATE TRIGGER lab4_inject BEFORE INSERT ON attachments '
|
||||
'FOR EACH ROW EXECUTE FUNCTION lab4_inject_failure()')
|
||||
try:
|
||||
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename='+marker,500,
|
||||
actor=alice,raw=raw,headers={'Content-Type':'image/png'})
|
||||
finally:
|
||||
with db() as con:
|
||||
con.execute('DROP TRIGGER IF EXISTS lab4_inject ON attachments')
|
||||
con.execute('DROP FUNCTION IF EXISTS lab4_inject_failure()')
|
||||
new_keys = all_keys()-before
|
||||
check(len(new_keys)==1,'failed real upload must leave exactly one orphan')
|
||||
orphan = new_keys.pop()
|
||||
client.delete_object(Bucket=BUCKET,Key=keys[missing['id']])
|
||||
with db() as con:
|
||||
con.execute("UPDATE attachments SET created_at=clock_timestamp()-interval '2 hours' WHERE id=ANY(%s::uuid[])",
|
||||
([used['id'],missing['id']],))
|
||||
early = reconcile(True,60)
|
||||
check(orphan not in early['orphan'],'fresh orphan deleted')
|
||||
# LIST timestamps are assigned by S3, not forged. Wait for genuine grace expiry.
|
||||
time.sleep(62)
|
||||
fresh = PREFIX+'fresh-'+uuid.uuid4().hex
|
||||
client.put_object(Bucket=BUCKET,Key=fresh,Body=raw)
|
||||
preview = reconcile(False,60)
|
||||
check(orphan in preview['orphan'] and missing['id'] in preview['missing'],'dry-run missed discrepancies')
|
||||
check(client.head_object(Bucket=BUCKET,Key=orphan)['ContentLength']==len(raw),'dry-run mutated S3')
|
||||
applied = reconcile(True,60)
|
||||
check(orphan in applied['orphan'],'orphan not removed')
|
||||
check(client.head_object(Bucket=BUCKET,Key=fresh)['ContentLength']==len(raw),'fresh deleted')
|
||||
check(c.call('GET','/api/v1/attachments/'+used['id']+'/content',actor=bob)['bytes']==raw,'used attachment deleted')
|
||||
c.call('GET','/api/v1/attachments/'+missing['id'],409,actor=alice)
|
||||
again = reconcile(True,60)
|
||||
check(not again['orphan'],'second run repeated deletion')
|
||||
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=b'bad-backup')
|
||||
wrong = reconcile(True,60)
|
||||
check(missing['id'] not in wrong['repaired'],'corrupt backup published')
|
||||
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=raw,ContentType='image/png')
|
||||
restored = reconcile(True,60)
|
||||
check(missing['id'] in restored['repaired'],'backup not restored')
|
||||
check(c.call('GET','/api/v1/attachments/'+missing['id']+'/content',actor=bob)['bytes']==raw,'restored bytes mismatch')
|
||||
# Force pagination (>1000 keys); new objects must all survive even --apply.
|
||||
scale_prefix = PREFIX+'scale-'+uuid.uuid4().hex+'-'
|
||||
import concurrent.futures
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
|
||||
list(pool.map(lambda n:client.put_object(Bucket=BUCKET,Key=scale_prefix+str(n),Body=b'x'),range(1005)))
|
||||
scaled = reconcile(False,3600)
|
||||
check(scaled['list_requests']>=2,'pagination not tested')
|
||||
# Clean only the exact keys this scenario owns (operator test cleanup).
|
||||
for start in (0,1000):
|
||||
client.delete_objects(Bucket=BUCKET,Delete={'Objects':[{'Key':scale_prefix+str(i)} for i in range(start,min(start+1000,1005))]})
|
||||
client.delete_object(Bucket=BUCKET,Key=fresh)
|
||||
print(json.dumps({'result':'PASS','early':early,'dry_run':preview,'apply':applied,
|
||||
'repeat':again,'wrong_backup':wrong,'restore':restored,'scale':scaled},indent=2))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -0,0 +1,27 @@
|
||||
"""Called with session/chat/attachment over stdin, never via arguments or files."""
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
from client import Client, check
|
||||
from src.reconcile import reconcile
|
||||
from src.storage import db
|
||||
|
||||
data = json.load(sys.stdin)
|
||||
c = Client('http://api1:8080',timeout=15)
|
||||
c.call('GET','/health/ready',503)
|
||||
c.call('GET','/health/live',200)
|
||||
path = '/api/v1/chats/'+data['chat']['id']+'/attachments?filename=outage.png'
|
||||
c.call('POST',path,503,actor=data['actor'],raw=Path('tests/fixtures/sample.png').read_bytes(),
|
||||
headers={'Content-Type':'image/png'})
|
||||
c.call('GET','/api/v1/attachments/'+data['attachment']['id']+'/content',503,actor=data['actor'])
|
||||
try:
|
||||
reconcile(True)
|
||||
except Exception:
|
||||
pass
|
||||
else:
|
||||
raise AssertionError('reconciler pretended unavailable storage was empty')
|
||||
print(json.dumps({'result':'PASS','dependency':sys.argv[1],'live':200,'ready':503,
|
||||
'upload':503,'download':503,'reconcile_aborted':True}))
|
||||
@@ -0,0 +1,47 @@
|
||||
"""10 concurrent real PNG uploads at two sizes; RSS includes all API processes.
|
||||
|
||||
Run in api1: /proc gives that replica's RSS; Docker stats sampled by run-all.py
|
||||
records memory (including tmpfs/cache) for BOTH replicas during the same run.
|
||||
"""
|
||||
import concurrent.futures
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import statistics
|
||||
import sys
|
||||
import time
|
||||
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
|
||||
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
|
||||
from client import Client, check
|
||||
from PIL import Image
|
||||
|
||||
|
||||
def main():
|
||||
c = Client('http://lb:8080',timeout=60)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
results = []
|
||||
for side in (512,1800):
|
||||
out = io.BytesIO()
|
||||
Image.frombytes('RGB',(side,side),os.urandom(side*side*3)).save(out,format='PNG')
|
||||
data = out.getvalue()
|
||||
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=warm.png',201,
|
||||
actor=alice,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||
for repeat in range(3):
|
||||
start = time.monotonic()
|
||||
def one(_):
|
||||
return c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=load.png',
|
||||
actor=alice,expected=201,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')['elapsed']
|
||||
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
|
||||
times = sorted(pool.map(one,range(10)))
|
||||
duration = time.monotonic()-start
|
||||
results.append(dict(size_bytes=len(data),pixels=side*side,concurrency=10,repeat=repeat+1,
|
||||
duration_seconds=duration,successful_rps=10/duration,errors=0,
|
||||
p50_seconds=statistics.median(times),p95_seconds=times[9],p99_seconds=times[9]))
|
||||
print(json.dumps({'result':'PASS','profile':'closed-loop, 10 simultaneous uploads, 3 repeats/size',
|
||||
'results':results},indent=2))
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
Reference in New Issue
Block a user