Author SHA1 Message Date
Quzzqq 435a6465ec feat(lab4): private S3 attachments and safe storage reconciliation 2026-11-06 16:51:18 +03:00
61 changed files with 3106 additions and 33 deletions
+1 -1
View File
@@ -13,8 +13,8 @@ backups
*.p12
*.pfx
*.jks
.venv
__pycache__
.venv
node_modules
evidence
.DS_Store
+5
View File
@@ -0,0 +1,5 @@
*.sh text eol=lf
*.cmd text eol=crlf
*.py text eol=lf
*.yaml text eol=lf
*.cfg text eol=lf
+56 -14
View File
@@ -1,18 +1,60 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Заголовок PR: **ЛР 4 — БПИ2301 — Черненко — на 5**
Ветка решения: `solution/bpi2301-chernenko`, база: исходный `main` skeleton (`ec540a1`).
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Автор / группа: Черненко / БПИ2301.
Целевая оценка: **5**.
Трек: **2 — согласованность двух хранилищ**.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Реализован синхронный proxy upload PNG/JPEG в приватный MinIO, метаданные и ACL
в PostgreSQL, авторизованный побайтный download, сообщения с вложениями,
две FastAPI-реплики и HAProxy с readiness. Минимум lab1–3 написан по контракту
текущего skeleton: Argon2id/Bearer-сессии, PostgreSQL persistence, чаты,
keyset pagination, атомарная идемпотентность сообщений между репликами.
Предыдущее личное решение не предоставлялось, чужое решение не переносилось.
Reconciler поддерживает dry-run/apply, grace period, orphan/missing,
повторный безопасный запуск и восстановление из проверенной копии. Shared/exclusive
DB advisory locks согласуют сверку с загрузкой и привязкой. Исследование внедряет
ошибку SQL после реального PUT, удаление оригинала и неправильный backup.
Запуск из clone (Linux/macOS, Windows: `py -X utf8` вместо `python3`):
```sh
python3 scripts/setup.py
docker compose --env-file .env config --quiet
docker compose up -d --build --wait --wait-timeout 180
docker compose exec -T api1 make check validate PYTHON=python
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
python3 scripts/run-all.py
```
При занятом 8080 задать `HOST_PORT=18084` в `.env`. Испытания проведены на 18084.
Первая сборка компилирует фиксированные официальные tags MinIO/mc, поскольку
готовые registry images были недоступны.
Проверки: полный прогон PASS, [REPORT.md](../REPORT.md),
[численные итоги](../evidence/SUMMARY.md), [памятка к защите](../DEFENSE.md).
Smoke, негативные сценарии, persistence всех хранилищ, failover каждой API,
отказы S3/PostgreSQL и сверка прошли. Публичный failover: 2,449 с до восстановления,
86 успешных записей, 1 переходная ошибка, без потерь и дублей.
60 измеряемых загрузок при concurrency=10 и двух размерах: 0 ошибок;
наблюдённые cgroup-пики обеих API ≈149/176 MiB при лимите 512 MiB.
Сверка 1085 объектов: 2 LIST, 0,136 с (один локальный проход, не production SLA).
Ограничения: один host и одиночные PostgreSQL/MinIO/LB; HTTP только локально;
ручной запуск сверки и необходимость backup при потере байтов. Сверка O(A+O)
держит exclusive DB lock на время прохода. Подробные ограничения измерений,
конкурентной пагинации и границ безопасности раскрыты в отчёте.
Источники и ИИ: нормативный skeleton, официальные Psycopg/MinIO/Pillow/S3 docs;
реализация и документация подготовлены с помощью Codex, реальные команды и
обезличенные результаты сохранены в `evidence/`. Обязательные файлы задания сохранены.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+23
View File
@@ -0,0 +1,23 @@
name: Application acceptance
on: [push, pull_request]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-latest
timeout-minutes: 30
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
- run: python scripts/setup.py
- run: docker compose up -d --build --wait --wait-timeout 180
- run: python scripts/run-all.py
- uses: actions/upload-artifact@v4
if: always()
with:
name: lab4-evidence
path: evidence/
- if: always()
run: docker compose down
+131
View File
@@ -0,0 +1,131 @@
# Памятка к защите лабораторной 4
Автор: Черненко, БПИ2301. Цель — оценка 5, трек 2: согласованность двух хранилищ.
Команды запуска, фактические измерения и ограничения находятся в [REPORT.md](REPORT.md).
## Что требовалось сделать
Построить REST-мессенджер, у которого данные доступны через разные API-реплики.
Текст, пользователи, сессии и связи находятся в PostgreSQL. Изображения находятся
в приватном S3-совместимом хранилище. База хранит только их метаданные и ключи.
В работе нужно сохранить контракт предыдущих лабораторных, проверить сохранность
при рестарте и остановке API, безопасность и ограничения загрузки.
Для оценки 5 выбран дополнительный эксперимент: устранение расхождений БД/S3.
## Как рассказать решение за две минуты
«У меня два одинаковых FastAPI-процесса за HAProxy. Состояния внутри API нет:
сессии, сообщения и метаданные общие, в PostgreSQL. Изображения лежат в MinIO.
Пользователь входит через Basic и получает случайный Bearer-токен. Пароль
хешируется Argon2id; в БД хранится только SHA-256 случайного токена.
При загрузке я сначала проверяю сессию и участие в чате, затем потоково принимаю
не более 10 MiB. Проверяю настоящее изображение библиотекой Pillow, MIME и число
пикселей до декодирования. Сервер генерирует UUID-ключ, сохраняет оригинал в S3
и записывает метаданные в БД. Только после успешного COMMIT клиент получает 201.
Между S3 и PostgreSQL нет общей транзакции, поэтому после сбоя может остаться
лишний объект. Reconciler находит такие объекты и удаляет только старые,
неучтённые, после grace period. Если файл исчез, запись сохраняется и помечается
внутренним failed; API возвращает 409. Если восстановить правильный оригинал
из резервной копии, reconciler проверит размер и SHA-256 и вернёт ready».
## Путь запроса в коде
- `src/app.py`: `envelope` добавляет ID запроса и реплики, формирует безопасные ошибки.
- `actor` проверяет хеш токена и expiry в общей БД, `access` проверяет членство в чате.
- `upload` ограничивает входной поток и время, `validate_image` проверяет изображение,
вложенная функция `save` выполняет PUT и транзакцию метаданных.
- `get_attachment` проверяет ACL перед выдачей метаданных или байтов; `content`
читает оригинал блоками по 64 KiB и закрывает S3 stream.
- `send` сериализует одинаковые idempotency keys PostgreSQL advisory lock.
Сообщение, связи с файлами и результат идемпотентности записываются одной транзакцией.
- `src/reconcile.py` содержит операторскую сверку; `--apply` включает исправления.
- `migrations/001_initial.sql` создаёт таблицы и ограничения.
- `infra/haproxy.cfg` проверяет readiness и убирает неработающую реплику из балансировки.
## Ответы на вопросы README
### Почему файл в Docker volume одной API-реплики не равен объектному хранилищу?
Файл на отдельном volume не становится доступен другой машине или реплике
автоматически. Он связан с размещением процесса. S3 даёт общий сетевой API,
идентификацию объектов по ключу, отдельные права и жизненный цикл хранения.
У MinIO тоже есть volume, но им владеет общий S3-сервис, а API обращаются по сети.
Это не делает один MinIO на одном Docker-host отказоустойчивым к потере диска.
### Когда можно честно вернуть 201?
После проверки входа, успешного S3 PUT и COMMIT метаданных. К этому моменту
другой участник через другую API-реплику должен прочитать метаданные и исходные
байты. В этой лабораторной нет worker и отложенного обещания готовности.
Если COMMIT произошёл, но ответ потерялся, клиент не знает результата.
Загрузка не идемпотентна: её ручной повтор может создать ещё одно вложение.
### Что произойдёт, если S3 PUT прошёл, а COMMIT в PostgreSQL — нет?
Останется orphan — объект без метаданных. 201 не возвращается. Удалять его сразу
в обработчике любой ошибки COMMIT опасно: при обрыве соединения транзакция могла
успеть зафиксироваться. Поэтому объект оставляется, и оператор запускает сверку.
По умолчанию она ничего не меняет; `--apply` удаляет только объекты старше часа,
для которых всё ещё нет метаданных. При недоступной БД или ошибке LIST/HEAD
отсутствие объекта не предполагается наугад: проход прерывается.
### Почему случайный object key и приватный bucket не заменяют ACL приложения?
Непредсказуемость ключа не означает право доступа: ключ может утечь. Приватность
bucket закрывает анонимный S3 GET, но API имеет S3-credentials и технически может
читать все объекты своего prefix. Поэтому API отдельно проверяет Bearer-сессию
и членство в чате. Посторонний получает 404 без подтверждения существования файла.
Клиент не получает object key и S3-credentials.
## Дополнительные вопросы
**Почему нельзя одной SQL-транзакцией охватить S3?** S3 не участвует в транзакции
PostgreSQL. Нужен отдельный протокол компенсации, сверки либо модель saga.
Здесь используется eventual repair с ручным операторским запуском.
**Как reconciler не удаляет загрузку во время COMMIT?** Загрузка держит shared
advisory lock от PUT до выхода из транзакции, а reconciler берёт exclusive lock.
Он ждёт завершения загрузок и блокирует новые записи на время прохода.
Дополнительно проверяет возраст, HEAD и отсутствие метаданных перед DELETE.
**Как защищены используемые файлы?** Любая существующая запись Attachment защищает
объект, даже если его ещё не прикрепили к сообщению. Reconciler вообще не удаляет
метаданные и связи. Потерянные байты автоматически придумать нельзя: нужна копия.
**Почему память ограничена, если используется Pillow?** До чтения и во время чтения
проверяется лимит байтов. После 256 KiB вход переносится во временный spool.
На реплику одновременно допускаются две загрузки и одно полное декодирование.
До `load()` проверяется число пикселей. `/tmp` ограничен 64 MiB, контейнер — 512 MiB.
Tmpfs учитывается в памяти контейнера; файл в нём — временная проверочная копия,
не источник оригинала после успешной загрузки.
**Зачем Idempotency-Key?** При потере ответа клиент повторяет сообщение с тем же
ключом и тем же телом. В течение 24 часов получает ровно прежнее сообщение.
Другое тело с тем же ключом даёт 409. Область ключа — пользователь и чат,
метод/путь здесь единственный POST messages. Shared DB lock действует между репликами.
**Как устроена пагинация?** Cursor кодирует ресурс, время и UUID последней записи.
Следующая страница выбирается по `(created_at,id) > последняя_пара`, `limit+1`
позволяет узнать, есть ли продолжение. Cursor другого чата отклоняется.
Base64 делает cursor непрозрачным интерфейсом, но не шифрует и не подписывает его.
История между страницами не является snapshot: поздний COMMIT с более ранним временем
или перевод часов назад могут привести к пропуску при конкурентной записи.
**Почему readiness зависит от S3, а liveness нет?** Без S3 нельзя безопасно
обслужить обязательную загрузку/скачивание, но процесс может оставаться живым.
LB исключает такую реплику. При общем отказе S3 все реплики становятся unready.
## Демонстрация
1. Запустить стенд по `REPORT.md`, показать `docker compose ps` — две API и общие хранилища.
2. Запустить `make test` внутри api1 с `BASE_URL=http://lb:8080` — checksum, чат,
сообщение с вложением, второй участник и запрет для третьего.
3. Показать `evidence/acceptance.json`: MIME, размер, ACL, private bucket и права S3.
4. Показать `evidence/replica-directions.json`, `persistence.txt` и `failover.txt`.
5. Запустить `docker compose exec -T api1 python -m src.reconcile` — dry-run.
6. Открыть `student-tests/research.py` и `evidence/research.json`: PUT + SQL rollback,
пропавший файл, grace period, повтор и восстановление из правильной копии.
7. Объяснить ограничения из отчёта. Полный повтор всех испытаний:
`python scripts/run-all.py` (Windows: `py -X utf8 scripts/run-all.py`).
+11
View File
@@ -0,0 +1,11 @@
FROM python:3.12.10-slim
WORKDIR /app
COPY requirements.txt requirements-dev.txt ./
RUN apt-get update && apt-get install -y --no-install-recommends make \
&& rm -rf /var/lib/apt/lists/* \
&& pip install --no-cache-dir -r requirements.txt -r requirements-dev.txt \
&& useradd -u 10001 -m app
COPY . .
USER app
ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1
CMD ["uvicorn", "src.app:app", "--host", "0.0.0.0", "--port", "8080", "--timeout-keep-alive", "5", "--no-access-log"]
+275 -18
View File
@@ -1,37 +1,294 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Черненко, БПИ2301.
- Целевая оценка: **5**, трек **2 — согласованность двух хранилищ**.
- Ветка: `solution/bpi2301-chernenko`, основана на исходном `main` (`ec540a1`).
В удалённом репозитории отдельной ветки skeleton нет. PR создаёт автор вручную;
готовый текст — `.github/pull_request_template.md`. Commit: `git rev-parse HEAD`.
- Дата испытаний: 6 ноября 2026. Использованы Python/FastAPI, psycopg,
boto3, Pillow, Argon2id, PostgreSQL, HAProxy и MinIO. Исходники и инструкции
подготовлены с помощью Codex; тесты выполнены на настоящем Docker Compose стенде.
Предыдущее личное решение lab3 не предоставлялось: необходимый минимум
lab1–3 реализован заново по контракту текущего skeleton, чужой код решения не переносился.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Docker Engine/Desktop в режиме Linux containers, Compose v2 с `--wait`,
доступ в Интернет для первой сборки и Python 3.9+ на host для управляющего скрипта.
На Windows используется `py -X utf8`, на Linux/macOS — `python3`.
Для первой сборки MinIO из исходников желательно 4+ GiB доступной Docker RAM.
Версии: Python 3.12.10, PostgreSQL 17.5-alpine, HAProxy 3.0.11-alpine;
MinIO `RELEASE.2025-04-22T22-12-26Z`, mc `RELEASE.2025-04-16T18-13-26Z`,
Go 1.24.2-alpine, Alpine 3.21.3. Прямые Python-зависимости закреплены в
`requirements.txt`; установленные версии сохраняются в `evidence/python-packages.txt`.
Официальные готовые образы MinIO/mc при проверке были недоступны, поэтому
`infra/Dockerfile.minio` и `infra/Dockerfile.mc` собирают фиксированные upstream tags
через Go module proxy с проверкой Go checksum database.
```sh
git clone https://gitea.privcloud.tech/quzzqq/mtusi2026lab4.git
cd mtusi2026lab4
git switch solution/bpi2301-chernenko
python3 scripts/setup.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 180
docker compose exec -T api1 make check validate PYTHON=python
docker compose exec -T api1 make test PYTHON=python BASE_URL=http://lb:8080
python3 scripts/run-all.py
```
Windows: заменить вызовы `python3 ...` на `py -X utf8 ...`.
Если секреты создавались контейнером со старыми правами, повторить setup в контейнере:
```powershell
docker run --rm --mount "type=bind,source=$($PWD.Path),target=/app" -w /app python:3.12.10-slim python scripts/setup.py
```
`setup.py` создаёт локальные случайные secrets и `.env`, не печатает значения,
не заменяет существующие секреты. Каталог secrets закрыт для других host-users,
отдельные файлы доступны непривилегированному пользователю контейнера через mounts.
Ни `.env`, ни secrets не входят в Git или Docker build context.
Не подменять setup простым копированием логического `.env.example`: сначала нужны secrets.
Публикуется только LB на loopback. Порт по умолчанию 8080; при конфликте добавить
в `.env` `HOST_PORT=18084` и повторить `docker compose up -d`. **При наших испытаниях
использовался 18084**, так как 8080 занят посторонним сервисом. `run-all.py`
автоматически узнаёт фактический порт через `docker compose port lb 8080`.
API, PostgreSQL, S3 и административная консоль не публикуют host-порты.
Миграции выполняет одноразовый `migrate` до API; SQL идемпотентен и защищён
advisory lock. `bootstrap` создаёт приватный bucket, отдельного S3-пользователя
и ограниченную policy. Повторный запуск bootstrap сохраняет данные и проходит успешно.
Оператор ждёт `--wait` и HTTP readiness. Первая компиляция MinIO может занять несколько минут.
Полный `run-all.py` выполняет check/validate/smoke, собственные проверки,
persistence, остановку каждой API, публичный failover, отказы S3 и PostgreSQL,
исследование, загрузки и 30-секундную нагрузку сообщений. Он останавливает **только**
сервисы Compose project `chernenko-lab4`, восстанавливает их после испытаний и
сохраняет обезличенные результаты в `evidence/`. Повтор создаёт новые синтетические данные.
Отдельные публичные сценарии (Linux/macOS; Python на host, Docker CLI доступен):
```sh
chmod +x scripts/restart.sh scripts/stop-one.sh
make test-persistence PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/restart.sh
docker compose start api1 api2
make test-failover PYTHON=python3 BASE_URL=http://localhost:18084 ACTION_SCRIPT=scripts/stop-one.sh
docker compose start api1 api2
```
На Windows `run-all.py` выбирает `.cmd` hooks. Они делают те же реальные Docker-действия.
`restart` перезапускает PostgreSQL, MinIO, обе API и LB с volumes; `stop-one` по
`TARGET_INSTANCE_ID` останавливает именно соответствующую реплику и оставляет её выключенной.
Для ручного запуска public tests на Windows задайте `BASE_URL` и используйте
`py -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.cmd`.
Безопасная остановка: `docker compose down` (данные и сессии остаются в volumes).
Восстановление: прежний `docker compose up -d --wait` с теми же secrets.
**Намеренное удаление всех учебных данных этого стенда:** `docker compose down --volumes`.
Эту последнюю команду не использовать для проверки persistence.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Клиент → HAProxy → api1/api2 → PostgreSQL + MinIO. Один uvicorn process на реплику;
балансировка round-robin с HTTP `/health/ready` каждую секунду. Live проверяет
только процесс; ready — PostgreSQL и доступ к приватному bucket. Оба хранилища
критичны для обязательного синхронного пути. При их общем отказе LB не обещает
обслуживание текстовых операций через исключённые API.
PostgreSQL — источник истины для users, sessions, chats/members, messages,
message_attachments, attachments и idempotency. Сессии переживают рестарт,
TTL=3600 не продлевается при чтении/рестарте, logout удаляет hash токена.
Токен имеет 256 бит случайности, в БД хранится его SHA-256. Пароли — Argon2id
(time_cost=2, memory_cost=19456 KiB, parallelism=1), plaintext не сохраняется.
Сообщение, связи и idempotency результат фиксируются атомарно в PostgreSQL.
Advisory lock по user/chat/key исключает дубли между процессами; 24 часа
отсчитываются от успешной записи. Другой body даёт 409, отсутствие attachment_ids
равно пустому массиву. Неопределённый POST messages повторяется с прежним ключом.
Чтение идёт в общую БД без устаревающего кэша. Пагинация keyset по `(created_at,id)`;
cursor содержит ресурс, время, UUID. Snapshot между запросами не гарантируется.
Оригиналы — только `messenger-attachments/originals/<UUID>`. Filename не образует
путь и не раскрывается как S3 key. Byte-stream ограничен 10 MiB до накопления,
spool после 256 KiB переносится в ограниченный tmpfs; на API допускаются 2 загрузки
и 1 декодирование одновременно. На приём body отведено 20 секунд, очередь
загрузок ждёт до 15 секунд, connect/read S3 — 2/5 секунд без прозрачных retry;
SQL connect=3 секунды, statement=15, lock=10. HAProxy client/server timeout=30 секунд.
Изображение проверяется по формату и полностью декодируется после проверки
40 млн пикселей; оригинал не перекодируется. Download передаёт по 64 KiB через API.
Tmpfs — временная копия для проверки, после запроса не используется для download.
Граница upload: проверка ACL → приём/проверка → shared DB advisory lock → S3 PUT →
INSERT Attachment → COMMIT → 201 ready. Общей транзакции S3/SQL нет. При любой
неопределённости COMMIT синхронное удаление S3 не выполняется: оно могло бы стереть
уже зафиксированный оригинал. Дальнейшая компенсация — операторская сверка.
Reconciler по умолчанию dry-run; запуск:
```sh
docker compose exec -T api1 python -m src.reconcile
docker compose exec -T api1 python -m src.reconcile --apply
```
Оператор сначала оценивает dry-run, затем применяет. Grace по умолчанию 3600 секунд,
минимум 60 — только для контролируемого теста. Полный LIST prefix выполняется до
исправлений, с пагинацией. Exclusive advisory lock согласует сверку с PUT/COMMIT
и привязкой сообщений. Любая запись Attachment защищает объект, даже без Message.
Orphan после grace повторно проверяется через HEAD и SQL и удаляется; missing
старше grace проверяется HEAD 404, метаданные и ссылки сохраняются, внутренний
статус становится failed/missing_object. Неуспех LIST/HEAD/DB прерывает проход.
Повторный запуск безопасен. Восстановление оригинала из копии проверяется по
размеру и SHA-256 перед ready. Сверка сама не восстанавливает потерянные байты.
Публичные успешные Attachment остаются ready согласно контракту; внутренний
failed доступен через 409, после проверки ACL. Детали: `contracts/extensions.md`.
Соответствие `.env.example`: APP_HOST/APP_PORT реализованы аргументами uvicorn
`0.0.0.0:8080`, APP_ENV — только логическое описание; API_REPLICAS=2 реализовано
двумя сервисами; SESSION_STORE=postgres, CACHE_URL_FILE не используется — Redis
не обязателен для минимума предыдущих лабораторных. SESSION_TTL_SECONDS реально
передаётся из `.env`. IDEMPOTENCY_TTL_SECONDS фиксирован контрактными 86400 секундами.
DATABASE_URL_FILE и оба S3 credential FILE смонтированы как secrets. S3_ENDPOINT,
S3_BUCKET, MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS заданы в Compose; S3_REGION=us-east-1
берётся по умолчанию. Лимиты можно только уменьшить относительно обязательных максимумов.
Дополнительный HOST_PORT — host-порт LB. Другие логические переменные примера
не выдаются за изменяемые Compose-настройки.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Каждый пункт ниже проверяется `python3 scripts/run-all.py`; отдельные команды
для app/student-tests выполняются через `docker compose exec -T api1 python ...`.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
- Целостность skeleton, OpenAPI: `make check validate PYTHON=python` внутри API.
Обе проверки PASS — `evidence/check-validate.txt`. Контракт, README задания,
COURSE, CONTRIBUTING и публичные tests не изменялись.
- Минимум lab1–3 и обязательный lab4 API: `make test PYTHON=python BASE_URL=http://lb:8080`.
PASS, включая PNG checksum, attachment-only message, второго участника, 404
для третьего, сессии, пагинацию, idempotency — `evidence/smoke.txt`.
- Реальные PNG/JPEG, лимиты, MIME и filename: `student-tests/acceptance.py`.
PASS: повреждённые bytes и подмена MIME → 415, >10 MiB и 42 млн пикселей → 413,
опасные имена → 400, корректный JPEG скачивается без изменений — `evidence/acceptance.json`.
- Чужой attachment_id и файл другого чата: тот же сценарий, 404. Неверный cursor,
UUID, sender_id — 400; 12 одновременных idempotency повторов → 1 Message.
- Потеря API загрузившей реплики: остановка **каждой** API с последующим download
и записью через вторую. SHA-256/байты совпадают — `evidence/replica-directions.json`.
- Публичный failover с параллельными POST: `tests/resilience.py --mode failover`
с собственным hook. PASS; восстановление ≤10 секунд, нет дубликатов/потерь,
остановленная реплика отсутствует в конце — `evidence/failover.txt`,
`evidence/after-failover.json` и `evidence/after-failover-started.txt`.
- Рестарт API **и PostgreSQL/MinIO/LB**: `tests/resilience.py --mode persistence`.
PASS, прежняя сессия, сообщения и оригинал сохранены. `evidence/persistence.txt`,
`before-restart-started.txt` / `after-restart-started.txt` доказывают изменение
StartedAt всех пяти реальных контейнеров. Volumes не удалялись.
- Отказ S3 и PostgreSQL: `student-tests/storage_outage.py` при реальной остановке
зависимости управляющим скриптом. Live=200, ready/upload/download=503,
reconciler прекращает работу, после возврата хранилища исходные bytes совпадают —
`evidence/s3-outage.json`, `evidence/postgres-outage.json`.
- Прерванная загрузка: raw TCP request с неполным Content-Length и закрытием
соединения, отсутствие новых метаданных — `evidence/acceptance.json`.
- Сбой PUT → SQL: `student-tests/research.py` временно ставит trigger на тестовый
filename, реальный API PUT проходит, INSERT падает, HTTP 500 не раскрывает SQL,
остаётся ровно один orphan. После grace он обнаруживается и удаляется —
`evidence/research.json`. Trigger удаляется в finally; production failpoints нет.
- RAM при ≥10 загрузках: отдельный генератор, 2 размера, по 3 серии × 10,
20 ms cgroup/RSS sampling обеих API и Docker CPU stats — `evidence/uploads.json`,
`evidence/memory-peaks.json`, `evidence/memory.json`.
- Private bucket, scoped S3 credentials, закрытая консоль: анонимный GET существующего
объекта → 403; API-пользователь не может создать bucket — `evidence/acceptance.json`.
Публикация только LB подтверждается `compose.yaml` и `evidence/final-state.json`.
Bootstrap выполнен повторно без удаления данных; вывод — `evidence/bootstrap.txt`.
- Законченный трек 2: dry-run не меняет orphan, apply удаляет старый orphan,
свежий и используемый оригиналы сохраняются, повтор не повторяет удаление,
missing не выдаётся как ready, неверная копия не публикуется, правильная
восстанавливается с прежними bytes, >1000 объектов обходятся несколькими LIST —
`evidence/research.json`. Стоимость измерена, ограничения приведены ниже.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Гипотеза трека 2: shared/exclusive DB locks, повторная проверка и grace позволяют
безопасно убрать неучтённые старые S3-объекты и пометить missing без удаления
живых метаданных; повторный проход не порождает новые повреждения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Методика: создать synthetic chat и ready-вложения, одно привязать к Message.
Внедрить SQL-ошибку в реальный upload после PUT и отдельно удалить оригинал
второго ready-вложения. Проверить fresh orphan до grace, выждать настоящие
62 секунды S3-времени, создать ещё один свежий orphan, сравнить dry-run/apply/repeat.
Missing-метаданные искусственно состарены на 2 часа SQL-командой в тесте,
S3 LastModified не подделывается. Затем проверить плохую/правильную резервную копию.
Добавить 1005 fresh keys по одному байту для проверки LIST pagination, замерить
время и число запросов, убрать только точные служебные ключи этого сценария.
Используемое вложение сохраняется побайтно после каждого ремонта.
Результаты трека, нагрузки и памяти записаны отдельным воспроизводимым
численным итогом в `evidence/SUMMARY.md`; исходные JSON остаются рядом.
Это измерения конкретного локального стенда, а не обещание производительности.
Окружение: Docker Desktop Linux VM, 16 vCPU, 7 950 495 744 bytes RAM,
API по 1 CPU / 512 MiB, `/tmp` по 64 MiB, PostgreSQL и MinIO по 512 MiB,
LB 64 MiB. Host Python — 3.14.3, внутри контейнеров — 3.12.10.
Перед тестами readiness подтверждена, изображения прогреваются одной загрузкой
каждого размера. PNG генерируются из случайных RGB bytes (размеры приблизительно
0,75 MiB и 9,28 MiB; точные bytes в JSON). По 3 closed-loop burst-серии на размер,
concurrency=10, всего 60 измеряемых успешных загрузок плюс 2 прогревочных.
Генератор работает отдельным временным контейнером `migrate`, его RAM не входит
в измеряемые API. Duration, successful RPS, errors и p50/p95/p99 каждой серии
находятся в `uploads.json`. При n=10 p95 и p99 — максимальная задержка серии.
Память: `memory-peaks.json` содержит baseline, максимум memory.current с шагом
20 ms, RSS PID 1 и kernel memory.peak до/после. Последний — максимум за **всё время
жизни контейнера**, включая предыдущие тесты; его нельзя выдавать за чистый пик
только загрузок. Sampling может пропустить короткий всплеск. Небольшой probe
работает в том же cgroup и добавляет собственный overhead. `docker stats`
из `memory.json` содержит CPU и контрольный замер RAM с более редким шагом.
Отдельно `tests/load.py --duration 30 --concurrency 4` измеряет POST messages,
не изображения. JSON включает successful RPS, долю ошибок, p50/p95/p99 успешных
ответов. Этот closed-loop тест имеет coordinated omission и ограничения клиента;
не определяет максимальную мощность сервера. Запуски добавляют данные, поэтому
размер набора растёт; для сравнения на чистом наборе нужен отдельный volume.
Отказы: API-восстановление ожидается за ≤10 секунд; public test подтвердил это.
Рестарт всех сервисов сохраняет подтверждённые данные и действующий токен.
S3/PostgreSQL outages честно дают 503 до ручного возврата зависимости, без обещания HA.
Orphan исправляется только явным запуском после grace; missing требует backup.
В эксперименте не потеряны подтверждённые сообщения или исходные bytes,
кроме специально удалённого S3-объекта, который восстановлен из тестовой копии.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Один host, один PostgreSQL, один MinIO и один LB — единые точки отказа.
Нет репликации БД/S3, автоматических резервных копий и восстановления потерянного
диска; API failover не доказывает устойчивость ко всем инфраструктурным отказам.
HTTP допустим только локально с синтетическими данными; для удалённого показа нужен TLS.
UI, presigned flow, thumbnail/worker lab5 не входят в выбранную работу.
Reconciler удерживает exclusive lock на время полного прохода, хранит метаданные
и LIST в RAM: стоимость O(A+O), время LIST ≈ceil(O/1000), дополнительные HEAD
только для кандидатов. Восстановление failed читает файл для проверки checksum.
На большом bucket это мешает записи; statement/lock timeout ограничивает ожидание,
но весь проход не имеет отдельного wall-clock SLA. Для production нужна пакетная
сверка с журналом/lease, отдельными правами оператора и метриками. Этого улучшения
данные опыта не доказывают. Внешний root-оператор S3 может обойти DB lock:
ручное восстановление согласовывать с обслуживанием.
Сверка не ищет побитовую порчу уже ready-файлов и не удаляет корректные, но давно
не привязанные вложения. Это сознательные границы orphan/missing-трека.
Глобальная корректность конкурентной истории при коррекции часов не гарантируется:
между страницами нет snapshot, поздний COMMIT может попасть до cursor.
Expired sessions и неиспользуемые просроченные idempotency rows не очищаются
периодическим job; это следующий эксплуатационный шаг, expiry при доступе действует.
Попытки входа не rate-limit-ятся. Полная защита lab7 здесь не заявляется.
## Источники и подготовка к защите
- [Нормативная семантика skeleton](contracts/README.md), [COURSE.md](COURSE.md).
- [Psycopg: транзакции и context manager](https://www.psycopg.org/psycopg3/docs/basic/transactions.html).
- [MinIO upstream tags и исходники](https://github.com/minio/minio/releases/tag/RELEASE.2025-04-22T22-12-26Z).
- [MinIO: policy create/attach](https://min.io/docs/minio/linux/reference/minio-mc-admin/mc-admin-policy.html).
- [Pillow: ограничения декодирования](https://pillow.readthedocs.io/en/stable/reference/Image.html).
- [S3: загрузка объектов](https://docs.aws.amazon.com/AmazonS3/latest/userguide/upload-objects.html).
Развёрнутые ответы на все вопросы README, объяснение основных функций и порядок
демонстрации — [DEFENSE.md](DEFENSE.md). Использование ИИ раскрыто выше; автору
необходимо самостоятельно понимать код и уметь изменить его на защите.
+101
View File
@@ -0,0 +1,101 @@
name: chernenko-lab4
x-api: &api
build: .
image: chernenko-lab4-api:local
restart: unless-stopped
environment: &api-env
DATABASE_URL_FILE: /run/secrets/database_url
S3_ENDPOINT: http://s3:9000
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
MAX_UPLOAD_BYTES: 10485760
MAX_IMAGE_PIXELS: 40000000
secrets: [database_url, s3_access_key_id, s3_secret_access_key]
depends_on:
migrate: {condition: service_completed_successfully}
bootstrap: {condition: service_completed_successfully}
mem_limit: 512m
cpus: 1
tmpfs: ['/tmp:size=64m,mode=1777']
healthcheck:
test: [CMD, python, -c, "import urllib.request; urllib.request.urlopen('http://localhost:8080/health/ready',timeout=8)"]
interval: 3s
timeout: 10s
retries: 20
services:
postgres:
image: postgres:17.5-alpine
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [pgdata:/var/lib/postgresql/data]
mem_limit: 512m
healthcheck:
test: [CMD-SHELL, 'pg_isready -U messenger -d messenger']
interval: 2s
timeout: 3s
retries: 30
s3:
build: {context: ., dockerfile: infra/Dockerfile.minio}
image: chernenko-lab4-minio:2025.04.22
command: server /data --console-address :9001
environment:
MINIO_ROOT_USER_FILE: /run/secrets/minio_root_user
MINIO_ROOT_PASSWORD_FILE: /run/secrets/minio_root_password
secrets: [minio_root_user, minio_root_password]
volumes: [s3data:/data]
mem_limit: 512m
healthcheck:
test: [CMD, curl, -f, http://localhost:9000/minio/health/live]
interval: 2s
timeout: 3s
retries: 30
bootstrap:
build: {context: ., dockerfile: infra/Dockerfile.mc}
image: chernenko-lab4-mc:2025.04.16
entrypoint: [/bin/sh, /config/bootstrap.sh]
secrets: [minio_root_user, minio_root_password, s3_access_key_id, s3_secret_access_key]
volumes: ['./infra:/config:ro']
depends_on:
s3: {condition: service_healthy}
migrate:
build: .
image: chernenko-lab4-api:local
command: python -m src.storage
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
depends_on:
postgres: {condition: service_healthy}
api1:
<<: *api
environment:
<<: *api-env
INSTANCE_ID: api1
api2:
<<: *api
environment:
<<: *api-env
INSTANCE_ID: api2
lb:
image: haproxy:3.0.11-alpine
ports: ['127.0.0.1:${HOST_PORT:-8080}:8080']
volumes: ['./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro']
depends_on:
api1: {condition: service_healthy}
api2: {condition: service_healthy}
mem_limit: 64m
volumes:
pgdata:
s3data:
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
minio_root_user: {file: ./secrets/minio_root_user}
minio_root_password: {file: ./secrets/minio_root_password}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
+28
View File
@@ -0,0 +1,28 @@
# Операторское расширение: сверка S3/PostgreSQL
Обязательный OpenAPI лабораторной 4 не изменён. Новых публичных HTTP endpoints нет.
CLI `python -m src.reconcile [--apply] [--grace-seconds N]` выполняется оператором
внутри API-контейнера с его scoped S3-credentials. По умолчанию dry-run и grace=3600;
минимальное разрешённое значение — 60 секунд, для воспроизводимого эксперимента.
Внутренние состояния Attachment: `ready` и `failed` с `error_code=missing_object`.
В lab4 схема успешного Attachment допускает только ready. Поэтому GET metadata
или content для внутреннего failed возвращает 409 в общем формате ошибки;
новое состояние не публикуется как несовместимый успешный JSON.
Привязка failed к сообщению также даёт 409. Все проверки ACL выполняются раньше.
Orphan — ключ из управляемого `originals/` без метаданных. Он удаляется только
после grace, повторных HEAD/SQL-проверок и при exclusive advisory lock.
Missing — старые метаданные без оригинала, подтверждённые HEAD 404. Они сохраняются,
а статус меняется на failed. Правильная резервная копия возвращает ready после
проверки исходного размера и SHA-256; неправильная остаётся failed.
JSON-результат CLI содержит mode, grace_seconds, scanned_objects/scanned_metadata,
list_requests/head_requests, orphan/missing/repaired, fresh_skipped, elapsed_seconds.
Поле head_requests считает только HEAD, а не LIST/GET/DELETE и не SQL.
Ключи в операторском выводе — внутренняя диагностика; HTTP API их не возвращает.
CLI не является планировщиком: оператор запускает его явно, сначала с dry-run.
Безопасность предполагает, что обычные изменения prefix выполняются API и этим
reconciler. Внешний администратор с root-правами способен обойти advisory lock;
на время ручного восстановления нужен согласованный режим обслуживания.
+60
View File
@@ -0,0 +1,60 @@
# Численные результаты, 6 ноября 2026
Полный прогон `py -X utf8 scripts/run-all.py` завершился PASS на Docker Desktop.
Фактическая конфигурация — 16 vCPU, 7 950 495 744 bytes RAM Docker VM;
каждая API ограничена 1 CPU / 512 MiB. API доступны через LB на host-порту 18084.
## Трек 2
В базе в момент прохода — 79 вложений. Dry-run обнаружил 1 старый orphan и
1 missing, не удалил orphan. Apply: 80 объектов, 1 LIST, 2 HEAD, 0,044078 с;
старый orphan удалён, свежий сохранён, используемый оригинал скачан без изменений.
Повтор: 0 orphan, 1 missing, 0,061837 с. Missing остаётся диагностируемым до backup.
Плохая копия не вернула ready; правильная восстановлена за проход 0,043260 с.
До истечения grace свежий orphan не удалён; после настоящего ожидания 62 с — удалён.
После добавления 1005 однобайтовых объектов: 1085 объектов, 79 метаданных,
2 LIST, 0 HEAD, 0,135529 с (dry-run). Служебные fresh keys затем явно удалены тестом.
Это один запуск на каждой точке, не статистически надёжный benchmark масштабирования.
Исходные данные — `research.json`; список HEAD не включает GET/DELETE/SQL.
## Загрузки изображений
Отдельный генератор, один прогрев на размер, concurrency=10, по 3 burst-повтора.
60 измеряемых запросов успешны, ошибок 0.
- PNG 788 085 bytes, 512×512: длительности серий 0,323 / 0,287 / 0,427 с;
successful RPS 30,97 / 34,80 / 23,40;
p50 0,239 / 0,220 / 0,356 с; p95=p99 0,312 / 0,281 / 0,418 с.
- PNG 9 734 289 bytes, 1800×1800: длительности 1,415 / 1,018 / 1,062 с;
successful RPS 7,07 / 9,82 / 9,42;
p50 0,995 / 0,744 / 0,676 с; p95=p99 1,404 / 1,007 / 1,055 с.
20 ms sampling, приблизительно 7 секунд наблюдения:
- api1: baseline 104 833 024 bytes (99,98 MiB), sampled peak 156 479 488
(149,23 MiB), API RSS peak 138 665 984 (132,24 MiB), 337 samples.
- api2: baseline 124 416 000 bytes (118,65 MiB), sampled peak 184 819 712
(176,26 MiB), API RSS peak 161 771 520 (154,28 MiB), 352 samples.
- Kernel lifetime peak после теста: api1 163 160 064 bytes (155,60 MiB),
api2 185 077 760 bytes (176,50 MiB). Этот счётчик включает прежние сценарии.
- Наибольшие наблюдённые Docker CPU samples: api1 76,51%, api2 78,48% одного CPU.
Данные: `uploads.json`, `memory-peaks.json`, `memory.json`. Sampling не доказывает
точную величину мгновенного пика; kernel lifetime peak даёт более широкий верхний
наблюдаемый контекст. Генератор не входит в API cgroups, probe входит.
## Сообщения и отказы
POST messages: concurrency=4, 30,273 с, 2207 успехов, 0 ошибок, 72,903 успешных
RPS; p50/p95/p99 49,708 / 79,677 / 106,861 мс. См. `messages-load.json`.
Это closed-loop с coordinated omission и процентилями только успешных ответов.
Public failover: наблюдены обе реплики, 86 успешных записей, 1 переходная ошибка,
первая успешная запись после hook за 2,449 с. Потерь и дублей не обнаружено.
`replica-directions.json` дополнительно доказывает чтение байтов при отказе каждой API.
Persistence прошёл с прежним токеном и оригиналом; StartedAt всех зависимостей
изменился. При реальных остановках S3 и PostgreSQL live=200,
ready/upload/download=503, reconciler прерывался. После старта зависимости данные доступны.
Результат подтверждает выбранные локальные сценарии. Он не доказывает HA одного
Docker-host, PostgreSQL/S3/LB, устойчивость к повреждению диска или production SLA.
+1
View File
@@ -0,0 +1 @@
{"result": "PASS", "negative_image_and_acl": true, "private_bucket_status": 403, "scoped_credentials": true, "parallel_idempotency_requests": 12, "unique_messages": 1, "interrupted_upload_no_metadata": true}
+5
View File
@@ -0,0 +1,5 @@
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
/chernenko-lab4-api1-1 2026-11-06T13:43:48.73468237Z
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
+170
View File
@@ -0,0 +1,170 @@
[
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "e94c185c04f1",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=api1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.container-number=1,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.oneoff=False,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api1-1",
"Names": "chernenko-lab4-api1-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "About a minute ago",
"Service": "api1",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 14 seconds ago"
},
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "c17142b64593",
"Image": "chernenko-lab4-api:local",
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api2-1",
"Names": "chernenko-lab4-api2-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "About a minute ago",
"Service": "api2",
"Size": "0B",
"State": "running",
"Status": "Up 21 seconds (healthy)"
},
{
"Command": "\"/bin/sh /config/boo\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "060f1b699b19",
"Image": "chernenko-lab4-mc:2025.04.16",
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.service=bootstrap",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-bootstrap-1",
"Names": "chernenko-lab4-bootstrap-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "About a minute ago",
"Service": "bootstrap",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 21 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "6164f1e72222",
"Image": "haproxy:3.0.11-alpine",
"Labels": "com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=lb-1",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-lb-1",
"Names": "chernenko-lab4-lb-1",
"Networks": "chernenko-lab4_default",
"Ports": "127.0.0.1:18084->8080/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "127.0.0.1",
"TargetPort": 8080,
"PublishedPort": 18084,
"Protocol": "tcp"
}
],
"RunningFor": "5 minutes ago",
"Service": "lb",
"Size": "0B",
"State": "running",
"Status": "Up 42 seconds"
},
{
"Command": "\"python -m src.stora\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "3202e401b8fd",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,com.docker.compose.version=5.1.0",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-migrate-1",
"Names": "chernenko-lab4-migrate-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "About a minute ago",
"Service": "migrate",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 21 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "edbbd4f47c8c",
"Image": "postgres:17.5-alpine",
"Labels": "com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2",
"LocalVolumes": "1",
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
"Name": "chernenko-lab4-postgres-1",
"Names": "chernenko-lab4-postgres-1",
"Networks": "chernenko-lab4_default",
"Ports": "5432/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "",
"TargetPort": 5432,
"PublishedPort": 0,
"Protocol": "tcp"
}
],
"RunningFor": "9 minutes ago",
"Service": "postgres",
"Size": "0B",
"State": "running",
"Status": "Up 42 seconds (healthy)"
},
{
"Command": "\"minio server /data \u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "f9079ac9c968",
"Image": "chernenko-lab4-minio:2025.04.22",
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.replace=s3-1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.depends_on=,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.container-number=1,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user",
"LocalVolumes": "1",
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-s3-1",
"Names": "chernenko-lab4-s3-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "About a minute ago",
"Service": "s3",
"Size": "0B",
"State": "running",
"Status": "Up 42 seconds (healthy)"
}
]
+5
View File
@@ -0,0 +1,5 @@
/chernenko-lab4-postgres-1 2026-11-06T13:43:37.605809157Z
/chernenko-lab4-s3-1 2026-11-06T13:43:37.536577679Z
/chernenko-lab4-api1-1 2026-11-06T13:43:38.109037225Z
/chernenko-lab4-api2-1 2026-11-06T13:43:38.029048242Z
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
+170
View File
@@ -0,0 +1,170 @@
[
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "e94c185c04f1",
"Image": "chernenko-lab4-api:local",
"Labels": "desktop.docker.io/mounts/0/Target=/run/secrets/database_url,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=api1,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.replace=api1-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api1-1",
"Names": "chernenko-lab4-api1-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "49 seconds ago",
"Service": "api1",
"Size": "0B",
"State": "running",
"Status": "Up 3 seconds (health: starting)"
},
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "starting",
"ID": "c17142b64593",
"Image": "chernenko-lab4-api:local",
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api2-1",
"Names": "chernenko-lab4-api2-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "49 seconds ago",
"Service": "api2",
"Size": "0B",
"State": "running",
"Status": "Up 3 seconds (health: starting)"
},
{
"Command": "\"/bin/sh /config/boo\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "060f1b699b19",
"Image": "chernenko-lab4-mc:2025.04.16",
"Labels": "com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.replace=bootstrap-1,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.container-number=1,com.docker.compose.depends_on=s3:service_healthy:false",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-bootstrap-1",
"Names": "chernenko-lab4-bootstrap-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "50 seconds ago",
"Service": "bootstrap",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 41 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "6164f1e72222",
"Image": "haproxy:3.0.11-alpine",
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.project=chernenko-lab4,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.replace=lb-1,com.docker.compose.service=lb,com.docker.compose.version=5.1.0,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-lb-1",
"Names": "chernenko-lab4-lb-1",
"Networks": "chernenko-lab4_default",
"Ports": "127.0.0.1:18084->8080/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "127.0.0.1",
"TargetPort": 8080,
"PublishedPort": 18084,
"Protocol": "tcp"
}
],
"RunningFor": "4 minutes ago",
"Service": "lb",
"Size": "0B",
"State": "running",
"Status": "Up 3 seconds"
},
{
"Command": "\"python -m src.stora\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "3202e401b8fd",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=migrate-1,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-migrate-1",
"Names": "chernenko-lab4-migrate-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "50 seconds ago",
"Service": "migrate",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 44 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "edbbd4f47c8c",
"Image": "postgres:17.5-alpine",
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile",
"LocalVolumes": "1",
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
"Name": "chernenko-lab4-postgres-1",
"Names": "chernenko-lab4-postgres-1",
"Networks": "chernenko-lab4_default",
"Ports": "5432/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "",
"TargetPort": 5432,
"PublishedPort": 0,
"Protocol": "tcp"
}
],
"RunningFor": "8 minutes ago",
"Service": "postgres",
"Size": "0B",
"State": "running",
"Status": "Up 3 seconds (healthy)"
},
{
"Command": "\"minio server /data \u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "f9079ac9c968",
"Image": "chernenko-lab4-minio:2025.04.22",
"Labels": "com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.depends_on=,com.docker.compose.replace=s3-1,com.docker.compose.service=s3,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
"LocalVolumes": "1",
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-s3-1",
"Names": "chernenko-lab4-s3-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "50 seconds ago",
"Service": "s3",
"Size": "0B",
"State": "running",
"Status": "Up 4 seconds (healthy)"
}
]
+5
View File
@@ -0,0 +1,5 @@
/chernenko-lab4-postgres-1 2026-11-06T13:39:11.75831067Z
/chernenko-lab4-s3-1 2026-11-06T13:42:56.365718327Z
/chernenko-lab4-api1-1 2026-11-06T13:43:00.119864269Z
/chernenko-lab4-api2-1 2026-11-06T13:43:00.124296365Z
/chernenko-lab4-lb-1 2026-11-06T13:39:11.322683321Z
+170
View File
@@ -0,0 +1,170 @@
[
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "e94c185c04f1",
"Image": "chernenko-lab4-api:local",
"Labels": "desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.container-number=1,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api1-1",
"Names": "chernenko-lab4-api1-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "43 seconds ago",
"Service": "api1",
"Size": "0B",
"State": "running",
"Status": "Up 35 seconds (healthy)"
},
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "c17142b64593",
"Image": "chernenko-lab4-api:local",
"Labels": "desktop.docker.io/mounts/2/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.replace=api2-1,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=api2,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api2-1",
"Names": "chernenko-lab4-api2-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "43 seconds ago",
"Service": "api2",
"Size": "0B",
"State": "running",
"Status": "Up 35 seconds (healthy)"
},
{
"Command": "\"/bin/sh /config/boo\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "060f1b699b19",
"Image": "chernenko-lab4-mc:2025.04.16",
"Labels": "desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/3/SourceKind=hostFile,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/ports.scheme=v2,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,com.docker.compose.replace=bootstrap-1,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,desktop.docker.io/binds/0/Target=/config",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-bootstrap-1",
"Names": "chernenko-lab4-bootstrap-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "44 seconds ago",
"Service": "bootstrap",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 35 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "6164f1e72222",
"Image": "haproxy:3.0.11-alpine",
"Labels": "com.docker.compose.oneoff=False,com.docker.compose.replace=lb-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false,com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,desktop.docker.io/binds/0/SourceKind=hostFile,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.version=5.1.0",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-lb-1",
"Names": "chernenko-lab4-lb-1",
"Networks": "chernenko-lab4_default",
"Ports": "127.0.0.1:18084->8080/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "127.0.0.1",
"TargetPort": 8080,
"PublishedPort": 18084,
"Protocol": "tcp"
}
],
"RunningFor": "4 minutes ago",
"Service": "lb",
"Size": "0B",
"State": "running",
"Status": "Up 4 minutes"
},
{
"Command": "\"python -m src.stora\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "3202e401b8fd",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=migrate,desktop.docker.io/ports.scheme=v2,com.docker.compose.oneoff=False,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-migrate-1",
"Names": "chernenko-lab4-migrate-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "44 seconds ago",
"Service": "migrate",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 38 seconds ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "edbbd4f47c8c",
"Image": "postgres:17.5-alpine",
"Labels": "com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=postgres,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.container-number=1",
"LocalVolumes": "1",
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
"Name": "chernenko-lab4-postgres-1",
"Names": "chernenko-lab4-postgres-1",
"Networks": "chernenko-lab4_default",
"Ports": "5432/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "",
"TargetPort": 5432,
"PublishedPort": 0,
"Protocol": "tcp"
}
],
"RunningFor": "8 minutes ago",
"Service": "postgres",
"Size": "0B",
"State": "running",
"Status": "Up 4 minutes (healthy)"
},
{
"Command": "\"minio server /data \u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "f9079ac9c968",
"Image": "chernenko-lab4-minio:2025.04.22",
"Labels": "com.docker.compose.service=s3,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,com.docker.compose.container-number=1,com.docker.compose.depends_on=,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1",
"LocalVolumes": "1",
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-s3-1",
"Names": "chernenko-lab4-s3-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "44 seconds ago",
"Service": "s3",
"Size": "0B",
"State": "running",
"Status": "Up 39 seconds (healthy)"
}
]
+1
View File
@@ -0,0 +1 @@
Private bucket and scoped application user ready
+4
View File
@@ -0,0 +1,4 @@
python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+1
View File
@@ -0,0 +1 @@
PASS: docker compose config --quiet (exit 0)
+3
View File
@@ -0,0 +1,3 @@
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 86, "failed_attempts": 1, "first_recovery_seconds": 2.449}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+5
View File
@@ -0,0 +1,5 @@
/chernenko-lab4-postgres-1 2026-11-06T13:45:08.909781813Z
/chernenko-lab4-s3-1 2026-11-06T13:44:46.147669345Z
/chernenko-lab4-api1-1 2026-11-06T13:44:23.398321123Z
/chernenko-lab4-api2-1 2026-11-06T13:43:59.067925907Z
/chernenko-lab4-lb-1 2026-11-06T13:43:37.921265653Z
+170
View File
@@ -0,0 +1,170 @@
[
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "e94c185c04f1",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.replace=api1-1,com.docker.compose.service=api1,desktop.docker.io/mounts/1/SourceKind=hostFile,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=migrate:service_completed_successfully:false,bootstrap:service_completed_successfully:false,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/1/Target=/run/secrets/s3_access_key_id,desktop.docker.io/mounts/2/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c4f013ad17bf14dde5c546e8912f4b3a9d874d7f58fbc0775a9160fd071cd7b1",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api1-1",
"Names": "chernenko-lab4-api1-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "4 minutes ago",
"Service": "api1",
"Size": "0B",
"State": "running",
"Status": "Up 2 minutes (healthy)"
},
{
"Command": "\"uvicorn src.app:app\u2026\"",
"CreatedAt": "2026-11-06 16:42:52 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "c17142b64593",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.depends_on=bootstrap:service_completed_successfully:false,migrate:service_completed_successfully:false,com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.replace=api2-1,com.docker.compose.service=api2,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/0/Target=/run/secrets/s3_access_key_id,com.docker.compose.config-hash=395b3feea8484f9d4470d5f147205ed0038f76c497e0f4a0f27a60296448000a,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/s3_secret_access_key,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/2/Target=/run/secrets/database_url",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-api2-1",
"Names": "chernenko-lab4-api2-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "4 minutes ago",
"Service": "api2",
"Size": "0B",
"State": "running",
"Status": "Up 3 minutes (healthy)"
},
{
"Command": "\"/bin/sh /config/boo\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "060f1b699b19",
"Image": "chernenko-lab4-mc:2025.04.16",
"Labels": "desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/2/Target=/run/secrets/s3_access_key_id,desktop.docker.io/ports.scheme=v2,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,desktop.docker.io/binds/0/Target=/config,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password,desktop.docker.io/mounts/2/SourceKind=hostFile,desktop.docker.io/mounts/3/SourceKind=hostFile,com.docker.compose.replace=bootstrap-1,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/mounts/2/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_access_key_id,desktop.docker.io/mounts/3/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\s3_secret_access_key,desktop.docker.io/mounts/3/Target=/run/secrets/s3_secret_access_key,com.docker.compose.config-hash=c85cca25d5ac8d7f4a0ebab377191dcadfb6cfafe846370404ccdf49d0115e86,com.docker.compose.depends_on=s3:service_healthy:false,com.docker.compose.image=sha256:9cd6b1619c902db59b65133228b90f231ebe15188d5f19e129f809d70e6ed113,com.docker.compose.oneoff=False,com.docker.compose.service=bootstrap,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/mounts/0/SourceKind=hostFile",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-bootstrap-1",
"Names": "chernenko-lab4-bootstrap-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "4 minutes ago",
"Service": "bootstrap",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 2 minutes ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:38:42 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "6164f1e72222",
"Image": "haproxy:3.0.11-alpine",
"Labels": "com.docker.compose.image=sha256:e49b7beb96f4dba79f9a671515b469a6e516a2b88ff0681a820b184bba1effbd,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.service=lb,com.docker.compose.container-number=1,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,desktop.docker.io/binds/0/Target=/usr/local/etc/haproxy/haproxy.cfg,com.docker.compose.replace=lb-1,com.docker.compose.version=5.1.0,desktop.docker.io/ports.scheme=v2,desktop.docker.io/ports/8080/tcp=127.0.0.1:18084,com.docker.compose.project=chernenko-lab4,desktop.docker.io/binds/0/SourceKind=hostFile,desktop.docker.io/binds/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\infra\\haproxy.cfg,com.docker.compose.config-hash=27c2848e4019aba0b9abc9c996768fdbb3240807f75908a1a887364a90a9bd58,com.docker.compose.depends_on=api1:service_healthy:false,api2:service_healthy:false",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-lb-1",
"Names": "chernenko-lab4-lb-1",
"Networks": "chernenko-lab4_default",
"Ports": "127.0.0.1:18084->8080/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "127.0.0.1",
"TargetPort": 8080,
"PublishedPort": 18084,
"Protocol": "tcp"
}
],
"RunningFor": "8 minutes ago",
"Service": "lb",
"Size": "0B",
"State": "running",
"Status": "Up 3 minutes"
},
{
"Command": "\"python -m src.stora\u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "",
"ID": "3202e401b8fd",
"Image": "chernenko-lab4-api:local",
"Labels": "com.docker.compose.image=sha256:1aae04148a01277676eb703788b145f33ad4fb3ce8f076de7329d0fdccf2b068,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.service=migrate,desktop.docker.io/mounts/0/SourceKind=hostFile,com.docker.compose.config-hash=34b25b97c0aa52dcf4034b6a369649fd256c45449af60cc0ad2e4f39563e8893,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\database_url,desktop.docker.io/mounts/0/Target=/run/secrets/database_url,desktop.docker.io/ports.scheme=v2,com.docker.compose.depends_on=postgres:service_healthy:false,com.docker.compose.oneoff=False,com.docker.compose.project=chernenko-lab4,com.docker.compose.replace=migrate-1,com.docker.compose.version=5.1.0,com.docker.compose.container-number=1",
"LocalVolumes": "0",
"Mounts": "/run/desktop/m\u2026",
"Name": "chernenko-lab4-migrate-1",
"Names": "chernenko-lab4-migrate-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "4 minutes ago",
"Service": "migrate",
"Size": "0B",
"State": "exited",
"Status": "Exited (0) 2 minutes ago"
},
{
"Command": "\"docker-entrypoint.s\u2026\"",
"CreatedAt": "2026-11-06 16:34:58 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "edbbd4f47c8c",
"Image": "postgres:17.5-alpine",
"Labels": "com.docker.compose.service=postgres,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\postgres_password,com.docker.compose.container-number=1,com.docker.compose.project=chernenko-lab4,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/0/Target=/run/secrets/postgres_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.config-hash=953eac993f2384f00914a8d61d9161aca0a041e35d4c6e3196c78d7c7293dd10,com.docker.compose.depends_on=,com.docker.compose.image=sha256:6567bca8d7bc8c82c5922425a0baee57be8402df92bae5eacad5f01ae9544daa,com.docker.compose.oneoff=False,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4",
"LocalVolumes": "1",
"Mounts": "/run/desktop/m\u2026,chernenko-lab4\u2026",
"Name": "chernenko-lab4-postgres-1",
"Names": "chernenko-lab4-postgres-1",
"Networks": "chernenko-lab4_default",
"Ports": "5432/tcp",
"Project": "chernenko-lab4",
"Publishers": [
{
"URL": "",
"TargetPort": 5432,
"PublishedPort": 0,
"Protocol": "tcp"
}
],
"RunningFor": "12 minutes ago",
"Service": "postgres",
"Size": "0B",
"State": "running",
"Status": "Up About a minute (healthy)"
},
{
"Command": "\"minio server /data \u2026\"",
"CreatedAt": "2026-11-06 16:42:51 +0300 MSK",
"ExitCode": 0,
"Health": "healthy",
"ID": "f9079ac9c968",
"Image": "chernenko-lab4-minio:2025.04.22",
"Labels": "com.docker.compose.config-hash=8a94cfd2660f51932d67fcf6d11da7a67bf7b4c20b5b39164eb2b7f2bdcc1e38,com.docker.compose.project.config_files=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\compose.yaml,com.docker.compose.project.working_dir=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4,com.docker.compose.depends_on=,com.docker.compose.project=chernenko-lab4,com.docker.compose.service=s3,desktop.docker.io/mounts/0/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_user,desktop.docker.io/mounts/0/SourceKind=hostFile,desktop.docker.io/mounts/1/Source=C:\\Users\\Sergey\\Documents\\Codex\\2026-11-06\\https-gitea-privcloud-tech-quzzqq-mtusi2026lab4-2\\work\\mtusi2026lab4\\secrets\\minio_root_password,desktop.docker.io/ports.scheme=v2,com.docker.compose.container-number=1,com.docker.compose.oneoff=False,com.docker.compose.replace=s3-1,com.docker.compose.version=5.1.0,desktop.docker.io/mounts/0/Target=/run/secrets/minio_root_user,com.docker.compose.image=sha256:d6e5173cc1062c0e3b2ae73c012be260196b96212352873486a05c64567d3bfc,desktop.docker.io/mounts/1/SourceKind=hostFile,desktop.docker.io/mounts/1/Target=/run/secrets/minio_root_password",
"LocalVolumes": "1",
"Mounts": "chernenko-lab4\u2026,/run/desktop/m\u2026,/run/desktop/m\u2026",
"Name": "chernenko-lab4-s3-1",
"Names": "chernenko-lab4-s3-1",
"Networks": "chernenko-lab4_default",
"Ports": "",
"Project": "chernenko-lab4",
"Publishers": [],
"RunningFor": "4 minutes ago",
"Service": "s3",
"Size": "0B",
"State": "running",
"Status": "Up 2 minutes (healthy)"
}
]
+1
View File
@@ -0,0 +1 @@
CPUs=16 memory_bytes=7950495744 OS=Docker Desktop
+8
View File
@@ -0,0 +1,8 @@
CONTAINER REPOSITORY TAG PLATFORM IMAGE ID SIZE CREATED
chernenko-lab4-api1-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
chernenko-lab4-api2-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
chernenko-lab4-bootstrap-1 chernenko-lab4-mc 2025.04.16 linux/amd64 9cd6b1619c90 25.5MB 13 minutes ago
chernenko-lab4-lb-1 haproxy 3.0.11-alpine linux/amd64 e49b7beb96f4 13.6MB 17 months ago
chernenko-lab4-migrate-1 chernenko-lab4-api local linux/amd64 050bee4f919c 83MB 4 minutes ago
chernenko-lab4-postgres-1 postgres 17.5-alpine linux/amd64 6567bca8d7bc 111MB 17 months ago
chernenko-lab4-s3-1 chernenko-lab4-minio 2025.04.22 linux/amd64 d6e5173cc106 76MB 12 minutes ago
+22
View File
@@ -0,0 +1,22 @@
{
"api1": {
"baseline_bytes": 104833024,
"sampled_peak_bytes": 156479488,
"kernel_lifetime_peak_before_bytes": 163160064,
"kernel_lifetime_peak_after_bytes": 163160064,
"api_rss_peak_bytes": 138665984,
"sample_count": 337,
"interval_seconds": 0.02,
"elapsed_seconds": 7.063227589999997
},
"api2": {
"baseline_bytes": 124416000,
"sampled_peak_bytes": 184819712,
"kernel_lifetime_peak_before_bytes": 158715904,
"kernel_lifetime_peak_after_bytes": 185077760,
"api_rss_peak_bytes": 161771520,
"sample_count": 352,
"interval_seconds": 0.02,
"elapsed_seconds": 7.281432108999979
}
}
+110
View File
@@ -0,0 +1,110 @@
[
{
"elapsed": 1.166,
"replicas": [
{
"BlockIO": "0B / 0B",
"CPUPerc": "19.87%",
"Container": "chernenko-lab4-api1-1",
"ID": "e94c185c04f1",
"MemPerc": "22.66%",
"MemUsage": "116MiB / 512MiB",
"Name": "chernenko-lab4-api1-1",
"NetIO": "3.02MB / 2.87MB",
"PIDs": "5"
},
{
"BlockIO": "0B / 0B",
"CPUPerc": "19.56%",
"Container": "chernenko-lab4-api2-1",
"ID": "c17142b64593",
"MemPerc": "26.86%",
"MemUsage": "137.5MiB / 512MiB",
"Name": "chernenko-lab4-api2-1",
"NetIO": "1.31MB / 1.56MB",
"PIDs": "5"
}
]
},
{
"elapsed": 3.227,
"replicas": [
{
"BlockIO": "0B / 0B",
"CPUPerc": "47.58%",
"Container": "chernenko-lab4-api1-1",
"ID": "e94c185c04f1",
"MemPerc": "27.55%",
"MemUsage": "141MiB / 512MiB",
"Name": "chernenko-lab4-api1-1",
"NetIO": "40.8MB / 15.7MB",
"PIDs": "6"
},
{
"BlockIO": "0B / 0B",
"CPUPerc": "56.44%",
"Container": "chernenko-lab4-api2-1",
"ID": "c17142b64593",
"MemPerc": "31.94%",
"MemUsage": "163.5MiB / 512MiB",
"Name": "chernenko-lab4-api2-1",
"NetIO": "48.6MB / 23.4MB",
"PIDs": "6"
}
]
},
{
"elapsed": 5.284,
"replicas": [
{
"BlockIO": "0B / 0B",
"CPUPerc": "76.51%",
"Container": "chernenko-lab4-api1-1",
"ID": "e94c185c04f1",
"MemPerc": "23.07%",
"MemUsage": "118.1MiB / 512MiB",
"Name": "chernenko-lab4-api1-1",
"NetIO": "114MB / 113MB",
"PIDs": "6"
},
{
"BlockIO": "0B / 0B",
"CPUPerc": "78.48%",
"Container": "chernenko-lab4-api2-1",
"ID": "c17142b64593",
"MemPerc": "29.24%",
"MemUsage": "149.7MiB / 512MiB",
"Name": "chernenko-lab4-api2-1",
"NetIO": "122MB / 111MB",
"PIDs": "6"
}
]
},
{
"elapsed": 7.294,
"replicas": [
{
"BlockIO": "0B / 0B",
"CPUPerc": "3.86%",
"Container": "chernenko-lab4-api1-1",
"ID": "e94c185c04f1",
"MemPerc": "23.10%",
"MemUsage": "118.3MiB / 512MiB",
"Name": "chernenko-lab4-api1-1",
"NetIO": "162MB / 162MB",
"PIDs": "6"
},
{
"BlockIO": "0B / 0B",
"CPUPerc": "9.13%",
"Container": "chernenko-lab4-api2-1",
"ID": "c17142b64593",
"MemPerc": "27.36%",
"MemUsage": "140.1MiB / 512MiB",
"Name": "chernenko-lab4-api2-1",
"NetIO": "171MB / 170MB",
"PIDs": "6"
}
]
}
]
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.273,
"concurrency": 4,
"successful_requests": 2207,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 72.903,
"successful_latency_ms": {
"p50": 49.708,
"p95": 79.677,
"p99": 106.861
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.273,
"concurrency": 4,
"successful_requests": 2207,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 72.903,
"successful_latency_ms": {
"p50": 49.708,
"p95": 79.677,
"p99": 106.861
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+2
View File
@@ -0,0 +1,2 @@
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+1
View File
@@ -0,0 +1 @@
{"result": "PASS", "dependency": "postgres", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
+41
View File
@@ -0,0 +1,41 @@
annotated-types==0.8.0
anyio==4.16.0
argon2-cffi==23.1.0
argon2-cffi-bindings==26.1.0
attrs==26.1.0
boto3==1.38.23
botocore==1.38.46
certifi==2026.10.23
cffi==2.1.1
charset-normalizer==3.5.2
click==8.5.0
fastapi==0.115.12
h11==0.16.0
idna==3.20
jmespath==1.1.0
jsonschema==4.23.0
jsonschema-path==0.3.4
jsonschema-specifications==2025.9.1
lazy-object-proxy==1.13.0
openapi-schema-validator==0.6.3
openapi-spec-validator==0.7.2
pathable==0.4.4
pillow==11.2.1
psycopg==3.2.9
psycopg-binary==3.2.9
pycparser==3.12
pydantic==2.14.3
pydantic_core==2.50.4
python-dateutil==2.9.0.post0
PyYAML==6.0.3
referencing==0.36.2
requests==2.34.2
rfc3339-validator==0.1.4
rpds-py==2026.9.1
s3transfer==0.13.1
six==1.17.0
starlette==0.46.2
typing-inspection==0.4.5
typing_extensions==4.16.0
urllib3==2.8.0
uvicorn==0.34.2
+12
View File
@@ -0,0 +1,12 @@
[
{
"stopped": "api1",
"served_by": "api2",
"checksum_equal": true
},
{
"stopped": "api2",
"served_by": "api1",
"checksum_equal": true
}
]
+108
View File
@@ -0,0 +1,108 @@
{
"result": "PASS",
"early": {
"mode": "apply",
"grace_seconds": 60,
"scanned_objects": 79,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 1,
"orphan": [],
"missing": [
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
],
"repaired": [],
"fresh_skipped": 1,
"elapsed_seconds": 0.046923
},
"dry_run": {
"mode": "dry-run",
"grace_seconds": 60,
"scanned_objects": 80,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 2,
"orphan": [
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
],
"missing": [
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
],
"repaired": [],
"fresh_skipped": 1,
"elapsed_seconds": 0.042767
},
"apply": {
"mode": "apply",
"grace_seconds": 60,
"scanned_objects": 80,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 2,
"orphan": [
"originals/3c48abed-5c02-4fde-b64c-70ffefe188c4"
],
"missing": [
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
],
"repaired": [],
"fresh_skipped": 1,
"elapsed_seconds": 0.044078
},
"repeat": {
"mode": "apply",
"grace_seconds": 60,
"scanned_objects": 79,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 1,
"orphan": [],
"missing": [
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
],
"repaired": [],
"fresh_skipped": 1,
"elapsed_seconds": 0.061837
},
"wrong_backup": {
"mode": "apply",
"grace_seconds": 60,
"scanned_objects": 80,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 0,
"orphan": [],
"missing": [],
"repaired": [],
"fresh_skipped": 1,
"elapsed_seconds": 0.069966
},
"restore": {
"mode": "apply",
"grace_seconds": 60,
"scanned_objects": 80,
"scanned_metadata": 79,
"list_requests": 1,
"head_requests": 0,
"orphan": [],
"missing": [],
"repaired": [
"7054e985-e7e6-4b79-99bd-1ada08ab17d9"
],
"fresh_skipped": 1,
"elapsed_seconds": 0.04326
},
"scale": {
"mode": "dry-run",
"grace_seconds": 3600,
"scanned_objects": 1085,
"scanned_metadata": 79,
"list_requests": 2,
"head_requests": 0,
"orphan": [],
"missing": [],
"repaired": [],
"fresh_skipped": 1006,
"elapsed_seconds": 0.135529
}
}
+1
View File
@@ -0,0 +1 @@
{"result": "PASS", "dependency": "s3", "live": 200, "ready": 503, "upload": 503, "download": 503, "reconcile_aborted": true}
+1
View File
@@ -0,0 +1 @@
PASS: S3 down: ready=503, live=200
+2
View File
@@ -0,0 +1,2 @@
python tests/smoke.py --base-url "http://lb:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+80
View File
@@ -0,0 +1,80 @@
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Creating
Container chernenko-lab4-migrate-run-b8ed9c0b29ae Created
{
"result": "PASS",
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
"results": [
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 1,
"duration_seconds": 0.3228425799998149,
"successful_rps": 30.97484848499765,
"errors": 0,
"p50_seconds": 0.23937289499997405,
"p95_seconds": 0.3116505430000416,
"p99_seconds": 0.3116505430000416
},
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 2,
"duration_seconds": 0.28736012400008804,
"successful_rps": 34.7995395491858,
"errors": 0,
"p50_seconds": 0.21971024050003507,
"p95_seconds": 0.280770332999964,
"p99_seconds": 0.280770332999964
},
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 3,
"duration_seconds": 0.4273819759998787,
"successful_rps": 23.398272649670275,
"errors": 0,
"p50_seconds": 0.35630944649994944,
"p95_seconds": 0.41798241600008623,
"p99_seconds": 0.41798241600008623
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 1,
"duration_seconds": 1.414869691999911,
"successful_rps": 7.067788685094421,
"errors": 0,
"p50_seconds": 0.9954542405000666,
"p95_seconds": 1.4035137710000072,
"p99_seconds": 1.4035137710000072
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 2,
"duration_seconds": 1.0182373059999463,
"successful_rps": 9.820893362554257,
"errors": 0,
"p50_seconds": 0.743775241499975,
"p95_seconds": 1.0071358039999723,
"p99_seconds": 1.0071358039999723
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 3,
"duration_seconds": 1.0615374129999964,
"successful_rps": 9.420299160007122,
"errors": 0,
"p50_seconds": 0.6756271810000953,
"p95_seconds": 1.0547382820000166,
"p99_seconds": 1.0547382820000166
}
]
}
+78
View File
@@ -0,0 +1,78 @@
{
"result": "PASS",
"profile": "closed-loop, 10 simultaneous uploads, 3 repeats/size",
"results": [
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 1,
"duration_seconds": 0.3228425799998149,
"successful_rps": 30.97484848499765,
"errors": 0,
"p50_seconds": 0.23937289499997405,
"p95_seconds": 0.3116505430000416,
"p99_seconds": 0.3116505430000416
},
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 2,
"duration_seconds": 0.28736012400008804,
"successful_rps": 34.7995395491858,
"errors": 0,
"p50_seconds": 0.21971024050003507,
"p95_seconds": 0.280770332999964,
"p99_seconds": 0.280770332999964
},
{
"size_bytes": 788085,
"pixels": 262144,
"concurrency": 10,
"repeat": 3,
"duration_seconds": 0.4273819759998787,
"successful_rps": 23.398272649670275,
"errors": 0,
"p50_seconds": 0.35630944649994944,
"p95_seconds": 0.41798241600008623,
"p99_seconds": 0.41798241600008623
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 1,
"duration_seconds": 1.414869691999911,
"successful_rps": 7.067788685094421,
"errors": 0,
"p50_seconds": 0.9954542405000666,
"p95_seconds": 1.4035137710000072,
"p99_seconds": 1.4035137710000072
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 2,
"duration_seconds": 1.0182373059999463,
"successful_rps": 9.820893362554257,
"errors": 0,
"p50_seconds": 0.743775241499975,
"p95_seconds": 1.0071358039999723,
"p99_seconds": 1.0071358039999723
},
{
"size_bytes": 9734289,
"pixels": 3240000,
"concurrency": 10,
"repeat": 3,
"duration_seconds": 1.0615374129999964,
"successful_rps": 9.420299160007122,
"errors": 0,
"p50_seconds": 0.6756271810000953,
"p95_seconds": 1.0547382820000166,
"p99_seconds": 1.0547382820000166
}
]
}
+7
View File
@@ -0,0 +1,7 @@
FROM golang:1.24.2-alpine AS build
RUN apk add --no-cache git
RUN go install github.com/minio/mc@RELEASE.2025-04-16T18-13-26Z
FROM alpine:3.21.3
RUN apk add --no-cache ca-certificates
COPY --from=build /go/bin/mc /usr/local/bin/mc
ENTRYPOINT ["mc"]
+7
View File
@@ -0,0 +1,7 @@
FROM golang:1.24.2-alpine AS build
RUN apk add --no-cache git
RUN go install github.com/minio/minio@RELEASE.2025-04-22T22-12-26Z
FROM alpine:3.21.3
RUN apk add --no-cache ca-certificates curl
COPY --from=build /go/bin/minio /usr/local/bin/minio
ENTRYPOINT ["minio"]
+9
View File
@@ -0,0 +1,9 @@
#!/bin/sh
set -eu
mc alias set local http://s3:9000 "$(cat /run/secrets/minio_root_user)" "$(cat /run/secrets/minio_root_password)" >/dev/null
mc mb --ignore-existing local/messenger-attachments >/dev/null
mc anonymous set none local/messenger-attachments >/dev/null
mc admin user add local "$(cat /run/secrets/s3_access_key_id)" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null
mc admin policy create local messenger /config/s3-policy.json >/dev/null
mc admin policy attach local messenger --user "$(cat /run/secrets/s3_access_key_id)" >/dev/null
echo 'Private bucket and scoped application user ready'
+17
View File
@@ -0,0 +1,17 @@
global
maxconn 128
defaults
mode http
timeout connect 2s
timeout client 30s
timeout server 30s
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
option httpchk GET /health/ready
http-check expect status 200
default-server inter 1s fall 2 rise 1
server api1 api1:8080 check
server api2 api2:8080 check
+1
View File
@@ -0,0 +1 @@
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]},{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/originals/*"]}]}
+27
View File
@@ -0,0 +1,27 @@
CREATE TABLE IF NOT EXISTS users (
id uuid PRIMARY KEY, username text UNIQUE NOT NULL, display_name text NOT NULL,
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE TABLE IF NOT EXISTS sessions (
token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users(id), expires_at timestamptz NOT NULL);
CREATE TABLE IF NOT EXISTS chats (
id uuid PRIMARY KEY, title text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE TABLE IF NOT EXISTS members (
chat_id uuid REFERENCES chats(id), user_id uuid REFERENCES users(id), PRIMARY KEY(chat_id,user_id));
CREATE TABLE IF NOT EXISTS attachments (
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), owner_id uuid NOT NULL REFERENCES users(id),
object_key text UNIQUE NOT NULL, filename text NOT NULL, content_type text NOT NULL,
size_bytes integer NOT NULL, sha256 text NOT NULL, width integer NOT NULL, height integer NOT NULL,
status text NOT NULL CHECK(status IN ('ready','failed')), error_code text,
created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE TABLE IF NOT EXISTS messages (
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), sender_id uuid NOT NULL REFERENCES users(id),
text text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,created_at,id);
CREATE TABLE IF NOT EXISTS message_attachments (
message_id uuid REFERENCES messages(id), attachment_id uuid REFERENCES attachments(id),
position integer NOT NULL, PRIMARY KEY(message_id,attachment_id));
CREATE TABLE IF NOT EXISTS idempotency (
user_id uuid REFERENCES users(id), chat_id uuid REFERENCES chats(id), key text,
body_hash text NOT NULL, message_id uuid NOT NULL REFERENCES messages(id),
expires_at timestamptz NOT NULL, PRIMARY KEY(user_id,chat_id,key));
ALTER TABLE attachments ADD COLUMN IF NOT EXISTS updated_at timestamptz NOT NULL DEFAULT clock_timestamp();
+7
View File
@@ -0,0 +1,7 @@
fastapi==0.115.12
uvicorn==0.34.2
psycopg[binary]==3.2.9
boto3==1.38.23
Pillow==11.2.1
argon2-cffi==23.1.0
jsonschema==4.23.0
+3
View File
@@ -0,0 +1,3 @@
@echo off
cd /d "%~dp0.."
docker compose restart postgres s3 api1 api2 lb
+4
View File
@@ -0,0 +1,4 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
docker compose restart postgres s3 api1 api2 lb
+174
View File
@@ -0,0 +1,174 @@
"""Reproduce evidence on a LOCAL synthetic Compose stand, Python 3.9+ and Docker.
No secrets in summaries. Fails immediately on a broken check; restores stopped services.
"""
import concurrent.futures
import json
import os
from pathlib import Path
import subprocess
import sys
import threading
import time
import urllib.error
import urllib.request
ROOT = Path(__file__).resolve().parents[1]
OUT = ROOT/'evidence'
OUT.mkdir(exist_ok=True)
os.chdir(ROOT)
os.environ['PYTHONUTF8'] = '1'
def command(args, file=None):
result = subprocess.run(args,stdout=subprocess.PIPE,stderr=subprocess.PIPE,
text=True,encoding='utf-8',errors='replace')
if file:
(OUT/file).write_text(result.stdout,encoding='utf-8')
if result.returncode:
print(result.stdout+result.stderr)
raise RuntimeError('Command failed: '+' '.join(args[:5]))
return result.stdout
def ready():
for _ in range(90):
try:
with urllib.request.urlopen(os.environ['BASE_URL']+'/health/ready',timeout=3) as r:
if r.status==200:
return
except (OSError,urllib.error.URLError):
pass
time.sleep(1)
raise RuntimeError('Readiness deadline')
def snapshot(name):
# No environment/inspect Config: Docker environments can contain secrets.
data = command(['docker','compose','ps','--all','--format','json'])
# Compose emits JSON Lines; evidence files must be valid standalone JSON.
try:
parsed = json.loads(data)
rows = parsed if isinstance(parsed,list) else [parsed]
except json.JSONDecodeError:
rows = [json.loads(line) for line in data.splitlines() if line.strip()]
(OUT/name).write_text(json.dumps(rows,indent=2),encoding='utf-8')
starts = command(['docker','inspect','--format',
'{{.Name}} {{.State.StartedAt}}',
'chernenko-lab4-postgres-1','chernenko-lab4-s3-1',
'chernenko-lab4-api1-1','chernenko-lab4-api2-1','chernenko-lab4-lb-1'])
(OUT/(Path(name).stem+'-started.txt')).write_text(starts,encoding='utf-8')
def execute_inside(script,filename):
return command(['docker','compose','exec','-T','api1','python',script],filename)
def main():
command(['docker','compose','config','--quiet'],'compose-config.txt')
(OUT/'compose-config.txt').write_text('PASS: docker compose config --quiet (exit 0)\n',encoding='utf-8')
address = command(['docker','compose','port','lb','8080']).strip()
os.environ['BASE_URL'] = 'http://'+address
command(['docker','compose','exec','-T','api1','make','check','validate','PYTHON=python'],'check-validate.txt')
ready()
command(['docker','compose','exec','-T','api1','make','test','PYTHON=python','BASE_URL=http://lb:8080'],'smoke.txt')
execute_inside('student-tests/acceptance.py','acceptance.json')
snapshot('before-restart.json')
hook = 'scripts/restart.cmd' if os.name=='nt' else 'scripts/restart.sh'
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','persistence',
'--action-script',hook],'persistence.txt')
snapshot('after-restart.json')
# Both failure directions deterministically, including bytes and existing session.
sys.path.insert(0,str(ROOT/'tests'))
from client import Client, check
c = Client(timeout=20)
a,b,e,ch = c.bootstrap()
att,raw = c.attachment(a,ch)
c.message(a,ch,'survives',attachments=[att['id']])
outages = []
for target in ('api1','api2'):
command(['docker','compose','stop',target])
try:
time.sleep(3)
result = c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)
check(result['bytes']==raw,'failover changed bytes')
check(result['headers']['X-Instance-Id']!=target,'stopped replica served response')
c.message(a,ch,'after '+target)
outages.append(dict(stopped=target,served_by=result['headers']['X-Instance-Id'],checksum_equal=True))
finally:
command(['docker','compose','start',target])
time.sleep(4)
ready()
hook = 'scripts/stop-one.cmd' if os.name=='nt' else 'scripts/stop-one.sh'
try:
command([sys.executable,'-X','utf8','tests/resilience.py','--mode','failover',
'--action-script',hook],'failover.txt')
snapshot('after-failover.json')
finally:
command(['docker','compose','start','api1','api2'])
time.sleep(4)
ready()
# Internal API avoids LB-generated 503 masking application behavior. Sessions
# are passed only over stdin, never saved in evidence or process arguments.
for dependency in ('s3','postgres'):
try:
command(['docker','compose','stop',dependency])
result = subprocess.run(['docker','compose','exec','-T','api2','python',
'student-tests/storage_outage.py',dependency],input=json.dumps(
{'actor':{'id':a['id'],'token':a['token']},'chat':ch,'attachment':att}),text=True,encoding='utf-8',
stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
(OUT/(dependency+'-outage.json')).write_text(result.stdout,encoding='utf-8')
if result.returncode:
raise RuntimeError(dependency+' outage assertions failed: '+result.stdout)
finally:
command(['docker','compose','start',dependency])
time.sleep(4)
ready()
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=b)['bytes']==raw,
'storage restart changed original')
(OUT/'replica-directions.json').write_text(json.dumps(outages,indent=2),encoding='utf-8')
execute_inside('student-tests/research.py','research.json')
samples = []
done = threading.Event()
def sample():
while not done.is_set():
raw = command(['docker','stats','--no-stream','--format','{{json .}}',
'chernenko-lab4-api1-1','chernenko-lab4-api2-1'])
samples.append({'elapsed':round(time.monotonic()-start,3),
'replicas':[json.loads(x) for x in raw.splitlines() if x.strip()]})
done.wait(0.2)
start = time.monotonic()
thread = threading.Thread(target=sample)
thread.start()
probes = {service:subprocess.Popen(['docker','compose','exec','-T',service,'python',
'student-tests/memory_probe.py'],stdin=subprocess.PIPE,stdout=subprocess.PIPE,
stderr=subprocess.PIPE,text=True,encoding='utf-8') for service in ('api1','api2')}
try:
# Separate generator container: its image generation RAM is not charged
# to either measured API replica.
command(['docker','compose','run','--rm','--no-deps','migrate','python',
'student-tests/upload_load.py'],'uploads.json')
finally:
done.set()
thread.join()
(OUT/'memory.json').write_text(json.dumps(samples,indent=2),encoding='utf-8')
peaks = {}
for service,process in probes.items():
output,error = process.communicate(input='done',timeout=10)
if process.returncode:
raise RuntimeError('Memory probe failed: '+error)
peaks[service] = json.loads(output)
(OUT/'memory-peaks.json').write_text(json.dumps(peaks,indent=2),encoding='utf-8')
command([sys.executable,'-X','utf8','tests/load.py','--duration','30','--concurrency','4',
'--output','evidence/messages-load.json'],'messages-load.txt')
command(['docker','info','--format','CPUs={{.NCPU}} memory_bytes={{.MemTotal}} OS={{.OperatingSystem}}'],
'hardware.txt')
command(['docker','compose','images'],'images.txt')
command(['docker','compose','exec','-T','api1','python','-m','pip','freeze'],'python-packages.txt')
command(['docker','compose','run','--rm','bootstrap'],'bootstrap.txt')
snapshot('final-state.json')
print('PASS: all lab4 scenarios. Sanitized evidence in evidence/')
if __name__=='__main__':
main()
+30
View File
@@ -0,0 +1,30 @@
"""Create LOCAL secrets once; never print their values or overwrite existing state."""
from pathlib import Path
import secrets
root = Path(__file__).resolve().parents[1]
folder = root/'secrets'
folder.mkdir(exist_ok=True)
folder.chmod(0o700)
password = folder/'postgres_password'
if not password.exists():
password.write_text(secrets.token_hex(24))
values = {
'database_url':'postgresql://messenger:'+password.read_text().strip()+'@postgres:5432/messenger',
'minio_root_user':'root_'+secrets.token_hex(8),
'minio_root_password':secrets.token_hex(24),
's3_access_key_id':'app_'+secrets.token_hex(8),
's3_secret_access_key':secrets.token_hex(24),
}
for name,value in values.items():
path = folder/name
if not path.exists():
path.write_text(value)
# Parent directory is owner-only; individual secret mounts are readable by
# the unprivileged container user even on native Linux bind mounts.
path.chmod(0o444)
password.chmod(0o444)
env = root/'.env'
if not env.exists():
env.write_text('SESSION_TTL_SECONDS=3600\n')
print('Local secrets ready; no values printed')
+5
View File
@@ -0,0 +1,5 @@
@echo off
cd /d "%~dp0.."
if "%TARGET_INSTANCE_ID%"=="api1" (docker compose stop -t 1 api1 & exit /b)
if "%TARGET_INSTANCE_ID%"=="api2" (docker compose stop -t 1 api2 & exit /b)
exit /b 1
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
case "${TARGET_INSTANCE_ID:-}" in
api1|api2) docker compose stop -t 1 "$TARGET_INSTANCE_ID" ;;
*) echo 'Unknown instance alias' >&2; exit 1 ;;
esac
View File
+476
View File
@@ -0,0 +1,476 @@
"""Synchronous lab4 contract. Binary reads are bounded, temporary spools are ephemeral."""
import asyncio
import base64
import datetime as dt
import hashlib
import json
import re
import secrets
import tempfile
import unicodedata
import uuid
import psycopg
from argon2 import PasswordHasher
from argon2.exceptions import VerificationError
from botocore.exceptions import BotoCoreError, ClientError
from fastapi import FastAPI, Request
from fastapi.responses import JSONResponse, Response, StreamingResponse
from jsonschema import Draft202012Validator
from PIL import Image, UnidentifiedImageError
from starlette.concurrency import run_in_threadpool
from starlette.exceptions import HTTPException
from starlette.requests import ClientDisconnect
from src.storage import BUCKET, PREFIX, LOCK, db, s3, setting
INSTANCE = setting('INSTANCE_ID', secrets.token_hex(8))
MAX_BYTES = min(int(setting('MAX_UPLOAD_BYTES', '10485760')), 10485760)
MAX_PIXELS = min(int(setting('MAX_IMAGE_PIXELS', '40000000')), 40000000)
Image.MAX_IMAGE_PIXELS = MAX_PIXELS
PH = PasswordHasher(time_cost=2, memory_cost=19456, parallelism=1)
DUMMY = PH.hash(secrets.token_hex(16))
SCHEMAS = json.load(open('contracts/openapi.json', encoding='utf-8'))['components']['schemas']
UPLOAD_SLOTS = asyncio.Semaphore(2)
DECODE_SLOT = asyncio.Semaphore(1)
ERRORS = {400:'invalid_request',401:'unauthorized',404:'not_found',409:'conflict',
413:'payload_too_large',415:'unsupported_media_type',503:'unavailable',500:'internal_error'}
class Problem(Exception):
def __init__(self, status):
self.status = status
def fail(status):
raise Problem(status)
def encode(value):
if isinstance(value, (uuid.UUID,)):
return str(value)
if isinstance(value, dt.datetime):
return value.astimezone(dt.timezone.utc).isoformat().replace('+00:00', 'Z')
raise TypeError()
def reply(value, status=200):
return Response(json.dumps(value, default=encode, ensure_ascii=False), status,
media_type='application/json')
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
@app.middleware('http')
async def envelope(request, call_next):
rid = uuid.uuid4().hex
try:
response = await call_next(request)
except Exception as exc:
status = exc.status if isinstance(exc, Problem) else (
503 if isinstance(exc, (psycopg.OperationalError, BotoCoreError, ClientError)) else 500)
# Never expose SQL, keys, tokens, tracebacks or request bodies.
response = JSONResponse({'error':{'code':ERRORS[status],
'message':ERRORS[status], 'request_id':rid}}, status_code=status)
if status == 401:
scheme = 'Basic' if request.url.path == '/api/v1/auth/sessions' else 'Bearer'
response.headers['WWW-Authenticate'] = scheme + ' realm="messenger"' + (
', charset="UTF-8"' if scheme == 'Basic' else '')
response.headers['X-Request-Id'] = rid
response.headers['X-Instance-Id'] = INSTANCE
return response
@app.exception_handler(HTTPException)
async def http_error(request, exc):
# Route misses travel through the same error envelope.
fail(404 if exc.status_code == 404 else 400)
def uid(value):
try:
return str(uuid.UUID(value))
except (ValueError, TypeError, AttributeError):
fail(400)
async def body(request, schema):
if request.headers.get('content-type', '').split(';')[0] != 'application/json':
fail(400)
data = bytearray()
async for chunk in request.stream():
if len(data) + len(chunk) > 65536:
fail(413)
data.extend(chunk)
try:
result = json.loads(data)
if not Draft202012Validator(SCHEMAS[schema]).is_valid(result):
fail(400)
for name in ('display_name', 'title'):
if name in result and not result[name].strip():
fail(400)
if schema == 'CreateUser' and not re.fullmatch('[a-z0-9_]{3,32}',result['username']):
fail(400)
# Reject unpaired JSON Unicode surrogates before database/UTF-8 encoding.
json.dumps(result,ensure_ascii=False).encode('utf-8')
return result
except (ValueError, UnicodeError):
fail(400)
def user_view(row):
return {k:row[k] for k in ('id','username','display_name','created_at')}
def actor(c, request):
auth = request.headers.get('authorization', '')
if not auth.startswith('Bearer ') or not auth[7:]:
fail(401)
row = c.execute('SELECT u.* FROM users u JOIN sessions s ON s.user_id=u.id '
'WHERE s.token_hash=%s AND s.expires_at>clock_timestamp()',
(hashlib.sha256(auth[7:].encode()).hexdigest(),)).fetchone()
if not row:
fail(401)
return row
def access(c, chat, user):
if not c.execute('SELECT 1 FROM members WHERE chat_id=%s AND user_id=%s',
(chat, user['id'])).fetchone():
fail(404)
def chat_view(c, row):
return {**row, 'member_ids':[r['user_id'] for r in c.execute(
'SELECT user_id FROM members WHERE chat_id=%s ORDER BY user_id', (row['id'],))]}
def message_view(c, row):
return {**row, 'attachment_ids':[r['attachment_id'] for r in c.execute(
'SELECT attachment_id FROM message_attachments WHERE message_id=%s ORDER BY position', (row['id'],))]}
def attachment_view(row):
if row['status'] != 'ready':
fail(409)
return {**{k:v for k,v in row.items() if k not in ('object_key','width','height')},
'variants':[]}
@app.get('/health/live')
def live():
return reply({'status':'ok'})
@app.get('/health/ready')
def ready():
with db() as c:
c.execute('SELECT 1')
s3().head_bucket(Bucket=BUCKET)
return reply({'status':'ok'})
@app.post('/api/v1/users')
async def register(request: Request):
data = await body(request, 'CreateUser')
def save():
with db() as c:
try:
row = c.execute('INSERT INTO users(id,username,display_name,password_hash) '
'VALUES (%s,%s,%s,%s) RETURNING *',
(uuid.uuid4(), data['username'],data['display_name'],PH.hash(data['password']))).fetchone()
except psycopg.errors.UniqueViolation:
fail(409)
return reply(user_view(row),201)
return await run_in_threadpool(save)
@app.post('/api/v1/auth/sessions')
async def login(request: Request):
async for chunk in request.stream():
if chunk:
fail(400)
try:
scheme, credential = request.headers.get('authorization','').split(' ',1)
if scheme != 'Basic':
fail(401)
name, password = base64.b64decode(credential,validate=True).decode('utf-8').split(':',1)
if not re.fullmatch('[a-z0-9_]{3,32}',name) or not 12 <= len(password) <= 128:
fail(401)
except (ValueError, UnicodeError):
fail(401)
def create():
with db() as c:
row = c.execute('SELECT * FROM users WHERE username=%s',(name,)).fetchone()
try:
PH.verify(row['password_hash'] if row else DUMMY,password)
except VerificationError:
fail(401)
if not row:
fail(401)
token = secrets.token_urlsafe(32)
expiry = c.execute('INSERT INTO sessions VALUES (%s,%s,clock_timestamp()+%s*interval \'1 second\') '
'RETURNING expires_at',(hashlib.sha256(token.encode()).hexdigest(),row['id'],
int(setting('SESSION_TTL_SECONDS','3600')))).fetchone()['expires_at']
return reply({'token':token,'token_type':'Bearer','expires_at':expiry,'user':user_view(row)},201)
return await run_in_threadpool(create)
@app.delete('/api/v1/auth/sessions/current')
def logout(request: Request):
with db() as c:
actor(c,request)
c.execute('DELETE FROM sessions WHERE token_hash=%s',
(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
return Response(status_code=204)
@app.get('/api/v1/users/me')
def me(request: Request):
with db() as c:
return reply(user_view(actor(c,request)))
@app.post('/api/v1/chats')
async def create_chat(request: Request):
with db() as c:
user = actor(c,request)
data = await body(request,'CreateChat')
ids = [uid(i) for i in data['member_ids']]
if len(set(ids)) != len(ids) or str(user['id']) not in ids:
fail(400)
def save():
with db() as c:
if c.execute('SELECT count(*) n FROM users WHERE id=ANY(%s::uuid[])',(ids,)).fetchone()['n'] != len(ids):
fail(400)
row = c.execute('INSERT INTO chats(id,title) VALUES (%s,%s) RETURNING *',
(uuid.uuid4(),data['title'])).fetchone()
for i in ids:
c.execute('INSERT INTO members VALUES (%s,%s)',(row['id'],i))
result = chat_view(c,row)
return reply(result,201)
return await run_in_threadpool(save)
def page_args(request, resource):
limit = request.query_params.get('limit','50')
if not re.fullmatch('[0-9]+',limit) or not 1 <= int(limit) <= 100:
fail(400)
cursor = request.query_params.get('cursor')
point = None
if cursor is not None:
try:
scope, stamp, ident = json.loads(base64.b64decode(cursor,altchars=b'-_',validate=True))
if scope != resource:
fail(400)
point = (dt.datetime.fromisoformat(stamp.replace('Z','+00:00')), uid(ident))
if point[0].tzinfo is None:
fail(400)
except (ValueError,TypeError,UnicodeError):
fail(400)
return int(limit), point
def page(rows, limit, resource, view):
more = len(rows)>limit
rows = rows[:limit]
cursor = base64.urlsafe_b64encode(json.dumps([resource,encode(rows[-1]['created_at']),
str(rows[-1]['id'])]).encode()).decode() if more else None
return reply({'items':[view(r) for r in rows],'next_cursor':cursor})
@app.get('/api/v1/chats')
def chats(request: Request):
with db() as c:
user = actor(c,request)
resource = 'chats:'+str(user['id'])
limit, point = page_args(request,resource)
rows = c.execute('SELECT ch.* FROM chats ch JOIN members m ON m.chat_id=ch.id '
'WHERE m.user_id=%s '+('AND (ch.created_at,ch.id)>(%s,%s::uuid) ' if point else '')+
'ORDER BY ch.created_at,ch.id LIMIT %s',(user['id'],*(point or ()),limit+1)).fetchall()
return page(rows,limit,resource,lambda row:chat_view(c,row))
@app.get('/api/v1/chats/{chat_id}')
def get_chat(chat_id: str, request: Request):
with db() as c:
user = actor(c,request)
chat = uid(chat_id)
access(c,chat,user)
return reply(chat_view(c,c.execute('SELECT * FROM chats WHERE id=%s',(chat,)).fetchone()))
@app.get('/api/v1/chats/{chat_id}/messages')
def history(chat_id: str, request: Request):
with db() as c:
user = actor(c,request)
chat = uid(chat_id)
access(c,chat,user)
limit, point = page_args(request,chat)
rows = c.execute('SELECT * FROM messages WHERE chat_id=%s '+
('AND (created_at,id)>(%s,%s::uuid) ' if point else '')+
'ORDER BY created_at,id LIMIT %s',(chat,*(point or ()),limit+1)).fetchall()
return page(rows,limit,chat,lambda row:message_view(c,row))
@app.post('/api/v1/chats/{chat_id}/messages')
async def send(chat_id: str, request: Request):
with db() as c:
user = actor(c,request)
chat = uid(chat_id)
access(c,chat,user)
data = await body(request,'CreateMessage')
ids = [uid(i) for i in data.get('attachment_ids',[])]
if not data['text'].strip() and not ids:
fail(400)
if len(set(ids)) != len(ids):
fail(400)
key = request.headers.get('idempotency-key','')
if not re.fullmatch('[A-Za-z0-9._:-]{1,128}',key):
fail(400)
digest = hashlib.sha256(json.dumps({'text':data['text'],'attachment_ids':ids},sort_keys=True).encode()).hexdigest()
def save():
with db() as c:
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
# Serialize equal keys across all API processes before checking/creating.
c.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',
(str(user['id'])+chat+':'+key,))
old = c.execute('SELECT * FROM idempotency WHERE user_id=%s AND chat_id=%s AND key=%s '
'AND expires_at>clock_timestamp()',(user['id'],chat,key)).fetchone()
if old:
if old['body_hash'] != digest:
fail(409)
return reply(message_view(c,c.execute('SELECT * FROM messages WHERE id=%s',
(old['message_id'],)).fetchone()),201)
for ident in ids:
att = c.execute('SELECT * FROM attachments WHERE id=%s AND chat_id=%s',(ident,chat)).fetchone()
if not att:
fail(404)
if att['status'] != 'ready':
fail(409)
row = c.execute('INSERT INTO messages(id,chat_id,sender_id,text) VALUES (%s,%s,%s,%s) RETURNING *',
(uuid.uuid4(),chat,user['id'],data['text'])).fetchone()
for n, ident in enumerate(ids):
c.execute('INSERT INTO message_attachments VALUES (%s,%s,%s)',(row['id'],ident,n))
c.execute('INSERT INTO idempotency VALUES (%s,%s,%s,%s,%s,clock_timestamp()+interval \'24 hours\') '
'ON CONFLICT(user_id,chat_id,key) DO UPDATE SET body_hash=excluded.body_hash, '
'message_id=excluded.message_id,expires_at=excluded.expires_at',
(user['id'],chat,key,digest,row['id']))
result = message_view(c,row)
return reply(result,201)
return await run_in_threadpool(save)
def validate_image(spool, mime):
try:
image = Image.open(spool)
width,height = image.size
if width*height > MAX_PIXELS:
fail(413)
actual = {'PNG':'image/png','JPEG':'image/jpeg'}.get(image.format)
if actual != mime:
fail(415)
image.verify()
spool.seek(0)
with Image.open(spool) as decoded:
decoded.load() # reject truncated JPEG/PNG, after dimension check
spool.seek(0)
return width,height
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
fail(413)
except (UnidentifiedImageError, OSError, ValueError, SyntaxError):
fail(415)
@app.post('/api/v1/chats/{chat_id}/attachments')
async def upload(chat_id: str, request: Request):
with db() as c:
user = actor(c,request)
chat = uid(chat_id)
access(c,chat,user)
filename = request.query_params.get('filename','')
if not 1 <= len(filename) <= 255 or any(x in '/\\' or unicodedata.category(x) in ('Cc','Cs') for x in filename):
fail(400)
mime = request.headers.get('content-type','')
if mime not in ('image/png','image/jpeg'):
fail(415)
length = request.headers.get('content-length')
if length and (not length.isdecimal() or int(length)>MAX_BYTES):
fail(413 if length.isdecimal() else 400)
try:
await asyncio.wait_for(UPLOAD_SLOTS.acquire(),timeout=15)
except asyncio.TimeoutError:
fail(503)
try:
with tempfile.SpooledTemporaryFile(max_size=262144) as spool:
size = 0
digest = hashlib.sha256()
try:
async with asyncio.timeout(20):
async for chunk in request.stream():
size += len(chunk)
if size>MAX_BYTES:
fail(413)
spool.write(chunk)
digest.update(chunk)
except (TimeoutError,ClientDisconnect):
fail(400)
async with DECODE_SLOT:
spool.seek(0)
width,height = await run_in_threadpool(validate_image,spool,mime)
def save():
ident = uuid.uuid4()
key = PREFIX+str(ident)
# Hold shared advisory lock until COMMIT. An uncertain COMMIT must
# never trigger immediate deletion: reconciler decides after grace.
with db() as c:
c.execute('SELECT pg_advisory_xact_lock_shared(%s)',(LOCK,))
s3().put_object(Bucket=BUCKET,Key=key,Body=spool,ContentLength=size,ContentType=mime)
row = c.execute('INSERT INTO attachments(id,chat_id,owner_id,object_key,filename,content_type,'
'size_bytes,sha256,width,height,status) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,\'ready\') RETURNING *',
(ident,chat,user['id'],key,filename,mime,size,digest.hexdigest(),width,height)).fetchone()
return reply(attachment_view(row),201)
return await run_in_threadpool(save)
finally:
UPLOAD_SLOTS.release()
def get_attachment(c, request, ident):
user = actor(c,request)
ident = uid(ident)
row = c.execute('SELECT * FROM attachments WHERE id=%s',(ident,)).fetchone()
if not row:
fail(404)
access(c,row['chat_id'],user)
return row
@app.get('/api/v1/attachments/{attachment_id}')
def attachment(attachment_id: str, request: Request):
with db() as c:
return reply(attachment_view(get_attachment(c,request,attachment_id)))
@app.get('/api/v1/attachments/{attachment_id}/content')
def content(attachment_id: str, request: Request):
with db() as c:
row = get_attachment(c,request,attachment_id)
if row['status'] != 'ready':
fail(409)
if request.query_params.get('variant','original') != 'original':
fail(404)
try:
stream = s3().get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
except ClientError as exc:
if exc.response['Error']['Code'] in ('NoSuchKey','404'):
fail(503)
raise
def chunks():
try:
while block := stream.read(65536):
yield block
finally:
stream.close()
return StreamingResponse(chunks(),media_type=row['content_type'],
headers={'Content-Length':str(row['size_bytes']), 'X-Content-Type-Options':'nosniff'})
+94
View File
@@ -0,0 +1,94 @@
"""Operator-only, dry-run by default. Never infer missing from a failed LIST/HEAD."""
import argparse
import datetime as dt
import json
import time
from botocore.exceptions import ClientError
from src.storage import BUCKET, PREFIX, LOCK, db, s3
def reconcile(apply=False, grace=3600):
if grace < 60:
raise ValueError('Grace must be at least 60 seconds')
start = time.monotonic()
result = dict(mode='apply' if apply else 'dry-run', grace_seconds=grace,
scanned_objects=0, scanned_metadata=0, list_requests=0, head_requests=0,
orphan=[], missing=[], repaired=[], fresh_skipped=0)
client = s3()
with db() as c:
# Exclusive counterpart of upload/message shared locks: recheck and repair
# cannot race an in-flight PUT/COMMIT, even when the upload lasts past grace.
c.execute('SELECT pg_advisory_xact_lock(%s)',(LOCK,))
now = c.execute('SELECT clock_timestamp() t').fetchone()['t']
cutoff = now-dt.timedelta(seconds=grace)
rows = c.execute('SELECT * FROM attachments').fetchall()
by_key = {r['object_key']:r for r in rows}
result['scanned_metadata'] = len(rows)
# Complete list before any mutation. API-created names are unique, never reused.
objects = {}
for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX):
result['list_requests'] += 1
for obj in page.get('Contents',[]):
objects[obj['Key']] = obj
result['scanned_objects'] = len(objects)
for key, obj in objects.items():
if key in by_key:
continue
if obj['LastModified'] >= cutoff:
result['fresh_skipped'] += 1
continue
# Re-read immediately before delete, under the exclusive DB lock.
result['head_requests'] += 1
current = client.head_object(Bucket=BUCKET,Key=key)
if current['LastModified'] >= cutoff or current['ETag'] != obj['ETag']:
continue
if c.execute('SELECT 1 FROM attachments WHERE object_key=%s',(key,)).fetchone():
continue
result['orphan'].append(key)
if apply:
client.delete_object(Bucket=BUCKET,Key=key)
for row in rows:
key = row['object_key']
if key in objects or row['created_at'] >= cutoff:
continue
result['head_requests'] += 1
try:
client.head_object(Bucket=BUCKET,Key=key)
except ClientError as exc:
if exc.response['Error']['Code'] not in ('404','NoSuchKey'):
raise
else:
# Restored objects can safely recover failed metadata.
continue
result['missing'].append(str(row['id']))
if apply and row['status'] != 'failed':
c.execute("UPDATE attachments SET status='failed',error_code='missing_object',updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
for row in rows:
if row['status'] != 'failed' or row['error_code'] != 'missing_object' or row['object_key'] not in objects:
continue
# A restored backup must match the original bytes before publishing ready.
import hashlib
obj = client.get_object(Bucket=BUCKET,Key=row['object_key'])['Body']
digest = hashlib.sha256()
size = 0
try:
for chunk in obj.iter_chunks(65536):
size += len(chunk)
digest.update(chunk)
finally:
obj.close()
if size == row['size_bytes'] and digest.hexdigest() == row['sha256']:
result['repaired'].append(str(row['id']))
if apply:
c.execute("UPDATE attachments SET status='ready',error_code=NULL,updated_at=clock_timestamp() WHERE id=%s",(row['id'],))
result['elapsed_seconds'] = round(time.monotonic()-start,6)
return result
if __name__ == '__main__':
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--apply',action='store_true')
parser.add_argument('--grace-seconds',type=int,default=3600)
args = parser.parse_args()
print(json.dumps(reconcile(args.apply,args.grace_seconds),indent=2))
+42
View File
@@ -0,0 +1,42 @@
import os
from pathlib import Path
import boto3
import psycopg
from botocore.config import Config
from psycopg.rows import dict_row
def setting(name, default=None):
path = os.getenv(name + '_FILE')
return Path(path).read_text().strip() if path else os.getenv(name, default)
BUCKET = setting('S3_BUCKET', 'messenger-attachments')
PREFIX = 'originals/'
# Shared lock serializes reconciler with uploads/linking; downloads retain metadata.
LOCK = 4082301
def db():
return psycopg.connect(setting('DATABASE_URL'), row_factory=dict_row,
connect_timeout=3, options='-c statement_timeout=15000 -c lock_timeout=10000')
def s3():
return boto3.client('s3', endpoint_url=setting('S3_ENDPOINT', 'http://s3:9000'),
region_name=setting('S3_REGION', 'us-east-1'),
aws_access_key_id=setting('S3_ACCESS_KEY_ID'),
aws_secret_access_key=setting('S3_SECRET_ACCESS_KEY'),
config=Config(connect_timeout=2, read_timeout=5,
retries={'max_attempts': 0}, s3={'addressing_style': 'path'}))
def migrate():
with db() as c:
c.execute('SELECT pg_advisory_xact_lock(%s)', (LOCK,))
c.execute(Path('migrations/001_initial.sql').read_text())
if __name__ == '__main__':
migrate()
+94
View File
@@ -0,0 +1,94 @@
"""Additional contract, image, concurrency and private-bucket tests; run inside api1."""
import concurrent.futures
import hashlib
import io
import json
import os
from pathlib import Path
import socket
import sys
import time
import urllib.error
import urllib.request
import uuid
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
from client import Client, check
from PIL import Image
from src.storage import BUCKET, db, s3
def main():
c = Client('http://lb:8080',timeout=30)
alice,bob,eve,chat = c.bootstrap()
path = '/api/v1/chats/'+chat['id']
fixture = Path('tests/fixtures/sample.png').read_bytes()
def upload(raw=fixture,mime='image/png',filename='photo.png',expected=201):
return c.call('POST',path+'/attachments?filename='+filename,expected,actor=alice,
raw=raw,headers={'Content-Type':mime},schema='Attachment' if expected==201 else None)
upload(raw=b'broken',expected=415)
upload(mime='image/jpeg',expected=415)
upload(filename='..%2Fsecret.png',expected=400)
upload(filename='bad%00.png',expected=400)
upload(raw=b'x'*(10485760+1),expected=413)
out = io.BytesIO()
Image.new('RGB',(7000,6000)).save(out,format='PNG')
upload(raw=out.getvalue(),expected=413)
out = io.BytesIO()
Image.new('RGB',(40,30)).save(out,format='JPEG')
jpeg = upload(raw=out.getvalue(),mime='image/jpeg')['json']
check(c.call('GET','/api/v1/attachments/'+jpeg['id']+'/content',actor=bob)['bytes']==out.getvalue(),'JPEG changed')
att = upload()['json']
c.call('GET','/api/v1/attachments/'+att['id'],404,actor=eve)
other = c.call('POST','/api/v1/chats',201,actor=alice,
body={'title':'other','member_ids':[alice['id']]},schema='Chat')['json']
c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,
body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
c.call('POST',path+'/messages',404,actor=alice,
body={'text':'','attachment_ids':[str(uuid.uuid4())]},headers={'Idempotency-Key':uuid.uuid4().hex})
c.call('POST',path+'/messages',400,actor=alice,body={'text':'x','sender_id':eve['id']})
c.call('GET','/api/v1/chats/not-a-uuid',400,actor=alice)
c.call('GET',path+'/messages?cursor=invalid',400,actor=alice)
m1 = c.message(alice,chat,'one')['json']
c.message(alice,chat,'two')
cursor = c.call('GET',path+'/messages?limit=1',actor=alice,schema='MessagePage')['json']['next_cursor']
c.call('GET','/api/v1/chats/'+other['id']+'/messages?cursor='+cursor,400,actor=alice)
key = uuid.uuid4().hex
with concurrent.futures.ThreadPoolExecutor(max_workers=12) as pool:
rows = list(pool.map(lambda _:c.message(alice,chat,'same',key=key)['json'],range(12)))
check(len({r['id'] for r in rows})==1,'concurrent duplicate message')
c.call('POST',path+'/messages',201,actor=alice,body={'attachment_ids':[],'text':'same'},
headers={'Idempotency-Key':key},schema='Message')
with db() as con:
objkey = con.execute('SELECT object_key FROM attachments WHERE id=%s',(att['id'],)).fetchone()['object_key']
before = con.execute('SELECT count(*) n FROM attachments').fetchone()['n']
try:
urllib.request.urlopen('http://s3:9000/'+BUCKET+'/'+objkey)
except urllib.error.HTTPError as exc:
check(exc.code==403,'unexpected anonymous S3 status')
else:
raise AssertionError('bucket public')
try:
s3().create_bucket(Bucket='forbidden-'+uuid.uuid4().hex)
except Exception as exc:
check(getattr(exc,'response',{}).get('Error',{}).get('Code')=='AccessDenied','scope test failed')
else:
raise AssertionError('application has admin S3 rights')
# Abandon binary request before declared end; it must never reach PUT.
sock = socket.create_connection(('api2',8080))
headers = ('POST '+path+'/attachments?filename=partial.png HTTP/1.1\r\nHost: api2\r\n'
'Authorization: Bearer '+alice['token']+'\r\nContent-Type: image/png\r\n'
'Content-Length: 100000\r\n\r\n').encode()
sock.sendall(headers+fixture[:80])
sock.close()
time.sleep(1)
with db() as con:
check(con.execute('SELECT count(*) n FROM attachments').fetchone()['n']==before,'partial upload committed')
print(json.dumps({'result':'PASS','negative_image_and_acl':True,'private_bucket_status':403,
'scoped_credentials':True,'parallel_idempotency_requests':12,
'unique_messages':1,'interrupted_upload_no_metadata':True}))
if __name__ == '__main__':
main()
+34
View File
@@ -0,0 +1,34 @@
"""20 ms cgroup-v2 memory sampler; stop by EOF on stdin. No privileged access."""
import json
from pathlib import Path
import threading
import time
done = threading.Event()
def wait():
import sys
sys.stdin.read()
done.set()
threading.Thread(target=wait,daemon=True).start()
root = Path('/sys/fs/cgroup')
def read(name):
path = root/name
return int(path.read_text()) if path.exists() else None
def rss():
lines = Path('/proc/1/status').read_text().splitlines()
return int(next(x.split()[1] for x in lines if x.startswith('VmRSS:')))*1024
baseline = read('memory.current')
peak_before = read('memory.peak')
peak = baseline
rss_peak = rss()
samples = 0
start = time.monotonic()
while not done.is_set():
peak = max(peak,read('memory.current'))
rss_peak = max(rss_peak,rss())
samples += 1
done.wait(0.02)
print(json.dumps(dict(baseline_bytes=baseline,sampled_peak_bytes=peak,
kernel_lifetime_peak_before_bytes=peak_before,kernel_lifetime_peak_after_bytes=read('memory.peak'),
api_rss_peak_bytes=rss_peak,sample_count=samples,interval_seconds=0.02,
elapsed_seconds=time.monotonic()-start)))
+92
View File
@@ -0,0 +1,92 @@
"""Track 2: real S3 PUT + rolled-back SQL, missing bytes, safe repeated repairs."""
import datetime as dt
import json
from pathlib import Path
import sys
import time
import uuid
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
from client import Client, check
from src.storage import BUCKET, PREFIX, db, s3
from src.reconcile import reconcile
def main():
client = s3()
c = Client('http://lb:8080')
alice,bob,eve,chat = c.bootstrap()
used,raw = c.attachment(alice,chat)
c.message(alice,chat,'keep',attachments=[used['id']])
missing,_ = c.attachment(alice,chat)
with db() as con:
rows = con.execute('SELECT * FROM attachments WHERE id=ANY(%s::uuid[])',([used['id'],missing['id']],)).fetchall()
keys = {str(row['id']):row['object_key'] for row in rows}
def all_keys():
return {obj['Key'] for page in client.get_paginator('list_objects_v2').paginate(Bucket=BUCKET,Prefix=PREFIX)
for obj in page.get('Contents',[])}
before = all_keys()
# Failure injection is entirely in the test DB, not a production HTTP switch.
# A filename-specific trigger aborts the real API INSERT, after its real PUT.
marker = 'inject-'+uuid.uuid4().hex+'.png'
with db() as con:
con.execute("""CREATE OR REPLACE FUNCTION lab4_inject_failure() RETURNS trigger
LANGUAGE plpgsql AS $$ BEGIN IF NEW.filename LIKE 'inject-%%' THEN
RAISE EXCEPTION 'synthetic commit-path failure'; END IF; RETURN NEW; END $$""")
con.execute('CREATE TRIGGER lab4_inject BEFORE INSERT ON attachments '
'FOR EACH ROW EXECUTE FUNCTION lab4_inject_failure()')
try:
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename='+marker,500,
actor=alice,raw=raw,headers={'Content-Type':'image/png'})
finally:
with db() as con:
con.execute('DROP TRIGGER IF EXISTS lab4_inject ON attachments')
con.execute('DROP FUNCTION IF EXISTS lab4_inject_failure()')
new_keys = all_keys()-before
check(len(new_keys)==1,'failed real upload must leave exactly one orphan')
orphan = new_keys.pop()
client.delete_object(Bucket=BUCKET,Key=keys[missing['id']])
with db() as con:
con.execute("UPDATE attachments SET created_at=clock_timestamp()-interval '2 hours' WHERE id=ANY(%s::uuid[])",
([used['id'],missing['id']],))
early = reconcile(True,60)
check(orphan not in early['orphan'],'fresh orphan deleted')
# LIST timestamps are assigned by S3, not forged. Wait for genuine grace expiry.
time.sleep(62)
fresh = PREFIX+'fresh-'+uuid.uuid4().hex
client.put_object(Bucket=BUCKET,Key=fresh,Body=raw)
preview = reconcile(False,60)
check(orphan in preview['orphan'] and missing['id'] in preview['missing'],'dry-run missed discrepancies')
check(client.head_object(Bucket=BUCKET,Key=orphan)['ContentLength']==len(raw),'dry-run mutated S3')
applied = reconcile(True,60)
check(orphan in applied['orphan'],'orphan not removed')
check(client.head_object(Bucket=BUCKET,Key=fresh)['ContentLength']==len(raw),'fresh deleted')
check(c.call('GET','/api/v1/attachments/'+used['id']+'/content',actor=bob)['bytes']==raw,'used attachment deleted')
c.call('GET','/api/v1/attachments/'+missing['id'],409,actor=alice)
again = reconcile(True,60)
check(not again['orphan'],'second run repeated deletion')
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=b'bad-backup')
wrong = reconcile(True,60)
check(missing['id'] not in wrong['repaired'],'corrupt backup published')
client.put_object(Bucket=BUCKET,Key=keys[missing['id']],Body=raw,ContentType='image/png')
restored = reconcile(True,60)
check(missing['id'] in restored['repaired'],'backup not restored')
check(c.call('GET','/api/v1/attachments/'+missing['id']+'/content',actor=bob)['bytes']==raw,'restored bytes mismatch')
# Force pagination (>1000 keys); new objects must all survive even --apply.
scale_prefix = PREFIX+'scale-'+uuid.uuid4().hex+'-'
import concurrent.futures
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
list(pool.map(lambda n:client.put_object(Bucket=BUCKET,Key=scale_prefix+str(n),Body=b'x'),range(1005)))
scaled = reconcile(False,3600)
check(scaled['list_requests']>=2,'pagination not tested')
# Clean only the exact keys this scenario owns (operator test cleanup).
for start in (0,1000):
client.delete_objects(Bucket=BUCKET,Delete={'Objects':[{'Key':scale_prefix+str(i)} for i in range(start,min(start+1000,1005))]})
client.delete_object(Bucket=BUCKET,Key=fresh)
print(json.dumps({'result':'PASS','early':early,'dry_run':preview,'apply':applied,
'repeat':again,'wrong_backup':wrong,'restore':restored,'scale':scaled},indent=2))
if __name__ == '__main__':
main()
+27
View File
@@ -0,0 +1,27 @@
"""Called with session/chat/attachment over stdin, never via arguments or files."""
import json
from pathlib import Path
import sys
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
from client import Client, check
from src.reconcile import reconcile
from src.storage import db
data = json.load(sys.stdin)
c = Client('http://api1:8080',timeout=15)
c.call('GET','/health/ready',503)
c.call('GET','/health/live',200)
path = '/api/v1/chats/'+data['chat']['id']+'/attachments?filename=outage.png'
c.call('POST',path,503,actor=data['actor'],raw=Path('tests/fixtures/sample.png').read_bytes(),
headers={'Content-Type':'image/png'})
c.call('GET','/api/v1/attachments/'+data['attachment']['id']+'/content',503,actor=data['actor'])
try:
reconcile(True)
except Exception:
pass
else:
raise AssertionError('reconciler pretended unavailable storage was empty')
print(json.dumps({'result':'PASS','dependency':sys.argv[1],'live':200,'ready':503,
'upload':503,'download':503,'reconcile_aborted':True}))
+47
View File
@@ -0,0 +1,47 @@
"""10 concurrent real PNG uploads at two sizes; RSS includes all API processes.
Run in api1: /proc gives that replica's RSS; Docker stats sampled by run-all.py
records memory (including tmpfs/cache) for BOTH replicas during the same run.
"""
import concurrent.futures
import io
import json
import os
from pathlib import Path
import statistics
import sys
import time
sys.path.insert(0,str(Path(__file__).resolve().parents[1]/'tests'))
sys.path.insert(0,str(Path(__file__).resolve().parents[1]))
from client import Client, check
from PIL import Image
def main():
c = Client('http://lb:8080',timeout=60)
alice,bob,eve,chat = c.bootstrap()
results = []
for side in (512,1800):
out = io.BytesIO()
Image.frombytes('RGB',(side,side),os.urandom(side*side*3)).save(out,format='PNG')
data = out.getvalue()
c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=warm.png',201,
actor=alice,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')
for repeat in range(3):
start = time.monotonic()
def one(_):
return c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=load.png',
actor=alice,expected=201,raw=data,headers={'Content-Type':'image/png'},schema='Attachment')['elapsed']
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
times = sorted(pool.map(one,range(10)))
duration = time.monotonic()-start
results.append(dict(size_bytes=len(data),pixels=side*side,concurrency=10,repeat=repeat+1,
duration_seconds=duration,successful_rps=10/duration,errors=0,
p50_seconds=statistics.median(times),p95_seconds=times[9],p99_seconds=times[9]))
print(json.dumps({'result':'PASS','profile':'closed-loop, 10 simultaneous uploads, 3 repeats/size',
'results':results},indent=2))
if __name__ == '__main__':
main()