17 KiB
Отчёт — лабораторная 4
- Автор, группа: Колмычков Иван Сергеевич БВТ2303
- Целевая оценка: 5. Трек 5: 2, согласованность PostgreSQL и S3.
- Commit/PR: локальная ветка
solution/bvt2303-kolmychkov, PR ещё не открыт. - Источники и помощь ИИ: контракт репозитория, MinIO admin API (
madmin-gov3) и S3 API (minio-gov7). Нейросеть помогала писать код, отчёт и прогоны. Числа ниже сняты с этого компьютера.
Трек 1 (presigned upload) не выбран: он добавляет второй протокол загрузки, срок подписи и отдельный доступ клиента к bucket. Трек 2 остаётся внутри уже обязательного proxy-upload и проверяется своими командами reconcile.
Запуск из чистого clone
Проверено 2026-11-13 на Linux 7.0.0-31-generic, x86_64, 8 логических CPU, 7.0 ГиБ RAM. Docker Engine 29.1.3, Compose v2.40.3, локальный Go 1.26, Python 3.14. Образы зафиксированы тегами, MinIO ещё и digest. latest нет.
| Роль | service | Образ | Лимит | Порт на хосте | Volume |
|---|---|---|---|---|---|
| API ×2 | api | сборка messenger-api:lab4 из Dockerfile (golang:1.26-bookworm, runtime gcr.io/distroless/static-debian12:nonroot@sha256:afa5c872c891853ca7fcf1f12c3edb23f7eeef36189728842dd51042ff57f7ab) |
0.50 CPU / 384 МиБ на реплику | нет, только через HAProxy | нет |
| PostgreSQL | postgres | postgres:16.10-bookworm |
1.00 CPU / 512 МиБ | 127.0.0.1:5432 |
pgdata |
| Redis | redis | redis:7.4.6-alpine, AOF everysec |
0.25 CPU / 128 МиБ | 127.0.0.1:6379 |
redisdata |
| MinIO | minio | alpine/minio:RELEASE.2025-10-15T17-29-55Z@sha256:cf23643a6cf9ce159c57643ceb88279e431262282428c9e0bf3a7ef1a97e84b4 |
0.50 CPU / 512 МиБ | 127.0.0.1:9000 |
miniodata |
| Bootstrap | minio-init | тот же образ API, команда bootstrap-s3 |
— | нет | нет |
| HAProxy | haproxy | haproxy:2.8.14 |
0.25 CPU / 128 МиБ | 127.0.0.1:8080 |
нет |
docker.io/minio/minio на эту дату отвечает 404, поэтому сервер взят из Alpine-сборки релиза RELEASE.2025-10-15T17-29-55Z. В логе старта виден исходный модуль github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648. Строка minio --version у этой сборки — DEVELOPMENT.GOGET: в образ не передали release ldflags. Закреплены тег и digest. Консоль слушает 127.0.0.1:9001 внутри контейнера и на хост не проброшена. С хоста curl http://127.0.0.1:9001/ дал код curl 7 (соединения нет).
cp .env.example .env
# учебные пароли уже в примере; перед чужой машиной их меняют
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# дождаться /health/ready через http://127.0.0.1:8080
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# после failover реплика остаётся остановленной:
docker compose --env-file .env start api
Остановка без удаления данных: docker compose --env-file .env stop. Учебные данные удаляются только явно: docker compose --env-file .env down -v.
Секреты — переменные .env, файл не коммитится. Root MinIO есть только у minio-init. API получает S3_ACCESS_KEY / S3_SECRET_KEY и политику messenger-app: ListBucket, GetBucketLocation, GetObject, PutObject, DeleteObject на один bucket. Повтор bootstrap-s3 не пересоздаёт bucket и не падает, если политика уже привязана.
Миграции: 001_init.sql, 002_idempotency.sql, 003_attachments.sql. Их применяет одноразовый сервис migrate.
Архитектура и решения
Клиент → HAProxy → API ×2 → PostgreSQL (пользователи, чаты, сообщения, метаданные вложений) и Redis (сессии). Байты лежат в приватном bucket messenger-attachments. Локального файла оригинала на API нет: реплика читает объект по ключу из БД.
Ключ объекта — o/ и 32 случайных байта. filename только для показа. В JSON ответа нет ключа, адреса bucket и учётных данных.
201 возвращается после успешного PutObject и INSERT. Если INSERT не прошёл, процесс сразу вызывает DeleteObject. Если процесс умер между этими шагами, объект остаётся сиротой до сверки. Сверка не трогает его, пока не прошёл RECONCILE_GRACE_SECONDS (на стенде 900, в эксперименте 5).
Готовность /health/ready требует PostgreSQL, Redis и BucketExists. Остановка MinIO даёт 503 на балансировщике, потому что обе реплики перестают быть ready.
Загрузка читает не больше 10 МиБ + 1 байт. Тип определяется по сигнатуре, не по имени файла. Размеры берутся из IHDR/SOF. Полный image.Decode делается только если пикселей не больше 1 000 000. Выше этого порога и до 40 000 000 пикселей достаточно заголовка: растр width*height*4 не выделяется. Повреждённый PNG/JPEG и подмена MIME дают 415, лишний байт сверх 10 МиБ и слишком большие размеры — 413. Эти ответы не превращаются в 500.
Пустой текст сообщения допустим только вместе с вложением. Пробельный текст отклоняется. Чужое вложение и вложение другого чата — 404, без сообщения о том, что объект существует.
Из lab3 перенесены сессии Redis, две реплики, HAProxy без retry POST и идемпотентность сообщения. Отпечаток ключа теперь включает текст и список attachment_ids; отсутствующий список равен [].
Доказательства критериев
Каждая строка — отдельный пункт README. Наблюдение лежит в названном файле, без токенов и паролей.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Возможности lab3 сохранены: сессия, идемпотентность, две реплики, smoke lab4 | make test; failover видит число реплик до отказа |
Smoke PASS. До отказа наблюдались 2 реплики | evidence/smoke.txt, evidence/failover.txt |
| Метаданные в PostgreSQL, байты не на диске API | docker inspect mounts реплики API |
Mounts пустой: у API нет volume с оригиналом |
evidence/layout.txt |
| POST 201 ready, скачивание побайтно, участник читает, посторонний получает 404 | make test |
PASS: checksum оригинала и 404 для третьего пользователя входят в публичный smoke | evidence/smoke.txt |
| Реальный JPEG принимается и скачивается теми же байтами | go run student-tests/mkjpeg.go, затем POST/GET через API |
201 image/jpeg, status=ready, download совпал, 613 байт |
evidence/jpeg.txt |
| PNG fixture, MIME по содержимому, опасное имя, лимит пикселей до распаковки | go test ./internal/imagecheck; python3 student-tests/grade45.py |
Fixture 320×200 проходит. Имя с / и \ — 400. Текст и подмена MIME — 415. Обрезанный PNG — 415. Файл 10 МиБ+1 и 20000×2001 — 413. Строк вложений на отказах не прибавилось |
evidence/imagecheck.txt, evidence/grade45.txt |
| Upload, остановка обслужившей реплики, download через другую тем же файлом | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
PASS. Тест сам сравнивает байты вложения после остановки реплики. 2 реплики, 120 успешных записей, 1 ошибка перехода, восстановление 2.317 с | evidence/failover.txt |
| Restart с volumes сохраняет метаданные и оригинал | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS, включая повторное чтение файла. StartedAt сменился у api ×2, postgres, redis, minio, haproxy |
evidence/persistence.txt, evidence/restart-before.txt, evidence/restart-after.txt |
| Слишком большой файл, битое изображение, подмена MIME, чужой attachment_id, файл другого чата; не 500 | python3 student-tests/grade45.py |
413, 415, 415, 404, 404. В телах нет internal_error |
evidence/grade45.txt |
| Сбой между S3 и PostgreSQL не оставляет вечный мусор; grace | grade45.py: сирота и строка без объекта старше 5 с, затем reconcile dry-run и --apply |
Сухой прогон удалил 0. Apply удалил 1 старый объект и 1 старую неприкреплённую строку. Повторный apply удалил 0 | evidence/grade45.txt, evidence/reconcile-apply.json |
| ≥10 одновременных загрузок, пик памяти ограничен | 10 потоков по 1 МиБ, docker stats |
10 ответов 415, пик API 71.4 МиБ при лимите 384 МиБ, 8.43 с | evidence/grade45.txt |
| Bootstrap bucket идемпотентен | повторный docker compose run --rm --no-deps minio-init |
bootstrap-s3 complete, код 0, bucket не пересоздавался с ошибкой |
evidence/bootstrap-rerun.txt |
| Отдельные ограниченные S3 credentials | имена env API и go run student-tests/s3_rights.go |
У API нет MINIO_ROOT_*. Свой bucket виден, MakeBucket чужого bucket — AccessDenied |
evidence/layout.txt, evidence/s3-rights.txt |
| Консоль не открыта в общей сети | curl http://127.0.0.1:9001/ и список портов |
Код curl 7, HTTP-кода нет. Порт 9001 не проброшен на хост | evidence/private-bucket.txt, evidence/layout.txt |
| Приватный bucket вне API | curl без подписи на 127.0.0.1:9000/messenger-attachments/... |
403 | evidence/private-bucket.txt |
| Недоступность S3 | docker compose stop minio, затем GET /health/ready, затем start |
Во время остановки 503 unavailable. После старта снова 200 |
evidence/s3-down.txt |
| Трек 2: ошибки на обеих сторонах, dry-run, повтор, свежие и используемые не удаляются, стоимость обхода | python3 student-tests/grade45.py |
См. следующий раздел. Свежий сирота остался, метаданные используемого вложения — 200, его байты — 404, свежий файл скачался. Обход: 1 страница листинга, 2 мс и 4 мс | evidence/grade45.txt, evidence/reconcile-apply.json |
Эксперимент трека 2
Гипотеза: один проход по множеству ключей bucket и множеству object_key в PostgreSQL отличает пару, свежего сироту, старого сироту, свежую строку без объекта, старую строку без объекта и строку, на которую уже ссылается сообщение. Сухой прогон ничего не удаляет. Повторный apply после исправления не удаляет ничего. Свежий сирота и используемое вложение переживают apply.
Методика на том же стенде. Grace для одноразовой команды reconcile — 5 секунд, у долгоживущих API остаётся 900.
- Загрузить PNG и прикрепить его к сообщению (используемое).
- Загрузить второй PNG и не прикреплять (кандидат на удаление строки).
- Положить объект
o/orphan-oldкомандойs3-put. - Подождать 6 секунд.
- Удалить из bucket объекты используемого и неприкреплённого вложений (
s3-rm). - Загрузить ещё один PNG (свежая пара) и положить
o/orphan-fresh. - Два сухих прогона, затем
--apply, затем--applyещё раз. - Проверить HTTP.
Наблюдение сухого прогона: 10 строк, 9 объектов, 1 страница листинга, 7 пар, 1 свежий сирота, 1 старый сирота, 2 отсутствующих объекта у используемых строк, 1 старая неприкреплённая строка без объекта. Удалено 0. Второй сухой прогон дал те же счётчики удаления. Две используемые строки — это вложение этого прогона и ещё одно, оставшееся от предыдущей инъекции в том же volume; оба сохранены.
Apply удалил 1 объект и 1 строку за 4 мс. Повторный apply: deleted_objects=0, deleted_rows=0, старых сирот 0. Свежий сирота остался в классификации (orphan_fresh=1).
HTTP после apply:
- метаданные используемого вложения — 200;
- его байты — 404, строка не удалена;
- неприкреплённая старая строка — 404;
- свежий файл скачивается побайтно, тело совпало с исходным PNG.
Стоимость обхода: один ListObjects (здесь 1 страница) и один SELECT по attachments, без HEAD на каждый ключ. На 9 объектах сухой прогон занял 2 мс, apply — 4 мс. Это не оценка большого каталога: набор маленький, время сопоставимо с задержкой одного запроса к MinIO на этой машине.
Ограничения
- Один Docker-host. Падение хоста уносит и БД, и MinIO. Две реплики API не делают хранилища высокодоступными.
- Сверка не восстанавливает потерянные байты. Если объект используемого вложения пропал, строка остаётся, скачивание даёт 404.
- Grace защищает свежие сироты, но не вечный мусор: объект старше grace и без строки удаляется. На учебном стенде grace 900 секунд; эксперимент специально ставил 5.
- Полная распаковка растра выключена выше 1 000 000 пикселей. Файл с верным заголовком и битым телом крупнее этого порога может пройти структурную проверку.
- Пик 71.4 МиБ измерен для десяти тел по 1 МиБ. Верхняя оценка буфера — 10 МиБ на запрос, который ещё читается. Десять полных файлов по 10 МиБ в эксперименте не гонялись.
alpine/minioсообщает версиюDEVELOPMENT.GOGET. Идентичность сборки подтверждается тегом, digest и commit в логе, не строкой--version.