Files
2026-11-12 18:37:11 +03:00

25 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Тимаева М.П., БПИ2302
  • Целевая оценка; выбранный трек 5, если нужен: 5, трек 2
  • Commit/PR: TODO
  • Использованные источники, библиотеки и помощь ИИ: OpenAPI/семантика курса; документация MinIO, boto3, HAProxy 3.2; FastAPI/Starlette; Cursor помогал переносить старый код в новый репозиторий и с составление отчетов

Запуск из чистого clone

Нужны Docker Compose v2, Python 3.9+ для публичных тестов, свободный порт для LB.

cp .env.example .env
# Задайте уникальные POSTGRES_PASSWORD, MINIO_ROOT_PASSWORD, S3_SECRET_ACCESS_KEY.
# Если 8080 занят (другая лабораторная), задайте LB_PORT, например 8084.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться healthy у lb/api. Миграции и minio-init — one-shot.
make test BASE_URL=http://localhost:${LB_PORT:-8080}
make test-attachments BASE_URL=http://localhost:${LB_PORT:-8080}
make check-private-bucket
make reconcile-track2
# Остановка с сохранением volumes:
docker compose --env-file .env down
# Учебный сброс данных (уничтожает pgdata и miniodata):
docker compose --env-file .env down -v

Образы (закреплены тегом+digest в compose.yaml / Dockerfile):

Роль Service Образ Volume Сеть Порт на host Credentials
LB lb haproxy:3.2.26-alpine@sha256:96ec… — edge 127.0.0.1 / ::1 LB_PORT нет
API api ×2 messenger-lab4-app (python:3.14.8-slim) нет оригиналов edge+data нет DB и S3 из secret files uid 10001
PostgreSQL postgres postgres:16.10-alpine@sha256:0296… pgdata data (internal) нет POSTGRES_PASSWORD_FILE
S3 minio minio RELEASE.2025-09-07…@sha256:14ce… miniodata data, alias s3 нет root только у minio-init
Bootstrap minio-init тот же MinIO + infra/minio/bootstrap.sh — data — root + API keys
Сверка reconcile (profile ops) тот же app image — data — те же API S3 keys
Private probe check-private-bucket (profile ops) тот же MinIO — data — root + API keys

Локально на этой машине LB_PORT=8084, потому что 8080 занят стендом lab3.

Архитектура и решения

Клиент → HAProxy → API ×2 → PostgreSQL (метаданные) + приватный bucket MinIO (байты). Object key назначает сервер: originals/{uuid}. Filename только для отображения.

Источник истины для «файл принят»: строка в attachments и объект в S3. 201 ready возвращается только после PUT и INSERT. Неудачный INSERT компенсируется delete_object. Обрыв клиента до PUT не создаёт объект. Crash между PUT и INSERT оставляет orphan; его забирает сверка после grace period (по умолчанию 900 с).

Сверка сравнивает ListObjectsV2 по originals/ со строками attachments. Dry-run по умолчанию. --apply удаляет объект без строки и строку без объекта, только если каждый не моложе grace (возраст меньше grace не трогаем) и строка не входит в message_attachments. Перед удалением объекта ключ читается из PostgreSQL ещё раз; строка удаляется одним DELETE с NOT EXISTS по message_attachments и object_key LIKE 'originals/%'. Ключ вне originals/ только попадает в ignored_outside_prefix. Строка, на которую ссылается сообщение, не удаляется: объекта из метаданных не восстановить, а FK без ON DELETE CASCADE порвал бы историю. One-shot reconcile ограничен 256 MiB: эксперимент создаёт двух пользователей и считает Argon2id.

Upload не держит весь файл в Python heap: чанки считаются, SHA-256 копится на лету, заголовок PNG/JPEG смотрится без распаковки bitmap (inspect_prefix), тело уходит в SpooledTemporaryFile (64 KiB RAM, остальное ephemeral tempfile) и streaming put_object. Лимит 10 MiB применяется по Content-Length и по счётчику чанков; HAProxy отсекает Content-Length > 10485760 до API. PUT S3 ограничен 30 с; в backend HAProxy set-timeout server 30s только для POST .../attachments.

Перенос из lab3: сессии, идемпотентность сообщений, две реплики, LB. Новое: S3, Attachment, сверка, негативные тесты файлов.

Трек 2 поверх этого: те же prefix, dry-run и proxy POST, плюс исправление обеих сторон и замер обхода (make reconcile-track2).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python tests/smoke.py --base-url http://localhost:8084 PASS lab4 public API evidence/smoke.txt
S3 в стенде, байты не в БД/диске API compose: minio без host ports, API без volume оригиналов, ключ originals/{uuid} minio ports [], API не публикует 9000 evidence/compose-minio-exposure.json
PNG/JPEG ≤10 MiB / 40M px, MIME по содержимому smoke fixture + negative suite 201 на sample.png; 413/415 на отказ evidence/attachments-negative.txt
Другая реплика / restart volumes make test-persistence ACTION_SCRIPT=scripts/restart.sh и make test-failover ACTION_SCRIPT=scripts/stop-one.sh, BASE_URL http://127.0.0.1:8084 persistence: PASS, тот же токен и тот же оригинал; id контейнеров не сменились, StartedAt обновился у postgres, minio, обеих API и LB. failover: 2 реплики до отказа, 128 успешных записей, 0 ошибок, восстановление за 5.699 с; api-2 осталась exited, postgres/minio/lb/api-1 не перезапускались evidence/persistence.txt, evidence/failover.txt
Негативные вложения, не 500 make test-attachments BASE_URL=http://localhost:8084 oversized CL и chunked → 413; corrupt/MIME spoof → 415; pixel bomb → 413; чужой id и чужой чат → 404 evidence/attachments-negative.txt
Компенсация / сверка / grace docker compose --profile ops run --rm -T reconcile --seed-orphan, затем --apply --grace-seconds 0 dry-run, grace 900: посеянный ключ в orphans_protected_by_grace, deleted пуст. apply, grace 0: удалён только originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab. Строка сообщения без объекта осталась в missing_in_use, ключи вне originals/ — в ignored_outside_prefix evidence/reconcile-dry-run.json, evidence/reconcile-apply.json
RAM, ≥10 одновременных upload python scripts/upload_mem.py --base-url http://localhost:8084 10/10 ок, ~1.9 MiB PNG, пик RSS api 93.66 MiB при лимите 256M (N×size ≈ 19 MiB) evidence/upload-concurrency.json
Идемпотентный bootstrap два docker compose --env-file .env run --rm --no-deps minio-init оба: bucket messenger-attachments is private, exit 0 evidence/minio-init-rerun.txt
Узкие S3 creds, консоль закрыта, private bucket вне API python scripts/check_private_bucket.py anonymous GET 403; API user не листит чужой bucket; MINIO_BROWSER=off; нет host ports; не в edge evidence/private-bucket.txt
Трек 2: обе стороны, dry-run, повтор, защита make reconcile-track2 ok: true. Grace 900 не удалил свежий orphan и свежую непривязанную строку; привязанная строка без объекта осталась. После сдвига created_at на 2 ч --apply удалил только её, второй прогон пуст. Grace 0 после preflight удалил только посеянный orphan; повтор снова пуст. SHA-256 здорового объекта совпал со строкой evidence/reconcile-track2.json
Трек 2: стоимость обхода тот же прогон, --bench 10,100,400 51 ключ: list объектов 13 ms; 141 ключ: 180 ms; 441 ключ: 75 ms. Метаданные 1–5 ms. Свои ключи бенча удалены, в --apply не передавались evidence/reconcile-walk.json

Эксперименты и отказы

Гипотеза (RAM): десять одновременных ~1.9 MiB PNG не разгоняют RSS API пропорционально N * size и укладываются в 256 MiB. Стенд: Windows AMD64, Intel, compose limits api 256M × 2 реплики, MinIO 512M. Профиль: 10 POST, файл 1 994 104 байт, сгенерирован в рантайме. Результат: 10 успехов, 0 ошибок, p50 ≈ 0.52 с, p95 ≈ 0.55 с, пик RSS контейнера api-2 93.66 MiB. Ограничение: docker stats — RSS контейнера с шагом десятых долей секунды, не профилировщик кучи; в выборке 3 снимка, пик внутри запроса мог быть выше.

Гипотеза (трек 2): один ListObjectsV2 по originals/ и один SELECT по attachments остаются в пределах секунды на сотнях ключей и растут примерно линейно; --apply удаляет только устаревший orphan и устаревшую непривязанную строку без объекта, повторный прогон пуст. Методика: make reconcile-track2 на том же стенде. Сценарий сам создаёт чат, здоровое вложение в сообщении, привязанное вложение без объекта, непривязанное вложение без объекта и один orphan. Результат безопасности: ok: true в evidence/reconcile-track2.json. Свежие (age 0, grace 900) не удалены; после created_at минус 2 часа удалена только непривязанная строка (age_seconds 7200); привязанная строка осталась в missing_in_use; grace 0 разрешён preflight-ом, потому что в orphans_stale был только посеянный ключ, и удалён только он. Повтор обоих apply вернул пустые deleted и metadata_deleted. Байты здорового объекта совпали с sha256 строки.

Результат обхода: evidence/reconcile-walk.json. К уже лежавшим ~41 ключам добавлялись 10, 100 и 400 объектов, каждый набор удалялся по списку своих ключей.

Посеяно Ключей в list list объектов, ms list метаданных, ms весь проход, ms
10 51 13 5 24
100 141 180 1 188
400 441 75 2 82

Верхняя граница подтвердилась: все три прохода короче 200 ms. Линейный рост на этих трёх точках не подтвердился: 441 ключ обошёлся дешевле 141. SELECT оставался в единицах миллисекунд. Ограничение замера: один прогон, время boto/MinIO внутри compose, elapsed_ms включает ещё и ListMultipartUploads. Это не стоимость обхода миллиона ключей.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Content-Length > 10 MiB 413 на LB, тело не читается 413 payload_too_large нет записи
Chunked тело > 10 MiB 413 на API по счётчику чанков 413 payload_too_large нет объекта
Повреждённый PNG/JPEG, подмена MIME 415 415 unsupported_media_type нет объекта
IHDR 10000×5000 (50M px) 413 до decode 413 нет объекта
GET чужого attachment_id 404, без утечки 404 not_found —
attachment_id другого чата в POST message 404 404 сообщение не создано
S3 PUT прошёл, INSERT нет компенсация DELETE; иначе orphan до сверки _discard_object; сирота удаляется --apply после grace объект без метаданных не вечный
Объект есть, строки нет, объект моложе grace не удалять age 0 остался в orphans_protected_by_grace при --apply объект на месте
Строка есть, объекта нет, строка в сообщении не удалять даже при grace 0 осталась в missing_in_use; metadata_deleted её не содержит строка на месте, байтов нет
Строка есть, объекта нет, строка старше grace и не в сообщении удалить строку; повтор пуст удалена одна строка с age 7200; второй --apply пуст строка снята
Grace 0 при чужом orphan не удалять ничего preflight сравнивает orphans_stale с посеянным ключом в этом прогоне чужих не было, удаление прошло
Повтор minio-init no-op, bucket private два exit 0 нет
Unauthenticated GET объекта 403 мимо API 403 —

Две старые строки с ключами без prefix originals/ на каждом проходе остаются в ignored_outside_prefix и не удаляются. Живая пара «строка + объект» в списки расхождений не попадает.

Ограничения и следующие шаги

Выдерживаются клиентские ошибки вложений (4xx, не 500), обрыв до PUT, неудачный INSERT, stale orphan после grace, недоступность bucket с хоста, повтор bootstrap. Не выдерживается потеря всего Docker-host; одна PostgreSQL и один MinIO не HA. Download оригинала пока буферизуется целиком (критерий 4 про загрузку). Spool — ephemeral tempfile запроса, не источник истины.

Сверка не чинит ключи вне originals/ и не восстанавливает байты пропавшего объекта: привязанная строка без объекта остаётся навсегда, GET .../content для неё даёт 404. Grace 0 для orphan — подмена часов, потому что MinIO не даёт сдвинуть LastModified; если в бакете уже есть другой orphan, эксперимент выходит с ошибкой и этот --apply не запускает. Один MinIO и одна PostgreSQL. Presigned upload и фон lab5 не делались. Prefix originals/ по-прежнему не трогает будущий staging/ или variants/.