Files
mtusi2026lab4-fork/REPORT1.md
T
2026-11-01 01:29:59 +03:00

16 KiB
Raw Blame History

Отчёт - лабораторная 4

  • Автор, группа: Алексей Миронов, бвт2302
  • Целевая оценка: 4; трек 5 не заявлен
  • Commit/PR: 6c0a3d8, mtusi2026/mtusi2026lab4#48
  • Использованные источники, библиотеки и помощь ИИ: скелет lab4 (README, COURSE, contracts, tests); собственная реализация lab3 (FastAPI, PostgreSQL, Redis, HAProxy, идемпотентность); FastAPI, Pydantic, psycopg 3, boto3, Pillow, MinIO + mc, HAProxy, Docker Compose; помощь ИИ

Запуск из чистого clone

Нужны Docker Engine + Compose v2, GNU Make, Python 3.9+ (для тестов).

cp .env.example .env       
make check
make validate
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
curl -i http://localhost:8080/health/ready     # дождаться 200
make test                                       # публичный smoke lab4
make test-lab3                                  # перенесённые проверки lab3 (идемпотентность, 2 реплики) - опционально
make test-level4                                # негативные тесты вложений + unit-тест компенсации
make check-s3                                   # private bucket вне API, права app-пользователя, консоль закрыта
python3 student-tests/orphan_sweep_check.py     # сверка/очистка: grace period, dry-run, идемпотентность
(Скачивает настоящее вложение, сверяет байты и одновременно создаёт сироту (orphan) в Minio и проверяет, что в grace период она жива, dry-run её показывает, apply удаляет, а нужное вложение цело (сторож (sweeper) уничтожает только сирот, у которых закончился период помилования) и повтор ничего не делает (идемпотентность))
make memory                                     # >=10 параллельных загрузок, пик RAM реплик
make test-persistence ACTION_SCRIPT=scripts/restart.sh (пишет данные, перезапускает постгрес, редис, minio, api и проверяет, что данные, токен и вложения остались)

make test-failover ACTION_SCRIPT=scripts/stop-one.sh (загружает вложение, останавливает одну реплику api и проверяет, что скачивание работает через другую)   # затем: docker compose up -d --scale api=2 api; повторить

Объяснение: какие рукотворные мейки что запускают

make test-lab3: $(PYTHON) student-tests/lab3_idempotency_checks.py --base-url "$(BASE_URL)" make test-level4: $(PYTHON) student-tests/level4_checks.py --base-url "$(BASE_URL)" (негативные сценарии вложений. Файл больше 10 мб (413), пиксельная бомба, ровно 40 Мпикс принимается, битые Png/jpg (415), подмена MIME, плохие filename, чужое и неизвестное вложение, вложение из другого чата, порядок и идемпотентность с attachment_ids, 10 параллельных загрузок, в конце проверяется, что ни один ответ не был 5xx) $(PYTHON) -m unittest discover -s student-tests -p "test_compensation.py" (Если запись БД падает после S3 PUT, удаляется ровно тот объект, что записали. Битый файл до S3 не доходит. Сбой PUT тоже компенсируется и даёт 503) make check-s3: sh scripts/check_s3_exposure.sh (порты S3 не опубликованы, с хоста :9000 и :9001 недоступны)

docker compose run --rm --no-deps --entrypoint python api scripts/check_s3_private.py
(из контейнера, мимо API. Анонимные GET/, HEAD/список/PUT дают 403. У ключа приложения нет прав на список бакетов, создание или удаление bucket, смену политики и запись вне attachments/. Порты консоли закрыты. )

make memory: $(PYTHON) student-tests/memory_experiment.py --base-url "$(BASE_URL)" --concurrency 10 (10 одновременных загрузок, читает пик RAM каждой реплики. Есть 1 профиль: 9.6 мб несжимаемых байт. Доказывает, что даже 10 одновременных загрузок не забивают память (благодаря стримингу/чанкингу))

Остановка с сохранением данных: docker compose --env-file .env down. Намеренное удаление учебных данных (БД, Redis, S3): docker compose --env-file .env down -v. Идемпотентность bootstrap: docker compose run --rm s3_init можно запускать повторно (exit 0).

Архитектура и решения

Клиент -> HAProxy (единственный опубликованный порт, 127.0.0.1:8080) -> API×2 (FastAPI) -> PostgreSQL (метаданные) + Redis (сессии, AOF) + S3 MinIO-совместимый сервер Silo (форк MinIO) (байты, приватный bucket). Сети: frontend (только HAProxy) и backend (internal: true, без маршрута наружу) - S3, PostgreSQL, Redis и API недоступны с хоста.

Роль Сервис Версия Health Volume Порты наружу
LB load_balancer haproxy:3.2.5-alpine haproxy -c - 127.0.0.1:8080
API api (×2) python:3.12.11-slim-bookworm /health/ready - (без локального состояния) нет
БД postgres postgres:17.6-alpine pg_isready postgres_data нет
Сессии redis redis:7.4.2-alpine redis-cli ping redis_data нет
S3 s3 pgsty/silo:RELEASE.2026-10-15T00-00-00Z mc ready local s3_data нет; консоль выключена (MINIO_BROWSER=off)
Bootstrap S3 s3_init (one-shot) pgsty/silo:RELEASE.2026-10-15T00-00-00Z - - нет
Миграции migrate (one-shot) образ API - - нет
Сверка s3_sweeper образ API - - нет

Перенесено из lab3: src/main.py (пользователи, чаты, сессии, пагинация, идемпотентность), миграции 001–002, migrate.py, HAProxy-конфиг, restart/stop-one/rolling-restart, Dockerfile, проверка grade4 (теперь student-tests/lab3_idempotency_checks.py).

Новое в lab4: миграция 003 (attachments, message_attachments, снят CHECK непустого текста - текст может быть пустым при вложении); эндпоинты POST/GET вложений; потоковая приёмка с лимитами; boto3-клиент с таймаутами; readiness проверяет S3; s3_init, s3_sweeper; изолированная сеть.

Границы транзакций. Порядок: тело -> валидация -> S3 PUT -> INSERT метаданных/COMMIT -> 201. 201 возвращается только после обоих. Обрыв клиента до PUT ничего не оставляет в S3. Сбой между PUT и COMMIT: (1) компенсация - немедленный DELETE ключа; (2) если и она/процесс упали - s3_sweeper удаляет объект, которому нет строки в БД, но только старше ORPHAN_GRACE_SECONDS (3600 с ≫ секунд между PUT и COMMIT), с повторной проверкой БД перед удалением. Обратный разрыв (строка без объекта) этим порядком не создаётся; при обнаружении download пишет INTEGRITY в лог и отвечает 500 (полный двусторонний reconciler - трек 5, не заявлен).

Readiness: критичны PostgreSQL, Redis и S3 (HeadObject, таймаут 1 с): загрузка/скачивание входят в обязательный путь. Недоступность S3 -> /health/ready 503 -> HAProxy исключает реплики; запросы, дошедшие до API, получают JSON 503 unavailable.

Решения по контракту: Content-Type должен совпадать с содержимым (PNG под видом JPEG и наоборот - 415); filename . и .. отклоняются; несуществующий/чужой/из другого чата attachment_id - 404; повтор с тем же ключом сравнивается по каноническому телу (attachment_ids входят в хеш только если непусты - записи lab3 остаются валидны).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab4 public API scenario evidence/evidence.txt
Уровень 3: S3 в стенде, байты не в БД/локально; стенд поднят, /health/ready отвечает docker compose --env-file .env up -d --build --scale api=2; curl -i /health/ready; make check-s3 Стенд собран и запущен; HTTP/1.1 200 OK, {"status":"ok"}, x-instance-id: 464805954a42; make check-s3 - 11 PASS evidence/evidence.txt
201 после сохранения; побайтный download; чужой - 404 make test; make test-level4 PASS smoke; в test-level4 statuses seen: [201, 400, 404, 413, 415], 5xx нет evidence/evidence.txt
PNG/JPEG ≤10 MiB, ≤40 Мпикс, MIME по содержимому, filename make test-level4 PASS; statuses seen: [201, 400, 404, 413, 415], ни одного 5xx evidence/evidence.txt
Upload -> стоп реплики -> download через другую make test-failover ACTION_SCRIPT=scripts/stop-one.sh PASS: failover preserved confirmed data and existing session; {"observed_instances_before": 2, "successful_writes": 108, "failed_attempts": 1, "first_recovery_seconds": 2.727} evidence/evidence.txt
Restart стенда сохраняет данные и сессию make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: persistence preserved confirmed data and existing session evidence/evidence.txt
Ур.4: тесты ошибок, нет 500 make test-level4 (включает test_compensation.py) PASS: level-4 attachment checks (no 5xx for user errors); в unit - 415 (битый файл), 503 (сбой БД после PUT), 503 (type=BotoCoreError), Ran 3 tests … OK evidence/evidence.txt
Ур.4: компенсация/сверка с grace test_compensation.py; orphan_sweep_check.py unit 3/3 OK; orphan_sweep - grace/dry-run/apply/referenced/idempotent evidence/evidence.txt
Ур.4: ≥10 загрузок, пик RAM make memory 10×10 050 123 Б; VmRSS 91->126 MiB и 94->116 MiB; naive_estimate_MiB: 192; wall 2.39 с; latency 1.05–1.87 с evidence/evidence.txt
Ур.4: идемпотентный bootstrap, отдельные права, консоль закрыта, private bucket вне API make check-s3 (после s3_init из up) 11 PASS: anonymous GET/HEAD/LIST/PUT -> 403; app creds - ListBuckets/CreateBucket/DeleteBucket/PutBucketPolicy/PutObject outside attachments denied; console 9001/9090 closed; s3 publishers: [] evidence/evidence.txt

Эксперименты и отказы

OS: Майкрософт Windows 11 Pro 10.0.22631 (build 22631) CPU: Intel(R) Core(TM) i5-8350U CPU @ 1.70GHz, cores=4, threads=8 RAM: 15.9 GB Docker Compose version v2.32.4-desktop.1 docker version Client: Version: 27.5.1 API version: 1.47 Go version: go1.22.11 Git commit: 9f9e405 Built: Wed Jan 22 13:41:44 2025 OS/Arch: windows/amd64 Context: desktop-linux Server: Docker Desktop 4.38.0 (181591) Engine: Version: 27.5.1 API version: 1.47 (minimum version 1.24) Go version: go1.22.11 Git commit: 4c9b3b0 Built: Wed Jan 22 13:41:17 2025 OS/Arch: linux/amd64 Experimental: false containerd: Version: 1.7.25 GitCommit: bcc810d6b9066471b0b6fa75f557a15a1cbf31bb runc: Version: 1.1.12 GitCommit: v1.1.12-0-g51d5e946 docker-init: Version: 0.19.0 GitCommit: de40ad0

Воздействие Что ожидали Что наблюдали Время восстановления / потеря данных
Остановка одной реплики API download через другую; подтверждённые данные целы make test-failover PASS: observed_instances_before: 2, successful_writes: 108, failed_attempts: 1, first_recovery_seconds: 2.727 восстановление 2.727 с; 1 неудачный запрос - попал на остановленную реплику, ожидаемо; данные и сессия целы
Restart postgres/redis/s3/api данные и токен сохранены make test-persistence PASS: persistence preserved confirmed data and existing session 0 потерь
PUT без COMMIT (сироты) удаляется только после grace; referenced не трогается orphan_sweep_check.py PASS: свежий orphan переживает grace 3600; dry-run печатает WOULD-DELETE; --apply удаляет; referenced attachment байт-в-байт цел; повтор - orphans=0 (no-op) 0 потерь
10 параллельных загрузок 10 MiB пик RAM не растёт линейно с размером файла make memory: payload_bytes: 10050123, concurrency: 10; VmRSS 91->126 MiB (реплика 1), 94->116 MiB (реплика 2); naive_estimate_MiB: 192; wall_seconds: 2.39; latency_s: 1.05–1.87 отказов нет; запас до mem_limit (~512 MiB) сохраняется
Остановка S3 upload/download -> 503 JSON, /health/ready -> 503, после старта - снова 201 в evidence/evidence.txt не прогонялся (сценарий описан в «Ограничения и следующие шаги»); проверено только, что S3 недоступен снаружи (s3 publishers: []) -

Ограничения и следующие шаги

Не реализованы: двусторонний reconciler и presigned upload (треки 5). Вложения, не прикреплённые к сообщению, не удаляются (учтённые, но «висящие»). S3-сервер - Silo (pgsty/silo, форк MinIO), закреплён на теге RELEASE.2026-10-15T00-00-00Z; для учебной изолированной сети допустимо, для production нужен актуальный патч-релиз. Один Docker-host - не отказоустойчивость; PostgreSQL, Redis, S3 и HAProxy - единичные. Временный файл буферизации (диск контейнера, анонимный, удаляется сразу) - не хранилище.