Files
mtusi2026lab4/.github/pull_request_template.md
T
Mikhail Verkovykh 728e53cc55 Реализовать lab4 на оценку 4: SeaweedFS, вложения и согласованность БД/S3.
Перенесён стенд lab3 (API, Redis-сессии, идемпотентность, HAProxy, реплики API). Добавлены приватный bucket SeaweedFS с отдельным ключом API, загрузка PNG/JPEG с лимитами и полной проверкой, компенсация и reconciler, плавная остановка API, тесты и evidence.
2026-11-06 19:48:37 +03:00

51 lines
6.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
## Лабораторная 4
Заголовок PR: `ЛР 4 — БВТ2303 — Болотов — на 4`
Автор / группа: Болотов Илья, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
- Из lab3 перенесено всё: API, Redis-сессии, идемпотентность в PostgreSQL, ≥2 реплики за HAProxy, one-shot migrate, лимиты.
- Lab4:
- SeaweedFS 3.97 (digest), приватный bucket, все служебные порты закрыты; S3 API отдаётся только через сайдкар `s3-gw` во внутренней сети;
- `restart: unless-stopped` у всех долгоживущих сервисов, включая `s3` и `s3-gw`; после падения или рестарта `s3` контейнер `s3-gw` сам переходит в его новый network namespace;
- отдельный ключ API с правами только на bucket; admin-ключ есть только у `s3-init`;
- вложения: потоковое чтение с лимитами 10 MiB / 40 млн пикселей; полная проверка PNG и JPEG (`djpeg -strict` под `prlimit`); intent → PUT → COMMIT;
- компенсация, `CommitUncertain` без удаления, reconciler с grace 900 с;
- HAProxy `balance leastconn`; readiness включает S3, при общей деградации HAProxy переключается на резервный backend по liveness;
- watchdog и breaker для PostgreSQL;
- graceful shutdown: по SIGTERM 503 отдаёт только `/health/ready`, реплика обслуживает запросы ещё 3 с (пока HAProxy её не исключит), затем до 8 с дожидается идущих запросов; `stop_grace_period: 15s`;
- текст с U+0000 (BYTEA).
Команды запуска из чистого clone:
`copy .env.example .env` → `python scripts/init_secrets.py` → `docker compose --env-file .env up -d --build --scale api=2` (или `scripts\up.cmd`) → дождаться `http://127.0.0.1:8080/health/ready`. Подробно — в REPORT.md.
Результаты проверок и ссылка на REPORT.md ([REPORT.md](../REPORT.md), сырые данные — в `evidence/`):
- check: PASS; validate: PASS; smoke lab4: PASS.
- persistence: PASS (хук перезапускает API и все хранилища); failover: PASS (127 записей, 0 неудачных попыток; хук с окном drain возвращается за ≈3.6 с, первая засчитанная запись через 3.95 с).
- lab3 на стенде lab4: поочерёдный отказ каждой реплики — 168 + 166 записей, 0 неудачных попыток (`seq-failover.json`); rolling update под нагрузкой — обе реплики заменены, 1436 успешных, 0 ошибок, p99 62 мс (`rolling-load.json`).
- student-tests: 69 passed, 0 failed (с RUN_DOCKER_TESTS=1 RUN_DEPS_TEST=1, включая `test_shutdown`: drain после SIGTERM, `docker stop` под нагрузкой без ошибок, загрузка через закрытие listener → 201); истечение сессии при TTL 2 с: 2 passed.
- Failover вложений: первое скачивание через 3.625 / 3.64 с от начала `docker stop`, 0 ошибок. Full restart: down 15.0 с, 45.6 с до ready, SHA-256 совпал.
- Рестарт S3: `docker restart` контейнера `s3` → ready 200 через 37 с, падение процесса `weed` → через 29 с; после этого upload 201 и download 200 с тем же SHA-256 (`s3-restart.txt`).
- 10/20/40 одновременных загрузок 9.5 MiB: рост RSS API 16–31 MiB, пик LB 31.8–60.3 MiB из 128, S3 без OOM (max anon 401.3–566.4 MiB из 1024), на 40 — 18 × 201 и 22 × 503 (backpressure: 2 × 8 слотов; запросы разошлись 20/20).
- LB — `balance leastconn`: при чередовании медленных загрузок и коротких GET загрузки распределяются 4/4 (round-robin — 8/0, `lb-interleave.json`).
- Нагрузка: 265.13 RPS, 0 ошибок, p50/p95/p99 = 15/32/78 мс.
Ограничения / известные ошибки:
- Один хост, по одному экземпляру БД, Redis, S3 и LB.
- Тело загрузки ≤10 MiB временно лежит на диске реплики (не прямой стриминг в S3).
- При зависшей БД запрос ждёт до 6 с.
- Остановка реплики занимает ≈3.6 с (окно drain); запрос, не завершившийся за 8 с после закрытия listener, обрывается.
- Windows: `PYTHONUTF8=1`, BASE_URL `127.0.0.1`.
Источники и использование ИИ: FastAPI, psycopg3, redis-py, boto3, HAProxy, SeaweedFS, libjpeg-turbo, спецификации PNG/JPEG, документация S3; реализация и эксперименты — с помощью ИИ-ассистента (Cursor), числа взяты из `evidence/`.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.