ЛР 7 — БВТ2303 — Васюкова — на 4 #2

Closed
Vasyukova-Nat wants to merge 15 commits from Vasyukova-Nat/mtusi2026lab7:solution/BVT2303-Vasyukova into main
First-time contributor

Лабораторная 7

Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано и что перенесено

Перенесено из lab6 (работает под HTTPS):

  • Бизнес-API: пользователи, сессии (Bearer), чаты, сообщения с Idempotency-Key, вложения (202 queued → worker → ready, варианты thumbnail/crop/optimized).
  • Инфраструктура: LB + 2 реплики API, PostgreSQL 18.6, Redis 7.4.1, MinIO, RabbitMQ (outbox, retry, DLQ, lease), worker, outbox, s3_cleanup.
  • Наблюдаемость: OTel Collector, Prometheus, Loki, Tempo, Grafana с provisioning дашборда и алертов, runbooks.

Новое в lab7:

  • Argon2id для паролей (m=19456, t=2, p=1), rehash старого scrypt при успешном входе.
  • Внешний TLS на LB (:8443, сертификат от локального CA).
  • mTLS LB→API: uvicorn с --ssl-cert-reqs 2, nginx предъявляет lb-client.crt (SAN lb-client), API проверяет CA и identity. Публичного API-порта нет.
  • TLS к PostgreSQL: sslmode=verify-full + sslrootcert=/certs/ca.crt.
  • mTLS к OTel Collector: client_ca_file на коллекторе, отдельные client cert для api/worker/outbox.
  • OpenBao вне dev-mode: file storage, TLS, openbao-init (one-shot) — init/unseal, KV v2, AppRole, scoped policies (api→secret/data/app/api, worker→secret/data/app/worker). Root token и unseal key только в /secrets/bao-init.json, вне Git.
  • Rate-limit входа через Redis (общий для реплик): 429 + Retry-After.
  • Hardening контейнеров: api/worker/outbox — non-root, read_only, cap_drop: ALL, no-new-privileges, tmpfs /tmp; LB — минимальные capabilities.
  • Раннее ограничение тела запроса по Content-Length → 413.
  • Ротация leaf-сертификата LB без пересборки образов; модель угроз security/THREAT_MODEL.md и заполненная contracts/trust-matrix.md.

Команды запуска из чистого clone

git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab5.git
git checkout solution/BVT2303-Vasyukova
copy .env.example .env
docker compose --env-file .env up -d --build
curl.exe -s --cacert .\certs\ca.crt https://localhost:8443/health/ready

Grafana: http://localhost:3000 (admin/admin). OpenBao доступен только внутри compose-сети (https://openbao:8200); bootstrap выполняют security_init и openbao-init.

Проверки (в PowerShell с $env:PYTHONUTF8="1"):

python scripts/check_contract.py
python scripts/validate_openapi.py
python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt
python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt
python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt
python tests/resilience.py --mode failover   --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt
python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt

Результаты проверок и ссылка на REPORT.md

Все проверки пройдены. Ключевые выводы:

  • check_contract.py, validate_openapi.py — PASS (структура и OpenAPI 3.1).
  • smoke.py (HTTPS) — PASS: lab7 public API scenario.
  • security.py — PASS: trusted HTTPS works; untrusted CA rejected.
  • resilience.py --mode persistence — PASS: перезапуск API+хранилищ, токен и данные сохранены.
  • resilience.py --mode failover — {"observed_instances_before": 2, "successful_writes": 8, "failed_attempts": 0, "first_recovery_seconds": 6.345}, PASS.
  • lab7_test_level4.py — PASS по всем 8 блокам:
    • Argon2id {'m':'19456','t':'2','p':'1'};
    • rate-limit: 429, Retry-After = 39, общий через Redis;
    • mTLS LB→API: positive + 2 negative;
    • revoke → 401; пустой trust store → SSLCertVerificationError;
    • OpenBao: allow app/api, deny app/worker и sys/policies;
    • hardening api/worker/outbox;
    • свежий leaf lb-client принят без пересборки;
    • API→PG: verify-full + CA pin, actual SSL connections=12.

Полные команды и вывод — в REPORT.md (разделы «Запуск из чистого clone», «Доказательства критериев», «Выводы тестов»).

Ограничения / известные ошибки

  • Учебный стенд на одном Docker-host; HA к потере хоста не заявлена. Реплики API и LB не делают PostgreSQL/MinIO/RabbitMQ высокодоступными.
  • OpenBao bootstrap автоматизирован (openbao-init), но CA private key и unseal share хранятся на том же хосте в /secrets — для production нужен внешний bootstrap trust и отдельное хранение unseal.
  • Redis и MinIO внутри compose-сети без TLS — документировано как закрытый локальный transport (учебное упрощение).
  • RabbitMQ внутри сети без mTLS — в trust-matrix.md помечено как учебное ограничение.
  • Ротация secrets/leaf частично ручная (повторный bao kv put + перевыпуск сертификата без пересборки образов); автоматической ротации по таймеру нет.
  • Версии образов закреплены явными тегами, digest не фиксировался.

Источники и использование ИИ

  • Контракт и семантика: contracts/openapi.json, contracts/README.md, contracts/observability.md, contracts/trust-matrix.md.
  • Инструкции курса: README.md, COURSE.md, CONTRIBUTING.md.
  • Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, argon2-cffi==23.1.0, opentelemetry-api==1.31.0, opentelemetry-sdk==1.31.0, opentelemetry-exporter-otlp-proto-http==1.31.0, opentelemetry-instrumentation-fastapi==0.52b0, opentelemetry-instrumentation-requests==0.52b0.
  • Первичные материалы по безопасности: OWASP Password Storage, OWASP File Upload, OpenBao AppRole, OpenBao policies.
  • ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 7 Автор / группа: Васюкова Наталья, БВТ2303 Целевая оценка: 4 Трек 5: не заявлен ## Что реализовано и что перенесено **Перенесено из lab6** (работает под HTTPS): - Бизнес-API: пользователи, сессии (Bearer), чаты, сообщения с `Idempotency-Key`, вложения (202 queued → worker → ready, варианты thumbnail/crop/optimized). - Инфраструктура: LB + 2 реплики API, PostgreSQL 18.6, Redis 7.4.1, MinIO, RabbitMQ (outbox, retry, DLQ, lease), worker, outbox, s3_cleanup. - Наблюдаемость: OTel Collector, Prometheus, Loki, Tempo, Grafana с provisioning дашборда и алертов, runbooks. **Новое в lab7:** - **Argon2id** для паролей (`m=19456, t=2, p=1`), rehash старого scrypt при успешном входе. - **Внешний TLS** на LB (`:8443`, сертификат от локального CA). - **mTLS LB→API**: uvicorn с `--ssl-cert-reqs 2`, nginx предъявляет `lb-client.crt` (SAN `lb-client`), API проверяет CA и identity. Публичного API-порта нет. - **TLS к PostgreSQL**: `sslmode=verify-full` + `sslrootcert=/certs/ca.crt`. - **mTLS к OTel Collector**: `client_ca_file` на коллекторе, отдельные client cert для api/worker/outbox. - **OpenBao вне dev-mode**: file storage, TLS, `openbao-init` (one-shot) — init/unseal, KV v2, AppRole, scoped policies (`api`→`secret/data/app/api`, `worker`→`secret/data/app/worker`). Root token и unseal key только в `/secrets/bao-init.json`, вне Git. - **Rate-limit входа** через Redis (общий для реплик): `429` + `Retry-After`. - **Hardening контейнеров**: api/worker/outbox — non-root, `read_only`, `cap_drop: ALL`, `no-new-privileges`, `tmpfs /tmp`; LB — минимальные capabilities. - **Раннее ограничение тела** запроса по `Content-Length` → `413`. - **Ротация leaf-сертификата** LB без пересборки образов; **модель угроз** `security/THREAT_MODEL.md` и заполненная `contracts/trust-matrix.md`. ## Команды запуска из чистого clone ``` git clone https://gitflic.ru/project/vasyukova-nat/mtusi2026lab5.git git checkout solution/BVT2303-Vasyukova copy .env.example .env docker compose --env-file .env up -d --build curl.exe -s --cacert .\certs\ca.crt https://localhost:8443/health/ready ``` Grafana: `http://localhost:3000` (admin/admin). OpenBao доступен только внутри compose-сети (`https://openbao:8200`); bootstrap выполняют `security_init` и `openbao-init`. Проверки (в PowerShell с `$env:PYTHONUTF8="1"`): ``` python scripts/check_contract.py python scripts/validate_openapi.py python tests/smoke.py --base-url https://localhost:8443 --ca-file certs/ca.crt python tests/security.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt python tests/resilience.py --mode persistence --action-script scripts/restart.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt python tests/resilience.py --mode failover --action-script scripts/stop-one.bat --base-url https://localhost:8443 --ca-file ./certs/ca.crt python student-tests/lab7_test_level4.py --base-url https://localhost:8443 --ca-file ./certs/ca.crt ``` ## Результаты проверок и ссылка на REPORT.md Все проверки пройдены. Ключевые выводы: - `check_contract.py`, `validate_openapi.py` — PASS (структура и OpenAPI 3.1). - `smoke.py` (HTTPS) — `PASS: lab7 public API scenario`. - `security.py` — `PASS: trusted HTTPS works; untrusted CA rejected`. - `resilience.py --mode persistence` — PASS: перезапуск API+хранилищ, токен и данные сохранены. - `resilience.py --mode failover` — `{"observed_instances_before": 2, "successful_writes": 8, "failed_attempts": 0, "first_recovery_seconds": 6.345}`, PASS. - `lab7_test_level4.py` — PASS по всем 8 блокам: - Argon2id `{'m':'19456','t':'2','p':'1'}`; - rate-limit: `429`, `Retry-After = 39`, общий через Redis; - mTLS LB→API: positive + 2 negative; - revoke → 401; пустой trust store → `SSLCertVerificationError`; - OpenBao: allow `app/api`, deny `app/worker` и `sys/policies`; - hardening api/worker/outbox; - свежий leaf `lb-client` принят без пересборки; - API→PG: `verify-full` + CA pin, `actual SSL connections=12`. Полные команды и вывод — в `REPORT.md` (разделы «Запуск из чистого clone», «Доказательства критериев», «Выводы тестов»). ## Ограничения / известные ошибки - Учебный стенд на одном Docker-host; HA к потере хоста не заявлена. Реплики API и LB не делают PostgreSQL/MinIO/RabbitMQ высокодоступными. - OpenBao bootstrap автоматизирован (`openbao-init`), но CA private key и unseal share хранятся на том же хосте в `/secrets` — для production нужен внешний bootstrap trust и отдельное хранение unseal. - Redis и MinIO внутри compose-сети без TLS — документировано как закрытый локальный transport (учебное упрощение). - RabbitMQ внутри сети без mTLS — в `trust-matrix.md` помечено как учебное ограничение. - Ротация secrets/leaf частично ручная (повторный `bao kv put` + перевыпуск сертификата без пересборки образов); автоматической ротации по таймеру нет. - Версии образов закреплены явными тегами, digest не фиксировался. ## Источники и использование ИИ - Контракт и семантика: `contracts/openapi.json`, `contracts/README.md`, `contracts/observability.md`, `contracts/trust-matrix.md`. - Инструкции курса: `README.md`, `COURSE.md`, `CONTRIBUTING.md`. - Библиотеки: fastapi==0.115.0, uvicorn[standard]==0.32.0, psycopg[binary]==3.2.3, psycopg_pool==3.2.3, redis==5.2.0, boto3==1.35.74, Pillow==11.0.0, pika==1.3.2, argon2-cffi==23.1.0, opentelemetry-api==1.31.0, opentelemetry-sdk==1.31.0, opentelemetry-exporter-otlp-proto-http==1.31.0, opentelemetry-instrumentation-fastapi==0.52b0, opentelemetry-instrumentation-requests==0.52b0. - Первичные материалы по безопасности: OWASP Password Storage, OWASP File Upload, OpenBao AppRole, OpenBao policies. - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Весь код проверен, отредактирован и запущен разработчиком. --- - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Vasyukova-Nat added 15 commits 2026-11-06 15:44:15 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:55 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab7#2