forked from mtusi2026/mtusi2026lab4
78 lines
11 KiB
Markdown
78 lines
11 KiB
Markdown
## Лабораторная 4
|
||
|
||
**Заголовок PR:** ЛР 4 — БВТ2303 — Ситосенко — на 5
|
||
|
||
- **Автор / группа:** Ситосенко / БВТ2303
|
||
- **Целевая оценка:** 5
|
||
- **Трек 5:** трек 2 — согласованность PostgreSQL и S3.
|
||
|
||
### Что реализовано и что перенесено
|
||
|
||
Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
|
||
|
||
- Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
|
||
- Сообщения поддерживают до 10 уникальных `attachment_ids` своего чата. Обычный текстовый POST остаётся валидным; отсутствие `attachment_ids` равнозначно `[]`. Параллельные повторы с одним ключом создают одно сообщение.
|
||
- Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
|
||
- На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, `cap_drop=ALL` и `no-new-privileges`.
|
||
- Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
|
||
- Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис `cleanup` выполняет сверку периодически.
|
||
|
||
Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в `student-tests/`.
|
||
|
||
### Команды запуска из чистого clone
|
||
|
||
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в `go.mod`; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:
|
||
|
||
```powershell
|
||
python -X utf8 scripts/bootstrap.py
|
||
python -X utf8 scripts/manage.py start
|
||
python -X utf8 scripts/verify.py
|
||
```
|
||
|
||
Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя уже существующие значения. `start` собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: `http://127.0.0.1:8080`.
|
||
|
||
```powershell
|
||
# Состояние реальных контейнеров и хранилищ:
|
||
python -X utf8 scripts/manage.py status
|
||
|
||
# Dry-run сверки, без изменения данных:
|
||
docker compose exec -T api /messenger reconcile
|
||
|
||
# Остановка с сохранением данных:
|
||
docker compose down
|
||
```
|
||
|
||
Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: [MANUAL.md](../MANUAL.md).
|
||
|
||
### Результаты проверок и отчёт
|
||
|
||
Окончательный прогон завершён: **24/24 проверки успешны**, `complete=true`, `protected_unchanged=true` в [verification.json](../evidence/verification.json).
|
||
|
||
- Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, `go vet` и `go test -race`. Проверки `make check` и `make test` выполнены эквивалентными командами Python; реальный вывод сохранён в `evidence/contract.txt` и `evidence/smoke.txt`.
|
||
- `govulncheck` приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
|
||
- Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: **2,339 и 2,312 с**.
|
||
- Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
|
||
- Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: **10/10 успешных загрузок в каждом профиле, 503 — 0**. Суммы индивидуальных kernel memory peaks двух API: **155,77 и 291,10 MiB**; это верхняя оценка общего пика, включая startup.
|
||
- В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.
|
||
|
||
Гипотеза, методика, измерения и ограничения: [REPORT.md](../REPORT.md). Сводка результатов: [RESULTS.md](../evidence/RESULTS.md). Raw summaries: [upload-memory.json](../evidence/upload-memory.json), [research.json](../evidence/research.json), [failures.json](../evidence/failures.json).
|
||
|
||
- Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный `BASE_URL` сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.
|
||
|
||
### Ограничения / известные ошибки
|
||
|
||
- Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
|
||
- MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
|
||
- Для данного WSL2-host включён `GODEBUG=madvdontneed=0`: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.
|
||
|
||
### Источники и использование ИИ
|
||
|
||
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
|
||
|
||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||
- [x] Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
|
||
- [x] Проверки `make check` и `make test` выполнены эквивалентными командами Python; приложен реальный вывод.
|
||
- [x] Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
|
||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
|
||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
|