ЛР 4 - БВТ2303 - Ситосенко - на 5 #39

Closed
Roflyan wants to merge 3 commits from Roflyan/mtusi2026lab4-fork:solution/bvt2303-sitosenko into main
First-time contributor

Лабораторная 4

  • Автор / группа: Ситосенко / БВТ2303
  • Целевая оценка: 5
  • Трек 5: трек 2 — согласованность PostgreSQL и S3.

Что реализовано и что перенесено

Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.

  • Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
  • Сообщения поддерживают до 10 уникальных attachment_ids своего чата. Обычный текстовый POST остаётся валидным; отсутствие attachment_ids равнозначно []. Параллельные повторы с одним ключом создают одно сообщение.
  • Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
  • На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, cap_drop=ALL и no-new-privileges.
  • Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
  • Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис cleanup выполняет сверку периодически.

Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в student-tests/.

Команды запуска из чистого clone

Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в go.mod; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:

python -X utf8 scripts/bootstrap.py
python -X utf8 scripts/manage.py start
python -X utf8 scripts/verify.py

Bootstrap создаёт локальные .env и secrets/, сохраняя уже существующие значения. start собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: http://127.0.0.1:8080.

# Состояние реальных контейнеров и хранилищ:
python -X utf8 scripts/manage.py status

# Dry-run сверки, без изменения данных:
docker compose exec -T api /messenger reconcile

# Остановка с сохранением данных:
docker compose down

Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: MANUAL.md.

Результаты проверок и отчёт

Окончательный прогон завершён: 24/24 проверки успешны, complete=true, protected_unchanged=true в verification.json.

  • Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, go vet и go test -race. Проверки make check и make test выполнены эквивалентными командами Python; реальный вывод сохранён в evidence/contract.txt и evidence/smoke.txt.
  • govulncheck приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
  • Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: 2,339 и 2,312 с.
  • Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
  • Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: 10/10 успешных загрузок в каждом профиле, 503 — 0. Суммы индивидуальных kernel memory peaks двух API: 155,77 и 291,10 MiB; это верхняя оценка общего пика, включая startup.
  • В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.

Гипотеза, методика, измерения и ограничения: REPORT.md. Сводка результатов: RESULTS.md. Raw summaries: upload-memory.json, research.json, failures.json.

  • Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный BASE_URL сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.

Ограничения / известные ошибки

  • Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
  • MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
  • Для данного WSL2-host включён GODEBUG=madvdontneed=0: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.

Источники и использование ИИ

Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
  • Проверки make check и make test выполнены эквивалентными командами Python; приложен реальный вывод.
  • Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
  • README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
## Лабораторная 4 - **Автор / группа:** Ситосенко / БВТ2303 - **Целевая оценка:** 5 - **Трек 5:** трек 2 — согласованность PostgreSQL и S3. ### Что реализовано и что перенесено Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией. - Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений. - Сообщения поддерживают до 10 уникальных `attachment_ids` своего чата. Обычный текстовый POST остаётся валидным; отсутствие `attachment_ids` равнозначно `[]`. Параллельные повторы с одним ключом создают одно сообщение. - Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect. - На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, `cap_drop=ALL` и `no-new-privileges`. - Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте. - Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис `cleanup` выполняет сверку периодически. Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в `student-tests/`. ### Команды запуска из чистого clone Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в `go.mod`; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона: ```powershell python -X utf8 scripts/bootstrap.py python -X utf8 scripts/manage.py start python -X utf8 scripts/verify.py ``` Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя уже существующие значения. `start` собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: `http://127.0.0.1:8080`. ```powershell # Состояние реальных контейнеров и хранилищ: python -X utf8 scripts/manage.py status # Dry-run сверки, без изменения данных: docker compose exec -T api /messenger reconcile # Остановка с сохранением данных: docker compose down ``` Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: [MANUAL.md](MANUAL.md). ### Результаты проверок и отчёт Окончательный прогон завершён: **24/24 проверки успешны**, `complete=true`, `protected_unchanged=true` в [verification.json](evidence/verification.json). - Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, `go vet` и `go test -race`. Проверки `make check` и `make test` выполнены эквивалентными командами Python; реальный вывод сохранён в `evidence/contract.txt` и `evidence/smoke.txt`. - `govulncheck` приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO. - Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: **2,339 и 2,312 с**. - Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки. - Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: **10/10 успешных загрузок в каждом профиле, 503 — 0**. Суммы индивидуальных kernel memory peaks двух API: **155,77 и 291,10 MiB**; это верхняя оценка общего пика, включая startup. - В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов. Гипотеза, методика, измерения и ограничения: [REPORT.md](REPORT.md). Сводка результатов: [RESULTS.md](evidence/RESULTS.md). Raw summaries: [upload-memory.json](evidence/upload-memory.json), [research.json](evidence/research.json), [failures.json](evidence/failures.json). - Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный `BASE_URL` сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены. ### Ограничения / известные ошибки - Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными. - MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется. - Для данного WSL2-host включён `GODEBUG=madvdontneed=0`: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности. ### Источники и использование ИИ Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256. - [x] Проверки `make check` и `make test` выполнены эквивалентными командами Python; приложен реальный вывод. - [x] Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов. - [x] README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
Roflyan added 2 commits 2026-10-30 20:58:41 +03:00
Roflyan added 1 commit 2026-10-30 21:01:14 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 15:59:59 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#39