11 KiB
Лабораторная 4
Заголовок PR: ЛР 4 — БВТ2303 — Ситосенко — на 5
- Автор / группа: Ситосенко / БВТ2303
- Целевая оценка: 5
- Трек 5: трек 2 — согласованность PostgreSQL и S3.
Что реализовано и что перенесено
Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
- Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
- Сообщения поддерживают до 10 уникальных
attachment_idsсвоего чата. Обычный текстовый POST остаётся валидным; отсутствиеattachment_idsравнозначно[]. Параллельные повторы с одним ключом создают одно сообщение. - Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
- На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API,
cap_drop=ALLиno-new-privileges. - Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
- Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис
cleanupвыполняет сверку периодически.
Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в student-tests/.
Команды запуска из чистого clone
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в go.mod; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:
python -X utf8 scripts/bootstrap.py
python -X utf8 scripts/manage.py start
python -X utf8 scripts/verify.py
Bootstrap создаёт локальные .env и secrets/, сохраняя уже существующие значения. start собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: http://127.0.0.1:8080.
# Состояние реальных контейнеров и хранилищ:
python -X utf8 scripts/manage.py status
# Dry-run сверки, без изменения данных:
docker compose exec -T api /messenger reconcile
# Остановка с сохранением данных:
docker compose down
Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: MANUAL.md.
Результаты проверок и отчёт
Окончательный прогон завершён: 24/24 проверки успешны, complete=true, protected_unchanged=true в verification.json.
- Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты,
go vetиgo test -race. Проверкиmake checkиmake testвыполнены эквивалентными командами Python; реальный вывод сохранён вevidence/contract.txtиevidence/smoke.txt. govulncheckприложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.- Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: 2,339 и 2,312 с.
- Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
- Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: 10/10 успешных загрузок в каждом профиле, 503 — 0. Суммы индивидуальных kernel memory peaks двух API: 155,77 и 291,10 MiB; это верхняя оценка общего пика, включая startup.
- В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.
Гипотеза, методика, измерения и ограничения: REPORT.md. Сводка результатов: RESULTS.md. Raw summaries: upload-memory.json, research.json, failures.json.
- Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный
BASE_URLсохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.
Ограничения / известные ошибки
- Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
- MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
- Для данного WSL2-host включён
GODEBUG=madvdontneed=0: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.
Источники и использование ИИ
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
- Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
- Проверки
make checkиmake testвыполнены эквивалентными командами Python; приложен реальный вывод. - Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
- Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
- README задания сохранён, REPORT.md содержит инструкцию именно этого решения.