Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
Сообщения поддерживают до 10 уникальных attachment_ids своего чата. Обычный текстовый POST остаётся валидным; отсутствие attachment_ids равнозначно []. Параллельные повторы с одним ключом создают одно сообщение.
Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, cap_drop=ALL и no-new-privileges.
Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис cleanup выполняет сверку периодически.
Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в student-tests/.
Команды запуска из чистого clone
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в go.mod; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:
Bootstrap создаёт локальные .env и secrets/, сохраняя уже существующие значения. start собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: http://127.0.0.1:8080.
# Состояние реальных контейнеров и хранилищ:python-Xutf8scripts/manage.pystatus# Dry-run сверки, без изменения данных:dockercomposeexec-Tapi/messengerreconcile# Остановка с сохранением данных:dockercomposedown
Окончательный прогон завершён: 24/24 проверки успешны, complete=true, protected_unchanged=true в verification.json.
Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, go vet и go test -race. Проверки make check и make test выполнены эквивалентными командами Python; реальный вывод сохранён в evidence/contract.txt и evidence/smoke.txt.
govulncheck приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: 2,339 и 2,312 с.
Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: 10/10 успешных загрузок в каждом профиле, 503 — 0. Суммы индивидуальных kernel memory peaks двух API: 155,77 и 291,10 MiB; это верхняя оценка общего пика, включая startup.
В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.
Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный BASE_URL сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.
Ограничения / известные ошибки
Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
Для данного WSL2-host включён GODEBUG=madvdontneed=0: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.
Источники и использование ИИ
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
Проверки make check и make test выполнены эквивалентными командами Python; приложен реальный вывод.
Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
## Лабораторная 4
- **Автор / группа:** Ситосенко / БВТ2303
- **Целевая оценка:** 5
- **Трек 5:** трек 2 — согласованность PostgreSQL и S3.
### Что реализовано и что перенесено
Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
- Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
- Сообщения поддерживают до 10 уникальных `attachment_ids` своего чата. Обычный текстовый POST остаётся валидным; отсутствие `attachment_ids` равнозначно `[]`. Параллельные повторы с одним ключом создают одно сообщение.
- Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
- На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, `cap_drop=ALL` и `no-new-privileges`.
- Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
- Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис `cleanup` выполняет сверку периодически.
Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в `student-tests/`.
### Команды запуска из чистого clone
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в `go.mod`; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:
```powershell
python -X utf8 scripts/bootstrap.py
python -X utf8 scripts/manage.py start
python -X utf8 scripts/verify.py
```
Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя уже существующие значения. `start` собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: `http://127.0.0.1:8080`.
```powershell
# Состояние реальных контейнеров и хранилищ:
python -X utf8 scripts/manage.py status
# Dry-run сверки, без изменения данных:
docker compose exec -T api /messenger reconcile
# Остановка с сохранением данных:
docker compose down
```
Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: [MANUAL.md](MANUAL.md).
### Результаты проверок и отчёт
Окончательный прогон завершён: **24/24 проверки успешны**, `complete=true`, `protected_unchanged=true` в [verification.json](evidence/verification.json).
- Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, `go vet` и `go test -race`. Проверки `make check` и `make test` выполнены эквивалентными командами Python; реальный вывод сохранён в `evidence/contract.txt` и `evidence/smoke.txt`.
- `govulncheck` приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
- Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: **2,339 и 2,312 с**.
- Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
- Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: **10/10 успешных загрузок в каждом профиле, 503 — 0**. Суммы индивидуальных kernel memory peaks двух API: **155,77 и 291,10 MiB**; это верхняя оценка общего пика, включая startup.
- В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.
Гипотеза, методика, измерения и ограничения: [REPORT.md](REPORT.md). Сводка результатов: [RESULTS.md](evidence/RESULTS.md). Raw summaries: [upload-memory.json](evidence/upload-memory.json), [research.json](evidence/research.json), [failures.json](evidence/failures.json).
- Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный `BASE_URL` сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.
### Ограничения / известные ошибки
- Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
- MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
- Для данного WSL2-host включён `GODEBUG=madvdontneed=0`: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.
### Источники и использование ИИ
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
- [x] Проверки `make check` и `make test` выполнены эквивалентными командами Python; приложен реальный вывод.
- [x] Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Что реализовано и что перенесено
Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
attachment_idsсвоего чата. Обычный текстовый POST остаётся валидным; отсутствиеattachment_idsравнозначно[]. Параллельные повторы с одним ключом создают одно сообщение.cap_drop=ALLиno-new-privileges.cleanupвыполняет сверку периодически.Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в
student-tests/.Команды запуска из чистого clone
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в
go.mod; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:Bootstrap создаёт локальные
.envиsecrets/, сохраняя уже существующие значения.startсобирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа:http://127.0.0.1:8080.Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: MANUAL.md.
Результаты проверок и отчёт
Окончательный прогон завершён: 24/24 проверки успешны,
complete=true,protected_unchanged=trueв verification.json.go vetиgo test -race. Проверкиmake checkиmake testвыполнены эквивалентными командами Python; реальный вывод сохранён вevidence/contract.txtиevidence/smoke.txt.govulncheckприложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.Гипотеза, методика, измерения и ограничения: REPORT.md. Сводка результатов: RESULTS.md. Raw summaries: upload-memory.json, research.json, failures.json.
BASE_URLсохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.Ограничения / известные ошибки
GODEBUG=madvdontneed=0: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.Источники и использование ИИ
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
make checkиmake testвыполнены эквивалентными командами Python; приложен реальный вывод.Принято. Закрываю МР.
Pull request closed