forked from mtusi2026/mtusi2026lab4
Реализация лабораторной работы 4 на 4
This commit is contained in:
@@ -1,37 +1,74 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Дадайкин Андрей, БВТ2302
|
||||
- Целевая оценка: 4
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Использованные источники, библиотеки и помощь ИИ:
|
||||
- - aioboto3` для асинхронной работы с S3 API.
|
||||
- - Использован ИИ (LLM) для код-ревью структуры валидатора изображений
|
||||
-
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
**Требования:** ОС Windows 11 (или Linux/WSL2), Docker Desktop, Python 3.12, Poetry.
|
||||
|
||||
1. **Настройка окружения:**
|
||||
Скопируйте пример переменных окружения:
|
||||
```cmd
|
||||
copy .env.example .env
|
||||
```
|
||||
|
||||
|
||||
2. **Запуск инфраструктуры и API:**
|
||||
```cmd
|
||||
docker compose --env-file .env up -d --build
|
||||
```
|
||||
*Контейнер `migrate` автоматически применит миграции к PostgreSQL перед стартом `api`. SeaweedFS поднимется как S3-совместимое хранилище.*
|
||||
|
||||
3. **Локальные тесты (в WSL или Git Bash):**
|
||||
```bash
|
||||
poetry install
|
||||
poetry run make check
|
||||
poetry run make test BASE_URL=http://localhost:8080
|
||||
poetry run pytest student-tests/
|
||||
```
|
||||
|
||||
4. **Тестирование отказоустойчивости:**
|
||||
```bash
|
||||
poetry run make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
|
||||
poetry run make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
|
||||
```
|
||||
*(На Windows скрипты `.sh` необходимо запускать через WSL или терминал, поддерживающий bash-скрипты, предварительно выполнив `chmod +x scripts/*.sh`).*
|
||||
|
||||
5. **Остановка и очистка данных:**
|
||||
```cmd
|
||||
docker compose down -v
|
||||
```
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
- **Хранилище байтов (S3):** Использован легковесный SeaweedFS (`chrislusf/seaweedfs:latest`), работающий в режиме S3-шлюза. Сервис изолирован в сети `backend`, публичный доступ закрыт (доступ только через API-реплики).
|
||||
- **Хранилище метаданных:** PostgreSQL (таблица `attachments` с полями `status`, `sha256`, `size_bytes`, `content_type`).
|
||||
- **Связь файлов и сообщений:** Массив `attachment_ids (UUID[])` добавлен в таблицу `messages`.
|
||||
- **Потоковая загрузка:** Реализован endpoint `POST /chats/{chat_id}/attachments`. Данные читаются через `request.stream()` и записываются в `tempfile`.
|
||||
- **Эффективная защита по RAM (Anti-Decompression Bomb):** Парсинг ширины и высоты PNG/JPEG происходит путем ручного чтения бинарных заголовков. Это позволяет отсекать изображения >40 млн пикселей, не декодируя файл в оперативную память.
|
||||
- **Безопасность имен:** Оригинальное имя файла `filename` сохраняется в БД для отображения клиенту. В S3 объект сохраняется под сгенерированным ключом `chat_id/attachment_id`, что исключает атаки типа Path Traversal.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Публичный smoke | `make test` | Пройден сценарий lab4, SHA-256 скачанного файла совпал. | `tests/smoke.py` |
|
||||
| Ограничение загрузки (до 10 МБ, mime) | `pytest student-tests/test_attachments.py` | Загрузка TXT под видом PNG возвращает 415. | `student-tests/test_attachments.py` |
|
||||
| Отсутствие доступа у постороннего | `make test` | Вызов GET-методов контента от 3-го лица выдает 404. | `tests/smoke.py` |
|
||||
| Restart стенда с сохранением файлов | `make test-persistence` | После `scripts/restart.sh` (БД, Valkey, API, S3) скачанный файл не бьется. | `scripts/restart.sh` |
|
||||
| Отказ API при загрузке (failover) | `make test-failover` | Скачивание файла происходит успешно через соседнюю реплику после остановки первой. | `scripts/stop-one.sh` |
|
||||
| Механизм компенсации БД/S3 | Запуск `scripts/reconcile_s3.py` | Скрипт (запускаемый по cron) находит `queued` файлы старше 24ч и удаляет сирот из S3. | `scripts/reconcile_s3.py` |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- **Ограничения парсера:** Ручной валидатор изображений `validate_image_and_get_mime` поддерживает базовые форматы JPEG и PNG. Прогрессивные форматы (WebP, AVIF) пока отклоняются с ошибкой 415.
|
||||
- **Упрощение реконсиляции:** Текущий механизм реконсилятора (`reconcile_s3.py`) запускается вручную. В production среде его необходимо вынести в Celery Beat или Kubernetes CronJob.
|
||||
- **Следующий шаг:** Переход на асинхронную генерацию миниатюр (thumbnail) и crop вариантов через брокер сообщений (RabbitMQ) для выполнения требований Лабораторной №5.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user