Files
mtusi2026lab4/REPORT.md
T
dawuduk 8faf08d8eb Зафиксировать проверки уровня 4 и отчёт.
Негативные загрузки, приватный bucket, очистка orphan и пик памяти при десяти одновременных upload лежат рядом с командами, которыми это воспроизводится.
2026-11-09 00:25:42 +03:00

97 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- Автор, группа: Булацев, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 4. Трек 5 не заявляется.
- Commit/PR: локальные коммиты после переноса lab3; PR не публиковался в этой сессии
- Использованные источники, библиотеки и помощь ИИ: контракт репозитория, документация SeaweedFS S3, boto3, Pillow. Реализация и прогон проверок сделаны с помощью Cursor.
## Запуск из чистого clone
Нужны Docker Compose v2 и Python 3.9+ на хосте. Образы закреплены: `python:3.12.8-slim-bookworm`, `postgres:16.6-alpine`, `redis:7.4.2-alpine`, `haproxy:2.8.14-alpine`, `chrislusf/seaweedfs:3.85` (`sha256:49312939c00c01e5ee6afbd7d728b18027821d3764c35a797a72acd4fdf3296a`).
```sh
cp .env.example .env
# заменить синтетические пароли и S3-ключи в локальном .env; файл не коммитить
docker compose --env-file .env up -d --build --scale api=2
```
`migrate` применяет SQL один раз. `s3-init` создаёт bucket, если его ещё нет, и при повторе только проверяет его. Порт снаружи один: `127.0.0.1:8080` у HAProxy. Реплики API, Postgres, Redis и SeaweedFS наружу не опубликованы.
Готовность: `GET http://127.0.0.1:8080/health/ready` отвечает 200, когда доступны Postgres, Redis и bucket. Недоступный S3 даёт 503.
```sh
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python -X utf8 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8080
python -X utf8 scripts/grade4_checks.py
python -X utf8 scripts/grade4_infra.py
```
Остановка без удаления данных: `docker compose --env-file .env stop`. Полное удаление учебных volumes: `docker compose --env-file .env down -v`.
На Windows `*.sh` запускались через Git Bash: оболочка не умеет стартовать shell-скрипт как Win32-процесс. Сами `scripts/restart.sh` и `scripts/stop-one.sh` не менялись под Windows.
## Архитектура и решения
Клиент ходит только в HAProxy. Две реплики API без публичных портов читают общие Postgres, Redis и SeaweedFS. Из lab3 перенесены сессии в Redis с AOF, идемпотентность POST сообщения, drain по SIGTERM и миграции отдельным контейнером. В этой работе добавлены байты вложений.
Источник истины для пользователей, чатов, сообщений и метаданных вложений — Postgres. Байты лежат в приватном bucket `messenger-attachments`, ключ назначает сервер: `originals/<uuid>`. Имя файла только отображается. Публичный API не отдаёт ключ, адрес хранилища и credentials.
`201` возвращается после PUT и COMMIT метаданных со `status=ready`. Если COMMIT не прошёл, процесс удаляет объект. Намерение пишется в `blob_writes` до PUT. Строки со `committed=false` старше `ORPHAN_GRACE_SECONDS` (120) снимает фоновый обход: свежий незаконченный upload не трогается, привязанный к сообщению объект не удаляется, потому что у него `committed=true`. Обрыв клиента до конца тела не создаёт объект: в bucket пишется уже проверенный буфер.
Лимит 10 MiB смотрится по `Content-Length` до чтения тела и повторно по фактическому потоку. Число пикселей берётся из заголовка PNG/JPEG до `Pillow.verify()`. MIME сверяется с сигнатурой, а не с заявленным `Content-Type` в одиночку.
`/health/ready` зависит от Postgres, Redis и `HeadBucket`. Сессии по-прежнему в Redis (`SESSION_STORE=redis`), не в Postgres.
| Роль | Сервис | Образ | Проверка | Volume | Порт |
| --- | --- | --- | --- | --- | --- |
| api | api ×2 | сборка `mtusi-messenger:lab4` | `/health/ready` | нет | только внутри сети |
| postgres | postgres | `postgres:16.6-alpine` | `pg_isready` | `pg_data` | не опубликован |
| redis | redis | `redis:7.4.2-alpine` | `redis-cli ping` | `redis_data` | не опубликован |
| load_balancer | lb | `haproxy:2.8.14-alpine` | backend `/health/ready` | нет | `127.0.0.1:8080` |
| s3 | s3 | `chrislusf/seaweedfs:3.85` | master status и ответ порта 9000 | `s3_data` | не опубликован |
Образ `minio/minio` в этом окружении с Docker Hub не скачивается, поэтому взято одно из разрешённых хранилищ — SeaweedFS. UI filer выключен. Анонимная identity без прав. Ключ API может читать, писать и администрировать только свой bucket; создание другого bucket отвечает `AccessDenied`.
## Доказательства критериев
Стенд: 12th Gen Intel Core i5-12450H, 16 ГБ RAM. Лимиты контейнера API: 0.50 CPU и 256 МиБ.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080` | PASS, SHA-256 вложения совпал, посторонний получил 404 | вывод команды |
| Сохранность lab3 и пустой `attachment_ids` | тот же smoke и `scripts/grade4_checks.py` | текстовый POST остаётся 201, в истории `attachment_ids: []` | `evidence/grade4-api.txt` |
| Оригинал PNG и JPEG | `scripts/grade4_checks.py` | 201 ready, скачивание побайтно, без `Location` | `evidence/grade4-api.txt` |
| Опасное имя, подмена MIME, обрезка, пиксели, >10 МиБ | `scripts/grade4_checks.py` | 400 / 415 / 413, ни одного 500 | `evidence/grade4-api.txt` |
| Чужой чат и чужое вложение | `scripts/grade4_checks.py` | 404 и для метаданных, и для байтов | `evidence/grade4-api.txt` |
| Restart с volumes | `tests/resilience.py --mode persistence` через `scripts/restart.sh` | PASS: сессия, сообщение и исходный файл на месте | вывод команды |
| Остановка загрузившей реплики | `tests/resilience.py --mode failover` через `scripts/stop-one.sh` | 2 реплики до отказа; запись вернулась за 3.583 с; 105 успешных POST, 1 ошибка переходного периода; файл скачался снова | вывод команды |
| Приватный bucket вне API | `scripts/grade4_infra.py` | анонимный GET bucket — 403; порт 9000 не опубликован | `evidence/grade4-infra.json` |
| Ограниченные ключи | тот же скрипт | `create_bucket` другого имени — `AccessDenied` | `evidence/grade4-infra.json` |
| Компенсация orphan | тот же скрипт, grace 120 с | старый незакоммиченный объект удалён, свежий оставлен | `evidence/grade4-infra.json` |
| Память 10 загрузок | тот же скрипт, docker stats | 10×230778 байт, все 201, пик API 61.7 МиБ при лимите 256 | `evidence/grade4-infra.json` |
`Content-Length: 10485761` при коротком теле отвечает 413 до дочитывания заявленного размера.
## Эксперименты и отказы
Гипотеза уровня 4: десять одновременных загрузок около 230 КиБ не поднимают RSS реплики к лимиту 256 МиБ, потому что тело ограничено 10 МиБ и не декодируется целиком до проверки пикселей. Один прогон, без прогрева отдельной фазой. Это не профиль RPS сообщений.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `scripts/restart.sh` (postgres, redis, s3, api), volumes сохранены | те же сессия, сообщение и байты | PASS публичного persistence | готовность вернулась в пределах ожидания теста (90 с) |
| `scripts/stop-one.sh` одной реплики | другая реплика принимает POST и отдаёт тот же файл | recovery 3.583 с, дублей нет, вложение совпало | остановленная реплика сама не поднималась |
| Незакоммиченный объект старше grace | объект исчезает, свежий нет | удалена 1 старая запись, свежая осталась | без потери ready-вложений |
| Анонимный S3 GET | отказ | 403 | — |
## Ограничения и следующие шаги
Один Docker-хост. Отказ машины гасит и API, и Postgres, и SeaweedFS. Несколько реплик API этого не лечат.
Скачивание и загрузка держат в памяти процесса не больше лимита 10 МиБ плюс проверку Pillow. Это граница, а не потоковая отдача клиенту минуя буфер. Эксперимент памяти сделан на файлах ~226 КиБ, не на десяти одновременных файлах по 10 МиБ.
Окно между PUT и COMMIT закрывается немедленным удалением при ошибке и обходом раз в 30 с. Объект, умерший внутри grace 120 с, временно занимает место. Прямой presigned upload и отдельный reconciler всего bucket не делались: это трек 5.
Случайный ключ и закрытый bucket не заменяют проверку участника чата: скачивание идёт через API и для постороннего даёт 404, даже если он угадает UUID.