forked from mtusi2026/mtusi2026lab4
236 lines
42 KiB
Markdown
236 lines
42 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Автор, группа: Бабиченко Максим, БВТ2303
|
||
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
|
||
- Commit/PR: <<ссылка на MR в Gitea после публикации>>
|
||
- Использованные источники, библиотеки и помощь ИИ: всё из lab3 (FastAPI, Uvicorn, Pydantic, psycopg 3 и psycopg-pool, argon2-cffi, redis-py; образы python:3.11.13-slim, postgres:17.11-alpine, redis:7.4.11-alpine, haproxy:3.2.25-alpine). Новое: boto3/botocore 1.43.116 (S3-клиент), Pillow 12.3.0 (проверка JPEG), образ chrislusf/seaweedfs:3.80. Документация: AWS S3 (PutObject, x-amz-checksum-sha256, presigned URLs), SeaweedFS (`weed server -s3`, S3 API, статический конфиг identities с правами `Read/Write/List:<bucket>`), спецификация PNG (структура чанков, CRC, IHDR, фильтры строк, Adam7), botocore Config (timeouts, `total_max_attempts`). При написании кода и тестов использовался ИИ-ассистент (Claude); весь код проверен и прогнан мной, объяснить и изменить его могу на защите.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Проверял на Windows 11, все команды в PowerShell. Версии Docker, Compose и ресурсы машины — в `evidence/stack.txt`. Python нужен только для тестов (стандартная библиотека, Pillow на хосте не нужен). Перед запуском остановить стенд lab3 (`docker compose down` в его папке), иначе занят порт 8080.
|
||
|
||
```powershell
|
||
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab4.git
|
||
cd mtusi2026lab4
|
||
git checkout solution/bvt2303-babichenko
|
||
$env:PYTHONUTF8 = "1" # contracts/openapi.json в UTF-8, без этого тесты на Windows падают
|
||
Copy-Item .env.example .env
|
||
python scripts/init_secrets.py # случайные пароли, S3-ключи и secrets/s3_config.json (папка в .gitignore)
|
||
docker compose up -d --build --wait # postgres, s3 -> migrate, s3-init -> 2 реплики api, janitor -> lb
|
||
docker compose ps -a # migrate и s3-init: Exited (0), остальные healthy/running
|
||
|
||
python student-tests/collect_evidence.py # все проверки по очереди (~8 мин), вывод в evidence/, таблицы в этот отчёт
|
||
```
|
||
|
||
Отдельные проверки (make на моём Windows нет, ниже то же самое без make):
|
||
|
||
| Команда из README | То же в PowerShell |
|
||
| --- | --- |
|
||
| `make check` | `python scripts/check_contract.py` |
|
||
| `make test` | `python tests/smoke.py --base-url http://127.0.0.1:8080` |
|
||
| `make test-persistence ACTION_SCRIPT=...` | `python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080` |
|
||
| `make test-failover ACTION_SCRIPT=...` | `python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080` |
|
||
| тесты вложений (уровень 3–4) | `python student-tests/test_attachments.py` |
|
||
| S3 вне API, права ключа, bootstrap | `python student-tests/test_s3_security.py` |
|
||
| отказы S3/БД, janitor | `python student-tests/test_consistency.py [s3\|crash\|orphan\|aborted]` |
|
||
| 10+ одновременных загрузок, память | `python student-tests/upload_memory.py` |
|
||
| ручной проход очистки | `docker compose exec janitor python janitor.py --once --dry-run` |
|
||
|
||
После `test-failover` одна реплика остаётся остановленной (так требует тест). Вернуть её: `docker start <ID из docker compose ps -a>` или `docker compose up -d --wait`. На Linux/macOS вместо `.cmd` — `scripts/restart.sh` и `scripts/stop-one.sh`.
|
||
|
||
Bootstrap: миграции применяет одноразовый сервис `migrate`, bucket и проверку прав S3 — одноразовый сервис `s3-init` (`s3_init.py`, тот же образ, что у API); оба запускаются сами при `docker compose up`, оба идемпотентны. Повторить вручную: `docker compose run --rm migrate`, `docker compose run --rm s3-init`. Остановка без потери данных: `docker compose down` (volumes `pgdata`, `redisdata`, `s3data` остаются). Намеренное удаление учебных данных: `docker compose down -v`, затем удалить папку `secrets` и снова `python scripts/init_secrets.py` (новые пароли не подходят к старым volumes, поэтому удаляются вместе).
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
Клиент --HTTP--> lb: HAProxy 3.2, 127.0.0.1:8080 (единственный опубликованный порт)
|
||
| round robin, без привязки клиента к реплике
|
||
+--> api-1 --+
|
||
+--> api-2 --+--> postgres: пользователи, чаты, сообщения, МЕТАДАННЫЕ вложений (volume pgdata)
|
||
+--> redis: сессии (AOF, volume redisdata)
|
||
+--> s3 (SeaweedFS): БАЙТЫ вложений, приватный bucket (volume s3data)
|
||
janitor: раз в 5 мин удаляет брошенные загрузки и объекты-сироты (postgres + s3)
|
||
migrate: одноразово применяет migrations/*.sql
|
||
s3-init: одноразово создаёт приватный bucket и проверяет права ключей и закрытость bucket
|
||
сети: edge (lb <-> api) и data (всё остальное; internal, без выхода наружу)
|
||
```
|
||
|
||
| Роль | Сервис Compose | Версия | Health / готовность | Volume | Сеть / порт | Credentials |
|
||
| --- | --- | --- | --- | --- | --- | --- |
|
||
| Балансировщик | `lb` | haproxy:3.2.25-alpine | `/lb-health` на 8404 | нет | edge; `127.0.0.1:8080`, `127.0.0.1:8404/stats` | не нужны |
|
||
| API ×2 | `api` (Dockerfile, `deploy.replicas: 2`) | python:3.11.13-slim | `/health/ready` (PostgreSQL + Redis) | нет | edge + data; наружу не публикуется | `database_url`, `cache_url`, `s3_access_key_id`, `s3_secret_access_key` |
|
||
| S3 | `s3` | chrislusf/seaweedfs:3.80 (`weed server -s3`: master, volume, filer и S3 в одном процессе) | S3-порт отвечает по HTTP (`wget`) | `s3data` (данные и метаданные filer) | только data; S3 8333, UI master 9333 и filer 8888 доступны только внутри стенда, наружу не публикуются | `s3_config` (конфиг ключей и прав) |
|
||
| Bootstrap S3 | `s3-init` (образ приложения, `s3_init.py`) | python:3.11.13-slim | завершается с кодом 0 | нет | data | admin-ключ + ключ API (для проверки прав) |
|
||
| Очистка | `janitor` (тот же образ) | python:3.11.13-slim | процесс работает | нет | data | `database_url` + ограниченный ключ S3 |
|
||
| Миграции | `migrate` | python:3.11.13-slim | завершается с кодом 0 | нет | data | только `database_url` |
|
||
| База данных | `postgres` | postgres:17.11-alpine | `pg_isready` | `pgdata` | data, 5432 | `POSTGRES_PASSWORD_FILE` |
|
||
| Сессии | `redis` | redis:7.4.11-alpine | `redis-cli ping` с паролем | `redisdata` (AOF) | data, 6379 | `include /run/secrets/redis_auth` |
|
||
|
||
Почему SeaweedFS: из трёх разрешённых вариантов MinIO отпал — его образы больше не раздаются ни с Docker Hub, ни с quay.io (проверено при сборке стенда: `pull access denied` / `unauthorized`), а закреплённый тег без доступного образа не воспроизводится. У SeaweedFS образ на Docker Hub, а права ключей задаются статическим конфигом (`-s3.config`): отдельный ключ API с правами только на свой bucket получается без отдельной утилиты администрирования. Закреплена версия 3.80, `latest` не используется.
|
||
|
||
Что перенесено из lab3 без изменений по смыслу: аутентификация и сессии в Redis, пользователи/чаты/сообщения, идемпотентность, HAProxy с проверкой готовности и аварийным режимом, двухшаговая остановка по SIGTERM, сервис `migrate`, свои тесты lab1–3.
|
||
|
||
Что изменено в lab4:
|
||
- Новые файлы: `storage.py` (S3-клиент), `uploads.py` (приём и проверка файла), `attachments.py` (запись в две системы), `janitor.py` (очистка/сверка), `s3_init.py` (bootstrap S3), `migrations/004_attachments.sql`.
|
||
- `main.py`: endpoint загрузки, метаданных и скачивания; `attachment_ids` в сообщениях; `db.py`: вложения и связь сообщение–вложение.
|
||
- `compose.yaml`: сервисы `s3`, `s3-init`, `janitor`, volume `s3data`, пять новых секретов (admin-ключ, ключ API, конфиг ключей SeaweedFS); `infra/haproxy.cfg`: `timeout server 30s` (см. ниже); restart-скрипты перезапускают ещё `s3` и `janitor`.
|
||
- `scripts/init_secrets.py` дописывает недостающие секреты (в том числе `s3_config.json` с правами ключей) и не трогает существующие.
|
||
|
||
### Модель данных
|
||
|
||
`attachments` (миграция 004): `id`, `chat_id`, `owner_id`, `filename` (только для отображения), `content_type`, `size_bytes`, `sha256`, `width`, `height`, `object_key`, `state` (`uploading` | `ready`), `created_at`, `updated_at`. `object_key` = `originals/<32 случайных hex>`: его назначает сервер, имя файла в ключ не попадает (CHECK на формат). Внешний ключ `(chat_id, owner_id) -> chat_members`: загрузить можно только в свой чат.
|
||
|
||
`message_attachments (message_id, chat_id, attachment_id, position)`: порядок вложений в сообщении. Оба внешних ключа составные и содержат один и тот же `chat_id`: `(message_id, chat_id) -> messages`, `(attachment_id, chat_id) -> attachments`. Поэтому вложение другого чата нельзя прикрепить даже прямым INSERT в обход API. Одно вложение можно прикрепить к нескольким сообщениям (контракт: «любой участник может ссылаться на доступное вложение чата»). Ограничение на текст сообщения ослаблено до `<= 16000 байт`: пустой текст допустим с вложением, проверку «текст или вложение» делает API.
|
||
|
||
### Загрузка: что и в каком порядке проверяется
|
||
|
||
`POST /api/v1/chats/{chat_id}/attachments?filename=...`, тело — сырые байты одного PNG/JPEG.
|
||
|
||
1. До чтения тела: сессия (401) -> участник чата (404) -> `filename` 1–255 символов без `/`, `\`, NUL, управляющих символов, не `.`/`..` (400) -> `Content-Type` только `image/png`/`image/jpeg` (415) -> `Content-Length` больше 10 485 760 (413). При этих ошибках тело дочитывается и выбрасывается (до 20 MiB / 10 с, ничего не сохраняя), чтобы клиент получил ответ, а не обрыв соединения.
|
||
2. Тело читается кусками: размер и SHA-256 считаются на лету, данные пишутся во временный файл (до 256 KiB в памяти, остальное на диск контейнера). Первый байт сверх 10 MiB -> 413, чтение прекращается (работает и без `Content-Length`, при `Transfer-Encoding: chunked`). Таймауты: 10 с без данных, 60 с на всё тело (`UPLOAD_IDLE_TIMEOUT_SECONDS`, `UPLOAD_TIMEOUT_SECONDS`).
|
||
3. Тип по сигнатуре (`\x89PNG...`, `FF D8 FF`), не по заголовку. Не PNG/JPEG -> 415; заявленный тип не совпадает с содержимым -> 415.
|
||
4. Размер в пикселях читается из заголовка (IHDR / SOF) и проверяется ДО распаковки: больше 40 000 000 -> 413.
|
||
5. Проверка целостности с ограниченной памятью:
|
||
- PNG — своя потоковая проверка (`uploads.check_png`): CRC каждого чанка, порядок IHDR/PLTE/IDAT/IEND, допустимые тип цвета и глубина, ничего после IEND; IDAT распаковывается zlib кусками по 64 KiB (вывод не хранится), считается точный объём данных по IHDR (с учётом Adam7) и проверяется байт фильтра каждой строки. «Zip-бомба» не раздувает память: распаковка идёт порциями и обрывается, как только данных больше, чем обещал заголовок.
|
||
- JPEG — Pillow декодирует весь поток, но в масштабе 1/8 (`draft`): 40 Мпикс -> ~0,6 Мпикс, около 2 MiB.
|
||
- Одновременно в реплике проверяется не больше `DECODE_CONCURRENCY=2` файлов (CPU).
|
||
Битый файл -> 415. Любая ошибка разбора ловится и превращается в 415, а не 500. Проверка PNG сверена с Pillow: 400 случайных корректных PNG разных типов приняты, 400 испорченных (обрезка, перевёрнутый бит) отклонены.
|
||
6. Запись (см. следующий раздел) и ответ `201 Attachment` со `status=ready`, `variants=[]`, `error_code=null`.
|
||
|
||
Временный файл удаляется в `finally` при любом исходе: оригинал после ответа существует только в S3. У контейнеров `api` нет volumes, это проверяет `test_consistency.py`.
|
||
|
||
Скачивание: `GET /api/v1/attachments/{id}/content` — сначала проверка участника чата в PostgreSQL (иначе 404, как у несуществующего), потом GET из S3 и потоковая отдача кусками по 64 KiB с истинным `Content-Type`, `Content-Length`, `X-Content-Type-Options: nosniff`, `Content-Disposition: inline; filename*=UTF-8''...`. Без redirect и без подписанных URL. `variant` — только `original` (иное -> 400).
|
||
|
||
### Согласованность PostgreSQL и S3
|
||
|
||
Распределённой транзакции нет, поэтому порядок записи выбран так, чтобы у каждого объекта в bucket была строка-указатель в БД (`attachments.py`):
|
||
|
||
| Шаг | Если здесь отказ |
|
||
| --- | --- |
|
||
| 1. `INSERT attachments (state='uploading')` + COMMIT | в S3 ничего нет; клиенту 503 |
|
||
| 2. `PUT` объекта в S3 с `x-amz-checksum-sha256` (S3 сам сверяет SHA-256) | откат: короткий DELETE объекта (PUT мог пройти при таймауте) и удаление строки; если S3 недоступен и откат не удался, строка `uploading` остаётся указателем для janitor; клиенту 503 |
|
||
| 3. `UPDATE state='ready'` + COMMIT | клиенту 503; объект сразу НЕ удаляется: при обрыве связи COMMIT мог пройти, удаление сломало бы готовое вложение. Строка остаётся `uploading` -> её разберёт janitor |
|
||
| 4. `201` | только после шага 3 |
|
||
|
||
Строки `uploading` не видны через API (GET -> 404) и не прикрепляются к сообщениям (404), сообщение может ссылаться только на `ready` (проверка под `FOR SHARE` в той же транзакции, что и INSERT сообщения).
|
||
|
||
`janitor.py` (сервис `janitor`, раз в `JANITOR_INTERVAL_SECONDS=300`, один экземпляр за счёт `pg_try_advisory_lock`):
|
||
1. Строки `uploading` старше grace period: под `FOR UPDATE SKIP LOCKED` удалить объект (DELETE идемпотентен), затем строку. Если S3 недоступен — транзакция откатывается, строка остаётся до следующего прохода.
|
||
2. Обход bucket (`originals/`, постранично): объект старше grace period без строки в БД (в любом состоянии) — сирота, удаляется (перед удалением ещё раз проверяется, что строка не появилась). Живая загрузка всегда имеет строку, потому что строка коммитится до PUT.
|
||
3. Отчёт о `ready`-строках без объекта (`missing_objects`). Их janitor не удаляет: это потеря данных, её чинят восстановлением из резервной копии, а не автоматической очисткой; скачивание такого файла отвечает 503, не 500.
|
||
|
||
Grace period: `ATTACHMENT_GRACE_SECONDS=3600`, janitor и API отказываются стартовать, если он меньше `2 x UPLOAD_TIMEOUT_SECONDS`. Самая долгая загрузка после записи строки живёт: PUT до 2 x (1 + 5) с + откат 2 с + UPDATE до 8 с, то есть меньше 30 с — в 120 раз меньше grace period. Поэтому janitor не может удалить загрузку, которая ещё идёт, а если бы реплика зависла дольше часа, её UPDATE не найдёт строку (`state='uploading'` уже удалена под блокировкой) и клиент получит 503, а не «ready без объекта». Есть `--dry-run` (только отчёт) и `--once`.
|
||
|
||
Обрыв загрузки клиентом: строка пишется только после приёма и проверки всего тела, поэтому оборванная загрузка не оставляет ни строки, ни объекта; временный файл удаляется сразу.
|
||
|
||
### Готовность и отказ S3
|
||
|
||
S3 не входит в `/health/ready`: без него не работают только загрузка и скачивание файлов, а вход, чаты, сообщения (в том числе со ссылкой на уже загруженные вложения) и метаданные вложений продолжают работать. Если бы readiness зависел от S3, отказ S3 вывел бы из балансировки все реплики и остановил бы весь мессенджер. При недоступном S3 файловые операции отвечают `503 unavailable` без подробностей. Критичны для readiness, как и в lab3, PostgreSQL и Redis.
|
||
|
||
S3-клиент: connect timeout 1 с, read timeout 5 с, всего 2 попытки (`total_max_attempts`), откат — 1 попытка с таймаутом 2 с. Худший ответ при зависшем S3 около 13 с, поэтому в HAProxy `timeout server` увеличен с 15 до 30 с (пока клиент передаёт тело файла, этот таймаут не срабатывает: передачу ограничивают таймауты самого API).
|
||
|
||
### Безопасность хранилища
|
||
|
||
- Bucket приватный: в конфиге ключей SeaweedFS нет identity `anonymous`, поэтому любой запрос без подписи получает 403. Проверка вне API: `s3-init` и `test_s3_security.py` делают анонимные GET/HEAD/LIST/PUT прямо в S3 из внутренней сети — 403.
|
||
- Два ключа (`secrets/s3_config.json`, генерирует `scripts/init_secrets.py`): `admin` (Admin/Read/Write/List) есть только у `s3` (в конфиге) и `s3-init`; `messenger-api` для api и janitor — только `Read:messenger-attachments`, `Write:messenger-attachments`, `List:messenger-attachments`. Создать/удалить bucket, поменять политику или versioning ключ API не может — проверяют `s3-init` и `test_s3_security.py`.
|
||
- Порты S3 (8333), master (9333) и filer (8888) не публикуются, SeaweedFS только во внутренней сети `data` (`internal: true`); веб-интерфейсы master/filer доступны только контейнерам стенда, с хоста — connection refused.
|
||
- Bootstrap идемпотентен: `create_bucket` при существующем bucket получает `BucketAlreadyOwnedByYou/BucketAlreadyExists` и продолжает; проверочный объект ключа API создаётся и удаляется; в конце скрипт проверяет, что bucket private. Повторный `docker compose run --rm s3-init` ничего не ломает (тест). Права ключей — декларативный конфиг, применяется при старте `s3`.
|
||
- Приватный bucket и случайный ключ не заменяют проверку доступа в API: ключ объекта не секрет (может попасть в лог, бэкап, ошибку), а bucket «приватен» для всех, у кого нет ключа S3, — но не различает пользователей мессенджера. Кто участник какого чата, знает только API, поэтому проверка участника делается на каждый GET метаданных и байтов.
|
||
|
||
### Соответствие `.env.example`
|
||
|
||
| Переменная | Что делает в этом решении |
|
||
| --- | --- |
|
||
| APP_HOST, APP_PORT, APP_ENV | где слушает API (0.0.0.0:8080 внутри контейнера), APP_ENV пишется в лог |
|
||
| SESSION_TTL_SECONDS, SESSION_STORE=redis | срок жизни сессии 3600 с, сессии в Redis (как в lab3) |
|
||
| DATABASE_URL_FILE, CACHE_URL_FILE | пути к секретам с адресами PostgreSQL и Redis |
|
||
| API_REPLICAS | число реплик `api`, по умолчанию 2 |
|
||
| IDEMPOTENCY_TTL_SECONDS | не используется: ключ хранится вместе с сообщением бессрочно (не меньше 24 ч) |
|
||
| S3_ENDPOINT, S3_REGION, S3_BUCKET | `http://s3:8333`, `us-east-1`, `messenger-attachments` (path-style адресация) |
|
||
| S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE | ограниченный ключ API (identity `messenger-api` в `s3_config.json`) |
|
||
| MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS | 10 485 760 байт и 40 000 000 пикселей |
|
||
| S3_CONNECT_TIMEOUT_SECONDS, S3_READ_TIMEOUT_SECONDS, S3_MAX_ATTEMPTS, S3_POOL_MAX | 1 с, 5 с, 2 попытки всего, 20 соединений |
|
||
| UPLOAD_TIMEOUT_SECONDS, UPLOAD_IDLE_TIMEOUT_SECONDS | 60 с на всё тело, 10 с без данных |
|
||
| DECODE_CONCURRENCY | одновременных проверок изображений в реплике, 2 |
|
||
| ATTACHMENT_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS | grace period 3600 с, проход janitor раз в 300 с |
|
||
| DB_*, REDIS_*, SHUTDOWN_* | пулы, таймауты и остановка (как в lab3) |
|
||
|
||
## Доказательства критериев
|
||
|
||
Все файлы `evidence/*.txt` создаёт `python student-tests/collect_evidence.py` (вывод тестов как есть, с датой, commit и кодом выхода); сводка — `evidence/summary.md`.
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | PASS через балансировщик, с загрузкой, сообщением с `attachment_ids`, скачиванием и 404 постороннему | evidence/smoke.txt |
|
||
| Skeleton и контракт не изменены | `python scripts/check_contract.py` | PASS; `contracts/`, `tests/`, README не менялись | evidence/check.txt |
|
||
| 3: возможности lab3 сохранены | `test_balancing.py`, `test_idempotency.py`, `test_api.py`, `test_race.py`, `test_db.py`, `redis_info.py`, `explain.py`, `test_failures.py`, публичный failover | все PASS через балансировщик | evidence/balancing.txt, idempotency.txt, student-tests.txt, race.txt, db.txt, redis.txt, explain.txt, failures.txt, failover.txt |
|
||
| 3: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не в каталоге API | `check_stack.py`, `test_s3_security.py`, `test_consistency.py aborted` | `s3` и `s3-init` в compose; у `api` нет volumes, временных файлов после запросов 0; анонимный доступ к bucket 403 | evidence/stack.txt, s3-security.txt, consistency.txt |
|
||
| 3: POST -> 201 ready после сохранения; оригинал побайтно; message с attachment_ids читается участниками; посторонний без доступа | smoke, `test_attachments.py` (roundtrip, access, message) | SHA-256 и размер совпадают, скачивает второй участник, посторонний 404 на метаданные и байты | evidence/smoke.txt, attachments.txt |
|
||
| 3: реальные PNG/JPEG ≤10 MiB и ≤40 Мпикс; MIME по содержимому; опасные filename; лимиты до неограниченного чтения/декодирования | `test_attachments.py` | ровно 10 MiB -> 201, +1 байт -> 413 (с Content-Length и chunked); 8000x5000 -> 201, 8001x5000 -> 413, «бомба» 100000x100000 -> 413 по заголовку; 13 опасных имён -> 400 | evidence/attachments.txt |
|
||
| 3: upload -> остановка обслужившей реплики -> download через другую | публичный `make test-failover` (lab4 загружает файл до отказа и скачивает после) для каждой реплики; `test_balancing.py` | PASS для обеих реплик; файл, загруженный через одну реплику, скачан через другую | evidence/failover.txt, balancing.txt |
|
||
| 3: restart с сохранением volumes сохраняет метаданные и оригинал | `run_persistence.py` (публичный persistence + ID/время старта контейнеров) | postgres, redis, s3, обе api, janitor, lb перезапущены (те же контейнеры, новое время старта); файл скачивается с прежним токеном | evidence/persistence.txt |
|
||
| 4: тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `test_attachments.py` | 413; 10 видов битых файлов -> 415; 7 подмен типа -> 415; неизвестный id и вложение другого чата (автор состоит в обоих) -> 404; дубли, 11 id -> 400; ни одного 500 | evidence/attachments.txt |
|
||
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных неучтённых объектов; механизм с grace period | `test_consistency.py` (aborted, crash, orphan, s3) | обрыв: строк и объектов не прибавилось; падение после PUT: строка `uploading` невидима, janitor не трогает её до grace, `--dry-run` только отчёт, затем удалены объект и строка, повтор — 0; сирота удаляется только после grace; `ready` не трогаются; missing — только отчёт | evidence/consistency.txt |
|
||
| 4: недоступность S3 | `test_consistency.py s3` (`docker compose stop s3` и `pause s3`) | файловые операции 503 без подробностей, остальное работает; после восстановления файлы на месте, мусор убран | evidence/consistency.txt |
|
||
| 4: лимиты/таймауты и потоковая обработка; ≥10 одновременных загрузок с пиком памяти | `upload_memory.py` | таблица ниже | evidence/upload-memory.txt, upload-memory.json |
|
||
| 4: bootstrap идемпотентен | `test_s3_security.py` (повторный `docker compose run --rm s3-init`) | exit 0, «bucket is private», старые файлы скачиваются, новая загрузка 201 | evidence/s3-security.txt |
|
||
| 4: отдельные S3 credentials с ограниченными правами | `test_s3_security.py`, `check_stack.py`, `s3-init` | ключ API: get/put/delete/list своего bucket — да; create/delete bucket, policy, versioning — отказ; admin-ключ и конфиг ключей только у s3 и s3-init | evidence/s3-security.txt, stack.txt |
|
||
| 4: консоль не открыта; проверка private bucket вне API | `test_s3_security.py`, логи `s3-init` | 127.0.0.1:8333/9333/8888 — connection refused, s3 только в сети data; анонимные GET/HEAD/LIST/PUT/policy прямо в S3 -> 403 | evidence/s3-security.txt |
|
||
| Выбранный трек 5 | — | не выбран | — |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
Гипотезы:
|
||
1. Память API-реплики почти не зависит от числа и размера одновременных загрузок: тело идёт во временный файл, PNG проверяется потоково, JPEG — в масштабе 1/8, проверок одновременно не больше 2 на реплику. Наивный вариант (тело в памяти + полное декодирование 40 Мпикс ~160 MiB) при 10 одновременных загрузках не поместился бы в лимит 512 MiB.
|
||
2. Отказ S3 затрагивает только операции с байтами файлов и не оставляет видимых или вечных «половинчатых» вложений.
|
||
|
||
Методика памяти (`student-tests/upload_memory.py`): три сценария — 10 x PNG из случайного шума ~9,5 MiB (почти несжимаемый, максимум трафика); 10 x PNG 8000x5000 RGB (40 Мпикс, максимум распаковки); 20 смешанных. Перед каждым сценарием `docker compose restart api` (сбрасывает пик), прогрев 8 загрузками, затем все потоки стартуют одновременно (barrier) через балансировщик. Пик RSS — `VmHWM` из `/proc/1/status` процесса API (максимум за жизнь процесса по данным ядра, короткие всплески не теряются), дополнительно пик памяти cgroup контейнера и опрос раз в ~0,1–0,5 с. Проверяются коды 201 и SHA-256 скачанных файлов. Клиент — тот же компьютер, поэтому время загрузки ограничено и клиентом; это замер памяти, а не пропускной способности.
|
||
|
||
<!-- measurements:begin -->
|
||
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-10-21, commit 2dbed80 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres и s3 (SeaweedFS) по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB.
|
||
|
||
Публичный тест отказа (`make test-failover`, 15 с записи во время остановки реплики):
|
||
|
||
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| 1 | 11a93acecaca | 2 | 126 | 0 | 4.39 |
|
||
| 2 | 6128eb268c44 | 2 | 124 | 0 | 4.328 |
|
||
|
||
Одновременные загрузки (`student-tests/upload_memory.py`, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
|
||
|
||
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|
||
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.38 / 1.52 | 11a93acecaca: 5 | 93.5 | 106.2 | 12.6 | 134.1 |
|
||
| | | | | 6128eb268c44: 5 | 94.8 | 105.3 | 10.5 | 135.2 |
|
||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 0.85 / 1.09 | 11a93acecaca: 5 | 93.2 | 96.6 | 3.4 | 84.3 |
|
||
| | | | | 6128eb268c44: 5 | 93.1 | 94.7 | 1.6 | 86.8 |
|
||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.37 / 1.77 | 11a93acecaca: 10 | 94.8 | 121.7 | 26.9 | 181.9 |
|
||
| | | | | 6128eb268c44: 10 | 95.0 | 116.1 | 21.0 | 155.6 |
|
||
|
||
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
|
||
|
||
Публичный генератор нагрузки (`tests/load.py`, closed loop, concurrency 4, 30 с, 2 реплики): 245.844 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 32.0 мс.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| публичный `make test-failover` для каждой реплики | запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 4.39, 4.328 с (hook ждёт остановки ~4 с); потерь нет |
|
||
| перезапуск всего стенда (`restart` hook: postgres, redis, s3, api, janitor, lb) | данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 39.2 с до готовности; потерь нет |
|
||
| `docker compose stop s3` (SeaweedFS остановлен) | загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 20141 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
|
||
| `docker compose pause s3` (SeaweedFS завис) | то же, но через таймауты S3-клиента | upload 503 за 14766 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
|
||
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
|
||
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
|
||
<!-- measurements:end -->
|
||
|
||
Вывод по памяти: рост RSS реплики при 10–20 одновременных загрузках — единицы MiB (см. таблицу), а не «размер файла x число загрузок»; верхняя оценка на загрузку — 256 KiB буфера временного файла + 64 KiB куска чтения + буферы boto3 при PUT; на проверку — 64 KiB распаковки PNG или ~2 MiB для JPEG, не больше 2 одновременно. Пик cgroup выше пика RSS, потому что в него входит page cache временных файлов (ядро освобождает его при нехватке памяти, OOM он не вызывает).
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- Выдерживается отказ одной API-реплики и временная недоступность S3 (файловые операции 503, остальное работает). Не выдерживается отказ единственных `lb`, `postgres`, `redis`, `s3` и всей машины: стенд на одном узле.
|
||
- Повтор загрузки после потерянного ответа создаёт второе вложение (в контракте нет ключа идемпотентности для загрузки). Лишнее вложение, не прикреплённое к сообщению, остаётся: удаления в API нет; janitor удаляет только незавершённые загрузки.
|
||
- `missing_objects` janitor только находит; восстановление — из резервной копии S3, которой в стенде нет.
|
||
- Обход bucket janitor’ом держит в памяти список ключей (для учебного объёма — мегабайты); для миллионов объектов нужна сверка по диапазонам ключей или S3 Inventory.
|
||
- Временный файл загрузки (часть тела сверх 256 KiB) лежит на диске контейнера. В Linux `tempfile.TemporaryFile` создаётся уже без имени в каталоге (O_TMPFILE), поэтому даже при SIGKILL реплики место освобождается ядром, «забытых» файлов не бывает. Одновременно на диске может быть до 10 MiB на каждую идущую загрузку; лимита на число одновременных загрузок, кроме лимитов HAProxy/uvicorn, нет.
|
||
- Проверяется структура изображения, а не его безопасность для всех декодеров (например, JPEG с некорректными, но декодируемыми данными пройдёт). Перекодирование оригинала — задача lab5.
|
||
- MinIO собирался быть первым выбором, но его образы больше не доступны в публичных реестрах: закреплённый тег защищает от неожиданного обновления, но не от исчезновения образа. Для эксплуатации нужно зеркалить образы в свой реестр. SeaweedFS запущен одним процессом `weed server` на одном диске — это SPOF и не защита от потери диска; веб-интерфейсы master/filer без авторизации, закрыты только сетью.
|
||
- Скрипты `failover_metrics.py`, `rolling_update.py`, `test_expiry.py` из lab3 остались в `student-tests/` и работают со стендом, но в общий прогон lab4 не входят (это уровень 4 lab3, а не lab4).
|