42 KiB
Отчёт — лабораторная 4
- Автор, группа: Бабиченко Максим, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
- Commit/PR: <<ссылка на MR в Gitea после публикации>>
- Использованные источники, библиотеки и помощь ИИ: всё из lab3 (FastAPI, Uvicorn, Pydantic, psycopg 3 и psycopg-pool, argon2-cffi, redis-py; образы python:3.11.13-slim, postgres:17.11-alpine, redis:7.4.11-alpine, haproxy:3.2.25-alpine). Новое: boto3/botocore 1.43.116 (S3-клиент), Pillow 12.3.0 (проверка JPEG), образ chrislusf/seaweedfs:3.80. Документация: AWS S3 (PutObject, x-amz-checksum-sha256, presigned URLs), SeaweedFS (
weed server -s3, S3 API, статический конфиг identities с правамиRead/Write/List:<bucket>), спецификация PNG (структура чанков, CRC, IHDR, фильтры строк, Adam7), botocore Config (timeouts,total_max_attempts). При написании кода и тестов использовался ИИ-ассистент (Claude); весь код проверен и прогнан мной, объяснить и изменить его могу на защите.
Запуск из чистого clone
Проверял на Windows 11, все команды в PowerShell. Версии Docker, Compose и ресурсы машины — в evidence/stack.txt. Python нужен только для тестов (стандартная библиотека, Pillow на хосте не нужен). Перед запуском остановить стенд lab3 (docker compose down в его папке), иначе занят порт 8080.
git clone https://gitea.privcloud.tech/Kalibr/mtusi2026lab4.git
cd mtusi2026lab4
git checkout solution/bvt2303-babichenko
$env:PYTHONUTF8 = "1" # contracts/openapi.json в UTF-8, без этого тесты на Windows падают
Copy-Item .env.example .env
python scripts/init_secrets.py # случайные пароли, S3-ключи и secrets/s3_config.json (папка в .gitignore)
docker compose up -d --build --wait # postgres, s3 -> migrate, s3-init -> 2 реплики api, janitor -> lb
docker compose ps -a # migrate и s3-init: Exited (0), остальные healthy/running
python student-tests/collect_evidence.py # все проверки по очереди (~8 мин), вывод в evidence/, таблицы в этот отчёт
Отдельные проверки (make на моём Windows нет, ниже то же самое без make):
| Команда из README | То же в PowerShell |
|---|---|
make check |
python scripts/check_contract.py |
make test |
python tests/smoke.py --base-url http://127.0.0.1:8080 |
make test-persistence ACTION_SCRIPT=... |
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8080 |
make test-failover ACTION_SCRIPT=... |
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd --base-url http://127.0.0.1:8080 |
| тесты вложений (уровень 3–4) | python student-tests/test_attachments.py |
| S3 вне API, права ключа, bootstrap | python student-tests/test_s3_security.py |
| отказы S3/БД, janitor | python student-tests/test_consistency.py [s3|crash|orphan|aborted] |
| 10+ одновременных загрузок, память | python student-tests/upload_memory.py |
| ручной проход очистки | docker compose exec janitor python janitor.py --once --dry-run |
После test-failover одна реплика остаётся остановленной (так требует тест). Вернуть её: docker start <ID из docker compose ps -a> или docker compose up -d --wait. На Linux/macOS вместо .cmd — scripts/restart.sh и scripts/stop-one.sh.
Bootstrap: миграции применяет одноразовый сервис migrate, bucket и проверку прав S3 — одноразовый сервис s3-init (s3_init.py, тот же образ, что у API); оба запускаются сами при docker compose up, оба идемпотентны. Повторить вручную: docker compose run --rm migrate, docker compose run --rm s3-init. Остановка без потери данных: docker compose down (volumes pgdata, redisdata, s3data остаются). Намеренное удаление учебных данных: docker compose down -v, затем удалить папку secrets и снова python scripts/init_secrets.py (новые пароли не подходят к старым volumes, поэтому удаляются вместе).
Архитектура и решения
Клиент --HTTP--> lb: HAProxy 3.2, 127.0.0.1:8080 (единственный опубликованный порт)
| round robin, без привязки клиента к реплике
+--> api-1 --+
+--> api-2 --+--> postgres: пользователи, чаты, сообщения, МЕТАДАННЫЕ вложений (volume pgdata)
+--> redis: сессии (AOF, volume redisdata)
+--> s3 (SeaweedFS): БАЙТЫ вложений, приватный bucket (volume s3data)
janitor: раз в 5 мин удаляет брошенные загрузки и объекты-сироты (postgres + s3)
migrate: одноразово применяет migrations/*.sql
s3-init: одноразово создаёт приватный bucket и проверяет права ключей и закрытость bucket
сети: edge (lb <-> api) и data (всё остальное; internal, без выхода наружу)
| Роль | Сервис Compose | Версия | Health / готовность | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| Балансировщик | lb |
haproxy:3.2.25-alpine | /lb-health на 8404 |
нет | edge; 127.0.0.1:8080, 127.0.0.1:8404/stats |
не нужны |
| API ×2 | api (Dockerfile, deploy.replicas: 2) |
python:3.11.13-slim | /health/ready (PostgreSQL + Redis) |
нет | edge + data; наружу не публикуется | database_url, cache_url, s3_access_key_id, s3_secret_access_key |
| S3 | s3 |
chrislusf/seaweedfs:3.80 (weed server -s3: master, volume, filer и S3 в одном процессе) |
S3-порт отвечает по HTTP (wget) |
s3data (данные и метаданные filer) |
только data; S3 8333, UI master 9333 и filer 8888 доступны только внутри стенда, наружу не публикуются | s3_config (конфиг ключей и прав) |
| Bootstrap S3 | s3-init (образ приложения, s3_init.py) |
python:3.11.13-slim | завершается с кодом 0 | нет | data | admin-ключ + ключ API (для проверки прав) |
| Очистка | janitor (тот же образ) |
python:3.11.13-slim | процесс работает | нет | data | database_url + ограниченный ключ S3 |
| Миграции | migrate |
python:3.11.13-slim | завершается с кодом 0 | нет | data | только database_url |
| База данных | postgres |
postgres:17.11-alpine | pg_isready |
pgdata |
data, 5432 | POSTGRES_PASSWORD_FILE |
| Сессии | redis |
redis:7.4.11-alpine | redis-cli ping с паролем |
redisdata (AOF) |
data, 6379 | include /run/secrets/redis_auth |
Почему SeaweedFS: из трёх разрешённых вариантов MinIO отпал — его образы больше не раздаются ни с Docker Hub, ни с quay.io (проверено при сборке стенда: pull access denied / unauthorized), а закреплённый тег без доступного образа не воспроизводится. У SeaweedFS образ на Docker Hub, а права ключей задаются статическим конфигом (-s3.config): отдельный ключ API с правами только на свой bucket получается без отдельной утилиты администрирования. Закреплена версия 3.80, latest не используется.
Что перенесено из lab3 без изменений по смыслу: аутентификация и сессии в Redis, пользователи/чаты/сообщения, идемпотентность, HAProxy с проверкой готовности и аварийным режимом, двухшаговая остановка по SIGTERM, сервис migrate, свои тесты lab1–3.
Что изменено в lab4:
- Новые файлы:
storage.py(S3-клиент),uploads.py(приём и проверка файла),attachments.py(запись в две системы),janitor.py(очистка/сверка),s3_init.py(bootstrap S3),migrations/004_attachments.sql. main.py: endpoint загрузки, метаданных и скачивания;attachment_idsв сообщениях;db.py: вложения и связь сообщение–вложение.compose.yaml: сервисыs3,s3-init,janitor, volumes3data, пять новых секретов (admin-ключ, ключ API, конфиг ключей SeaweedFS);infra/haproxy.cfg:timeout server 30s(см. ниже); restart-скрипты перезапускают ещёs3иjanitor.scripts/init_secrets.pyдописывает недостающие секреты (в том числеs3_config.jsonс правами ключей) и не трогает существующие.
Модель данных
attachments (миграция 004): id, chat_id, owner_id, filename (только для отображения), content_type, size_bytes, sha256, width, height, object_key, state (uploading | ready), created_at, updated_at. object_key = originals/<32 случайных hex>: его назначает сервер, имя файла в ключ не попадает (CHECK на формат). Внешний ключ (chat_id, owner_id) -> chat_members: загрузить можно только в свой чат.
message_attachments (message_id, chat_id, attachment_id, position): порядок вложений в сообщении. Оба внешних ключа составные и содержат один и тот же chat_id: (message_id, chat_id) -> messages, (attachment_id, chat_id) -> attachments. Поэтому вложение другого чата нельзя прикрепить даже прямым INSERT в обход API. Одно вложение можно прикрепить к нескольким сообщениям (контракт: «любой участник может ссылаться на доступное вложение чата»). Ограничение на текст сообщения ослаблено до <= 16000 байт: пустой текст допустим с вложением, проверку «текст или вложение» делает API.
Загрузка: что и в каком порядке проверяется
POST /api/v1/chats/{chat_id}/attachments?filename=..., тело — сырые байты одного PNG/JPEG.
- До чтения тела: сессия (401) -> участник чата (404) ->
filename1–255 символов без/,\, NUL, управляющих символов, не./..(400) ->Content-Typeтолькоimage/png/image/jpeg(415) ->Content-Lengthбольше 10 485 760 (413). При этих ошибках тело дочитывается и выбрасывается (до 20 MiB / 10 с, ничего не сохраняя), чтобы клиент получил ответ, а не обрыв соединения. - Тело читается кусками: размер и SHA-256 считаются на лету, данные пишутся во временный файл (до 256 KiB в памяти, остальное на диск контейнера). Первый байт сверх 10 MiB -> 413, чтение прекращается (работает и без
Content-Length, приTransfer-Encoding: chunked). Таймауты: 10 с без данных, 60 с на всё тело (UPLOAD_IDLE_TIMEOUT_SECONDS,UPLOAD_TIMEOUT_SECONDS). - Тип по сигнатуре (
\x89PNG...,FF D8 FF), не по заголовку. Не PNG/JPEG -> 415; заявленный тип не совпадает с содержимым -> 415. - Размер в пикселях читается из заголовка (IHDR / SOF) и проверяется ДО распаковки: больше 40 000 000 -> 413.
- Проверка целостности с ограниченной памятью:
- PNG — своя потоковая проверка (
uploads.check_png): CRC каждого чанка, порядок IHDR/PLTE/IDAT/IEND, допустимые тип цвета и глубина, ничего после IEND; IDAT распаковывается zlib кусками по 64 KiB (вывод не хранится), считается точный объём данных по IHDR (с учётом Adam7) и проверяется байт фильтра каждой строки. «Zip-бомба» не раздувает память: распаковка идёт порциями и обрывается, как только данных больше, чем обещал заголовок. - JPEG — Pillow декодирует весь поток, но в масштабе 1/8 (
draft): 40 Мпикс -> ~0,6 Мпикс, около 2 MiB. - Одновременно в реплике проверяется не больше
DECODE_CONCURRENCY=2файлов (CPU). Битый файл -> 415. Любая ошибка разбора ловится и превращается в 415, а не 500. Проверка PNG сверена с Pillow: 400 случайных корректных PNG разных типов приняты, 400 испорченных (обрезка, перевёрнутый бит) отклонены.
- PNG — своя потоковая проверка (
- Запись (см. следующий раздел) и ответ
201 Attachmentсоstatus=ready,variants=[],error_code=null.
Временный файл удаляется в finally при любом исходе: оригинал после ответа существует только в S3. У контейнеров api нет volumes, это проверяет test_consistency.py.
Скачивание: GET /api/v1/attachments/{id}/content — сначала проверка участника чата в PostgreSQL (иначе 404, как у несуществующего), потом GET из S3 и потоковая отдача кусками по 64 KiB с истинным Content-Type, Content-Length, X-Content-Type-Options: nosniff, Content-Disposition: inline; filename*=UTF-8''.... Без redirect и без подписанных URL. variant — только original (иное -> 400).
Согласованность PostgreSQL и S3
Распределённой транзакции нет, поэтому порядок записи выбран так, чтобы у каждого объекта в bucket была строка-указатель в БД (attachments.py):
| Шаг | Если здесь отказ |
|---|---|
1. INSERT attachments (state='uploading') + COMMIT |
в S3 ничего нет; клиенту 503 |
2. PUT объекта в S3 с x-amz-checksum-sha256 (S3 сам сверяет SHA-256) |
откат: короткий DELETE объекта (PUT мог пройти при таймауте) и удаление строки; если S3 недоступен и откат не удался, строка uploading остаётся указателем для janitor; клиенту 503 |
3. UPDATE state='ready' + COMMIT |
клиенту 503; объект сразу НЕ удаляется: при обрыве связи COMMIT мог пройти, удаление сломало бы готовое вложение. Строка остаётся uploading -> её разберёт janitor |
4. 201 |
только после шага 3 |
Строки uploading не видны через API (GET -> 404) и не прикрепляются к сообщениям (404), сообщение может ссылаться только на ready (проверка под FOR SHARE в той же транзакции, что и INSERT сообщения).
janitor.py (сервис janitor, раз в JANITOR_INTERVAL_SECONDS=300, один экземпляр за счёт pg_try_advisory_lock):
- Строки
uploadingстарше grace period: подFOR UPDATE SKIP LOCKEDудалить объект (DELETE идемпотентен), затем строку. Если S3 недоступен — транзакция откатывается, строка остаётся до следующего прохода. - Обход bucket (
originals/, постранично): объект старше grace period без строки в БД (в любом состоянии) — сирота, удаляется (перед удалением ещё раз проверяется, что строка не появилась). Живая загрузка всегда имеет строку, потому что строка коммитится до PUT. - Отчёт о
ready-строках без объекта (missing_objects). Их janitor не удаляет: это потеря данных, её чинят восстановлением из резервной копии, а не автоматической очисткой; скачивание такого файла отвечает 503, не 500.
Grace period: ATTACHMENT_GRACE_SECONDS=3600, janitor и API отказываются стартовать, если он меньше 2 x UPLOAD_TIMEOUT_SECONDS. Самая долгая загрузка после записи строки живёт: PUT до 2 x (1 + 5) с + откат 2 с + UPDATE до 8 с, то есть меньше 30 с — в 120 раз меньше grace period. Поэтому janitor не может удалить загрузку, которая ещё идёт, а если бы реплика зависла дольше часа, её UPDATE не найдёт строку (state='uploading' уже удалена под блокировкой) и клиент получит 503, а не «ready без объекта». Есть --dry-run (только отчёт) и --once.
Обрыв загрузки клиентом: строка пишется только после приёма и проверки всего тела, поэтому оборванная загрузка не оставляет ни строки, ни объекта; временный файл удаляется сразу.
Готовность и отказ S3
S3 не входит в /health/ready: без него не работают только загрузка и скачивание файлов, а вход, чаты, сообщения (в том числе со ссылкой на уже загруженные вложения) и метаданные вложений продолжают работать. Если бы readiness зависел от S3, отказ S3 вывел бы из балансировки все реплики и остановил бы весь мессенджер. При недоступном S3 файловые операции отвечают 503 unavailable без подробностей. Критичны для readiness, как и в lab3, PostgreSQL и Redis.
S3-клиент: connect timeout 1 с, read timeout 5 с, всего 2 попытки (total_max_attempts), откат — 1 попытка с таймаутом 2 с. Худший ответ при зависшем S3 около 13 с, поэтому в HAProxy timeout server увеличен с 15 до 30 с (пока клиент передаёт тело файла, этот таймаут не срабатывает: передачу ограничивают таймауты самого API).
Безопасность хранилища
- Bucket приватный: в конфиге ключей SeaweedFS нет identity
anonymous, поэтому любой запрос без подписи получает 403. Проверка вне API:s3-initиtest_s3_security.pyделают анонимные GET/HEAD/LIST/PUT прямо в S3 из внутренней сети — 403. - Два ключа (
secrets/s3_config.json, генерируетscripts/init_secrets.py):admin(Admin/Read/Write/List) есть только уs3(в конфиге) иs3-init;messenger-apiдля api и janitor — толькоRead:messenger-attachments,Write:messenger-attachments,List:messenger-attachments. Создать/удалить bucket, поменять политику или versioning ключ API не может — проверяютs3-initиtest_s3_security.py. - Порты S3 (8333), master (9333) и filer (8888) не публикуются, SeaweedFS только во внутренней сети
data(internal: true); веб-интерфейсы master/filer доступны только контейнерам стенда, с хоста — connection refused. - Bootstrap идемпотентен:
create_bucketпри существующем bucket получаетBucketAlreadyOwnedByYou/BucketAlreadyExistsи продолжает; проверочный объект ключа API создаётся и удаляется; в конце скрипт проверяет, что bucket private. Повторныйdocker compose run --rm s3-initничего не ломает (тест). Права ключей — декларативный конфиг, применяется при стартеs3. - Приватный bucket и случайный ключ не заменяют проверку доступа в API: ключ объекта не секрет (может попасть в лог, бэкап, ошибку), а bucket «приватен» для всех, у кого нет ключа S3, — но не различает пользователей мессенджера. Кто участник какого чата, знает только API, поэтому проверка участника делается на каждый GET метаданных и байтов.
Соответствие .env.example
| Переменная | Что делает в этом решении |
|---|---|
| APP_HOST, APP_PORT, APP_ENV | где слушает API (0.0.0.0:8080 внутри контейнера), APP_ENV пишется в лог |
| SESSION_TTL_SECONDS, SESSION_STORE=redis | срок жизни сессии 3600 с, сессии в Redis (как в lab3) |
| DATABASE_URL_FILE, CACHE_URL_FILE | пути к секретам с адресами PostgreSQL и Redis |
| API_REPLICAS | число реплик api, по умолчанию 2 |
| IDEMPOTENCY_TTL_SECONDS | не используется: ключ хранится вместе с сообщением бессрочно (не меньше 24 ч) |
| S3_ENDPOINT, S3_REGION, S3_BUCKET | http://s3:8333, us-east-1, messenger-attachments (path-style адресация) |
| S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE | ограниченный ключ API (identity messenger-api в s3_config.json) |
| MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS | 10 485 760 байт и 40 000 000 пикселей |
| S3_CONNECT_TIMEOUT_SECONDS, S3_READ_TIMEOUT_SECONDS, S3_MAX_ATTEMPTS, S3_POOL_MAX | 1 с, 5 с, 2 попытки всего, 20 соединений |
| UPLOAD_TIMEOUT_SECONDS, UPLOAD_IDLE_TIMEOUT_SECONDS | 60 с на всё тело, 10 с без данных |
| DECODE_CONCURRENCY | одновременных проверок изображений в реплике, 2 |
| ATTACHMENT_GRACE_SECONDS, JANITOR_INTERVAL_SECONDS | grace period 3600 с, проход janitor раз в 300 с |
| DB_, REDIS_, SHUTDOWN_* | пулы, таймауты и остановка (как в lab3) |
Доказательства критериев
Все файлы evidence/*.txt создаёт python student-tests/collect_evidence.py (вывод тестов как есть, с датой, commit и кодом выхода); сводка — evidence/summary.md.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS через балансировщик, с загрузкой, сообщением с attachment_ids, скачиванием и 404 постороннему |
evidence/smoke.txt |
| Skeleton и контракт не изменены | python scripts/check_contract.py |
PASS; contracts/, tests/, README не менялись |
evidence/check.txt |
| 3: возможности lab3 сохранены | test_balancing.py, test_idempotency.py, test_api.py, test_race.py, test_db.py, redis_info.py, explain.py, test_failures.py, публичный failover |
все PASS через балансировщик | evidence/balancing.txt, idempotency.txt, student-tests.txt, race.txt, db.txt, redis.txt, explain.txt, failures.txt, failover.txt |
| 3: S3 в общем стенде; метаданные в PostgreSQL, байты в приватном bucket, не в БД и не в каталоге API | check_stack.py, test_s3_security.py, test_consistency.py aborted |
s3 и s3-init в compose; у api нет volumes, временных файлов после запросов 0; анонимный доступ к bucket 403 |
evidence/stack.txt, s3-security.txt, consistency.txt |
| 3: POST -> 201 ready после сохранения; оригинал побайтно; message с attachment_ids читается участниками; посторонний без доступа | smoke, test_attachments.py (roundtrip, access, message) |
SHA-256 и размер совпадают, скачивает второй участник, посторонний 404 на метаданные и байты | evidence/smoke.txt, attachments.txt |
| 3: реальные PNG/JPEG ≤10 MiB и ≤40 Мпикс; MIME по содержимому; опасные filename; лимиты до неограниченного чтения/декодирования | test_attachments.py |
ровно 10 MiB -> 201, +1 байт -> 413 (с Content-Length и chunked); 8000x5000 -> 201, 8001x5000 -> 413, «бомба» 100000x100000 -> 413 по заголовку; 13 опасных имён -> 400 | evidence/attachments.txt |
| 3: upload -> остановка обслужившей реплики -> download через другую | публичный make test-failover (lab4 загружает файл до отказа и скачивает после) для каждой реплики; test_balancing.py |
PASS для обеих реплик; файл, загруженный через одну реплику, скачан через другую | evidence/failover.txt, balancing.txt |
| 3: restart с сохранением volumes сохраняет метаданные и оригинал | run_persistence.py (публичный persistence + ID/время старта контейнеров) |
postgres, redis, s3, обе api, janitor, lb перезапущены (те же контейнеры, новое время старта); файл скачивается с прежним токеном | evidence/persistence.txt |
| 4: тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | test_attachments.py |
413; 10 видов битых файлов -> 415; 7 подмен типа -> 415; неизвестный id и вложение другого чата (автор состоит в обоих) -> 404; дубли, 11 id -> 400; ни одного 500 | evidence/attachments.txt |
| 4: прерывание загрузки и отказ между S3/БД не оставляют вечных неучтённых объектов; механизм с grace period | test_consistency.py (aborted, crash, orphan, s3) |
обрыв: строк и объектов не прибавилось; падение после PUT: строка uploading невидима, janitor не трогает её до grace, --dry-run только отчёт, затем удалены объект и строка, повтор — 0; сирота удаляется только после grace; ready не трогаются; missing — только отчёт |
evidence/consistency.txt |
| 4: недоступность S3 | test_consistency.py s3 (docker compose stop s3 и pause s3) |
файловые операции 503 без подробностей, остальное работает; после восстановления файлы на месте, мусор убран | evidence/consistency.txt |
| 4: лимиты/таймауты и потоковая обработка; ≥10 одновременных загрузок с пиком памяти | upload_memory.py |
таблица ниже | evidence/upload-memory.txt, upload-memory.json |
| 4: bootstrap идемпотентен | test_s3_security.py (повторный docker compose run --rm s3-init) |
exit 0, «bucket is private», старые файлы скачиваются, новая загрузка 201 | evidence/s3-security.txt |
| 4: отдельные S3 credentials с ограниченными правами | test_s3_security.py, check_stack.py, s3-init |
ключ API: get/put/delete/list своего bucket — да; create/delete bucket, policy, versioning — отказ; admin-ключ и конфиг ключей только у s3 и s3-init | evidence/s3-security.txt, stack.txt |
| 4: консоль не открыта; проверка private bucket вне API | test_s3_security.py, логи s3-init |
127.0.0.1:8333/9333/8888 — connection refused, s3 только в сети data; анонимные GET/HEAD/LIST/PUT/policy прямо в S3 -> 403 | evidence/s3-security.txt |
| Выбранный трек 5 | — | не выбран | — |
Эксперименты и отказы
Гипотезы:
- Память API-реплики почти не зависит от числа и размера одновременных загрузок: тело идёт во временный файл, PNG проверяется потоково, JPEG — в масштабе 1/8, проверок одновременно не больше 2 на реплику. Наивный вариант (тело в памяти + полное декодирование 40 Мпикс ~160 MiB) при 10 одновременных загрузках не поместился бы в лимит 512 MiB.
- Отказ S3 затрагивает только операции с байтами файлов и не оставляет видимых или вечных «половинчатых» вложений.
Методика памяти (student-tests/upload_memory.py): три сценария — 10 x PNG из случайного шума ~9,5 MiB (почти несжимаемый, максимум трафика); 10 x PNG 8000x5000 RGB (40 Мпикс, максимум распаковки); 20 смешанных. Перед каждым сценарием docker compose restart api (сбрасывает пик), прогрев 8 загрузками, затем все потоки стартуют одновременно (barrier) через балансировщик. Пик RSS — VmHWM из /proc/1/status процесса API (максимум за жизнь процесса по данным ядра, короткие всплески не теряются), дополнительно пик памяти cgroup контейнера и опрос раз в ~0,1–0,5 с. Проверяются коды 201 и SHA-256 скачанных файлов. Клиент — тот же компьютер, поэтому время загрузки ограничено и клиентом; это замер памяти, а не пропускной способности.
Машина: Windows 10, AMD64 Family 26 Model 68 Stepping 0, AuthenticAMD; Docker VM: 16 CPU, 15.2 GiB RAM; клиент Python 3.11.1; дата прогона 2026-10-21, commit 2dbed80 + uncommitted changes. Лимиты контейнеров: api 1 CPU / 512 MiB каждая, postgres и s3 (SeaweedFS) по 1 CPU / 512 MiB, redis и lb по 0,5 CPU / 128 MiB, janitor 0,25 CPU / 192 MiB.
Публичный тест отказа (make test-failover, 15 с записи во время остановки реплики):
| Прогон | Остановлена реплика | Реплик до отказа | Успешных записей | Неудачных попыток (повторены с тем же ключом) | Первая запись после hook, с |
|---|---|---|---|---|---|
| 1 | 11a93acecaca | 2 | 126 | 0 | 4.39 |
| 2 | 6128eb268c44 | 2 | 124 | 0 | 4.328 |
Одновременные загрузки (student-tests/upload_memory.py, перед каждым сценарием реплики перезапускаются, лимит api 512 MiB / 1 CPU). Пик RSS — VmHWM процесса API; cgroup — память контейнера, включая page cache временных файлов:
| Сценарий | Одновременно | Объём, MiB | Время, с (p50 / max) | Реплика: загрузок | RSS до, MiB | Пик RSS, MiB | Рост, MiB | Пик cgroup, MiB |
|---|---|---|---|---|---|---|---|---|
| 10 x ~9.5 MiB PNG (noise) | 10 | 94.9 | 1.38 / 1.52 | 11a93acecaca: 5 | 93.5 | 106.2 | 12.6 | 134.1 |
| 6128eb268c44: 5 | 94.8 | 105.3 | 10.5 | 135.2 | ||||
| 10 x 40 Mpx PNG (8000x5000 RGB) | 10 | 1.1 | 0.85 / 1.09 | 11a93acecaca: 5 | 93.2 | 96.6 | 3.4 | 84.3 |
| 6128eb268c44: 5 | 93.1 | 94.7 | 1.6 | 86.8 | ||||
| 20 mixed: large + 40 Mpx + JPEG | 20 | 133.2 | 1.37 / 1.77 | 11a93acecaca: 10 | 94.8 | 121.7 | 26.9 | 181.9 |
| 6128eb268c44: 10 | 95.0 | 116.1 | 21.0 | 155.6 |
Один PNG 8000x5000 RGB внутри контейнера api, дополнительный пик RSS: наивно (тело целиком в памяти + полное декодирование Pillow) 161 MiB, потоковая проверка 0 MiB. 10 таких наивных загрузок одновременно не поместились бы в 512 MiB.
Публичный генератор нагрузки (tests/load.py, closed loop, concurrency 4, 30 с, 2 реплики): 245.844 успешных POST/с, ошибок 0 (доля 0.0), задержка успешных p50 16.0 мс, p95 32.0 мс, p99 32.0 мс.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
публичный make test-failover для каждой реплики |
запись продолжается не позже 10 с, подтверждённые сообщения на месте, дублей нет | PASS 2 раз(а), неудачных попыток: 0, 0 | первая запись после hook через 4.39, 4.328 с (hook ждёт остановки ~4 с); потерь нет |
перезапуск всего стенда (restart hook: postgres, redis, s3, api, janitor, lb) |
данные, файл и прежний токен живы | PASS, те же контейнеры с новым временем старта | 39.2 с до готовности; потерь нет |
docker compose stop s3 (SeaweedFS остановлен) |
загрузка и скачивание -> 503, метаданные, сообщения и /health/ready работают | upload 503 за 20141 мс, download 503, остальное 200/201 | после start файлы на месте; uploading-строку убрал janitor; потерь нет |
docker compose pause s3 (SeaweedFS завис) |
то же, но через таймауты S3-клиента | upload 503 за 14766 мс (2 попытки x 5 с + откат 2 с) | после unpause файлы на месте; потерь нет |
| падение между PUT в S3 и COMMIT в БД (код API в контейнере, finish_upload падает) | вложение не видно, janitor не трогает его до конца grace period, потом удаляет объект и строку | GET/прикрепление -> 404; janitor: свежая строка сохранена, dry-run только отчёт, затем удалено | мусора не осталось; повторный проход ничего не делает |
| обрыв загрузки клиентом (9 МБ заявлено, отправлено 0,2 и 3 МБ) | ничего не сохраняется | строк и объектов не прибавилось, временных файлов 0 | мгновенно |
Вывод по памяти: рост RSS реплики при 10–20 одновременных загрузках — единицы MiB (см. таблицу), а не «размер файла x число загрузок»; верхняя оценка на загрузку — 256 KiB буфера временного файла + 64 KiB куска чтения + буферы boto3 при PUT; на проверку — 64 KiB распаковки PNG или ~2 MiB для JPEG, не больше 2 одновременно. Пик cgroup выше пика RSS, потому что в него входит page cache временных файлов (ядро освобождает его при нехватке памяти, OOM он не вызывает).
Ограничения и следующие шаги
- Выдерживается отказ одной API-реплики и временная недоступность S3 (файловые операции 503, остальное работает). Не выдерживается отказ единственных
lb,postgres,redis,s3и всей машины: стенд на одном узле. - Повтор загрузки после потерянного ответа создаёт второе вложение (в контракте нет ключа идемпотентности для загрузки). Лишнее вложение, не прикреплённое к сообщению, остаётся: удаления в API нет; janitor удаляет только незавершённые загрузки.
missing_objectsjanitor только находит; восстановление — из резервной копии S3, которой в стенде нет.- Обход bucket janitor’ом держит в памяти список ключей (для учебного объёма — мегабайты); для миллионов объектов нужна сверка по диапазонам ключей или S3 Inventory.
- Временный файл загрузки (часть тела сверх 256 KiB) лежит на диске контейнера. В Linux
tempfile.TemporaryFileсоздаётся уже без имени в каталоге (O_TMPFILE), поэтому даже при SIGKILL реплики место освобождается ядром, «забытых» файлов не бывает. Одновременно на диске может быть до 10 MiB на каждую идущую загрузку; лимита на число одновременных загрузок, кроме лимитов HAProxy/uvicorn, нет. - Проверяется структура изображения, а не его безопасность для всех декодеров (например, JPEG с некорректными, но декодируемыми данными пройдёт). Перекодирование оригинала — задача lab5.
- MinIO собирался быть первым выбором, но его образы больше не доступны в публичных реестрах: закреплённый тег защищает от неожиданного обновления, но не от исчезновения образа. Для эксплуатации нужно зеркалить образы в свой реестр. SeaweedFS запущен одним процессом
weed serverна одном диске — это SPOF и не защита от потери диска; веб-интерфейсы master/filer без авторизации, закрыты только сетью. - Скрипты
failover_metrics.py,rolling_update.py,test_expiry.pyиз lab3 остались вstudent-tests/и работают со стендом, но в общий прогон lab4 не входят (это уровень 4 lab3, а не lab4).