16 KiB
Отчёт — лабораторная 4
- Автор, группа: не указаны в исходных материалах; заполнить перед сдачей.
- Целевая оценка: 5.
- Выбранный трек: 2 — согласованность PostgreSQL/S3.
- Commit/PR: не создавались по просьбе автора.
- Основа: предоставленный skeleton лабораторной 4 и перенесённая реализация лабораторной 3.
- Библиотеки: FastAPI, psycopg, Redis, boto3, Pillow, argon2-cffi; версии заданы в
requirements.txt. Помощь при реализации и проверках: Copilot.
Запуск из чистого clone
Требуются Docker Compose v2 и Python 3.9+ на хосте. Секреты генерируются локально и не добавляются в репозиторий.
cp .env.example .env
make init-secrets
docker compose --env-file .env config --quiet
docker compose --env-file .env build api migrate
docker compose --env-file .env up -d postgres redis s3
docker compose --env-file .env run --rm --no-deps s3-bootstrap
docker compose --env-file .env run --rm migrate
docker compose --env-file .env up -d --scale api=2 api load_balancer
until curl -fsS http://localhost:8080/health/ready; do sleep 1; done
make check
make test
make test-grade4
make test-s3-failure
make test-upload-load OUTPUT=evidence/upload-load.json
make test-reconcile
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Для точечного failover сначала укажите один из наблюдаемых X-Instance-Id:
make test-failover-target TARGET_INSTANCE_ID=<observed-id> \
ACTION_SCRIPT=scripts/stop-one.sh OUTPUT=evidence/failover-target.json
Обычная остановка сохраняет учебные volumes: docker compose down. Только намеренное удаление данных: docker compose down -v. Скрипт scripts/restart.sh перезапускает PostgreSQL, Redis, S3 и по очереди здоровые API-реплики; scripts/stop-one.sh останавливает ровно выбранную API-реплику и оставляет её остановленной.
Архитектура и решения
Клиент → HAProxy → API × 2+
├─ PostgreSQL: пользователи, чаты, сообщения, сессии, метаданные вложений
├─ Redis: общие сессии
└─ приватный RustFS bucket: байты вложений
Проверенная среда: macOS 27 arm64; Docker client/server 29.1.3, Docker сообщает 12 CPU и около 7.65 GiB памяти. Образы закреплены в compose.yaml: Python 3.12.8 для API, PostgreSQL 16.6, Redis 7.4.2, HAProxy 3.1 и RustFS 1.0.6. Лимиты Compose: API 1 CPU/512 MiB на реплику, PostgreSQL 0.5 CPU/384 MiB, Redis 0.25 CPU/128 MiB, S3 0.75 CPU/512 MiB. Это локальный учебный стенд, не production-конфигурация.
PostgreSQL является источником истины для прав и метаданных; объектный ключ формируется сервером как attachments/<UUID>, а исходное имя хранится только для отображения. Составные внешние ключи в message_attachments не позволяют связать файл и сообщение из разных чатов. Bucket приватный; root credentials используются только bootstrap-сервисом, API получает отдельного пользователя с правами на bucket и attachments/*. Консоль и S3-порт не опубликованы. Bootstrap запускался повторно без ошибки.
Загрузка проверяет членство пользователя в чате, имя и заявленный MIME, читает тело потоково с пределом 10 MiB и проверяет фактический PNG/JPEG через Pillow; лимит изображения — 40 млн пикселей. SpooledTemporaryFile хранит первые 1 MiB в памяти и переносит превышение во временный файл. Семафор ограничивает одновременные загрузки каждой API-реплики. Сначала выполняется S3 PUT, затем транзакция PostgreSQL; 201 ready возвращается только после обоих шагов. Ошибка S3 даёт 503; ошибка вставки метаданных запускает компенсирующий S3 delete. Если компенсация тоже не удалась, возможный orphan удаляется reconciler после grace period.
Скачивание сначала проверяет авторизацию по метаданным, затем читает объект из S3 и сравнивает размер и SHA-256 с PostgreSQL. Приватный bucket не заменяет проверку доступа приложения: участники другого чата получают 404.
Reconciler по умолчанию только строит план. Он сканирует ключи с префиксом attachments/, сравнивает их с метаданными, а для удаления требует возраст не меньше 24 часов. В apply-режиме удаляются только старые orphan-объекты и старые отсутствующие metadata без ссылок в сообщениях. Отсутствующий объект у используемого вложения не удаляется автоматически: несоответствие сохраняется для ручного восстановления. Повторный запуск безопасен и идемпотентен для уже исправленного состояния.
Доказательства критериев
| Критерий | Команда/сценарий | Наблюдаемый результат | Доказательство |
|---|---|---|---|
| Контракт и структура | make check |
PASS; проверены структура, контракт и обязательные файлы | stdout при локальном запуске |
| Сквозной API, сохранение lab3 | make test |
PASS; пользователи, сессии, чат, сообщения, права, пагинация и вложение | stdout при локальном запуске |
| Негативные проверки уровня 4 | make test-grade4 |
PASS; размер, повреждённый файл, MIME, пиксельный лимит, имя, cross-chat, чужое вложение и конкурентная идемпотентность | stdout при локальном запуске |
| S3 outage и восстановление | make test-s3-failure |
PASS; upload вернул 503, после запуска S3 bucket и API восстановились | evidence/s3-failure.txt |
| Bootstrap/private bucket | повторный запуск s3-bootstrap; anonymous S3 GET в make test-reconcile |
Два последовательных bootstrap завершились успешно; анонимное чтение запрещено | evidence/bootstrap.txt, evidence/reconcile-integration.json |
| Потоковая загрузка и нагрузка уровня 4 | make test-upload-load OUTPUT=evidence/upload-load.json |
10/10 загрузок по 4,322,578 байт, concurrency 10, время 3.05 s. Пиковая память API: 81,128,325 и 82,732,646 байт (семплирование раз в 0.5 s) | evidence/upload-load.json |
| Persistence/restart | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; подтверждённое сообщение, старый токен и оригинал вложения сохранились после перезапуска PostgreSQL, Redis, S3 и здоровых API | evidence/persistence.txt |
| Failover уровня 4 | make test-failover ACTION_SCRIPT=scripts/stop-one.sh |
PASS; две реплики наблюдались до отказа, 113 успешных записей, 1 переходная ошибка, восстановление записи за 2.558 s, данные и сессия сохранены | evidence/failover.txt |
| Целевой failover | make test-failover-target ... OUTPUT=evidence/failover-target.json |
До отказа наблюдались 2 реплики; после остановки target оставалась другая; 109 успешных записей, 1 ошибка записи, 0 ошибок чтения, восстановление за 2.454 s, дубликатов нет | evidence/failover-target.json |
| Трек 2: обнаружение и dry-run | make test-reconcile |
Сканировано 38 строк metadata и 33 объекта за 0.081 s; dry-run ничего не удалил; свежий orphan сохранён; anonymous read запрещён | evidence/reconcile-integration.json |
| Трек 2: исправление и повтор | make test-reconcile |
На синтетических расхождениях apply удалил 1 старый orphan и 1 старую неиспользуемую запись metadata; используемое вложение и referenced missing metadata сохранены; повтор удалил 0 объектов и 0 metadata | evidence/reconcile-integration.json |
Эксперименты и отказы
Гипотеза: ограничение размера, spooling и локальный семафор позволят обслужить не менее десяти параллельных загрузок без пропорционального удержания всех тел в RAM; reconciler с grace period не удалит свежие или связанные данные и повторный apply не внесёт повторных изменений.
Методика загрузки: синтетический PNG 1200×1200 размером 4,322,578 байт загружался десятью потоками через HAProxy. Во время сценария docker stats снимал память двух здоровых API-реплик каждые 0.5 s. Все десять запросов завершились успешно за 3.05 s; наблюдаемые пики составили 81,128,325 и 82,732,646 байт. Это абсолютные sampled peaks, не прирост относительно baseline. Один запуск и короткий профиль не дают статистической оценки; частота семплирования может пропустить кратковременный пик. Измерение исключает память PostgreSQL, S3, HAProxy и клиента.
Методика сверки: интеграционный тест создал синтетические записи и удалил объекты из S3, чтобы получить два направления несогласованности; затем создал orphan. На измеренном запуске при 38 строках metadata и 33 объектах dry-run занял 0.081 s, не удалив данные. Apply с обычным grace period также ничего не удалил, потому что объект был свежим. В изолированном тесте с grace period 0 удалены один старый orphan и одна старая неиспользуемая строка metadata; missing object у связанного сообщения и существующее используемое вложение сохранены. Повторный apply удалил ноль объектов и строк. На таком малом наборе 0.081 s — только локальная оценка, а не прогноз для production. Реализация загружает список объектов и metadata в память, поэтому для больших bucket нужны измерения и обработка порциями.
| Воздействие | Ожидание | Наблюдение | Восстановление/данные |
|---|---|---|---|
| Остановить S3 во время upload | Явный 503, без ложного ready |
PASS; после возврата S3 сервис снова стал ready | Автоматическое восстановление, persistent volumes сохранены |
| Перезапуск PostgreSQL, Redis, S3 и API | Сохранить сообщение, сессию и оригинал файла | PASS со старым токеном; hook сохранил volumes | Здоровые API перезапущены по очереди |
| Остановить одну API-реплику | LB продолжает обслуживать запросы другой; retry не дублирует запись | 113 успешных writes и 1 переходная ошибка в общем сценарии; targeted test сохранил 109 writes при 1 ошибке | В targeted test восстановление за 2.454 s; остановленная реплика оставлена остановленной, затем восстановлена вручную |
Ограничения и следующие шаги
- Измерения выполнены один раз на локальном Docker Desktop; для сравнения производительности нужны прогрев, несколько повторов, baseline/delta RAM и более длительная нагрузка.
- Reconciler выполняет полный проход по bucket и собирает списки в память. На больших объёмах потребуются порционная сверка, метрики, контроль времени/нагрузки и отдельное планирование запуска.
- Не автоматизируется восстановление потерянного байтового объекта, если к нему привязано сообщение; требуется backup/ручное восстановление.
- S3, PostgreSQL, Redis и HAProxy в Compose представлены одиночными экземплярами. Тестируется отказ API-реплики, но не отказ host, балансировщика, БД или самого S3-сервера.
- Upload синхронный и временные файлы используют локальный диск контейнера после 1 MiB; полноценные quotas, отдельный scratch volume и distributed concurrency limits не реализованы.
- Автор и группа не содержались в переданных материалах; их нужно вписать перед сдачей.