Files
mtusi2026lab4/REPORT.md
T

16 KiB
Raw Blame History

Лабораторная 4

Автор: Каменский Никита, БВТ-2302. Цель: 5, трек 2 «Согласованность двух хранилищ». PR: ЛР 4 - БВТ-2302 - Каменский - на 5.

Запуск

Нужны Docker Desktop, Python 3.9+, доступ в интернет для сборки. Локальная сборка без Docker дополнительно требует .NET SDK 9.

make setup
make up
make check
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore-api
make research-grade5

Интерфейс: http://localhost:18084/. Регистрация требует пароль 12–128 символов. Кнопка со скрепкой загружает PNG/JPEG; до отправки видна миниатюра, которую можно убрать. В сообщении превью появляется автоматически. Нажатие открывает просмотр на весь экран с увеличением, скачиванием и переходом между изображениями. Стрелки клавиатуры перелистывают, Esc закрывает просмотр; на телефоне есть свайп. Скачивание сохраняет исходное имя и байты файла. Автоматический повтор загрузки не используется: повтор POST может создать новый файл.

Остановить с сохранением данных: make down. Намеренно удалить учебные данные: ./scripts/compose.sh down -v. Последняя команда удаляет PostgreSQL и S3 volumes.

Секреты создаёт scripts/init-secrets.py в исключённой из Git папке secrets/. Повторный запуск сохраняет существующие ключи. Миграции выполняет отдельный сервис migrate с транзакционной блокировкой. s3-bootstrap создаёт bucket только при его отсутствии и использует отдельную административную пару ключей. API получает другую пару: Read/Write/List только bucket messenger. Bootstrap не использует пользовательские credentials и не выводит их.

Версии: .NET SDK 9.0.306/runtime 9.0.10, PostgreSQL 17.6, Redis 7.4.2, HAProxy 3.2.7-alpine, SeaweedFS 3.97, AWSSDK.S3 4.0.0, SkiaSharp 3.119.1. Контейнер API работает под непривилегированным пользователем app.

Архитектура

Клиент обращается к HAProxy, который распределяет запросы между двумя API. PostgreSQL хранит пользователей, чаты, сообщения, сессии, ключи идемпотентности и метаданные вложений. Redis хранит кэш сессий и heartbeat. SeaweedFS хранит оригиналы в приватном S3 bucket. Наружу опубликован только HAProxy на localhost.

Из Lab3 перенесены собственные исходники, интерфейс, Dockerfile, HAProxy и операционные скрипты. Skeleton, публичные tests и contracts взяты из Lab4. Сопоставление всех критериев с файлами: docs/ARCHITECTURE.md.

Новые маршруты: POST /api/v1/chats/{id}/attachments, GET /api/v1/attachments/{id} и GET /api/v1/attachments/{id}/content. Перед обработкой проверяются Bearer и членство в чате; чужое и неизвестное вложение возвращают одинаковый 404. Публичные метаданные не содержат object key и адрес S3. Filename никогда не используется в пути. Случайный ключ: originals/<UUID без разделителей>.

У сообщения появился attachment_ids: 0–10 уникальных UUID из того же чата. Пустой текст разрешён только с вложениями. Порядок ID сохраняется. Хеш идемпотентности включает текст и массив ID. Отсутствующий массив равен []. Запись сообщения и ключа идемпотентности остаётся одной транзакцией PostgreSQL.

Превью запрашиваются с Bearer при приближении к видимой области, одновременно не более двух загрузок. При уходе изображения за экран запрос отменяется, blob URL освобождается; активный просмотр удерживает оригинал до закрытия. При смене чата или сессии ресурсы освобождаются. Проверки интерфейса и скачанного оригинала: evidence/image-ui.json.

Память, лимиты и ошибки

Размер проверяется по Content-Length и по реально прочитанным байтам. Предел — 10 MiB. Содержимое копируется во временный файл буфером 64 KiB. Временный файл нужен только для проверки и PUT; он не является хранилищем оригиналов и удаляется при закрытии. API не должен иметь этот файл для GET. SkiaSharp определяет формат и размеры до выделения bitmap. Предел — 40 млн пикселей. После проверки выполняется полное декодирование первого кадра. Исходные байты отправляются без перекодирования. AWS chunk encoding отключён: SeaweedFS 3.97 должен получить именно оригинал, без служебных SigV4 chunk frames. Повреждение/неверный MIME — 415; превышение bytes/pixels — 413; опасное имя — 400.

Одна API одновременно обслуживает одну загрузку/декодирование; остальные ждут семафор с отменой. Общий deadline upload — 90 секунд, SDK S3 — 20 секунд, непрозрачных retries нет. Декодированный RGBA bitmap до 160 млн байт плюс накладные расходы. Лимит каждой API — 512 MiB; S3 — 512 MiB. Результаты 10 одновременно начатых PNG uploads и выборочные замеры memory.current обеих API: evidence/attachments.json. Замеры каждые 100 ms плюс время docker exec; краткий пик между выборками может быть пропущен.

Readiness зависит от PostgreSQL и S3; liveness проверяет процесс. При отказе S3 HAProxy исключает API, поэтому его собственный 503 может быть без JSON и X-Instance-Id. Ошибки, созданные API, имеют общий формат контракта. Redis не критичен для сохранности сессии: PostgreSQL остаётся источником истины.

Согласованность и очистка

201 возвращается только после успешного S3 PUT и COMMIT метаданных. У S3 и PostgreSQL нет общей транзакции. Ошибка после PUT может оставить orphan. При неопределённом исходе COMMIT нельзя немедленно удалять файл: COMMIT мог состояться. Такие случаи исправляются последующей сверкой.

Все загрузки и сообщения со ссылками получают shared advisory lock 48260104 в PostgreSQL. Reconciler получает exclusive lock, поэтому во время сверки публикация и новые ссылки не могут обогнать проверку. Это компромисс для учебного стенда: длительная сверка задерживает запись, запускать её следует в техническое окно. GET продолжает работать. Только наши writers соблюдают протокол; прямые изменения оператором во время сверки не поддерживаются.

make reconcile        # dry-run, только показать действия
make reconcile-apply  # применить действия

Grace period по умолчанию 3600 секунд, минимум 120. Учитываются время создания метаданных и LastModified объекта. Fresh пропускаются. Старый объект без метаданных удаляется только при отсутствии ссылки сообщения на его UUID. Старое непривязанное вложение удаляется из обоих хранилищ. Оригинал, на который ссылается сообщение, не удаляется. Если файл используется сообщением, но его метаданные были удалены напрямую из БД, сверка сообщает missing_metadata и сохраняет байты. Оператор должен восстановить метаданные из резервной копии. Если используемый оригинал пропал, запись помечается missing: публичный GET метаданных/content возвращает 409, сообщение и ID сохраняются. Восстановление байтов требует резервной копии. Автоматическое восстановление отсутствующего оригинала не заявляется.

S3 обходится страницами до 1000 объектов, PostgreSQL — до 200 записей по UUID. Повтор удалений безопасен. Если процесс прервётся между удалением байтов и метаданных, следующая сверка удалит оставшуюся старую непривязанную запись. Если S3 недоступен, сверка останавливается: timeout не принимается за отсутствие. Общий timeout команды — 5 минут. Подробный список действий требует памяти, пропорциональной числу найденных проблем; для больших хранилищ нужен вывод потоком.

Проверки критериев

Критерий Проверка Доказательство
Текстовые сообщения, сессии, идемпотентность, файлы и ACL make test evidence/verification.txt
Размер, пиксели, повреждение, MIME, filename, чужой чат и ID make student-test evidence/attachments.json
10 параллельных upload, RAM make student-test evidence/attachments.json
Сохранность оригинала и прежней сессии после restart make test-persistence evidence/persistence.txt
Остановка загрузившей API, чтение из другой make test-failover evidence/failover.txt
Приватный bucket, ограниченные ключи make research-grade5 evidence/consistency.json
Обрыв загрузки, PUT с ошибкой БД, отказ S3 make research-grade5 evidence/consistency.json
Dry-run, repair, повтор, fresh и used, стоимость make research-grade5 evidence/consistency.json

Гипотеза исследования: при едином протоколе блокировок и grace period можно находить и очищать старые orphan/unreferenced данные, сохраняя свежие и используемые файлы. Методика вводит недостающий S3 объект и отказ SQL INSERT после PUT, выполняет dry-run, apply и повтор. LastModified не подделывается: тест действительно ждёт минимальный safety interval. Команда сообщает число объектов, строк, S3-запросов, elapsed_ms и peak_process_bytes.

Результаты эксперимента

На локальном Docker Desktop: Linux/aarch64, 8 CPU, 4106604544 байт памяти VM. 10 одновременно начатых загрузок PNG по 3147775 байт завершились без ошибок. Пик выборок memory.current API: 220725248 и 160665600 байт при лимите 512 MiB на каждую. Точные времена, исходные выборки и условия сохранены в attachments.json.

После очистки три одинаковых dry-run обхода 11 объектов и 13 строк выполнили по 12 S3-запросов. Длительности: 331.6, 891.0 и 447.3 ms, медиана 447.3 ms. PeakWorkingSet процесса около 109 MB включает запуск CLR и SDK; это не чистая память только алгоритма. Малый набор и один host не позволяют экстраполировать результат на миллионы объектов. Отдельно сохранены dry-run, apply и повтор с действиями и затратами. Проверены fresh, used, потеря метаданных используемого файла, потеря самого объекта, SQL-ошибка после PUT, обрыв HTTP и недоступность S3.

Ограничения

Один Docker-host, PostgreSQL, HAProxy и SeaweedFS остаются точками отказа. Это не защита от потери узла. Нет репликации S3 и резервного копирования. Прямой presigned upload, worker и thumbnail не реализованы: это другой трек или следующая лабораторная. История сообщений сохраняет keyset пагинацию по (created_at,id); snapshot между HTTP-запросами не гарантируется.

Переменные .env.example — логические имена skeleton. Фактическое соответствие: CACHE_URL_FILE/SESSION_STORE заменены REDIS_URL + PostgreSQL session lookup; S3_ACCESS_KEY_ID_FILE → S3_ACCESS_KEY_FILE, S3_SECRET_ACCESS_KEY_FILE → S3_SECRET_KEY_FILE. Endpoint http://s3:8333, bucket messenger, регион us-east-1. MAX_UPLOAD_BYTES/MAX_IMAGE_PIXELS/IDEMPOTENCY_TTL_SECONDS фиксированы контрактом в коде: 10485760/40000000/86400. APP_ENV не меняет семантику API.

Источники: contracts Lab4, официальная документация AWS SDK for .NET, SeaweedFS S3 Credentials, SkiaSharp. ChatGPT использован при реализации и проверках.