Migration 0003 creates attachments with a pending or ready status, a server-assigned object key in byte order collation and a partial index for pending rows, and message_attachments that keeps the order of the attachments of a message. Foreign keys hold the links between zones: an attachment belongs to a member of its chat, and a message may only reference an attachment of its own chat, with RESTRICT so a referenced attachment can never be deleted. The text check is relaxed to at most 4000 code points because an empty text is legal next to an attachment; an empty message without attachments is still refused by the domain. The migration test covers the new version, a rerun without changes and both foreign keys. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
7.7 KiB
7.7 KiB
1. Схема
- 1.1 Миграция
0003_attachments.sql:attachments(статусpending/ready,object_key COLLATE "C",UNIQUE (id, chat_id), FK наchat_members, частичный индексpending),message_attachments(FK наattachments (id, chat_id)ON DELETE RESTRICT, индекс поattachment_id), ослабленныйmessages_text_check - 1.2 Проверка группы: тест миграций — версия
0003, повтор без изменений, вложение не участника и ссылка на вложение другого чата отклоняются внешними ключами, пустой текст принимается схемой
2. Зона attachments: домен и приложение
- 2.1 Домен:
Filename,ImageKind,ImageInfo, агрегатAttachment(stage→pending,store→readyс событиемAttachmentStored), ошибки зоны - 2.2 Порты:
ChatMembership,ObjectStorage(put/open/delete,ObjectContent,ObjectMissing),ImageInspector,AttachmentsUnitOfWork,AttachmentDirectory - 2.3 Команда
UploadAttachmentи обработчик: членство → имя →Content-Type→ поток со счётчиком и SHA-256 → проверка изображения →pending→put→ready; запросыGetAttachment,OpenAttachment - 2.4 Проверка группы: unit-тесты
Filename(граничные и опасные имена), агрегата и порядка записи обработчика с фейковыми портами (сбойputдаёт503и не делает вложение готовым)
3. Зона attachments: инфраструктура и HTTP
- 3.1 Адаптер PostgreSQL:
add,save,getготового; нарушение FK членства →404 - 3.2 Адаптер
PillowImageInspector: открытие только PNG/JPEG, подмена MIME, пиксели по заголовку, PNGverify, JPEGdraft+load,to_threadпод семафором - 3.3 Адаптер
S3ObjectStorageна aiobotocore (path-style, SigV4, таймауты, checksumwhen_required), отображение ошибок вObjectMissing/Unavailable; зависимости aiobotocore и Pillow вuv.lock - 3.4 Настройки зоны (
S3_*,MAX_UPLOAD_BYTES,MAX_IMAGE_PIXELS, таймауты, параллелизм проверки), провайдер dishka, схемыAttachmentOut, роутер upload/метаданных/скачивания, реестр ошибок, журнал - 3.5 Проверка группы: тест адаптера S3 против одноразового RustFS (put/open/delete, пропавший объект, недоступный endpoint →
Unavailableза ограниченное время)
4. Связь зон и платформа
- 4.1 Платформа: лимит тела по шаблону маршрута в конвейере
- 4.2
main.py: зонаattachments, адаптерMessagingMembershipдля портаChatMembership, лимит upload, поля журнала, реестр ошибок;create_appпринимает дополнительные провайдеры для тестов - 4.3 Проверка группы: тест графа импортов —
attachmentsне импортируетidentity/messaging,messagingне импортируетattachments,sharedне знает зон
5. Зона messaging: attachment_ids
- 5.1 Домен:
Message.attachment_ids,Chat.postс проверкой списка вложений,MessageTextс пустой строкой, ошибкиInvalidAttachmentListиUnknownAttachment - 5.2 HTTP и команда:
CreateMessageRequest.attachment_ids(по умолчанию[], отпечаток),MessageOut.attachment_ids - 5.3 PostgreSQL: запись
message_attachmentsв операторе отправки, FK →404,attachment_idsв повторе и истории подзапросом - 5.4 Проверка группы: тесты — пустой текст с вложением, порядок, другой чат и неизвестный id
404, 11 и повторы400, посторонний404раньше400, повтор с вложением, отсутствующий ≡[], другой порядок409, история сattachment_ids
6. API-тесты вложений
- 6.1 Генераторы тестовых PNG (произвольный размер в пикселях и байтах) и JPEG, фейковое
ObjectStorageвstudent-tests - 6.2 Тесты: fixture
201и побайтное скачивание вторым участником, посторонний404на метаданных и/content, ровно 10 MiB201, +1 байт413сContent-Lengthи chunked, 40 MP201и 40 MP+413, подмена MIME, обрезанные PNG/JPEG, иной и пустойContent-Type415, опасные и пустыеfilename400,variant=thumbnail400, сбой хранилища503без готового вложения, пропавший объект404, заголовки на бинарном ответе
7. Стенд
- 7.1
infra/s3/(init.sh,cli.sh,api-policy.json,lifecycle.json) из заготовки - 7.2
compose.yaml:s3,s3-init,s3-cli, volumes3data, секреты S3, якорьx-s3-envуapi, зависимость отs3-init;.env.example(таймауты S3, параллелизм проверки) - 7.3
scripts/secrets.sh(секреты S3),scripts/restart.sh(S3 в списке хранилищ),scripts/evidence-stack.sh(пакеты и образы лабы 4) - 7.4 Проверка группы:
docker compose config --quiet, уapiтолько ключ API S3,make upиз чистого состояния, все сервисыhealthy,s3-initзавершился кодом 0, опубликованы только портыlb
8. Сценарии отказов и обвязка
- 8.1
scripts/lab4_scenarios.py(failover-upload,s3-outage),scripts/s3-check.sh,scripts/evidence-attachments.sh; цели Makefilescenario,s3-check,attachments-evidence; ruff для новыхscripts/*.py - 8.2 CI-job под лабу 4: сценарии вложений после smoke
- 8.3 Проверка группы:
make test,make test-persistence ACTION_SCRIPT=scripts/restart.sh,make test-failover ACTION_SCRIPT=scripts/stop-one.shпо обеим репликам сmake restore,make scenario SCENARIO=failover-upload,make scenario SCENARIO=s3-outage,make s3-check
9. Отчёт
- 9.1
evidence/: smoke, contract-checks, student-tests, stack, storage-layout, failover-upload, failover по каждой реплике, persistence соStartedAt(включаяs3), s3-outage, s3-security, схема и миграции, окружение - 9.2
REPORT.md: запуск из чистого clone, архитектура и решения, таблица ролей и сервисов, соответствие переменных.env.example, строки уровня «3», таблица отказов уровня «3» - 9.3 Проверка группы:
make check,make validate,make lint,make student-test,make testи сценарии зелёные