Files
mtusi2026lab2/AGENTS.md
T
ArtyomandClaude Opus 5.5 b0f463ac5c Carry over the agent context and openspec history from lab 3
Bring the Claude Code settings, the lint hook, the opsx commands and
skills, the architecture notes, the lab 1 to lab 3 specs and the
archived lab 1 to lab 3 changes into the lab 4 skeleton, so lab 4
continues the same spec history instead of starting from scratch. The
files come from the lab 3 solution commit 61c0c28.

Rewrite AGENTS.md and the openspec context and rules for lab 4: image
attachments with metadata in PostgreSQL and bytes in a private RustFS
bucket inside the stand, a third domain zone for attachments that asks
the messaging zone about chat membership through a port wired in
main.py, upload limits applied before unbounded reading or decoding,
201 only after both the object write and the commit, Out of scope moved
to labs 5-7 plus presigned uploads, and rules on the write order between
the two stores and on root S3 keys staying out of the API.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-28 20:16:50 +03:00

11 KiB
Raw Blame History

Что это за репозиторий

Skeleton лабораторной 4 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке solution/bpi2303-kostylev. Skeleton даёт задание (README.md), нормативный контракт (contracts/) и публичные black-box проверки (tests/). Реализация API, Dockerfile, compose-стенд, конфигурация балансировщика и S3, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 4 построено переносом решения лабы 3.

Лаба 4: вложения-изображения в сообщениях. Метаданные вложений живут в PostgreSQL, байты — в приватном bucket S3-совместимого хранилища RustFS внутри стенда, а не в БД и не на диске реплики. POST /api/v1/chats/{chat_id}/attachments принимает сырые байты одного PNG/JPEG (≤10 MiB, ≤40 млн пикселей, тип по содержимому) и отвечает 201 ready только после записи объекта и фиксации метаданных; скачивание идёт только через API участникам чата. Сообщение несёт attachment_ids. Остаётся всё из лабы 3: HAProxy перед ≥2 репликами, X-Instance-Id, обязательный Idempotency-Key, хуки остановки реплики и рестарта стенда.

Команды

make check                      # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.4.0
make validate PYTHON=.venv/bin/python   # полная валидация OpenAPI 3.1 (venv с requirements-dev.txt)
make install                    # uv sync --group dev
make lint                       # ruff check + ruff format --check + ty check; обязательно перед commit
make student-test               # собственные тесты (поднимают одноразовые PostgreSQL, Valkey и RustFS в Docker)

make secrets                    # локальные secrets/* (включая root и API-ключи S3) и .env из .env.example
make up                         # docker compose up -d --build --wait: postgres, valkey, s3 → migrate, s3-init → api ×2 → lb
make test                       # публичный smoke через LB (BASE_URL, по умолчанию http://localhost:8080)
make test-persistence ACTION_SCRIPT=scripts/restart.sh   # рестарт lb, api, postgres, valkey, s3 с сохранением volumes
make test-failover ACTION_SCRIPT=scripts/stop-one.sh     # остановка реплики TARGET_INSTANCE_ID под запросами
make restore                    # вернуть остановленные реплики и дождаться их в ротации LB
make scenario SCENARIO=failover-upload   # upload → стоп обслужившей реплики → download через другую, SHA-256
make scenario SCENARIO=s3-outage         # S3 остановлен: upload/download 503, тексты работают
make s3-check                   # приватный bucket вне API, ограниченные ключи API, повторный bootstrap
make down                       # остановка без удаления данных; make reset-data — намеренное удаление volumes

tests/*.py и scripts/*.py — только stdlib, синтаксис Python 3.9 (make check разбирает их системным python3). Проверки сами не поднимают стенд. Хуки scripts/stop-one.sh и scripts/restart.sh запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей и вложения.

Архитектура skeleton

  • lab.json — единственный источник номера лабы (4). От него зависят scripts/check_contract.py (info.version == 1.4.0, путь /api/v1/attachments/{attachment_id}, X-Instance-Id во всех ответах) и tests/client.py (ветки LAB>=4: upload tests/fixtures/sample.png, сообщение с attachment_ids, скачивание вторым участником, 404 постороннему).
  • tests/client.py шлёт Accept: application/json на каждый запрос, включая скачивание картинки, и считает любой 30x ошибкой: content negotiation и redirect на S3 не делаются.
  • tests/resilience.py: перед хуком загружается sample.png; после persistence метаданные и /content запрашиваются один раз без повторов с таймаутом 2 с, поэтому хук рестарта ждёт здоровья S3. В failover TARGET_INSTANCE_ID — реплика, обслужившая первое сообщение, а не upload; остановку реплики, принявшей upload, доказывает scripts/lab4_scenarios.py failover-upload.
  • contracts/infrastructure.json — роли api (≥2, без локального состояния), postgres (метаданные, persistent volume), load_balancer, s3 (приватный bucket, persistent volume), опциональный redis_or_valkey. compose.example.yaml — только worksheet ролей.

Ключевые правила контракта (lab4)

  • Upload: POST /api/v1/chats/{chat_id}/attachments?filename=…, тело — сырые байты (не multipart), Content-Type: image/png|image/jpeg. >10485760 байт или >40 000 000 пикселей — 413; тип по содержимому не совпал, битый файл, иной Content-Type — 415; filename пустой, пробельный, длиннее 255 code points или с /, \, NUL, управляющими символами — 400. Object key назначает сервер. 201 Attachment (status=ready, variants=[], error_code=null, lowercase sha256, size_bytes оригинала) — только после записи в S3 и COMMIT метаданных. Кода 409 у upload нет.
  • GET /api/v1/attachments/{id} и /content?variant=original — только участникам чата вложения, посторонний и неизвестный id — 404. Скачивание отдаёт исходные байты с истинным Content-Type, без redirect, с X-Request-Id и X-Instance-Id.
  • Message.attachment_ids обязателен в каждом ответе ([] у текстовых, в том числе в replay и истории). CreateMessage.attachment_ids — 0–10 уникальных UUID (иначе 400), только вложения этого чата (иначе 404); text="" допустим только с вложением. Отсутствующий attachment_ids и [] — одно тело для Idempotency-Key.
  • Сохраняются правила lab3 (X-Instance-Id, Idempotency-Key, LB не повторяет POST /users, /chats, upload), lab2 (Basic только на входе, Bearer дальше, WWW-Authenticate по пути, logout 204, TTL) и lab1 (формат ошибки, посторонний → 404, keyset (created_at, id), время RFC 3339 с Z).

Правила работы с репозиторием

  • Не менять и не ослаблять contracts/, tests/, README.md, COURSE.md, рубрику. Расхождение оформляется вопросом преподавателю.
  • Код — src/messenger/, миграции — src/messenger/migrations/NNNN_*.sql, конфигурация LB, нагрузки и S3 — infra/, хуки и обвязка стенда — scripts/, собственные тесты — student-tests/, обезличенные доказательства — evidence/.
  • Без комментариев в коде; отступы — пробелы ([tool.ruff.format]); Python 3.14 без from __future__ import annotations и TYPE_CHECKING.
  • Порты реплик API и S3 наружу не публикуются: только LB. Нет container_name, hostname и общего INSTANCE_ID у сервиса api. Root-ключи S3 есть только у s3, s3-init и s3-cli; API получает отдельный ключ с политикой на один bucket.
  • REPORT.md: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (docker ps -a).
  • Ветка solution/bpi2303-kostylev, коммиты на английском, перед каждым — make lint. Никогда не коммитить .env, secrets/, токены, ключи S3, volumes, дампы.

Уровни оценки

Решение заявлено на «5» с треком 2 «Согласованность двух хранилищ (reconciler)»; таблица доказательств — в REPORT.md.

  • 3 — RustFS и приватный bucket в общем стенде, метаданные в PostgreSQL; upload 201 ready после записи и COMMIT, побайтное скачивание вторым участником, 404 постороннему, 403 анонимному GET в S3; лимиты 10 MiB / 40 MP, тип по содержимому, опасные filename; upload → стоп обслужившей реплики → download через другую; restart с volumes; недоступный S3 → 503 при работающих текстах; минимум lab3 сохранён.
  • 4 — негативные тесты файлов без 500; компенсация сбоя между S3 и БД и обрыва загрузки с grace period; потоковые лимиты и ≥10 одновременных загрузок с пиком памяти; идемпотентный bootstrap, ограниченные ключи API, закрытая консоль, проверка приватности вне API.
  • 5 — трек 2: reconciler (dry-run/apply) для orphan/missing/mismatch/stale pending, внедрение ошибок на обеих сторонах, безопасность для свежих и используемых вложений, стоимость обхода 1k/10k объектов.