ЛР 4 — БВТ2303 — Бабиченко — на 4 #8

Closed
Kalibr wants to merge 2 commits from Kalibr/mtusi2026lab4:solution/bvt2303-babichenko into main
First-time contributor

Лабораторная 4

Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено.
Перенесён весь lab3: API на FastAPI (2 реплики за HAProxy), PostgreSQL, сессии в Redis, Idempotency-Key, сервис migrate, свои тесты. Добавлено в lab4:

  • S3-хранилище SeaweedFS (s3, chrislusf/seaweedfs:3.80) с приватным bucket и volume s3data. MinIO не используется: его образы больше не раздаются ни с Docker Hub, ни с quay.io.
  • Идемпотентный bootstrap s3-init: создаёт bucket и проверяет, что анонимный доступ закрыт, а ключ API не может администрировать хранилище.
  • Отдельный ключ API с правами только Read/Write/List на свой bucket. Admin-ключ есть только у s3 и s3-init. Порты S3 не публикуются, хранилище только во внутренней сети.
  • Миграция 004: attachments (метаданные) и message_attachments с составными внешними ключами по chat_id, поэтому вложение другого чата нельзя прикрепить даже в обход API.
  • Синхронная загрузка PNG/JPEG: лимит 10 MiB (в том числе без Content-Length), 40 Мпикс проверяются по заголовку до распаковки, тип определяется по содержимому, опасные filename отклоняются. Целостность проверяется потоково, без декодирования всего изображения в память.
  • Скачивание оригинала через API с проверкой участника чата, без redirect; attachment_ids в сообщениях.
  • Согласованность БД и S3: строка uploading, затем PUT в S3, затем ready. Сервис janitor удаляет брошенные загрузки и объекты-сироты только после grace period (1 ч), есть --dry-run, ready-строки без объекта попадают в отчёт.

Команды запуска из чистого clone (PowerShell):
$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py
docker compose up -d --build --wait
python student-tests/collect_evidence.py
Подробно — REPORT.md, раздел «Запуск из чистого clone».

Полный вывод — evidence/*.txt, сводка — evidence/summary.md, таблицы замеров — REPORT.md, раздел «Эксперименты и отказы».

Ограничения / известные ошибки. Стенд на одном узле: lb, postgres, redis и s3 — единственные точки отказа. Повтор загрузки после потерянного ответа создаёт второе вложение (в контракте нет ключа идемпотентности для загрузки). Объекты, пропавшие из S3, janitor только находит и не восстанавливает. Подробнее — REPORT.md, «Ограничения».

Источники и использование ИИ. Библиотеки и документация перечислены в REPORT.md. При написании кода и тестов использовался ИИ-ассистент, код проверен и прогнан мной.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Лабораторная 4 Автор / группа: Бабиченко Максим, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен **Что реализовано и что перенесено.** Перенесён весь lab3: API на FastAPI (2 реплики за HAProxy), PostgreSQL, сессии в Redis, Idempotency-Key, сервис migrate, свои тесты. Добавлено в lab4: - S3-хранилище SeaweedFS (`s3`, `chrislusf/seaweedfs:3.80`) с приватным bucket и volume `s3data`. MinIO не используется: его образы больше не раздаются ни с Docker Hub, ни с quay.io. - Идемпотентный bootstrap `s3-init`: создаёт bucket и проверяет, что анонимный доступ закрыт, а ключ API не может администрировать хранилище. - Отдельный ключ API с правами только Read/Write/List на свой bucket. Admin-ключ есть только у `s3` и `s3-init`. Порты S3 не публикуются, хранилище только во внутренней сети. - Миграция 004: `attachments` (метаданные) и `message_attachments` с составными внешними ключами по `chat_id`, поэтому вложение другого чата нельзя прикрепить даже в обход API. - Синхронная загрузка PNG/JPEG: лимит 10 MiB (в том числе без Content-Length), 40 Мпикс проверяются по заголовку до распаковки, тип определяется по содержимому, опасные filename отклоняются. Целостность проверяется потоково, без декодирования всего изображения в память. - Скачивание оригинала через API с проверкой участника чата, без redirect; `attachment_ids` в сообщениях. - Согласованность БД и S3: строка `uploading`, затем PUT в S3, затем `ready`. Сервис `janitor` удаляет брошенные загрузки и объекты-сироты только после grace period (1 ч), есть `--dry-run`, ready-строки без объекта попадают в отчёт. **Команды запуска из чистого clone** (PowerShell): $env:PYTHONUTF8 = "1" Copy-Item .env.example .env python scripts/init_secrets.py docker compose up -d --build --wait python student-tests/collect_evidence.py Подробно — REPORT.md, раздел «Запуск из чистого clone». Полный вывод — `evidence/*.txt`, сводка — `evidence/summary.md`, таблицы замеров — REPORT.md, раздел «Эксперименты и отказы». **Ограничения / известные ошибки.** Стенд на одном узле: lb, postgres, redis и s3 — единственные точки отказа. Повтор загрузки после потерянного ответа создаёт второе вложение (в контракте нет ключа идемпотентности для загрузки). Объекты, пропавшие из S3, janitor только находит и не восстанавливает. Подробнее — REPORT.md, «Ограничения». **Источники и использование ИИ.** Библиотеки и документация перечислены в REPORT.md. При написании кода и тестов использовался ИИ-ассистент, код проверен и прогнан мной. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Kalibr added 1 commit 2026-10-21 21:38:53 +03:00
Owner

Существенная проблема — некорректный PNG получает 201 ready. В uploads.py:315 обработчик PLTE только устанавливает флаг наличия палитры.
Минимальное воспроизведение: отправить участником своего чата POST /api/v1/chats/{chat_id}/attachments?filename=bad.png с Content-Type: image/png. Тело — PNG 1×1, глубина 8, цветовой тип 3, PLTE из 771 нулевого байта — 257 записей, IDAT = zlib.compress(b"\0\0"), корректные CRC и IEND. Размер — 850 байт.
Ожидается 415 unsupported_media_type. Фактически получены 201, status=ready, затем скачивание тех же 850 байт. Pillow 12.3.0 отклоняет этот файл: ValueError: invalid palette size. Нужно проверить допустимый размер палитры и добавить регрессионный тест.

Существенная проблема — некорректный PNG получает 201 ready. В [uploads.py:315](https://gitea.privcloud.tech/Kalibr/mtusi2026lab4/src/commit/5c3a31db2edf93920bfc909faf190d05c91f28bb/uploads.py#L315) обработчик PLTE только устанавливает флаг наличия палитры. Минимальное воспроизведение: отправить участником своего чата POST /api/v1/chats/{chat_id}/attachments?filename=bad.png с Content-Type: image/png. Тело — PNG 1×1, глубина 8, цветовой тип 3, PLTE из 771 нулевого байта — 257 записей, IDAT = zlib.compress(b"\0\0"), корректные CRC и IEND. Размер — 850 байт. Ожидается 415 unsupported_media_type. Фактически получены 201, status=ready, затем скачивание тех же 850 байт. Pillow 12.3.0 отклоняет этот файл: ValueError: invalid palette size. Нужно проверить допустимый размер палитры и добавить регрессионный тест.
Kalibr added 1 commit 2026-10-22 14:31:18 +03:00
Author
First-time contributor

Исправил.Теперь check_png проверяет не только CRC, но и содержимое чанков по спецификации PNG: размер палитры (1–256 записей, не больше 2^глубина), размер tRNS, порядок чанков, текстовые чанки. Файл из замечания получает 415. Регрессионный тест — test_png_chunk_semantics в student-tests/test_attachments.py (этот случай и ещё 23 некорректных PNG), вывод — evidence/attachments.txt.

Исправил.Теперь check_png проверяет не только CRC, но и содержимое чанков по спецификации PNG: размер палитры (1–256 записей, не больше 2^глубина), размер tRNS, порядок чанков, текстовые чанки. Файл из замечания получает 415. Регрессионный тест — test_png_chunk_semantics в student-tests/test_attachments.py (этот случай и ещё 23 некорректных PNG), вывод — evidence/attachments.txt.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-24 16:17:35 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#8