ЛР 4 — БВТ2301 — Владимирцева — на 5 #24

Closed
Anastasia_Vladimirceva wants to merge 6 commits from Anastasia_Vladimirceva/mtusi2026lab4-vladimirceva:solution/bvt2301-vladimirceva into main
First-time contributor

Лабораторная 4

Автор / группа: Владимирцева, БВТ2301
Целевая оценка: 5
Выбранный трек: 2 — «Согласованность двух хранилищ»

Что реализовано

Сохранены возможности лабораторной 3: несколько API-реплик за HAProxy, общие сессии, идемпотентность сообщений и PostgreSQL как источник истины.

Добавлены:

  • приватное S3-хранилище SeaweedFS, идемпотентный bootstrap и отдельные учётные данные API и уборщика;
  • загрузка PNG/JPEG с ограничениями размера, MIME, размеров изображения и filename;
  • метаданные вложений в PostgreSQL, связь с сообщениями через attachment_ids;
  • авторизованное скачивание через любую API-реплику;
  • компенсация сбоев между S3 и БД, уборщик незавершённых загрузок;
  • повторяемая сверка bucket и БД: dry-run, безопасное исправление, предел изменений и защита свежих и используемых вложений.

201 ready возвращается после сохранения объекта и фиксации метаданных.

Запуск из чистого clone

Нужны Docker Compose, make и uv.

make install
make env
make up
make test
make s3-check

API доступен через HAProxy на http://localhost:8080. Пароли и ключи создаются локально командой make env и не входят в Git.

Проверки и эксперименты

  • make test-isolated: 130 passed, все пять результатов — 0; проверены smoke, отказ реплики, скачивание вложения через другую реплику и сохранность после рестарта.
  • make failure-checks: 24 passed.
  • make s3-check: 63 проверки, нарушений нет.
  • Форматирование, lint, проверка контракта, полная валидация OpenAPI и сверка requirements.txt с uv.lock прошли.

Полные нагрузочные эксперименты:

  • uploads — 48 прогонов, 16 ячеек по 3 повтора. При 40 клиентах и теле 10 MiB наблюдаемый медианный пик с лимитом — 159,8 MiB без OOM; без лимита — 509,6 MiB и OOM во всех трёх повторах.
  • reconcile — 45 проходов, во всех найденные расхождения совпали с моделью. Batch на 100 000 объектах — 21,495 с; плановая конфигурация под фоновой нагрузкой — 55,499 с.

Гипотезы записаны до замеров и сохранены. H4 опровергнута: при выбранной нагрузке ограничение скорости не показало преимущества по p95.

Методика, таблицы, выводы и ссылки на доказательства — в REPORT.md. Исходные данные — в evidence/uploads/baseline/ и evidence/reconcile/baseline/.

Ограничения и известные проблемы

  • Пики памяти измерены выборками каждые 0,2 с: краткие всплески между выборками не исключены, строгая численная граница U1 полностью не доказана.
  • Стенд работает на одном Docker-host; PostgreSQL, HAProxy и S3 представлены одним экземпляром.
  • Проверка PNG/JPEG структурная, без декодирования пикселей.

Источники и помощь ИИ

Использованы документация S3, SeaweedFS, aiobotocore, PostgreSQL, HAProxy и cgroup v2, спецификации PNG/JPEG. Реализация и подготовка материалов выполнялись с помощью Claude Code; замеры, проверка результатов и завершение отчёта — с помощью Codex. Подробнее — раздел 8 REPORT.md.

  • Обязательные возможности предыдущих лабораторных сохранены.
  • Контракт и публичные тесты не ослаблены.
  • Проверки API, сохранности и отказов выполнены; реальный вывод приложен.
  • Приватность bucket и права учётных данных проверены.
  • Секреты и приватные ключи находятся вне Git.
  • README задания сохранён, REPORT.md содержит инструкцию запуска решения.
## Лабораторная 4 **Автор / группа:** Владимирцева, БВТ2301 **Целевая оценка:** 5 **Выбранный трек:** 2 — «Согласованность двух хранилищ» ### Что реализовано Сохранены возможности лабораторной 3: несколько API-реплик за HAProxy, общие сессии, идемпотентность сообщений и PostgreSQL как источник истины. Добавлены: - приватное S3-хранилище SeaweedFS, идемпотентный bootstrap и отдельные учётные данные API и уборщика; - загрузка PNG/JPEG с ограничениями размера, MIME, размеров изображения и filename; - метаданные вложений в PostgreSQL, связь с сообщениями через attachment_ids; - авторизованное скачивание через любую API-реплику; - компенсация сбоев между S3 и БД, уборщик незавершённых загрузок; - повторяемая сверка bucket и БД: dry-run, безопасное исправление, предел изменений и защита свежих и используемых вложений. 201 ready возвращается после сохранения объекта и фиксации метаданных. ### Запуск из чистого clone Нужны Docker Compose, make и uv. make install make env make up make test make s3-check API доступен через HAProxy на http://localhost:8080. Пароли и ключи создаются локально командой make env и не входят в Git. ### Проверки и эксперименты - make test-isolated: 130 passed, все пять результатов — 0; проверены smoke, отказ реплики, скачивание вложения через другую реплику и сохранность после рестарта. - make failure-checks: 24 passed. - make s3-check: 63 проверки, нарушений нет. - Форматирование, lint, проверка контракта, полная валидация OpenAPI и сверка requirements.txt с uv.lock прошли. Полные нагрузочные эксперименты: - uploads — 48 прогонов, 16 ячеек по 3 повтора. При 40 клиентах и теле 10 MiB наблюдаемый медианный пик с лимитом — 159,8 MiB без OOM; без лимита — 509,6 MiB и OOM во всех трёх повторах. - reconcile — 45 проходов, во всех найденные расхождения совпали с моделью. Batch на 100 000 объектах — 21,495 с; плановая конфигурация под фоновой нагрузкой — 55,499 с. Гипотезы записаны до замеров и сохранены. H4 опровергнута: при выбранной нагрузке ограничение скорости не показало преимущества по p95. Методика, таблицы, выводы и ссылки на доказательства — в [REPORT.md](REPORT.md). Исходные данные — в evidence/uploads/baseline/ и evidence/reconcile/baseline/. ### Ограничения и известные проблемы - Пики памяти измерены выборками каждые 0,2 с: краткие всплески между выборками не исключены, строгая численная граница U1 полностью не доказана. - Стенд работает на одном Docker-host; PostgreSQL, HAProxy и S3 представлены одним экземпляром. - Проверка PNG/JPEG структурная, без декодирования пикселей. ### Источники и помощь ИИ Использованы документация S3, SeaweedFS, aiobotocore, PostgreSQL, HAProxy и cgroup v2, спецификации PNG/JPEG. Реализация и подготовка материалов выполнялись с помощью Claude Code; замеры, проверка результатов и завершение отчёта — с помощью Codex. Подробнее — раздел 8 REPORT.md. - [x] Обязательные возможности предыдущих лабораторных сохранены. - [x] Контракт и публичные тесты не ослаблены. - [x] Проверки API, сохранности и отказов выполнены; реальный вывод приложен. - [x] Приватность bucket и права учётных данных проверены. - [x] Секреты и приватные ключи находятся вне Git. - [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения.
Anastasia_Vladimirceva added 5 commits 2026-10-29 13:43:59 +03:00
Anastasia_Vladimirceva changed title from Solution/bvt2301 vladimirceva## Лабораторная 4 **Автор / группа:** Владимирцева, БВТ2301 **Целевая оценка:** 5 **Выбранный трек:** 2 — «Согласованность двух хра… to ЛР 4 — БВТ2301 — Владимирцева — на 5 2026-10-29 17:51:31 +03:00
Owner

Не критично, скорее просто коммент:

Принимается заведомо повреждённый JPEG. Минимальное воспроизведение: участник отправляет в свой чат POST /api/v1/chats/{chat_id}/attachments?filename=bad.jpg, Content-Type: image/jpeg, сырые 27 байт:

bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9")

Это заголовки SOI/SOF0/SOS/EOI без таблиц и данных изображения. Ожидается 415, фактически — 201, status=ready; последующий download возвращает те же байты с 200. Системный декодер файл отвергает. Причина видна в src/images.py:360: заголовок SOS засчитывается как скан без проверки наличия его данных. Требуется усилить JPEG-валидацию и добавить отрицательный тест.

Не критично, скорее просто коммент: Принимается заведомо повреждённый JPEG. Минимальное воспроизведение: участник отправляет в свой чат POST /api/v1/chats/{chat_id}/attachments?filename=bad.jpg, Content-Type: image/jpeg, сырые 27 байт: bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9") Это заголовки SOI/SOF0/SOS/EOI без таблиц и данных изображения. Ожидается 415, фактически — 201, status=ready; последующий download возвращает те же байты с 200. Системный декодер файл отвергает. Причина видна в [src/images.py:360](https://gitea.privcloud.tech/Anastasia_Vladimirceva/mtusi2026lab4-vladimirceva/src/commit/63378b5cf3c611313d6c9b3beaebcafa4b80527a/src/images.py#L360): заголовок SOS засчитывается как скан без проверки наличия его данных. Требуется усилить JPEG-валидацию и добавить отрицательный тест.
Anastasia_Vladimirceva added 1 commit 2026-10-30 18:47:54 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:06 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#24