ЛР 4 — БВТ2301 — Курлова — на 5 #49

Closed
alenccha wants to merge 3 commits from alenccha/mtusi2026lab4:solution/bvt2301-kurlova into main
First-time contributor

Автор / группа: Алёна Курлова, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ (reconciler)

Ссылка на отчёт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/49/files#diff-6f3cf0b8d41e85844f3b4afaa44654f3a5fa75d5

Что реализовано и что перенесено:
Перенесён минимум lab3 (пользователи, сессии, чаты, сообщения, идемпотентность, nginx с health-проверкой, 2 API-реплики, PostgreSQL, Valkey). Добавлено:

  • загрузка PNG/JPEG (сырые байты, до 10 MiB и 40 Мпикс) и авторизованное скачивание через API; метаданные в PostgreSQL, байты в приватном bucket MinIO;
  • attachment_ids в сообщениях, порядок вложений сохраняется;
  • строка uploading в БД до PUT в S3 и ready только после него, 201 возвращается после сохранения оригинала и метаданных;
  • потоковая проверка целостности: собственный сканер PNG и декодирование JPEG в уменьшенном масштабе, память ограничена;
  • отдельный S3-пользователь с политикой только на attachments/*, идемпотентный bootstrap bucket, консоль и порты MinIO не опубликованы;
  • компенсация при сбоях и reconciler БД и S3 (dry-run, grace period, lock между репликами), трек 2;
  • тесты отказов и эксперименты (память при 10 одновременных загрузках, внедрение ошибок в reconciler).

Команды запуска из чистого clone:** полностью в REPORT.md, раздел «Запуск из чистого clone». Кратко: создать secrets/, cp .env.example .env, затем
docker compose --env-file .env up -d --build, дождаться /health/ready, make test.
Воспроизведение с нуля по этим командам проверено в отдельной чистой копии.

Результаты проверок и ссылка на REPORT.md: подробности и файлы доказательств в REPORT.md и каталоге evidence/.

  • make check: PASS; make test (публичный smoke): PASS.
  • make test-persistence: PASS; make test-failover: PASS (0 ошибок, восстановление около 0.45 с).
  • Загрузка через одну реплику, остановка её, скачивание через другую: sha256 совпал; рестарт postgres, valkey, minio, API и nginx с сохранёнными volumes: метаданные и оригинал целы.
  • Негативные сценарии: файл больше 10 MiB (413), больше 40 Мпикс (413), битое изображение и подмена MIME (415), чужое и неизвестное attachment_id, вложение другого чата (404), опасные filename (400). Пользовательские ошибки не превращаются в 500.
  • Недоступность S3: upload/download/ready отвечают 503 в JSON, текстовые сообщения продолжают работать; зависший S3 даёт 503 за 7 с.
  • Bucket приватен: анонимные запросы из сети compose получают 403.
  • Память при 10 одновременных загрузках по 8.3 MiB: пик на реплику около 115 MiB при лимите контейнера 256 MiB (до ограничения тяжёлых стадий было 182 MiB, с ростом по раундам).
  • Reconciler: 18 из 18 проверок на внедрённых ошибках с обеих сторон; свежие и используемые вложения не удаляются; повторный запуск ничего не меняет; обход 1000 вложений около 1.25 с.

Ограничения / известные ошибки:

  • Образ MinIO: официальные minio/minio и quay.io/minio/minio в моей среде недоступны, использован сторонний madlabcg/minio, закреплённый по digest. Его происхождение я не проверяла.
  • JPEG, у которого поток обрезан посередине и дописан маркер EOI, не обнаруживается (libjpeg считает это нормальным концом данных).
  • Нагрузочное тестирование с заданным arrival rate и p95/p99 не выполнялось, измерялась только память; замеры памяти — срезы docker stats.
  • Не реализованы: трек 1 (presigned upload), варианты изображений (lab5), TLS (локальный стенд с синтетическими данными).
  • Полный список в REPORT.md, раздел «Ограничения и следующие шаги».

Источники и использование ИИ: FastAPI, psycopg, boto3, Pillow, MinIO; код lab3 перенесён и расширен. Реализацию, тесты и черновик отчёта выполнял Claude Code (ИИ) под моим руководством; запуск и проверку результатов на локальном стенде проводила я.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены (contracts/ и tests/ не менялись).
  • make check и make test выполнены; приложен реальный вывод (evidence/smoke.txt и остальные файлы в evidence/).
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Автор / группа: Алёна Курлова, БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 — согласованность двух хранилищ (reconciler) Ссылка на отчёт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/49/files#diff-6f3cf0b8d41e85844f3b4afaa44654f3a5fa75d5 Что реализовано и что перенесено: Перенесён минимум lab3 (пользователи, сессии, чаты, сообщения, идемпотентность, nginx с health-проверкой, 2 API-реплики, PostgreSQL, Valkey). Добавлено: - загрузка PNG/JPEG (сырые байты, до 10 MiB и 40 Мпикс) и авторизованное скачивание через API; метаданные в PostgreSQL, байты в приватном bucket MinIO; - `attachment_ids` в сообщениях, порядок вложений сохраняется; - строка `uploading` в БД до PUT в S3 и `ready` только после него, 201 возвращается после сохранения оригинала и метаданных; - потоковая проверка целостности: собственный сканер PNG и декодирование JPEG в уменьшенном масштабе, память ограничена; - отдельный S3-пользователь с политикой только на `attachments/*`, идемпотентный bootstrap bucket, консоль и порты MinIO не опубликованы; - компенсация при сбоях и reconciler БД и S3 (dry-run, grace period, lock между репликами), трек 2; - тесты отказов и эксперименты (память при 10 одновременных загрузках, внедрение ошибок в reconciler). Команды запуска из чистого clone:** полностью в REPORT.md, раздел «Запуск из чистого clone». Кратко: создать `secrets/`, `cp .env.example .env`, затем `docker compose --env-file .env up -d --build`, дождаться `/health/ready`, `make test`. Воспроизведение с нуля по этим командам проверено в отдельной чистой копии. **Результаты проверок и ссылка на REPORT.md:** подробности и файлы доказательств в REPORT.md и каталоге `evidence/`. - `make check`: PASS; `make test` (публичный smoke): PASS. - `make test-persistence`: PASS; `make test-failover`: PASS (0 ошибок, восстановление около 0.45 с). - Загрузка через одну реплику, остановка её, скачивание через другую: sha256 совпал; рестарт postgres, valkey, minio, API и nginx с сохранёнными volumes: метаданные и оригинал целы. - Негативные сценарии: файл больше 10 MiB (413), больше 40 Мпикс (413), битое изображение и подмена MIME (415), чужое и неизвестное `attachment_id`, вложение другого чата (404), опасные filename (400). Пользовательские ошибки не превращаются в 500. - Недоступность S3: upload/download/ready отвечают 503 в JSON, текстовые сообщения продолжают работать; зависший S3 даёт 503 за 7 с. - Bucket приватен: анонимные запросы из сети compose получают 403. - Память при 10 одновременных загрузках по 8.3 MiB: пик на реплику около 115 MiB при лимите контейнера 256 MiB (до ограничения тяжёлых стадий было 182 MiB, с ростом по раундам). - Reconciler: 18 из 18 проверок на внедрённых ошибках с обеих сторон; свежие и используемые вложения не удаляются; повторный запуск ничего не меняет; обход 1000 вложений около 1.25 с. **Ограничения / известные ошибки:** - Образ MinIO: официальные `minio/minio` и `quay.io/minio/minio` в моей среде недоступны, использован сторонний `madlabcg/minio`, закреплённый по digest. Его происхождение я не проверяла. - JPEG, у которого поток обрезан посередине и дописан маркер EOI, не обнаруживается (libjpeg считает это нормальным концом данных). - Нагрузочное тестирование с заданным arrival rate и p95/p99 не выполнялось, измерялась только память; замеры памяти — срезы `docker stats`. - Не реализованы: трек 1 (presigned upload), варианты изображений (lab5), TLS (локальный стенд с синтетическими данными). - Полный список в REPORT.md, раздел «Ограничения и следующие шаги». **Источники и использование ИИ:** FastAPI, psycopg, boto3, Pillow, MinIO; код lab3 перенесён и расширен. Реализацию, тесты и черновик отчёта выполнял Claude Code (ИИ) под моим руководством; запуск и проверку результатов на локальном стенде проводила я. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены (`contracts/` и `tests/` не менялись). - [x] make check и make test выполнены; приложен реальный вывод (`evidence/smoke.txt` и остальные файлы в `evidence/`). - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
alenccha changed title from ЛР 4: вложения в S3 (MinIO), reconciler БД<->S3, отчёт и evidence to ЛР 4 — БВТ2301 — Курлова — на 5 2026-11-02 17:01:39 +03:00
alenccha added 2 commits 2026-11-02 17:03:23 +03:00
Перенесён минимум lab3. Добавлены загрузка/скачивание PNG/JPEG через API
с потоковой проверкой целостности, метаданные в PostgreSQL и байты в
приватном bucket, отдельный S3-пользователь с ограниченными правами,
идемпотентный bootstrap bucket, компенсация и reconciler (трек 2),
тесты отказов, эксперименты по памяти и согласованности.
alenccha force-pushed solution/bvt2301-kurlova from 31c9b34dcc to 2152d0dcad 2026-11-02 17:03:23 +03:00 Compare
Owner

Существенные замечания:

  1. Повреждённый JPEG принимается с 201. Воспроизведение: сохранить настоящий JPEG, оставить первую половину bytes, дописать FF D9 и загрузить как image/jpeg. Ожидалось 415; фактически получено 201 для файла 379 482 байта вместо исходных 758 961. Ограничение честно указано автором, но нарушает критерий отклонения повреждённых изображений. Код: app/imagecheck.py:176.
  2. Десять конкурентных загрузок вызывают OOM балансировщика. Независимый клиент одновременно отправил через LB десять PNG по 8 674 403 байта. Все запросы завершились RemoteDisconnected; Docker events подтвердили oom → die exit=137 → start контейнера nginx. Ожидалась ограниченная обработка без падения стенда. Сохранён исходный лимит LB 64 MiB: compose.yaml:59, конфигурация workers: infra/nginx.conf:1.
  3. Наблюдался непостоянный HTML 502 вместо JSON 413. Запрос с телом 10 MiB + 1 байт получил 502; nginx зарегистрировал сброс upstream, хотя API записал ответ 413. Пять ограниченных повторов вернули корректный 413, поэтому постоянная воспроизводимость не установлена. Проверить раннее закрытие соединения при непрочитанном теле: app/main.py:530.
Существенные замечания: 1. Повреждённый JPEG принимается с 201. Воспроизведение: сохранить настоящий JPEG, оставить первую половину bytes, дописать FF D9 и загрузить как image/jpeg. Ожидалось 415; фактически получено 201 для файла 379 482 байта вместо исходных 758 961. Ограничение честно указано автором, но нарушает критерий отклонения повреждённых изображений. Код: [app/imagecheck.py:176](https://gitea.privcloud.tech/alenccha/mtusi2026lab4/src/commit/2152d0dcadd6b0dc7251a8a17c8da85f8ba7a7a9/app/imagecheck.py#L176). 2. Десять конкурентных загрузок вызывают OOM балансировщика. Независимый клиент одновременно отправил через LB десять PNG по 8 674 403 байта. Все запросы завершились RemoteDisconnected; Docker events подтвердили oom → die exit=137 → start контейнера nginx. Ожидалась ограниченная обработка без падения стенда. Сохранён исходный лимит LB 64 MiB: [compose.yaml:59](https://gitea.privcloud.tech/alenccha/mtusi2026lab4/src/commit/2152d0dcadd6b0dc7251a8a17c8da85f8ba7a7a9/compose.yaml#L59), конфигурация workers: [infra/nginx.conf:1](https://gitea.privcloud.tech/alenccha/mtusi2026lab4/src/commit/2152d0dcadd6b0dc7251a8a17c8da85f8ba7a7a9/infra/nginx.conf#L1). 3. Наблюдался непостоянный HTML 502 вместо JSON 413. Запрос с телом 10 MiB + 1 байт получил 502; nginx зарегистрировал сброс upstream, хотя API записал ответ 413. Пять ограниченных повторов вернули корректный 413, поэтому постоянная воспроизводимость не установлена. Проверить раннее закрытие соединения при непрочитанном теле: [app/main.py:530](https://gitea.privcloud.tech/alenccha/mtusi2026lab4/src/commit/2152d0dcadd6b0dc7251a8a17c8da85f8ba7a7a9/app/main.py#L530).
alenccha added 1 commit 2026-11-05 13:53:13 +03:00
JPEG проверяется через djpeg -strict: обрезанный поток с дописанным EOI
теперь даёт 415. Память nginx больше не зависит от тел файлов: загрузка
идёт потоком до API, скачивание без временных файлов, воркеров 2. API не
закрывает соединение при недочитанном теле, что давало HTML 502; nginx
сам отклоняет тела больше лимитов API. Лимит памяти API поднят до 512 MiB
под проверку CMYK-JPEG на 40 Мпикс. Добавлен стресс-тест через LB.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:32 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#49