ЛР 4 — БВТ2304 — Кошелев — на 4 #19

Open
Iicon18 wants to merge 1 commits from Iicon18/mtusi2026lab4:solution/bvt2304-koshelev into main
First-time contributor
  • S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket,
    отдельные ограниченные ключи API, служебные порты закрыты;
    идемпотентный s3-init с проверкой приватности и прогревом записи
  • вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс,
    тип по содержимому, проверка filename, скачивание только участникам
  • согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper
    с grace и dry-run; attachment_ids в сообщениях, FK по чату
  • back-pressure на S3 PUT после найденного OOM SeaweedFS
  • тесты student-tests, evidence, REPORT.md, DEMO.md

Лабораторная 4

Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено: из lab3 перенесены без изменений HAProxy → 2 реплики API, сессии в PostgreSQL + кэш Valkey, идемпотентность сообщений, X-Instance-Id, hooks restart/stop-one/restore/rolling-update. Новое: SeaweedFS 4.51 как приватное S3; метаданные вложений в PostgreSQL (миграция 0003); POST /chats/{id}/attachments с потоковым приёмом и лимитами; GET /attachments/{id} и /content только для участников чата, без redirect; attachment_ids в сообщениях; сервис sweeper для очистки после сбоев между S3 и БД. Подробно — раздел «Архитектура и решения» в REPORT.md.

Команды запуска из чистого clone: ./scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait, затем make test, make test-persistence ACTION_SCRIPT=scripts/restart.sh, make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh, make test-student, make memory. Полная инструкция — REPORT.md, сценарий защиты — DEMO.md.

Результаты проверок и ссылка на REPORT.md: make check, make validate, make test — PASS. test-persistence — PASS: перезапущены все хранилища включая S3, файл цел. test-failover ×2 — PASS, 0 failed attempts. upload_failover — остановлена именно реплика, принявшая файл (обе по очереди), скачивание через другую с тем же SHA-256. attachments_test — 47 случаев (большой файл, пиксельная бомба, битые PNG/JPEG, подмена MIME, чужое вложение, файл другого чата, опасные имена), ни одного 500. consistency_test — при остановленном S3 файловые запросы 503, остальное работает; обрыв загрузки ничего не оставляет; sweeper находит и чистит внедрённые сбои с обеих сторон, dry-run ничего не меняет. s3_security_test — анонимный доступ 403, ключи API не могут создать bucket и сделать его публичным, служебные порты закрыты. Память при 10/20/40 одновременных загрузках по 9.6 MiB: прирост API +32…49 MiB при потоковом приёме против +80…+210 MiB, если держать тело в RAM. make chaos — 0 ошибок. Все выводы — в evidence/, разбор — в REPORT.md.

Ограничения / известные ошибки: выдерживается отказ одной реплики API и временная недоступность S3; не выдерживается отказ PostgreSQL, LB или хоста; SeaweedFS — один узел без репликации. Sweeper не ищет ready-строки без объекта (это трек 5.2). Непривязанные к сообщениям вложения не удаляются. Изображения на 40 Мпикс декодируются по одному на реплику. Базовая нагрузка — 471 RPS против 840 в lab3; прогон одиночный, причину не исследовал.

Источники и использование ИИ: FastAPI, uvicorn, pydantic, asyncpg, redis-py, argon2-cffi, boto3, Pillow; документация SeaweedFS и AWS S3. Код перенесён из собственной lab3. При разработке, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
- S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket, отдельные ограниченные ключи API, служебные порты закрыты; идемпотентный s3-init с проверкой приватности и прогревом записи - вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс, тип по содержимому, проверка filename, скачивание только участникам - согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper с grace и dry-run; attachment_ids в сообщениях, FK по чату - back-pressure на S3 PUT после найденного OOM SeaweedFS - тесты student-tests, evidence, REPORT.md, DEMO.md ## Лабораторная 4 Автор / группа: Кошелев, БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: из lab3 перенесены без изменений HAProxy → 2 реплики API, сессии в PostgreSQL + кэш Valkey, идемпотентность сообщений, X-Instance-Id, hooks restart/stop-one/restore/rolling-update. Новое: SeaweedFS 4.51 как приватное S3; метаданные вложений в PostgreSQL (миграция 0003); POST /chats/{id}/attachments с потоковым приёмом и лимитами; GET /attachments/{id} и /content только для участников чата, без redirect; attachment_ids в сообщениях; сервис sweeper для очистки после сбоев между S3 и БД. Подробно — раздел «Архитектура и решения» в REPORT.md. Команды запуска из чистого clone: `./scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait`, затем `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh`, `make test-student`, `make memory`. Полная инструкция — REPORT.md, сценарий защиты — DEMO.md. Результаты проверок и ссылка на REPORT.md: make check, make validate, make test — PASS. test-persistence — PASS: перезапущены все хранилища включая S3, файл цел. test-failover ×2 — PASS, 0 failed attempts. upload_failover — остановлена именно реплика, принявшая файл (обе по очереди), скачивание через другую с тем же SHA-256. attachments_test — 47 случаев (большой файл, пиксельная бомба, битые PNG/JPEG, подмена MIME, чужое вложение, файл другого чата, опасные имена), ни одного 500. consistency_test — при остановленном S3 файловые запросы 503, остальное работает; обрыв загрузки ничего не оставляет; sweeper находит и чистит внедрённые сбои с обеих сторон, dry-run ничего не меняет. s3_security_test — анонимный доступ 403, ключи API не могут создать bucket и сделать его публичным, служебные порты закрыты. Память при 10/20/40 одновременных загрузках по 9.6 MiB: прирост API +32…49 MiB при потоковом приёме против +80…+210 MiB, если держать тело в RAM. make chaos — 0 ошибок. Все выводы — в evidence/, разбор — в REPORT.md. Ограничения / известные ошибки: выдерживается отказ одной реплики API и временная недоступность S3; не выдерживается отказ PostgreSQL, LB или хоста; SeaweedFS — один узел без репликации. Sweeper не ищет ready-строки без объекта (это трек 5.2). Непривязанные к сообщениям вложения не удаляются. Изображения на 40 Мпикс декодируются по одному на реплику. Базовая нагрузка — 471 RPS против 840 в lab3; прогон одиночный, причину не исследовал. Источники и использование ИИ: FastAPI, uvicorn, pydantic, asyncpg, redis-py, argon2-cffi, boto3, Pillow; документация SeaweedFS и AWS S3. Код перенесён из собственной lab3. При разработке, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Iicon18 added 1 commit 2026-10-28 18:09:38 +03:00
- S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket,
  отдельные ограниченные ключи API, служебные порты закрыты;
  идемпотентный s3-init с проверкой приватности и прогревом записи
- вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс,
  тип по содержимому, проверка filename, скачивание только участникам
- согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper
  с grace и dry-run; attachment_ids в сообщениях, FK по чату
- back-pressure на S3 PUT после найденного OOM SeaweedFS
- тесты student-tests, evidence, REPORT.md, DEMO.md
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Iicon18/mtusi2026lab4 solution/bvt2304-koshelev:Iicon18-solution/bvt2304-koshelev
git checkout Iicon18-solution/bvt2304-koshelev
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#19