S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket,
отдельные ограниченные ключи API, служебные порты закрыты;
идемпотентный s3-init с проверкой приватности и прогревом записи
вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс,
тип по содержимому, проверка filename, скачивание только участникам
согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper
с grace и dry-run; attachment_ids в сообщениях, FK по чату
back-pressure на S3 PUT после найденного OOM SeaweedFS
тесты student-tests, evidence, REPORT.md, DEMO.md
Лабораторная 4
Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: из lab3 перенесены без изменений HAProxy → 2 реплики API, сессии в PostgreSQL + кэш Valkey, идемпотентность сообщений, X-Instance-Id, hooks restart/stop-one/restore/rolling-update. Новое: SeaweedFS 4.51 как приватное S3; метаданные вложений в PostgreSQL (миграция 0003); POST /chats/{id}/attachments с потоковым приёмом и лимитами; GET /attachments/{id} и /content только для участников чата, без redirect; attachment_ids в сообщениях; сервис sweeper для очистки после сбоев между S3 и БД. Подробно — раздел «Архитектура и решения» в REPORT.md.
Команды запуска из чистого clone: ./scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait, затем make test, make test-persistence ACTION_SCRIPT=scripts/restart.sh, make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh, make test-student, make memory. Полная инструкция — REPORT.md, сценарий защиты — DEMO.md.
Результаты проверок и ссылка на REPORT.md: make check, make validate, make test — PASS. test-persistence — PASS: перезапущены все хранилища включая S3, файл цел. test-failover ×2 — PASS, 0 failed attempts. upload_failover — остановлена именно реплика, принявшая файл (обе по очереди), скачивание через другую с тем же SHA-256. attachments_test — 47 случаев (большой файл, пиксельная бомба, битые PNG/JPEG, подмена MIME, чужое вложение, файл другого чата, опасные имена), ни одного 500. consistency_test — при остановленном S3 файловые запросы 503, остальное работает; обрыв загрузки ничего не оставляет; sweeper находит и чистит внедрённые сбои с обеих сторон, dry-run ничего не меняет. s3_security_test — анонимный доступ 403, ключи API не могут создать bucket и сделать его публичным, служебные порты закрыты. Память при 10/20/40 одновременных загрузках по 9.6 MiB: прирост API +32…49 MiB при потоковом приёме против +80…+210 MiB, если держать тело в RAM. make chaos — 0 ошибок. Все выводы — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: выдерживается отказ одной реплики API и временная недоступность S3; не выдерживается отказ PostgreSQL, LB или хоста; SeaweedFS — один узел без репликации. Sweeper не ищет ready-строки без объекта (это трек 5.2). Непривязанные к сообщениям вложения не удаляются. Изображения на 40 Мпикс декодируются по одному на реплику. Базовая нагрузка — 471 RPS против 840 в lab3; прогон одиночный, причину не исследовал.
Источники и использование ИИ: FastAPI, uvicorn, pydantic, asyncpg, redis-py, argon2-cffi, boto3, Pillow; документация SeaweedFS и AWS S3. Код перенесён из собственной lab3. При разработке, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
- S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket,
отдельные ограниченные ключи API, служебные порты закрыты;
идемпотентный s3-init с проверкой приватности и прогревом записи
- вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс,
тип по содержимому, проверка filename, скачивание только участникам
- согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper
с grace и dry-run; attachment_ids в сообщениях, FK по чату
- back-pressure на S3 PUT после найденного OOM SeaweedFS
- тесты student-tests, evidence, REPORT.md, DEMO.md
## Лабораторная 4
Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: из lab3 перенесены без изменений HAProxy → 2 реплики API, сессии в PostgreSQL + кэш Valkey, идемпотентность сообщений, X-Instance-Id, hooks restart/stop-one/restore/rolling-update. Новое: SeaweedFS 4.51 как приватное S3; метаданные вложений в PostgreSQL (миграция 0003); POST /chats/{id}/attachments с потоковым приёмом и лимитами; GET /attachments/{id} и /content только для участников чата, без redirect; attachment_ids в сообщениях; сервис sweeper для очистки после сбоев между S3 и БД. Подробно — раздел «Архитектура и решения» в REPORT.md.
Команды запуска из чистого clone: `./scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait`, затем `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh`, `make test-student`, `make memory`. Полная инструкция — REPORT.md, сценарий защиты — DEMO.md.
Результаты проверок и ссылка на REPORT.md: make check, make validate, make test — PASS. test-persistence — PASS: перезапущены все хранилища включая S3, файл цел. test-failover ×2 — PASS, 0 failed attempts. upload_failover — остановлена именно реплика, принявшая файл (обе по очереди), скачивание через другую с тем же SHA-256. attachments_test — 47 случаев (большой файл, пиксельная бомба, битые PNG/JPEG, подмена MIME, чужое вложение, файл другого чата, опасные имена), ни одного 500. consistency_test — при остановленном S3 файловые запросы 503, остальное работает; обрыв загрузки ничего не оставляет; sweeper находит и чистит внедрённые сбои с обеих сторон, dry-run ничего не меняет. s3_security_test — анонимный доступ 403, ключи API не могут создать bucket и сделать его публичным, служебные порты закрыты. Память при 10/20/40 одновременных загрузках по 9.6 MiB: прирост API +32…49 MiB при потоковом приёме против +80…+210 MiB, если держать тело в RAM. make chaos — 0 ошибок. Все выводы — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: выдерживается отказ одной реплики API и временная недоступность S3; не выдерживается отказ PostgreSQL, LB или хоста; SeaweedFS — один узел без репликации. Sweeper не ищет ready-строки без объекта (это трек 5.2). Непривязанные к сообщениям вложения не удаляются. Изображения на 40 Мпикс декодируются по одному на реплику. Базовая нагрузка — 471 RPS против 840 в lab3; прогон одиночный, причину не исследовал.
Источники и использование ИИ: FastAPI, uvicorn, pydantic, asyncpg, redis-py, argon2-cffi, boto3, Pillow; документация SeaweedFS и AWS S3. Код перенесён из собственной lab3. При разработке, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
- S3: SeaweedFS 4.51 (MinIO-образы недоступны), приватный bucket,
отдельные ограниченные ключи API, служебные порты закрыты;
идемпотентный s3-init с проверкой приватности и прогревом записи
- вложения: потоковая загрузка PNG/JPEG, лимиты 10 MiB / 40 Мпикс,
тип по содержимому, проверка filename, скачивание только участникам
- согласованность PG/S3: pending -> PUT -> ready, компенсация, sweeper
с grace и dry-run; attachment_ids в сообщениях, FK по чату
- back-pressure на S3 PUT после найденного OOM SeaweedFS
- тесты student-tests, evidence, REPORT.md, DEMO.md
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
отдельные ограниченные ключи API, служебные порты закрыты;
идемпотентный s3-init с проверкой приватности и прогревом записи
тип по содержимому, проверка filename, скачивание только участникам
с grace и dry-run; attachment_ids в сообщениях, FK по чату
Лабораторная 4
Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено: из lab3 перенесены без изменений HAProxy → 2 реплики API, сессии в PostgreSQL + кэш Valkey, идемпотентность сообщений, X-Instance-Id, hooks restart/stop-one/restore/rolling-update. Новое: SeaweedFS 4.51 как приватное S3; метаданные вложений в PostgreSQL (миграция 0003); POST /chats/{id}/attachments с потоковым приёмом и лимитами; GET /attachments/{id} и /content только для участников чата, без redirect; attachment_ids в сообщениях; сервис sweeper для очистки после сбоев между S3 и БД. Подробно — раздел «Архитектура и решения» в REPORT.md.
Команды запуска из чистого clone:
./scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait, затемmake test,make test-persistence ACTION_SCRIPT=scripts/restart.sh,make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh,make test-student,make memory. Полная инструкция — REPORT.md, сценарий защиты — DEMO.md.Результаты проверок и ссылка на REPORT.md: make check, make validate, make test — PASS. test-persistence — PASS: перезапущены все хранилища включая S3, файл цел. test-failover ×2 — PASS, 0 failed attempts. upload_failover — остановлена именно реплика, принявшая файл (обе по очереди), скачивание через другую с тем же SHA-256. attachments_test — 47 случаев (большой файл, пиксельная бомба, битые PNG/JPEG, подмена MIME, чужое вложение, файл другого чата, опасные имена), ни одного 500. consistency_test — при остановленном S3 файловые запросы 503, остальное работает; обрыв загрузки ничего не оставляет; sweeper находит и чистит внедрённые сбои с обеих сторон, dry-run ничего не меняет. s3_security_test — анонимный доступ 403, ключи API не могут создать bucket и сделать его публичным, служебные порты закрыты. Память при 10/20/40 одновременных загрузках по 9.6 MiB: прирост API +32…49 MiB при потоковом приёме против +80…+210 MiB, если держать тело в RAM. make chaos — 0 ошибок. Все выводы — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: выдерживается отказ одной реплики API и временная недоступность S3; не выдерживается отказ PostgreSQL, LB или хоста; SeaweedFS — один узел без репликации. Sweeper не ищет ready-строки без объекта (это трек 5.2). Непривязанные к сообщениям вложения не удаляются. Изображения на 40 Мпикс декодируются по одному на реплику. Базовая нагрузка — 471 RPS против 840 в lab3; прогон одиночный, причину не исследовал.
Источники и использование ИИ: FastAPI, uvicorn, pydantic, asyncpg, redis-py, argon2-cffi, boto3, Pillow; документация SeaweedFS и AWS S3. Код перенесён из собственной lab3. При разработке, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.