ЛР 4 - БВТ2304 - Соколова - на 4 #63

Open
sokolova-bvt2304 wants to merge 2 commits from sokolova-bvt2304/mtusi2026lab4:solution/bvt2304-sokolova into main
First-time contributor

Лабораторная 4

Автор / группа: Соколова Полина БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявляется.

Что реализовано и что перенесено

Из предыдущей лабораторной перенесены приложение, SQL-миграции,
инфраструктура двух API-реплик за HAProxy, Bearer-сессии, членство
в чатах, сообщения и механизм идемпотентности.

Для ЛР 4 добавлены:

  • приватное S3-хранилище оригиналов изображений на SeaweedFS;
  • загрузка PNG/JPEG с проверками формата, размера до 10 MiB
    и ограничения до 40 млн пикселей;
  • метаданные вложений в PostgreSQL;
  • проверка доступа через членство в чате;
  • скачивание оригинала через API без публичного доступа к bucket;
  • вложения в сообщениях с сохранением порядка и проверками
    идемпотентности;
  • компенсационная очистка старых S3-объектов без метаданных
    с координацией через PostgreSQL advisory locks;
  • локальная настройка S3-ключей без их включения в Git;
  • собственные проверки отказов, отрицательных сценариев
    и конкурентных загрузок.

Команды запуска из чистого clone

Полная инструкция, включая безопасное создание локального .env,
предварительные требования, ожидание готовности и остановку:
REPORT.md, раздел 1.

После подготовки .env по инструкции:

python3 scripts/setup_s3_secrets.py

docker compose -f compose.yaml -f compose.s3.yaml \
  --env-file .env config --quiet

docker compose -f compose.yaml -f compose.s3.yaml \
  --env-file .env up -d --build

docker compose -f compose.yaml -f compose.s3.yaml \
  --env-file .env ps -a

curl -i --max-time 10 http://127.0.0.1:18082/health/ready

Перед тестами необходимо дождаться готовности стенда.
Для существующего тома PostgreSQL используется прежний .env:
генерация нового пароля не меняет пароль в уже созданной БД.

Результаты проверок и ссылка на REPORT.md

Отчёт: REPORT.md.
Коммит реализации: 0f6615d.

Выполнены:

make check
make test BASE_URL=http://127.0.0.1:18082
python3 tests/attachments_negative.py

Фактический вывод:

PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
PASS: 22 checks including setup

Дополнительные сценарии и результаты описаны в REPORT.md:

  • persistence после перезапуска — PASS;
  • failover при записях — PASS:
    116 успешных записей, 3 неудачные попытки,
    первое восстановление записи за 2,72 с;
  • скачивание оригинала через другую API-реплику после остановки
    загрузившей реплики — байты и SHA-256 совпали;
  • неподписанные обращения к объекту и списку bucket — 403;
  • отказ S3 — upload/download дают 503,
    после восстановления оригинал доступен;
  • очистка orphan — проверены dry-run, удаление старого объекта,
    сохранение свежего и занятого объекта, повторный запуск;
  • прерывание upload — три обрыва без новых объектов и метаданных,
    следующая загрузка успешна.

Эксперимент памяти:

  • PNG 6000×6000, 8 540 172 байта;
  • одиночная загрузка и два запуска по 10 конкурентных клиентов;
  • 21/21 ответов 201, метаданные всех успешных ответов корректны;
  • пик cgroup примерно 261 и 253 MiB при лимите 512 MiB на реплику;
  • новых OOM, OOM-kill и рестартов нет.

Машинные результаты:

  • evidence/upload_memory.json;
  • evidence/upload_memory.csv.

Отдельные raw-логи всех остальных сценариев не сохранялись:
их наблюдения и ограничения приведены в отчёте.
Успешный make check сам по себе не считается проверкой приложения,
а публичный smoke — подтверждением всей оценки.

Ограничения / известные ошибки

  • Нет общей распределённой транзакции S3/PostgreSQL:
    возможные orphan компенсируются периодической очисткой.
  • PostgreSQL, Redis, S3 и HAProxy представлены одиночными экземплярами;
    отказ всего хоста или потеря диска не покрываются.
  • Оригинал и декодированное изображение буферизуются в памяти;
    это не zero-copy.
  • Число одновременно выполняемых бинарных операций ограничено;
    при перегрузке возможен 503.
  • Эксперимент памяти подтверждает только проверенный профиль нагрузки,
    а не универсальный предел для любых изображений.
  • HTTP и локальные файлы secrets используются для учебного стенда.
  • Треки уровня 5 не реализованы и не заявляются.

Источники и использование ИИ

Использованы контракт и материалы текущего репозитория,
документация Docker Compose, SeaweedFS, PostgreSQL,
Psycopg, Boto3/Botocore, Pillow, Python и Linux.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Соколова Полина БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявляется. ### Что реализовано и что перенесено Из предыдущей лабораторной перенесены приложение, SQL-миграции, инфраструктура двух API-реплик за HAProxy, Bearer-сессии, членство в чатах, сообщения и механизм идемпотентности. Для ЛР 4 добавлены: - приватное S3-хранилище оригиналов изображений на SeaweedFS; - загрузка PNG/JPEG с проверками формата, размера до 10 MiB и ограничения до 40 млн пикселей; - метаданные вложений в PostgreSQL; - проверка доступа через членство в чате; - скачивание оригинала через API без публичного доступа к bucket; - вложения в сообщениях с сохранением порядка и проверками идемпотентности; - компенсационная очистка старых S3-объектов без метаданных с координацией через PostgreSQL advisory locks; - локальная настройка S3-ключей без их включения в Git; - собственные проверки отказов, отрицательных сценариев и конкурентных загрузок. ### Команды запуска из чистого clone Полная инструкция, включая безопасное создание локального .env, предварительные требования, ожидание готовности и остановку: REPORT.md, раздел 1. После подготовки .env по инструкции: ```sh python3 scripts/setup_s3_secrets.py docker compose -f compose.yaml -f compose.s3.yaml \ --env-file .env config --quiet docker compose -f compose.yaml -f compose.s3.yaml \ --env-file .env up -d --build docker compose -f compose.yaml -f compose.s3.yaml \ --env-file .env ps -a curl -i --max-time 10 http://127.0.0.1:18082/health/ready ``` Перед тестами необходимо дождаться готовности стенда. Для существующего тома PostgreSQL используется прежний .env: генерация нового пароля не меняет пароль в уже созданной БД. ### Результаты проверок и ссылка на REPORT.md Отчёт: [REPORT.md](REPORT.md). Коммит реализации: 0f6615d. Выполнены: ```sh make check make test BASE_URL=http://127.0.0.1:18082 python3 tests/attachments_negative.py ``` Фактический вывод: ```text PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. PASS: 22 checks including setup ``` Дополнительные сценарии и результаты описаны в REPORT.md: - persistence после перезапуска — PASS; - failover при записях — PASS: 116 успешных записей, 3 неудачные попытки, первое восстановление записи за 2,72 с; - скачивание оригинала через другую API-реплику после остановки загрузившей реплики — байты и SHA-256 совпали; - неподписанные обращения к объекту и списку bucket — 403; - отказ S3 — upload/download дают 503, после восстановления оригинал доступен; - очистка orphan — проверены dry-run, удаление старого объекта, сохранение свежего и занятого объекта, повторный запуск; - прерывание upload — три обрыва без новых объектов и метаданных, следующая загрузка успешна. Эксперимент памяти: - PNG 6000×6000, 8 540 172 байта; - одиночная загрузка и два запуска по 10 конкурентных клиентов; - 21/21 ответов 201, метаданные всех успешных ответов корректны; - пик cgroup примерно 261 и 253 MiB при лимите 512 MiB на реплику; - новых OOM, OOM-kill и рестартов нет. Машинные результаты: - evidence/upload_memory.json; - evidence/upload_memory.csv. Отдельные raw-логи всех остальных сценариев не сохранялись: их наблюдения и ограничения приведены в отчёте. Успешный make check сам по себе не считается проверкой приложения, а публичный smoke — подтверждением всей оценки. ### Ограничения / известные ошибки - Нет общей распределённой транзакции S3/PostgreSQL: возможные orphan компенсируются периодической очисткой. - PostgreSQL, Redis, S3 и HAProxy представлены одиночными экземплярами; отказ всего хоста или потеря диска не покрываются. - Оригинал и декодированное изображение буферизуются в памяти; это не zero-copy. - Число одновременно выполняемых бинарных операций ограничено; при перегрузке возможен 503. - Эксперимент памяти подтверждает только проверенный профиль нагрузки, а не универсальный предел для любых изображений. - HTTP и локальные файлы secrets используются для учебного стенда. - Треки уровня 5 не реализованы и не заявляются. ### Источники и использование ИИ Использованы контракт и материалы текущего репозитория, документация Docker Compose, SeaweedFS, PostgreSQL, Psycopg, Boto3/Botocore, Pillow, Python и Linux. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
sokolova-bvt2304 added 1 commit 2026-11-05 19:05:54 +03:00
Owner
  • app/db.py:27. При приостановке PostgreSQL запрос истории зависает до клиентского таймаута. Нужно ограничить длительность самого обращения к БД на стороне приложения и возвращать 503.
- [app/db.py:27](https://gitea.privcloud.tech/sokolova-bvt2304/mtusi2026lab3/src/commit/03ca3a6562981e644bfe5531f93e57167a82d6e1/app/db.py#L27). При приостановке PostgreSQL запрос истории зависает до клиентского таймаута. Нужно ограничить длительность самого обращения к БД на стороне приложения и возвращать 503.
sokolova-bvt2304 added 1 commit 2026-11-06 18:45:41 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/sokolova-bvt2304/mtusi2026lab4 solution/bvt2304-sokolova:sokolova-bvt2304-solution/bvt2304-sokolova
git checkout sokolova-bvt2304-solution/bvt2304-sokolova
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#63