ЛР 4 — БПИ2301 — Каменски — на 5 #58

Closed
kmwk10 wants to merge 27 commits from kmwk10/mtusi2026lab4:solution/BPI2301-kamenski into main
First-time contributor

Лабораторная 4

Автор / группа: Каменски Лин, БПИ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: Трек 2

Что реализовано и что перенесено:
Перенесён бэкенд из lab3: PostgreSQL, сессии с кэшем в Redis, Nginx, несколько API-реплик. Добавлены SeaweedFS S3 с приватным bucket, метаданные вложений в PostgreSQL, загрузка PNG/JPEG, авторизованное скачивание и вложения в сообщениях. Проверены ограничения размера, MIME, доступ к чужим файлам, сохранность после перезапуска и скачивание после остановки загрузившей реплики. Выполнен эксперимент с 10 одновременными загрузчиками. Реализован reconciler с dry-run, grace period и повторяемым исправлением orphan/missing. Обход 14,6 тыс. объектов занял 1,59-1,72 с.

Команды запуска из чистого clone:
Заменить значения CHANGE_ME_* своими; пароли в URL должны совпадать с паролем PostgreSQL.

mkdir -p secrets
printf '%s' 'CHANGE_ME_DB_PASSWORD' > secrets/postgres_password.txt
printf '%s' 'postgres://messenger:CHANGE_ME_DB_PASSWORD@postgres:5432/messenger?sslmode=disable' > secrets/database_url.txt
printf '%s' 'postgres://messenger:CHANGE_ME_DB_PASSWORD@127.0.0.1:5432/messenger?sslmode=disable' > secrets/test_database_url.txt
printf '%s' 'redis://redis:6379/0' > secrets/cache_url.txt
printf '%s' 'CHANGE_ME_API_ACCESS_KEY' > secrets/s3_access_key_id.txt
printf '%s' 'CHANGE_ME_API_SECRET_KEY' > secrets/s3_secret_access_key.txt
printf '%s' 'CHANGE_ME_BOOTSTRAP_ACCESS_KEY' > secrets/s3_bootstrap_access_key_id.txt
printf '%s' 'CHANGE_ME_BOOTSTRAP_SECRET_KEY' > secrets/s3_bootstrap_secret_access_key.txt
cp .env.example .env
docker compose up -d --build

Результаты проверок и ссылка на REPORT.md:

> make check
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
> make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.

REPORT.md: https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/branch/solution/BPI2301-kamenski/REPORT.md

Ограничения / известные ошибки:
Формат и размеры изображения проверяются по заголовку без полного декодирования: повреждения содержимого при корректном заголовке могут не обнаруживаться. После удаления строки БД сбой удаления объекта S3 может оставить orphan до запуска reconciler. PostgreSQL, Redis, Nginx и SeaweedFS работают в одном экземпляре. Reconciler не восстанавливает утраченные байты и загружает списки объектов и метаданных целиком в память. Измерения выполнены локально.

Источники и использование ИИ:
Материалы лабораторной; Go, chi, pgx v5, sqlc, goose, PostgreSQL, Redis, Nginx, Docker Compose, SeaweedFS, AWS SDK for Go v2; OpenCode - для помощи в реализации, проверке и оформлении отчёта.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Каменски Лин, БПИ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: Трек 2 Что реализовано и что перенесено: Перенесён бэкенд из lab3: PostgreSQL, сессии с кэшем в Redis, Nginx, несколько API-реплик. Добавлены SeaweedFS S3 с приватным bucket, метаданные вложений в PostgreSQL, загрузка PNG/JPEG, авторизованное скачивание и вложения в сообщениях. Проверены ограничения размера, MIME, доступ к чужим файлам, сохранность после перезапуска и скачивание после остановки загрузившей реплики. Выполнен эксперимент с 10 одновременными загрузчиками. Реализован reconciler с dry-run, grace period и повторяемым исправлением orphan/missing. Обход 14,6 тыс. объектов занял 1,59-1,72 с. Команды запуска из чистого clone: Заменить значения CHANGE_ME_* своими; пароли в URL должны совпадать с паролем PostgreSQL. ``` mkdir -p secrets printf '%s' 'CHANGE_ME_DB_PASSWORD' > secrets/postgres_password.txt printf '%s' 'postgres://messenger:CHANGE_ME_DB_PASSWORD@postgres:5432/messenger?sslmode=disable' > secrets/database_url.txt printf '%s' 'postgres://messenger:CHANGE_ME_DB_PASSWORD@127.0.0.1:5432/messenger?sslmode=disable' > secrets/test_database_url.txt printf '%s' 'redis://redis:6379/0' > secrets/cache_url.txt printf '%s' 'CHANGE_ME_API_ACCESS_KEY' > secrets/s3_access_key_id.txt printf '%s' 'CHANGE_ME_API_SECRET_KEY' > secrets/s3_secret_access_key.txt printf '%s' 'CHANGE_ME_BOOTSTRAP_ACCESS_KEY' > secrets/s3_bootstrap_access_key_id.txt printf '%s' 'CHANGE_ME_BOOTSTRAP_SECRET_KEY' > secrets/s3_bootstrap_secret_access_key.txt cp .env.example .env docker compose up -d --build ``` Результаты проверок и ссылка на REPORT.md: ``` > make check python3 scripts/check_contract.py PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. > make test python3 tests/smoke.py --base-url "http://localhost:8080" PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. ``` REPORT.md: https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/branch/solution/BPI2301-kamenski/REPORT.md Ограничения / известные ошибки: Формат и размеры изображения проверяются по заголовку без полного декодирования: повреждения содержимого при корректном заголовке могут не обнаруживаться. После удаления строки БД сбой удаления объекта S3 может оставить orphan до запуска reconciler. PostgreSQL, Redis, Nginx и SeaweedFS работают в одном экземпляре. Reconciler не восстанавливает утраченные байты и загружает списки объектов и метаданных целиком в память. Измерения выполнены локально. Источники и использование ИИ: Материалы лабораторной; Go, chi, pgx v5, sqlc, goose, PostgreSQL, Redis, Nginx, Docker Compose, SeaweedFS, AWS SDK for Go v2; OpenCode - для помощи в реализации, проверке и оформлении отчёта. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
kmwk10 added 23 commits 2026-11-05 13:10:48 +03:00
kmwk10 added 1 commit 2026-11-05 13:14:20 +03:00
Owner

Баги:

  1. Повреждённое изображение принимается как готовое. Загрузить первые 33 байта PNG — сигнатуру и IHDR без пиксельных данных. Ожидалось 415, фактически 201 ready, затем скачиваются те же 33 байта. Проверяется только DecodeConfig: internal/service/attachment.go:219.
  2. Скачивание игнорирует вариант и состояние вложения. Для обычного ready-файла GET /content?variant=thumbnail возвращает оригинал с 200 вместо 404. После удаления оригинала из S3 и перевода reconciler в failed тот же /content возвращает 500 вместо 409. В обработчике нет проверки variant, в сервисе — состояния: internal/handler/attachment.go:116, internal/service/attachment.go:204.
  3. Подтверждённый logout не гарантирует отзыв токена. Прогреть сессионный кэш → изолировать Redis → выполнить logout (204) → восстановить соединение. Ожидалось 401, фактически старый токен снова получает 200. Ошибка удаления кэша подавляется, а попадание в кэш принимается без проверки PostgreSQL: internal/service/auth.go:121, internal/service/auth.go:96.
Баги: 1. Повреждённое изображение принимается как готовое. Загрузить первые 33 байта PNG — сигнатуру и IHDR без пиксельных данных. Ожидалось 415, фактически 201 ready, затем скачиваются те же 33 байта. Проверяется только DecodeConfig: [internal/service/attachment.go:219](https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/commit/8d6fd066dfa7f03626bfcc064a945b5ef9096252/internal/service/attachment.go#L219). 2. Скачивание игнорирует вариант и состояние вложения. Для обычного ready-файла GET /content?variant=thumbnail возвращает оригинал с 200 вместо 404. После удаления оригинала из S3 и перевода reconciler в failed тот же /content возвращает 500 вместо 409. В обработчике нет проверки variant, в сервисе — состояния: [internal/handler/attachment.go:116](https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/commit/8d6fd066dfa7f03626bfcc064a945b5ef9096252/internal/handler/attachment.go#L116), [internal/service/attachment.go:204](https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/commit/8d6fd066dfa7f03626bfcc064a945b5ef9096252/internal/service/attachment.go#L204). 3. Подтверждённый logout не гарантирует отзыв токена. Прогреть сессионный кэш → изолировать Redis → выполнить logout (204) → восстановить соединение. Ожидалось 401, фактически старый токен снова получает 200. Ошибка удаления кэша подавляется, а попадание в кэш принимается без проверки PostgreSQL: [internal/service/auth.go:121](https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/commit/8d6fd066dfa7f03626bfcc064a945b5ef9096252/internal/service/auth.go#L121), [internal/service/auth.go:96](https://gitea.privcloud.tech/kmwk10/mtusi2026lab4/src/commit/8d6fd066dfa7f03626bfcc064a945b5ef9096252/internal/service/auth.go#L96).
kmwk10 added 1 commit 2026-11-06 15:35:11 +03:00
kmwk10 added 2 commits 2026-11-06 16:02:22 +03:00
Author
First-time contributor

По пункту 1: после проверки формата, MIME и лимита пикселей добавлено полное декодирование. Для ограничения памяти работает один декодер на API-реплику; нагрузочный эксперимент повторён, результаты обновлены в REPORT.md.

По пункту 2: добавлена проверка variant - отсутствующий вариант возвращает 404. Перед скачиванием проверяется состояние вложения: для состояний, отличных от ready, возвращается 409 без обращения к S3.

По пункту 3: при ошибке удаления ключа из Redis logout теперь возвращает 503 unavailable вместо 204, поскольку полный отзыв токена подтвердить нельзя. Сессия в PostgreSQL уже удалена, но запись кэша может сохраняться до 60 с. Последствия частично выполненного logout описаны в ограничениях REPORT.md.

По пункту 1: после проверки формата, MIME и лимита пикселей добавлено полное декодирование. Для ограничения памяти работает один декодер на API-реплику; нагрузочный эксперимент повторён, результаты обновлены в REPORT.md. По пункту 2: добавлена проверка variant - отсутствующий вариант возвращает 404. Перед скачиванием проверяется состояние вложения: для состояний, отличных от ready, возвращается 409 без обращения к S3. По пункту 3: при ошибке удаления ключа из Redis logout теперь возвращает 503 unavailable вместо 204, поскольку полный отзыв токена подтвердить нельзя. Сессия в PostgreSQL уже удалена, но запись кэша может сохраняться до 60 с. Последствия частично выполненного logout описаны в ограничениях REPORT.md.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:34 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#58