Shiyan lab4 - оценка 4 #14

Closed
BVT2304_Shiyan wants to merge 1 commits from BVT2304_Shiyan/mtusi2026lab4:solution/BVT2304-Shiyan into main
First-time contributor

Лабораторная 4

Автор / группа: BVT2304-Shiyan
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Из лабораторной 3 перенесено без регресса:

  • две stateless API-реплики за nginx;
  • динамический резолвинг upstream через Docker DNS: resolver 127.0.0.11 valid=10s и переменная в proxy_pass, поэтому после замены/масштабирования контейнеров nginx подхватывает новые адреса реплик;
  • X-Instance-Id в ответах, меняющийся при каждом пересоздании реплики;
  • однократный запуск миграций отдельным контейнером migrate с флагом -migrate-only; обычные API-реплики миграции не запускают;
  • идемпотентность отправки сообщений через Idempotency-Key;
  • лимиты CPU/RAM для всех сервисов стенда;
  • health endpoints /health/live и /health/ready;
  • PostgreSQL как источник истины для метаданных, Redis как опциональный кэш с деградацией в SQL.

В лабораторной 4 добавлено:

  • хранение байтов вложений в приватном S3-совместимом хранилище RustFS;
  • хранение метаданных вложений в PostgreSQL, таблица attachments;
  • синхронный upload PNG/JPEG размером не более 10 MiB и не более 40 мегапикселей;
  • проверка MIME по содержимому файла, а не по расширению и не только по заголовку Content-Type;
  • отклонение опасных filename, содержащих /, \, NUL или управляющие символы;
  • лимит размера применяется до полного чтения тела через http.MaxBytesReader;
  • download вложений только через авторизованный API с проверкой членства в чате;
  • посторонний пользователь получает 404 и на метаданные, и на байты вложения;
  • поддержка attachment_ids в сообщениях;
  • валидация, что все attachment_ids в сообщении принадлежат тому же чату;
  • разрешение пустого text только при наличии хотя бы одного вложения;
  • сохранение обратной совместимости: старые текстовые сообщения возвращаются с attachment_ids: [];
  • компенсация рассинхрона S3 ↔ PostgreSQL:
    • немедленное удаление объекта из S3, если метаданные не сохранились в БД после успешного PUT;
    • отдельный режим -reconcile для удаления осиротевших объектов старше grace period;
  • публичные и студенческие проверки:
    • smoke-сценарий лабы 4;
    • позитивный сценарий вложений;
    • негативные сценарии: 413, 415, 400, 404;
    • проверка приватности бакета;
    • 10 одновременных загрузок;
    • замер пика памяти во время одновременных загрузок;
    • persistence после рестарта стенда;
    • failover при остановке одной реплики;
    • демонстрация reconcile.

Команды запуска из чистого clone

Windows / CMD / PowerShell:

git clone <repo-url>
cd <repo-dir>

copy .env.example .env

docker compose --compatibility up -d --build

rem Подождать подъём стенда
timeout /t 45 /nobreak >nul

docker compose ps

scripts\smoke.bat
scripts\manual-attachments.bat
scripts\negative-attachments.bat
scripts\private-bucket-check.bat
scripts\concurrent-uploads.bat
scripts\memory-peak.bat

scripts\persistence-attachment.bat
scripts\restart-stack.bat
scripts\persistence-verify.bat

scripts\test-persistence.bat
scripts\test-failover.bat

docker compose --compatibility up -d api
timeout /t 20 /nobreak >nul

scripts\failover-attachment.bat
scripts\reconcile-demo.bat

Linux / macOS:

git clone <repo-url>
cd <repo-dir>

cp .env.example .env

docker compose --compatibility up -d --build
sleep 45
docker compose ps

python3 -X utf8 tests/smoke.py --base-url http://localhost:8080

# Студенческие проверки запускаются аналогично через Python/Docker команды,
# либо через те же shell-эквиваленты скриптов из scripts/.

Если в окружении доступен make, те же публичные проверки можно запускать как:

make check
make test

В моём Windows-окружении make недоступен, поэтому публичные тесты запускались напрямую теми командами, которые обычно оборачивает Makefile:

set PYTHONUTF8=1
python -X utf8 tests\smoke.py --base-url http://localhost:8080

Структурная проверка compose:

docker compose --compatibility config --quiet

Результаты проверок и ссылка на REPORT.md

Подробный отчёт по решению: REPORT.md

Фактические результаты локальных прогонов:

1. Структурная проверка compose

docker compose --compatibility config --quiet

Вывод:

без ошибок

2. Публичный smoke-тест лабы 4

scripts\smoke.bat

Вывод:

PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.

3. Позитивный сценарий вложений

scripts\manual-attachments.bat

Вывод:

=== Register users ===
=== Login users ===
=== Create chat alice+bob ===
chat=020deb7d-704d-4eeb-87b7-c0fc7704f310
=== Upload attachment as alice ===
original sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
attachment=dbe1a7f3-9fe2-41e7-90f9-8470f02f555a
attachment sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Create message with empty text and attachment_ids ===
message=6ed48b9b-6d79-45d2-8a5e-3c8bc773a700
=== Bob downloads attachment content ===
downloaded sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Eve must get 404 on metadata ===
=== Eve must get 404 on content ===

ALL MANUAL ATTACHMENT CHECKS PASSED

Что подтверждает:

  • вложение загружено;
  • SHA-256 в метаданных совпадает с исходным файлом;
  • сообщение с пустым текстом и attachment_ids создано;
  • второй участник чата скачивает побайтово идентичный оригинал;
  • посторонний пользователь получает 404 на метаданные и на контент.

4. Негативные сценарии

scripts\negative-attachments.bat

Вывод:

=== Setup users ===
=== Create chat1 alice+bob ===
=== Create chat2 alice+eve ===
=== 1. Too large file must return 413 ===
=== 2. Broken image must return 415 ===
=== 3. MIME mismatch must return 415 ===
=== 4. Dangerous filename must return 400 ===
=== 5. Valid upload into chat1 ===
attachment=ea6bba9a-9f78-4197-ae6f-3b4b6cbdac06 in chat1=9d3f0986-43cd-48d4-a7e9-e8985afd4cd6
=== 6. Cross-chat attachment reference must return 404 ===
=== 7. Unknown attachment id must return 404 ===
=== 8. Eve cannot download chat1 attachment ===

ALL NEGATIVE CHECKS PASSED

Что подтверждает:

  • файл больше 10 MiB отклоняется с 413;
  • битое изображение отклоняется с 415;
  • подмена MIME отклоняется с 415;
  • опасное имя файла отклоняется с 400;
  • ссылка на вложение из другого чата даёт 404;
  • неизвестный attachment_id даёт 404;
  • посторонний пользователь не может скачать вложение.

5. Приватность бакета

scripts\private-bucket-check.bat

Вывод:

=== Private bucket check ===
Latest s3_key: 9d3f0986-43cd-48d4-a7e9-e8985afd4cd6/bc3a5e7d-3b83-4254-8411-c7702f64b34c

Direct unauthenticated response:
Connecting to rustfs:9000 (172.18.0.2:9000)
  HTTP/1.1 403 Forbidden
wget: server returned error: HTTP/1.1 403 Forbidden

PASS: direct unauthenticated access is not 200

Что подтверждает:

  • прямой доступ к объекту в RustFS без авторизации невозможен;
  • знание s3_key само по себе не даёт доступ к байтам;
  • основной контроль доступа остаётся в приложении.

6. 10 одновременных загрузок

scripts\concurrent-uploads.bat

Вывод:

 I Status   Ok
 - ------   --
 1    201 True
 2    201 True
 3    201 True
 4    201 True
 5    201 True
 6    201 True
 7    201 True
 8    201 True
 9    201 True
10    201 True

PASS: 10 concurrent uploads succeeded

Memory stats after concurrent uploads:
NAME                       CPU %     MEM USAGE / LIMIT   MEM %
mtusi2026lab4_api_1        0.00%     70.62MiB / 256MiB   27.58%
mtusi2026lab4_api_2        3.95%     72.15MiB / 256MiB   28.18%
mtusi2026lab4_nginx_1      0.00%     18.33MiB / 64MiB    28.64%
mtusi2026lab4_redis_1      0.68%     6.199MiB / 128MiB   4.84%
mtusi2026lab4_postgres_1   0.91%     54.11MiB / 512MiB   10.57%
mtusi2026lab4_rustfs_1     0.04%     75.32MiB / 256MiB   29.42%

7. Пик памяти во время одновременных загрузок

scripts\memory-peak.bat

Вывод:

chat=0fcf7c5f-57bb-4c7c-b570-cadea12158b8

 I Status   Ok
 - ------   --
 1    201 True
 2    201 True
 3    201 True
 4    201 True
 5    201 True
 6    201 True
 7    201 True
 8    201 True
 9    201 True
10    201 True

Successful uploads: 10 / 10

Peak API memory during 10 concurrent uploads: 41,55 MiB (limit 256 MiB per replica)

NAME                       CPU %     MEM USAGE / LIMIT   MEM %
mtusi2026lab4_api_2        0.01%     41.55MiB / 256MiB   16.23%
mtusi2026lab4_api_1        0.03%     40.58MiB / 256MiB   15.85%
mtusi2026lab4_nginx_1      0.00%     17.82MiB / 64MiB    27.84%
mtusi2026lab4_redis_1      0.75%     4.73MiB / 128MiB    3.70%
mtusi2026lab4_postgres_1   0.02%     31.58MiB / 512MiB   6.17%
mtusi2026lab4_rustfs_1     0.25%     86.6MiB / 256MiB    33.83%

Важная честная интерпретация:

  • фикстура sample.png небольшая, поэтому абсолютный пик памяти низкий;
  • основное доказательство отсутствия неограниченного роста RAM — не сам эксперимент, а детерминированный потолок http.MaxBytesReader = 10 MiB на одну загрузку;
  • при 10 параллельных загрузках теоретический потолок буферов ≈ 100 MiB, что меньше лимита 256 MiB на реплику;
  • эксперимент подтверждает, что в пределах этого потолка стенд не деградирует.

8. Persistence вложений после рестарта

scripts\persistence-attachment.bat
scripts\restart-stack.bat
scripts\persistence-verify.bat

Вывод verify:

=== Persistence verify after restart ===
chat=f553a3ac-fd67-490a-89ac-8a80792ddc9e
attachment=25aea79a-5b7f-43a7-937b-ca4a7f8d5105
message=8e5b3a32-5969-4470-bc77-97045f99c4e1
expected sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Check metadata ===
PASS: attachment metadata survived restart
=== Check content ===
PASS: attachment bytes survived restart
=== Check message history ===
PASS: message with attachment survived restart
PASS: old session token still works

ALL PERSISTENCE CHECKS PASSED

Что подтверждает:

  • метаданные вложения сохранены в PostgreSQL и переживают рестарт;
  • байты вложения сохранены в RustFS volume и переживают рестарт;
  • сообщение с attachment_ids сохранено;
  • старая сессия продолжает работать.

9. Публичный persistence-тест

scripts\test-persistence.bat

Вывод:

Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.

10. Публичный failover-тест

scripts\test-failover.bat

Вывод:

Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 72, "failed_attempts": 0, "first_recovery_seconds": 4.591}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.

Что подтверждает:

  • до отказа наблюдались 2 реплики;
  • 72 записи выполнены успешно;
  • 0 неудачных попыток с точки зрения клиента;
  • восстановление после отказа заняло примерно 4.59 секунды;
  • идемпотентность не породила дублей при переключении.

После failover реплики восстановлены:

docker compose --compatibility up -d api

11. Failover для вложений

scripts\failover-attachment.bat

Вывод:

=== Register failover user ===
=== Create chat ===
=== Upload attachment ===
Uploaded by: 5d10f6f93d39-4e19aaea
attachment=57215130-be72-4757-9ace-0f605dfa69a2
=== Stop one API replica ===
Stopping container 0d7ff1b7697df6ecf2abbfd5b8cf859bb75966292b6a294412d7a36ec4efb393
=== Download attachment after replica stop ===
Downloaded by: 5d10f6f93d39-4e19aaea
PASS: attachment bytes available after stopping one replica
=== Restore API replicas ===

Что подтверждает:

  • вложение, загруженное через одну реплику, доступно через другую;
  • байты не привязаны к локальному диску конкретной API-реплики;
  • после остановки одной реплики скачивание продолжает работать.

12. Reconcile: компенсация рассинхрона S3 ↔ PostgreSQL

scripts\reconcile-demo.bat

Вывод первого прогона:

{"time":"2026-10-26T12:54:30.829310914Z","level":"INFO","msg":"postgres connected"}
{"time":"2026-10-26T12:54:30.830190863Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0}
{"time":"2026-10-26T12:54:31.06609105Z","level":"INFO","msg":"reconcile deleted orphan","key":"282c0443-3350-4d81-9512-9a32d02f5255/8ff0bcd7-4dd0-442f-bbd3-e60b73ac5106","age_seconds":6}
{"time":"2026-10-26T12:54:31.066174835Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":20,"known_in_db":19,"orphans_deleted":1,"orphans_skipped_young":0,"grace_seconds":0}
{"time":"2026-10-26T12:54:31.066189361Z","level":"INFO","msg":"reconcile completed successfully, exiting"}

Вывод второго прогона:

{"time":"2026-10-26T12:54:33.185032709Z","level":"INFO","msg":"postgres connected"}
{"time":"2026-10-26T12:54:33.185712407Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0}
{"time":"2026-10-26T12:54:33.219294932Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":19,"known_in_db":19,"orphans_deleted":0,"orphans_skipped_young":0,"grace_seconds":0}
{"time":"2026-10-26T12:54:33.21933591Z","level":"INFO","msg":"reconcile completed successfully, exiting"}

Что подтверждает:

  • осиротевший объект, оставшийся в S3 без метаданных в БД, найден и удалён;
  • повторный запуск идемпотентен;
  • учтённые объекты БД не удаляются;
  • grace period позволяет не трогать объекты, которые могут находиться в процессе записи метаданных.

Ограничения / известные ошибки

  • В качестве S3-совместимого хранилища используется RustFS, потому что в моём окружении сборки публичные образы MinIO и SeaweedFS недоступны для docker pull. Использован фиксированный digest:
    rustfs/rustfs@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
    
  • RustFS в текущей версии не предоставляет гранулярных IAM-политик для отдельных пользователей/бакетов. Поэтому основной контроль доступа реализован в приложении: каждое чтение метаданных и байтов проходит проверку членства в чате. Приватный бакет и случайный s3_key являются additional defense-in-depth, а не заменой ACL приложения.
  • Стенд использует одну PostgreSQL и один nginx. Это означает, что метаданные и балансировка остаются едиными точками отказа. Лаба 4 требует отказоустойчивости к потере одной API-реплики, и это проверено; HA для БД и LB — область следующих уровней/лаб.
  • Reconcile запускается вручную через profiles: [tools]. В промышленной эксплуатации его нужно запускать по расписанию, например cron/systemd timer/Kubernetes CronJob.
  • Загрузка буферизует файл в памяти в пределах жёсткого лимита 10 MiB. Это не полноценный streaming multipart для файлов произвольного размера, но контракт лабы 4 ограничивает вложение 10 MiB, поэтому рост памяти детерминированно ограничен.
  • Публичный smoke-тест не доказывает persistence, failover, приватность бакета и поведение при отказе S3 самостоятельно. Для этого добавлены отдельные студенческие проверки, выводы которых приложены выше.
  • Явный chaos-тест полной недоступности RustFS во время upload/download в приложенных выводах не выполнялся. Кодовый путь при ошибке S3 маппится в 503 Service Unavailable, но отдельный фактический вывод по остановке RustFS не включён в этот PR.

Источники и использование ИИ

  • ИИ использовался как помощник для:
    • проектирования структуры лабы 4;
    • генерации черновиков Go-кода, миграций, compose-конфигурации и bats/ps1-скриптов;
    • отладки ошибок сборки, YAML, Go-компиляции и Python-тестов на Windows;
    • формулировки отчёта и объяснений для защиты.
  • Все сгенерированные фрагменты были проверены, запущены локально и адаптированы под контракт contracts/openapi.json и требования COURSE.md / CONTRIBUTING.md.
  • Использованы официальные зависимости:
    • github.com/minio/minio-go/v7 как S3-клиент;
    • github.com/jackc/pgx/v5;
    • github.com/redis/go-redis/v9;
    • github.com/google/uuid;
    • golang.org/x/crypto.
  • Реальные секреты в репозиторий не коммитились. В репозитории присутствует только .env.example с синтетическими локальными значениями. Локальный .env добавлен в .gitignore.
  • В REPORT.md и в тексте PR нет токентов, паролей реальных пользователей и приватных ключей.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
    Примечание: в Windows-окружении без make публичные тесты запускались напрямую эквивалентными командами python -X utf8 tests/smoke.py ..., а структурная проверка compose выполнялась через docker compose --compatibility config --quiet.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: BVT2304-Shiyan Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен ### Что реализовано и что перенесено Из лабораторной 3 перенесено без регресса: - две stateless API-реплики за nginx; - динамический резолвинг upstream через Docker DNS: `resolver 127.0.0.11 valid=10s` и переменная в `proxy_pass`, поэтому после замены/масштабирования контейнеров nginx подхватывает новые адреса реплик; - `X-Instance-Id` в ответах, меняющийся при каждом пересоздании реплики; - однократный запуск миграций отдельным контейнером `migrate` с флагом `-migrate-only`; обычные API-реплики миграции не запускают; - идемпотентность отправки сообщений через `Idempotency-Key`; - лимиты CPU/RAM для всех сервисов стенда; - health endpoints `/health/live` и `/health/ready`; - PostgreSQL как источник истины для метаданных, Redis как опциональный кэш с деградацией в SQL. В лабораторной 4 добавлено: - хранение байтов вложений в приватном S3-совместимом хранилище RustFS; - хранение метаданных вложений в PostgreSQL, таблица `attachments`; - синхронный upload PNG/JPEG размером не более 10 MiB и не более 40 мегапикселей; - проверка MIME по содержимому файла, а не по расширению и не только по заголовку `Content-Type`; - отклонение опасных `filename`, содержащих `/`, `\`, NUL или управляющие символы; - лимит размера применяется до полного чтения тела через `http.MaxBytesReader`; - download вложений только через авторизованный API с проверкой членства в чате; - посторонний пользователь получает `404` и на метаданные, и на байты вложения; - поддержка `attachment_ids` в сообщениях; - валидация, что все `attachment_ids` в сообщении принадлежат тому же чату; - разрешение пустого `text` только при наличии хотя бы одного вложения; - сохранение обратной совместимости: старые текстовые сообщения возвращаются с `attachment_ids: []`; - компенсация рассинхрона S3 ↔ PostgreSQL: - немедленное удаление объекта из S3, если метаданные не сохранились в БД после успешного PUT; - отдельный режим `-reconcile` для удаления осиротевших объектов старше grace period; - публичные и студенческие проверки: - smoke-сценарий лабы 4; - позитивный сценарий вложений; - негативные сценарии: 413, 415, 400, 404; - проверка приватности бакета; - 10 одновременных загрузок; - замер пика памяти во время одновременных загрузок; - persistence после рестарта стенда; - failover при остановке одной реплики; - демонстрация reconcile. ### Команды запуска из чистого clone Windows / CMD / PowerShell: ```bat git clone <repo-url> cd <repo-dir> copy .env.example .env docker compose --compatibility up -d --build rem Подождать подъём стенда timeout /t 45 /nobreak >nul docker compose ps scripts\smoke.bat scripts\manual-attachments.bat scripts\negative-attachments.bat scripts\private-bucket-check.bat scripts\concurrent-uploads.bat scripts\memory-peak.bat scripts\persistence-attachment.bat scripts\restart-stack.bat scripts\persistence-verify.bat scripts\test-persistence.bat scripts\test-failover.bat docker compose --compatibility up -d api timeout /t 20 /nobreak >nul scripts\failover-attachment.bat scripts\reconcile-demo.bat ``` Linux / macOS: ```bash git clone <repo-url> cd <repo-dir> cp .env.example .env docker compose --compatibility up -d --build sleep 45 docker compose ps python3 -X utf8 tests/smoke.py --base-url http://localhost:8080 # Студенческие проверки запускаются аналогично через Python/Docker команды, # либо через те же shell-эквиваленты скриптов из scripts/. ``` Если в окружении доступен `make`, те же публичные проверки можно запускать как: ```bash make check make test ``` В моём Windows-окружении `make` недоступен, поэтому публичные тесты запускались напрямую теми командами, которые обычно оборачивает Makefile: ```bat set PYTHONUTF8=1 python -X utf8 tests\smoke.py --base-url http://localhost:8080 ``` Структурная проверка compose: ```bat docker compose --compatibility config --quiet ``` ### Результаты проверок и ссылка на REPORT.md Подробный отчёт по решению: [`REPORT.md`](./REPORT.md) Фактические результаты локальных прогонов: #### 1. Структурная проверка compose ```bat docker compose --compatibility config --quiet ``` Вывод: ```text без ошибок ``` #### 2. Публичный smoke-тест лабы 4 ```bat scripts\smoke.bat ``` Вывод: ```text PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. ``` #### 3. Позитивный сценарий вложений ```bat scripts\manual-attachments.bat ``` Вывод: ```text === Register users === === Login users === === Create chat alice+bob === chat=020deb7d-704d-4eeb-87b7-c0fc7704f310 === Upload attachment as alice === original sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 attachment=dbe1a7f3-9fe2-41e7-90f9-8470f02f555a attachment sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 === Create message with empty text and attachment_ids === message=6ed48b9b-6d79-45d2-8a5e-3c8bc773a700 === Bob downloads attachment content === downloaded sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 === Eve must get 404 on metadata === === Eve must get 404 on content === ALL MANUAL ATTACHMENT CHECKS PASSED ``` Что подтверждает: - вложение загружено; - SHA-256 в метаданных совпадает с исходным файлом; - сообщение с пустым текстом и `attachment_ids` создано; - второй участник чата скачивает побайтово идентичный оригинал; - посторонний пользователь получает `404` на метаданные и на контент. #### 4. Негативные сценарии ```bat scripts\negative-attachments.bat ``` Вывод: ```text === Setup users === === Create chat1 alice+bob === === Create chat2 alice+eve === === 1. Too large file must return 413 === === 2. Broken image must return 415 === === 3. MIME mismatch must return 415 === === 4. Dangerous filename must return 400 === === 5. Valid upload into chat1 === attachment=ea6bba9a-9f78-4197-ae6f-3b4b6cbdac06 in chat1=9d3f0986-43cd-48d4-a7e9-e8985afd4cd6 === 6. Cross-chat attachment reference must return 404 === === 7. Unknown attachment id must return 404 === === 8. Eve cannot download chat1 attachment === ALL NEGATIVE CHECKS PASSED ``` Что подтверждает: - файл больше 10 MiB отклоняется с `413`; - битое изображение отклоняется с `415`; - подмена MIME отклоняется с `415`; - опасное имя файла отклоняется с `400`; - ссылка на вложение из другого чата даёт `404`; - неизвестный `attachment_id` даёт `404`; - посторонний пользователь не может скачать вложение. #### 5. Приватность бакета ```bat scripts\private-bucket-check.bat ``` Вывод: ```text === Private bucket check === Latest s3_key: 9d3f0986-43cd-48d4-a7e9-e8985afd4cd6/bc3a5e7d-3b83-4254-8411-c7702f64b34c Direct unauthenticated response: Connecting to rustfs:9000 (172.18.0.2:9000) HTTP/1.1 403 Forbidden wget: server returned error: HTTP/1.1 403 Forbidden PASS: direct unauthenticated access is not 200 ``` Что подтверждает: - прямой доступ к объекту в RustFS без авторизации невозможен; - знание `s3_key` само по себе не даёт доступ к байтам; - основной контроль доступа остаётся в приложении. #### 6. 10 одновременных загрузок ```bat scripts\concurrent-uploads.bat ``` Вывод: ```text I Status Ok - ------ -- 1 201 True 2 201 True 3 201 True 4 201 True 5 201 True 6 201 True 7 201 True 8 201 True 9 201 True 10 201 True PASS: 10 concurrent uploads succeeded Memory stats after concurrent uploads: NAME CPU % MEM USAGE / LIMIT MEM % mtusi2026lab4_api_1 0.00% 70.62MiB / 256MiB 27.58% mtusi2026lab4_api_2 3.95% 72.15MiB / 256MiB 28.18% mtusi2026lab4_nginx_1 0.00% 18.33MiB / 64MiB 28.64% mtusi2026lab4_redis_1 0.68% 6.199MiB / 128MiB 4.84% mtusi2026lab4_postgres_1 0.91% 54.11MiB / 512MiB 10.57% mtusi2026lab4_rustfs_1 0.04% 75.32MiB / 256MiB 29.42% ``` #### 7. Пик памяти во время одновременных загрузок ```bat scripts\memory-peak.bat ``` Вывод: ```text chat=0fcf7c5f-57bb-4c7c-b570-cadea12158b8 I Status Ok - ------ -- 1 201 True 2 201 True 3 201 True 4 201 True 5 201 True 6 201 True 7 201 True 8 201 True 9 201 True 10 201 True Successful uploads: 10 / 10 Peak API memory during 10 concurrent uploads: 41,55 MiB (limit 256 MiB per replica) NAME CPU % MEM USAGE / LIMIT MEM % mtusi2026lab4_api_2 0.01% 41.55MiB / 256MiB 16.23% mtusi2026lab4_api_1 0.03% 40.58MiB / 256MiB 15.85% mtusi2026lab4_nginx_1 0.00% 17.82MiB / 64MiB 27.84% mtusi2026lab4_redis_1 0.75% 4.73MiB / 128MiB 3.70% mtusi2026lab4_postgres_1 0.02% 31.58MiB / 512MiB 6.17% mtusi2026lab4_rustfs_1 0.25% 86.6MiB / 256MiB 33.83% ``` Важная честная интерпретация: - фикстура `sample.png` небольшая, поэтому абсолютный пик памяти низкий; - основное доказательство отсутствия неограниченного роста RAM — не сам эксперимент, а детерминированный потолок `http.MaxBytesReader` = 10 MiB на одну загрузку; - при 10 параллельных загрузках теоретический потолок буферов ≈ 100 MiB, что меньше лимита 256 MiB на реплику; - эксперимент подтверждает, что в пределах этого потолка стенд не деградирует. #### 8. Persistence вложений после рестарта ```bat scripts\persistence-attachment.bat scripts\restart-stack.bat scripts\persistence-verify.bat ``` Вывод verify: ```text === Persistence verify after restart === chat=f553a3ac-fd67-490a-89ac-8a80792ddc9e attachment=25aea79a-5b7f-43a7-937b-ca4a7f8d5105 message=8e5b3a32-5969-4470-bc77-97045f99c4e1 expected sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 === Check metadata === PASS: attachment metadata survived restart === Check content === PASS: attachment bytes survived restart === Check message history === PASS: message with attachment survived restart PASS: old session token still works ALL PERSISTENCE CHECKS PASSED ``` Что подтверждает: - метаданные вложения сохранены в PostgreSQL и переживают рестарт; - байты вложения сохранены в RustFS volume и переживают рестарт; - сообщение с `attachment_ids` сохранено; - старая сессия продолжает работать. #### 9. Публичный persistence-тест ```bat scripts\test-persistence.bat ``` Вывод: ```text Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. ``` #### 10. Публичный failover-тест ```bat scripts\test-failover.bat ``` Вывод: ```text Executing explicit failover hook; hook output suppressed to avoid leaking secrets. {"observed_instances_before": 2, "successful_writes": 72, "failed_attempts": 0, "first_recovery_seconds": 4.591} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. ``` Что подтверждает: - до отказа наблюдались 2 реплики; - 72 записи выполнены успешно; - 0 неудачных попыток с точки зрения клиента; - восстановление после отказа заняло примерно 4.59 секунды; - идемпотентность не породила дублей при переключении. После failover реплики восстановлены: ```bat docker compose --compatibility up -d api ``` #### 11. Failover для вложений ```bat scripts\failover-attachment.bat ``` Вывод: ```text === Register failover user === === Create chat === === Upload attachment === Uploaded by: 5d10f6f93d39-4e19aaea attachment=57215130-be72-4757-9ace-0f605dfa69a2 === Stop one API replica === Stopping container 0d7ff1b7697df6ecf2abbfd5b8cf859bb75966292b6a294412d7a36ec4efb393 === Download attachment after replica stop === Downloaded by: 5d10f6f93d39-4e19aaea PASS: attachment bytes available after stopping one replica === Restore API replicas === ``` Что подтверждает: - вложение, загруженное через одну реплику, доступно через другую; - байты не привязаны к локальному диску конкретной API-реплики; - после остановки одной реплики скачивание продолжает работать. #### 12. Reconcile: компенсация рассинхрона S3 ↔ PostgreSQL ```bat scripts\reconcile-demo.bat ``` Вывод первого прогона: ```json {"time":"2026-10-26T12:54:30.829310914Z","level":"INFO","msg":"postgres connected"} {"time":"2026-10-26T12:54:30.830190863Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0} {"time":"2026-10-26T12:54:31.06609105Z","level":"INFO","msg":"reconcile deleted orphan","key":"282c0443-3350-4d81-9512-9a32d02f5255/8ff0bcd7-4dd0-442f-bbd3-e60b73ac5106","age_seconds":6} {"time":"2026-10-26T12:54:31.066174835Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":20,"known_in_db":19,"orphans_deleted":1,"orphans_skipped_young":0,"grace_seconds":0} {"time":"2026-10-26T12:54:31.066189361Z","level":"INFO","msg":"reconcile completed successfully, exiting"} ``` Вывод второго прогона: ```json {"time":"2026-10-26T12:54:33.185032709Z","level":"INFO","msg":"postgres connected"} {"time":"2026-10-26T12:54:33.185712407Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0} {"time":"2026-10-26T12:54:33.219294932Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":19,"known_in_db":19,"orphans_deleted":0,"orphans_skipped_young":0,"grace_seconds":0} {"time":"2026-10-26T12:54:33.21933591Z","level":"INFO","msg":"reconcile completed successfully, exiting"} ``` Что подтверждает: - осиротевший объект, оставшийся в S3 без метаданных в БД, найден и удалён; - повторный запуск идемпотентен; - учтённые объекты БД не удаляются; - grace period позволяет не трогать объекты, которые могут находиться в процессе записи метаданных. ### Ограничения / известные ошибки - В качестве S3-совместимого хранилища используется RustFS, потому что в моём окружении сборки публичные образы MinIO и SeaweedFS недоступны для `docker pull`. Использован фиксированный digest: ```text rustfs/rustfs@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2 ``` - RustFS в текущей версии не предоставляет гранулярных IAM-политик для отдельных пользователей/бакетов. Поэтому основной контроль доступа реализован в приложении: каждое чтение метаданных и байтов проходит проверку членства в чате. Приватный бакет и случайный `s3_key` являются additional defense-in-depth, а не заменой ACL приложения. - Стенд использует одну PostgreSQL и один nginx. Это означает, что метаданные и балансировка остаются едиными точками отказа. Лаба 4 требует отказоустойчивости к потере одной API-реплики, и это проверено; HA для БД и LB — область следующих уровней/лаб. - Reconcile запускается вручную через `profiles: [tools]`. В промышленной эксплуатации его нужно запускать по расписанию, например cron/systemd timer/Kubernetes CronJob. - Загрузка буферизует файл в памяти в пределах жёсткого лимита 10 MiB. Это не полноценный streaming multipart для файлов произвольного размера, но контракт лабы 4 ограничивает вложение 10 MiB, поэтому рост памяти детерминированно ограничен. - Публичный smoke-тест не доказывает persistence, failover, приватность бакета и поведение при отказе S3 самостоятельно. Для этого добавлены отдельные студенческие проверки, выводы которых приложены выше. - Явный chaos-тест полной недоступности RustFS во время upload/download в приложенных выводах не выполнялся. Кодовый путь при ошибке S3 маппится в `503 Service Unavailable`, но отдельный фактический вывод по остановке RustFS не включён в этот PR. ### Источники и использование ИИ - ИИ использовался как помощник для: - проектирования структуры лабы 4; - генерации черновиков Go-кода, миграций, compose-конфигурации и bats/ps1-скриптов; - отладки ошибок сборки, YAML, Go-компиляции и Python-тестов на Windows; - формулировки отчёта и объяснений для защиты. - Все сгенерированные фрагменты были проверены, запущены локально и адаптированы под контракт `contracts/openapi.json` и требования `COURSE.md` / `CONTRIBUTING.md`. - Использованы официальные зависимости: - `github.com/minio/minio-go/v7` как S3-клиент; - `github.com/jackc/pgx/v5`; - `github.com/redis/go-redis/v9`; - `github.com/google/uuid`; - `golang.org/x/crypto`. - Реальные секреты в репозиторий не коммитились. В репозитории присутствует только `.env.example` с синтетическими локальными значениями. Локальный `.env` добавлен в `.gitignore`. - В `REPORT.md` и в тексте PR нет токентов, паролей реальных пользователей и приватных ключей. --- - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. Примечание: в Windows-окружении без `make` публичные тесты запускались напрямую эквивалентными командами `python -X utf8 tests/smoke.py ...`, а структурная проверка compose выполнялась через `docker compose --compatibility config --quiet`. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
BVT2304_Shiyan added 1 commit 2026-10-26 16:16:18 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 00:09:19 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#14