Автор / группа: BVT2304-Shiyan
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Из лабораторной 3 перенесено без регресса:
две stateless API-реплики за nginx;
динамический резолвинг upstream через Docker DNS: resolver 127.0.0.11 valid=10s и переменная в proxy_pass, поэтому после замены/масштабирования контейнеров nginx подхватывает новые адреса реплик;
X-Instance-Id в ответах, меняющийся при каждом пересоздании реплики;
однократный запуск миграций отдельным контейнером migrate с флагом -migrate-only; обычные API-реплики миграции не запускают;
идемпотентность отправки сообщений через Idempotency-Key;
лимиты CPU/RAM для всех сервисов стенда;
health endpoints /health/live и /health/ready;
PostgreSQL как источник истины для метаданных, Redis как опциональный кэш с деградацией в SQL.
В лабораторной 4 добавлено:
хранение байтов вложений в приватном S3-совместимом хранилище RustFS;
хранение метаданных вложений в PostgreSQL, таблица attachments;
синхронный upload PNG/JPEG размером не более 10 MiB и не более 40 мегапикселей;
проверка MIME по содержимому файла, а не по расширению и не только по заголовку Content-Type;
отклонение опасных filename, содержащих /, \, NUL или управляющие символы;
лимит размера применяется до полного чтения тела через http.MaxBytesReader;
download вложений только через авторизованный API с проверкой членства в чате;
посторонний пользователь получает 404 и на метаданные, и на байты вложения;
поддержка attachment_ids в сообщениях;
валидация, что все attachment_ids в сообщении принадлежат тому же чату;
разрешение пустого text только при наличии хотя бы одного вложения;
сохранение обратной совместимости: старые текстовые сообщения возвращаются с attachment_ids: [];
компенсация рассинхрона S3 ↔ PostgreSQL:
немедленное удаление объекта из S3, если метаданные не сохранились в БД после успешного PUT;
отдельный режим -reconcile для удаления осиротевших объектов старше grace period;
публичные и студенческие проверки:
smoke-сценарий лабы 4;
позитивный сценарий вложений;
негативные сценарии: 413, 415, 400, 404;
проверка приватности бакета;
10 одновременных загрузок;
замер пика памяти во время одновременных загрузок;
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
3. Позитивный сценарий вложений
scripts\manual-attachments.bat
Вывод:
=== Register users ===
=== Login users ===
=== Create chat alice+bob ===
chat=020deb7d-704d-4eeb-87b7-c0fc7704f310
=== Upload attachment as alice ===
original sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
attachment=dbe1a7f3-9fe2-41e7-90f9-8470f02f555a
attachment sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Create message with empty text and attachment_ids ===
message=6ed48b9b-6d79-45d2-8a5e-3c8bc773a700
=== Bob downloads attachment content ===
downloaded sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Eve must get 404 on metadata ===
=== Eve must get 404 on content ===
ALL MANUAL ATTACHMENT CHECKS PASSED
Что подтверждает:
вложение загружено;
SHA-256 в метаданных совпадает с исходным файлом;
сообщение с пустым текстом и attachment_ids создано;
второй участник чата скачивает побайтово идентичный оригинал;
посторонний пользователь получает 404 на метаданные и на контент.
4. Негативные сценарии
scripts\negative-attachments.bat
Вывод:
=== Setup users ===
=== Create chat1 alice+bob ===
=== Create chat2 alice+eve ===
=== 1. Too large file must return 413 ===
=== 2. Broken image must return 415 ===
=== 3. MIME mismatch must return 415 ===
=== 4. Dangerous filename must return 400 ===
=== 5. Valid upload into chat1 ===
attachment=ea6bba9a-9f78-4197-ae6f-3b4b6cbdac06 in chat1=9d3f0986-43cd-48d4-a7e9-e8985afd4cd6
=== 6. Cross-chat attachment reference must return 404 ===
=== 7. Unknown attachment id must return 404 ===
=== 8. Eve cannot download chat1 attachment ===
ALL NEGATIVE CHECKS PASSED
Что подтверждает:
файл больше 10 MiB отклоняется с 413;
битое изображение отклоняется с 415;
подмена MIME отклоняется с 415;
опасное имя файла отклоняется с 400;
ссылка на вложение из другого чата даёт 404;
неизвестный attachment_id даёт 404;
посторонний пользователь не может скачать вложение.
5. Приватность бакета
scripts\private-bucket-check.bat
Вывод:
=== Private bucket check ===
Latest s3_key: 9d3f0986-43cd-48d4-a7e9-e8985afd4cd6/bc3a5e7d-3b83-4254-8411-c7702f64b34c
Direct unauthenticated response:
Connecting to rustfs:9000 (172.18.0.2:9000)
HTTP/1.1 403 Forbidden
wget: server returned error: HTTP/1.1 403 Forbidden
PASS: direct unauthenticated access is not 200
Что подтверждает:
прямой доступ к объекту в RustFS без авторизации невозможен;
знание s3_key само по себе не даёт доступ к байтам;
фикстура sample.png небольшая, поэтому абсолютный пик памяти низкий;
основное доказательство отсутствия неограниченного роста RAM — не сам эксперимент, а детерминированный потолок http.MaxBytesReader = 10 MiB на одну загрузку;
при 10 параллельных загрузках теоретический потолок буферов ≈ 100 MiB, что меньше лимита 256 MiB на реплику;
эксперимент подтверждает, что в пределах этого потолка стенд не деградирует.
осиротевший объект, оставшийся в S3 без метаданных в БД, найден и удалён;
повторный запуск идемпотентен;
учтённые объекты БД не удаляются;
grace period позволяет не трогать объекты, которые могут находиться в процессе записи метаданных.
Ограничения / известные ошибки
В качестве S3-совместимого хранилища используется RustFS, потому что в моём окружении сборки публичные образы MinIO и SeaweedFS недоступны для docker pull. Использован фиксированный digest:
RustFS в текущей версии не предоставляет гранулярных IAM-политик для отдельных пользователей/бакетов. Поэтому основной контроль доступа реализован в приложении: каждое чтение метаданных и байтов проходит проверку членства в чате. Приватный бакет и случайный s3_key являются additional defense-in-depth, а не заменой ACL приложения.
Стенд использует одну PostgreSQL и один nginx. Это означает, что метаданные и балансировка остаются едиными точками отказа. Лаба 4 требует отказоустойчивости к потере одной API-реплики, и это проверено; HA для БД и LB — область следующих уровней/лаб.
Reconcile запускается вручную через profiles: [tools]. В промышленной эксплуатации его нужно запускать по расписанию, например cron/systemd timer/Kubernetes CronJob.
Загрузка буферизует файл в памяти в пределах жёсткого лимита 10 MiB. Это не полноценный streaming multipart для файлов произвольного размера, но контракт лабы 4 ограничивает вложение 10 MiB, поэтому рост памяти детерминированно ограничен.
Публичный smoke-тест не доказывает persistence, failover, приватность бакета и поведение при отказе S3 самостоятельно. Для этого добавлены отдельные студенческие проверки, выводы которых приложены выше.
Явный chaos-тест полной недоступности RustFS во время upload/download в приложенных выводах не выполнялся. Кодовый путь при ошибке S3 маппится в 503 Service Unavailable, но отдельный фактический вывод по остановке RustFS не включён в этот PR.
Источники и использование ИИ
ИИ использовался как помощник для:
проектирования структуры лабы 4;
генерации черновиков Go-кода, миграций, compose-конфигурации и bats/ps1-скриптов;
отладки ошибок сборки, YAML, Go-компиляции и Python-тестов на Windows;
формулировки отчёта и объяснений для защиты.
Все сгенерированные фрагменты были проверены, запущены локально и адаптированы под контракт contracts/openapi.json и требования COURSE.md / CONTRIBUTING.md.
Использованы официальные зависимости:
github.com/minio/minio-go/v7 как S3-клиент;
github.com/jackc/pgx/v5;
github.com/redis/go-redis/v9;
github.com/google/uuid;
golang.org/x/crypto.
Реальные секреты в репозиторий не коммитились. В репозитории присутствует только .env.example с синтетическими локальными значениями. Локальный .env добавлен в .gitignore.
В REPORT.md и в тексте PR нет токентов, паролей реальных пользователей и приватных ключей.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Примечание: в Windows-окружении без make публичные тесты запускались напрямую эквивалентными командами python -X utf8 tests/smoke.py ..., а структурная проверка compose выполнялась через docker compose --compatibility config --quiet.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: BVT2304-Shiyan
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
### Что реализовано и что перенесено
Из лабораторной 3 перенесено без регресса:
- две stateless API-реплики за nginx;
- динамический резолвинг upstream через Docker DNS: `resolver 127.0.0.11 valid=10s` и переменная в `proxy_pass`, поэтому после замены/масштабирования контейнеров nginx подхватывает новые адреса реплик;
- `X-Instance-Id` в ответах, меняющийся при каждом пересоздании реплики;
- однократный запуск миграций отдельным контейнером `migrate` с флагом `-migrate-only`; обычные API-реплики миграции не запускают;
- идемпотентность отправки сообщений через `Idempotency-Key`;
- лимиты CPU/RAM для всех сервисов стенда;
- health endpoints `/health/live` и `/health/ready`;
- PostgreSQL как источник истины для метаданных, Redis как опциональный кэш с деградацией в SQL.
В лабораторной 4 добавлено:
- хранение байтов вложений в приватном S3-совместимом хранилище RustFS;
- хранение метаданных вложений в PostgreSQL, таблица `attachments`;
- синхронный upload PNG/JPEG размером не более 10 MiB и не более 40 мегапикселей;
- проверка MIME по содержимому файла, а не по расширению и не только по заголовку `Content-Type`;
- отклонение опасных `filename`, содержащих `/`, `\`, NUL или управляющие символы;
- лимит размера применяется до полного чтения тела через `http.MaxBytesReader`;
- download вложений только через авторизованный API с проверкой членства в чате;
- посторонний пользователь получает `404` и на метаданные, и на байты вложения;
- поддержка `attachment_ids` в сообщениях;
- валидация, что все `attachment_ids` в сообщении принадлежат тому же чату;
- разрешение пустого `text` только при наличии хотя бы одного вложения;
- сохранение обратной совместимости: старые текстовые сообщения возвращаются с `attachment_ids: []`;
- компенсация рассинхрона S3 ↔ PostgreSQL:
- немедленное удаление объекта из S3, если метаданные не сохранились в БД после успешного PUT;
- отдельный режим `-reconcile` для удаления осиротевших объектов старше grace period;
- публичные и студенческие проверки:
- smoke-сценарий лабы 4;
- позитивный сценарий вложений;
- негативные сценарии: 413, 415, 400, 404;
- проверка приватности бакета;
- 10 одновременных загрузок;
- замер пика памяти во время одновременных загрузок;
- persistence после рестарта стенда;
- failover при остановке одной реплики;
- демонстрация reconcile.
### Команды запуска из чистого clone
Windows / CMD / PowerShell:
```bat
git clone <repo-url>
cd <repo-dir>
copy .env.example .env
docker compose --compatibility up -d --build
rem Подождать подъём стенда
timeout /t 45 /nobreak >nul
docker compose ps
scripts\smoke.bat
scripts\manual-attachments.bat
scripts\negative-attachments.bat
scripts\private-bucket-check.bat
scripts\concurrent-uploads.bat
scripts\memory-peak.bat
scripts\persistence-attachment.bat
scripts\restart-stack.bat
scripts\persistence-verify.bat
scripts\test-persistence.bat
scripts\test-failover.bat
docker compose --compatibility up -d api
timeout /t 20 /nobreak >nul
scripts\failover-attachment.bat
scripts\reconcile-demo.bat
```
Linux / macOS:
```bash
git clone <repo-url>
cd <repo-dir>
cp .env.example .env
docker compose --compatibility up -d --build
sleep 45
docker compose ps
python3 -X utf8 tests/smoke.py --base-url http://localhost:8080
# Студенческие проверки запускаются аналогично через Python/Docker команды,
# либо через те же shell-эквиваленты скриптов из scripts/.
```
Если в окружении доступен `make`, те же публичные проверки можно запускать как:
```bash
make check
make test
```
В моём Windows-окружении `make` недоступен, поэтому публичные тесты запускались напрямую теми командами, которые обычно оборачивает Makefile:
```bat
set PYTHONUTF8=1
python -X utf8 tests\smoke.py --base-url http://localhost:8080
```
Структурная проверка compose:
```bat
docker compose --compatibility config --quiet
```
### Результаты проверок и ссылка на REPORT.md
Подробный отчёт по решению: [`REPORT.md`](./REPORT.md)
Фактические результаты локальных прогонов:
#### 1. Структурная проверка compose
```bat
docker compose --compatibility config --quiet
```
Вывод:
```text
без ошибок
```
#### 2. Публичный smoke-тест лабы 4
```bat
scripts\smoke.bat
```
Вывод:
```text
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
```
#### 3. Позитивный сценарий вложений
```bat
scripts\manual-attachments.bat
```
Вывод:
```text
=== Register users ===
=== Login users ===
=== Create chat alice+bob ===
chat=020deb7d-704d-4eeb-87b7-c0fc7704f310
=== Upload attachment as alice ===
original sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
attachment=dbe1a7f3-9fe2-41e7-90f9-8470f02f555a
attachment sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Create message with empty text and attachment_ids ===
message=6ed48b9b-6d79-45d2-8a5e-3c8bc773a700
=== Bob downloads attachment content ===
downloaded sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Eve must get 404 on metadata ===
=== Eve must get 404 on content ===
ALL MANUAL ATTACHMENT CHECKS PASSED
```
Что подтверждает:
- вложение загружено;
- SHA-256 в метаданных совпадает с исходным файлом;
- сообщение с пустым текстом и `attachment_ids` создано;
- второй участник чата скачивает побайтово идентичный оригинал;
- посторонний пользователь получает `404` на метаданные и на контент.
#### 4. Негативные сценарии
```bat
scripts\negative-attachments.bat
```
Вывод:
```text
=== Setup users ===
=== Create chat1 alice+bob ===
=== Create chat2 alice+eve ===
=== 1. Too large file must return 413 ===
=== 2. Broken image must return 415 ===
=== 3. MIME mismatch must return 415 ===
=== 4. Dangerous filename must return 400 ===
=== 5. Valid upload into chat1 ===
attachment=ea6bba9a-9f78-4197-ae6f-3b4b6cbdac06 in chat1=9d3f0986-43cd-48d4-a7e9-e8985afd4cd6
=== 6. Cross-chat attachment reference must return 404 ===
=== 7. Unknown attachment id must return 404 ===
=== 8. Eve cannot download chat1 attachment ===
ALL NEGATIVE CHECKS PASSED
```
Что подтверждает:
- файл больше 10 MiB отклоняется с `413`;
- битое изображение отклоняется с `415`;
- подмена MIME отклоняется с `415`;
- опасное имя файла отклоняется с `400`;
- ссылка на вложение из другого чата даёт `404`;
- неизвестный `attachment_id` даёт `404`;
- посторонний пользователь не может скачать вложение.
#### 5. Приватность бакета
```bat
scripts\private-bucket-check.bat
```
Вывод:
```text
=== Private bucket check ===
Latest s3_key: 9d3f0986-43cd-48d4-a7e9-e8985afd4cd6/bc3a5e7d-3b83-4254-8411-c7702f64b34c
Direct unauthenticated response:
Connecting to rustfs:9000 (172.18.0.2:9000)
HTTP/1.1 403 Forbidden
wget: server returned error: HTTP/1.1 403 Forbidden
PASS: direct unauthenticated access is not 200
```
Что подтверждает:
- прямой доступ к объекту в RustFS без авторизации невозможен;
- знание `s3_key` само по себе не даёт доступ к байтам;
- основной контроль доступа остаётся в приложении.
#### 6. 10 одновременных загрузок
```bat
scripts\concurrent-uploads.bat
```
Вывод:
```text
I Status Ok
- ------ --
1 201 True
2 201 True
3 201 True
4 201 True
5 201 True
6 201 True
7 201 True
8 201 True
9 201 True
10 201 True
PASS: 10 concurrent uploads succeeded
Memory stats after concurrent uploads:
NAME CPU % MEM USAGE / LIMIT MEM %
mtusi2026lab4_api_1 0.00% 70.62MiB / 256MiB 27.58%
mtusi2026lab4_api_2 3.95% 72.15MiB / 256MiB 28.18%
mtusi2026lab4_nginx_1 0.00% 18.33MiB / 64MiB 28.64%
mtusi2026lab4_redis_1 0.68% 6.199MiB / 128MiB 4.84%
mtusi2026lab4_postgres_1 0.91% 54.11MiB / 512MiB 10.57%
mtusi2026lab4_rustfs_1 0.04% 75.32MiB / 256MiB 29.42%
```
#### 7. Пик памяти во время одновременных загрузок
```bat
scripts\memory-peak.bat
```
Вывод:
```text
chat=0fcf7c5f-57bb-4c7c-b570-cadea12158b8
I Status Ok
- ------ --
1 201 True
2 201 True
3 201 True
4 201 True
5 201 True
6 201 True
7 201 True
8 201 True
9 201 True
10 201 True
Successful uploads: 10 / 10
Peak API memory during 10 concurrent uploads: 41,55 MiB (limit 256 MiB per replica)
NAME CPU % MEM USAGE / LIMIT MEM %
mtusi2026lab4_api_2 0.01% 41.55MiB / 256MiB 16.23%
mtusi2026lab4_api_1 0.03% 40.58MiB / 256MiB 15.85%
mtusi2026lab4_nginx_1 0.00% 17.82MiB / 64MiB 27.84%
mtusi2026lab4_redis_1 0.75% 4.73MiB / 128MiB 3.70%
mtusi2026lab4_postgres_1 0.02% 31.58MiB / 512MiB 6.17%
mtusi2026lab4_rustfs_1 0.25% 86.6MiB / 256MiB 33.83%
```
Важная честная интерпретация:
- фикстура `sample.png` небольшая, поэтому абсолютный пик памяти низкий;
- основное доказательство отсутствия неограниченного роста RAM — не сам эксперимент, а детерминированный потолок `http.MaxBytesReader` = 10 MiB на одну загрузку;
- при 10 параллельных загрузках теоретический потолок буферов ≈ 100 MiB, что меньше лимита 256 MiB на реплику;
- эксперимент подтверждает, что в пределах этого потолка стенд не деградирует.
#### 8. Persistence вложений после рестарта
```bat
scripts\persistence-attachment.bat
scripts\restart-stack.bat
scripts\persistence-verify.bat
```
Вывод verify:
```text
=== Persistence verify after restart ===
chat=f553a3ac-fd67-490a-89ac-8a80792ddc9e
attachment=25aea79a-5b7f-43a7-937b-ca4a7f8d5105
message=8e5b3a32-5969-4470-bc77-97045f99c4e1
expected sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
=== Check metadata ===
PASS: attachment metadata survived restart
=== Check content ===
PASS: attachment bytes survived restart
=== Check message history ===
PASS: message with attachment survived restart
PASS: old session token still works
ALL PERSISTENCE CHECKS PASSED
```
Что подтверждает:
- метаданные вложения сохранены в PostgreSQL и переживают рестарт;
- байты вложения сохранены в RustFS volume и переживают рестарт;
- сообщение с `attachment_ids` сохранено;
- старая сессия продолжает работать.
#### 9. Публичный persistence-тест
```bat
scripts\test-persistence.bat
```
Вывод:
```text
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
```
#### 10. Публичный failover-тест
```bat
scripts\test-failover.bat
```
Вывод:
```text
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 72, "failed_attempts": 0, "first_recovery_seconds": 4.591}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
```
Что подтверждает:
- до отказа наблюдались 2 реплики;
- 72 записи выполнены успешно;
- 0 неудачных попыток с точки зрения клиента;
- восстановление после отказа заняло примерно 4.59 секунды;
- идемпотентность не породила дублей при переключении.
После failover реплики восстановлены:
```bat
docker compose --compatibility up -d api
```
#### 11. Failover для вложений
```bat
scripts\failover-attachment.bat
```
Вывод:
```text
=== Register failover user ===
=== Create chat ===
=== Upload attachment ===
Uploaded by: 5d10f6f93d39-4e19aaea
attachment=57215130-be72-4757-9ace-0f605dfa69a2
=== Stop one API replica ===
Stopping container 0d7ff1b7697df6ecf2abbfd5b8cf859bb75966292b6a294412d7a36ec4efb393
=== Download attachment after replica stop ===
Downloaded by: 5d10f6f93d39-4e19aaea
PASS: attachment bytes available after stopping one replica
=== Restore API replicas ===
```
Что подтверждает:
- вложение, загруженное через одну реплику, доступно через другую;
- байты не привязаны к локальному диску конкретной API-реплики;
- после остановки одной реплики скачивание продолжает работать.
#### 12. Reconcile: компенсация рассинхрона S3 ↔ PostgreSQL
```bat
scripts\reconcile-demo.bat
```
Вывод первого прогона:
```json
{"time":"2026-10-26T12:54:30.829310914Z","level":"INFO","msg":"postgres connected"}
{"time":"2026-10-26T12:54:30.830190863Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0}
{"time":"2026-10-26T12:54:31.06609105Z","level":"INFO","msg":"reconcile deleted orphan","key":"282c0443-3350-4d81-9512-9a32d02f5255/8ff0bcd7-4dd0-442f-bbd3-e60b73ac5106","age_seconds":6}
{"time":"2026-10-26T12:54:31.066174835Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":20,"known_in_db":19,"orphans_deleted":1,"orphans_skipped_young":0,"grace_seconds":0}
{"time":"2026-10-26T12:54:31.066189361Z","level":"INFO","msg":"reconcile completed successfully, exiting"}
```
Вывод второго прогона:
```json
{"time":"2026-10-26T12:54:33.185032709Z","level":"INFO","msg":"postgres connected"}
{"time":"2026-10-26T12:54:33.185712407Z","level":"INFO","msg":"reconcile mode: sweeping orphaned objects","grace_seconds":0}
{"time":"2026-10-26T12:54:33.219294932Z","level":"INFO","msg":"reconcile complete","objects_in_bucket":19,"known_in_db":19,"orphans_deleted":0,"orphans_skipped_young":0,"grace_seconds":0}
{"time":"2026-10-26T12:54:33.21933591Z","level":"INFO","msg":"reconcile completed successfully, exiting"}
```
Что подтверждает:
- осиротевший объект, оставшийся в S3 без метаданных в БД, найден и удалён;
- повторный запуск идемпотентен;
- учтённые объекты БД не удаляются;
- grace period позволяет не трогать объекты, которые могут находиться в процессе записи метаданных.
### Ограничения / известные ошибки
- В качестве S3-совместимого хранилища используется RustFS, потому что в моём окружении сборки публичные образы MinIO и SeaweedFS недоступны для `docker pull`. Использован фиксированный digest:
```text
rustfs/rustfs@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
```
- RustFS в текущей версии не предоставляет гранулярных IAM-политик для отдельных пользователей/бакетов. Поэтому основной контроль доступа реализован в приложении: каждое чтение метаданных и байтов проходит проверку членства в чате. Приватный бакет и случайный `s3_key` являются additional defense-in-depth, а не заменой ACL приложения.
- Стенд использует одну PostgreSQL и один nginx. Это означает, что метаданные и балансировка остаются едиными точками отказа. Лаба 4 требует отказоустойчивости к потере одной API-реплики, и это проверено; HA для БД и LB — область следующих уровней/лаб.
- Reconcile запускается вручную через `profiles: [tools]`. В промышленной эксплуатации его нужно запускать по расписанию, например cron/systemd timer/Kubernetes CronJob.
- Загрузка буферизует файл в памяти в пределах жёсткого лимита 10 MiB. Это не полноценный streaming multipart для файлов произвольного размера, но контракт лабы 4 ограничивает вложение 10 MiB, поэтому рост памяти детерминированно ограничен.
- Публичный smoke-тест не доказывает persistence, failover, приватность бакета и поведение при отказе S3 самостоятельно. Для этого добавлены отдельные студенческие проверки, выводы которых приложены выше.
- Явный chaos-тест полной недоступности RustFS во время upload/download в приложенных выводах не выполнялся. Кодовый путь при ошибке S3 маппится в `503 Service Unavailable`, но отдельный фактический вывод по остановке RustFS не включён в этот PR.
### Источники и использование ИИ
- ИИ использовался как помощник для:
- проектирования структуры лабы 4;
- генерации черновиков Go-кода, миграций, compose-конфигурации и bats/ps1-скриптов;
- отладки ошибок сборки, YAML, Go-компиляции и Python-тестов на Windows;
- формулировки отчёта и объяснений для защиты.
- Все сгенерированные фрагменты были проверены, запущены локально и адаптированы под контракт `contracts/openapi.json` и требования `COURSE.md` / `CONTRIBUTING.md`.
- Использованы официальные зависимости:
- `github.com/minio/minio-go/v7` как S3-клиент;
- `github.com/jackc/pgx/v5`;
- `github.com/redis/go-redis/v9`;
- `github.com/google/uuid`;
- `golang.org/x/crypto`.
- Реальные секреты в репозиторий не коммитились. В репозитории присутствует только `.env.example` с синтетическими локальными значениями. Локальный `.env` добавлен в `.gitignore`.
- В `REPORT.md` и в тексте PR нет токентов, паролей реальных пользователей и приватных ключей.
---
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
Примечание: в Windows-окружении без `make` публичные тесты запускались напрямую эквивалентными командами `python -X utf8 tests/smoke.py ...`, а структурная проверка compose выполнялась через `docker compose --compatibility config --quiet`.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: BVT2304-Shiyan
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено
Из лабораторной 3 перенесено без регресса:
resolver 127.0.0.11 valid=10sи переменная вproxy_pass, поэтому после замены/масштабирования контейнеров nginx подхватывает новые адреса реплик;X-Instance-Idв ответах, меняющийся при каждом пересоздании реплики;migrateс флагом-migrate-only; обычные API-реплики миграции не запускают;Idempotency-Key;/health/liveи/health/ready;В лабораторной 4 добавлено:
attachments;Content-Type;filename, содержащих/,\, NUL или управляющие символы;http.MaxBytesReader;404и на метаданные, и на байты вложения;attachment_idsв сообщениях;attachment_idsв сообщении принадлежат тому же чату;textтолько при наличии хотя бы одного вложения;attachment_ids: [];-reconcileдля удаления осиротевших объектов старше grace period;Команды запуска из чистого clone
Windows / CMD / PowerShell:
Linux / macOS:
Если в окружении доступен
make, те же публичные проверки можно запускать как:В моём Windows-окружении
makeнедоступен, поэтому публичные тесты запускались напрямую теми командами, которые обычно оборачивает Makefile:Структурная проверка compose:
Результаты проверок и ссылка на REPORT.md
Подробный отчёт по решению:
REPORT.mdФактические результаты локальных прогонов:
1. Структурная проверка compose
Вывод:
2. Публичный smoke-тест лабы 4
Вывод:
3. Позитивный сценарий вложений
Вывод:
Что подтверждает:
attachment_idsсоздано;404на метаданные и на контент.4. Негативные сценарии
Вывод:
Что подтверждает:
413;415;415;400;404;attachment_idдаёт404;5. Приватность бакета
Вывод:
Что подтверждает:
s3_keyсамо по себе не даёт доступ к байтам;6. 10 одновременных загрузок
Вывод:
7. Пик памяти во время одновременных загрузок
Вывод:
Важная честная интерпретация:
sample.pngнебольшая, поэтому абсолютный пик памяти низкий;http.MaxBytesReader= 10 MiB на одну загрузку;8. Persistence вложений после рестарта
Вывод verify:
Что подтверждает:
attachment_idsсохранено;9. Публичный persistence-тест
Вывод:
10. Публичный failover-тест
Вывод:
Что подтверждает:
После failover реплики восстановлены:
11. Failover для вложений
Вывод:
Что подтверждает:
12. Reconcile: компенсация рассинхрона S3 ↔ PostgreSQL
Вывод первого прогона:
Вывод второго прогона:
Что подтверждает:
Ограничения / известные ошибки
docker pull. Использован фиксированный digest:s3_keyявляются additional defense-in-depth, а не заменой ACL приложения.profiles: [tools]. В промышленной эксплуатации его нужно запускать по расписанию, например cron/systemd timer/Kubernetes CronJob.503 Service Unavailable, но отдельный фактический вывод по остановке RustFS не включён в этот PR.Источники и использование ИИ
contracts/openapi.jsonи требованияCOURSE.md/CONTRIBUTING.md.github.com/minio/minio-go/v7как S3-клиент;github.com/jackc/pgx/v5;github.com/redis/go-redis/v9;github.com/google/uuid;golang.org/x/crypto..env.exampleс синтетическими локальными значениями. Локальный.envдобавлен в.gitignore.REPORT.mdи в тексте PR нет токентов, паролей реальных пользователей и приватных ключей.Примечание: в Windows-окружении без
makeпубличные тесты запускались напрямую эквивалентными командамиpython -X utf8 tests/smoke.py ..., а структурная проверка compose выполнялась черезdocker compose --compatibility config --quiet.Принято. Закрываю МР.
Pull request closed