Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 2 «Согласованность двух хранилищ»
Что реализовано и что перенесено
перенесён минимум lab3 без изменения поведения: Go-приложение, PostgreSQL как источник истины, миграции под advisory lock, Argon2id, Bearer-сессии с кэшем в Valkey, keyset-пагинация, обязательный Idempotency-Key (запись одним SQL-оператором с CTE), X-Instance-Id, HAProxy round-robin без sticky перед двумя API-репликами, хуки restart/stop-one;
изменено относительно lab3: убран экспериментальный путь MESSAGE_WRITE_PATH=tx, лимит памяти API 256M → 512M, таймауты HAProxy увеличены до 75 с (загрузка до 10 MiB);
S3-хранилище SeaweedFS 3.80 (chrislusf/seaweedfs:3.80) в общем Compose. MinIO не использован: образы minio/minio и minio/mc недоступны для pull. Порт S3 и консоли master/filer не публикуются, сервис доступен только в сети data, volume s3data;
две S3-идентичности: bootstrap-admin (только для s3-init) и messenger-api (Read/Write/List только на bucket messenger-attachments). Анонимной идентичности нет, bucket приватный; идемпотентный bootstrap bucket через сервис s3-init;
миграция 0003: таблица attachments (метаданные, object_key генерирует сервер: attachments/<chat_id>/<attachment_id>, filename только для отображения) и message_attachments с составным FK (chat_id, attachment_id). Привязку файла другого чата запрещает сама БД;
POST /api/v1/chats/{id}/attachments: проверка членства до чтения тела, filename (1..255, без /, \, NUL, управляющих и bidi-символов), Content-Type, Content-Length > 10 MiB → 413 сразу, MaxBytesReader, MIME по magic bytes (подмена → 415), лимит 40M пикселей по заголовку до декодирования (→ 413), полное декодирование под общим бюджетом памяти (повреждённое → 415), семафор UPLOAD_CONCURRENCY=8 на реплику;
транзакционная граница: INSERT pending → S3 PUT → UPDATE ready → 201 ready. При ошибке → 503 и компенсация, начинающаяся со строки (DELETE … WHERE status='pending', затем удаление объекта). Остатки после сбоев убирает reconciler после grace;
GET /attachments/{id} и /content только для участников чата (иначе 404), поток из S3 без redirect, истинный Content-Type, nosniff, Cache-Control: private, no-store;
сообщения с attachment_ids (0..10 уникальных, только ready из этого чата, иначе 404). Пустой текст допустим при ≥1 вложении. Идемпотентность учитывает attachment_ids (отсутствие поля = []);
/health/ready зависит только от PostgreSQL: недоступность S3 даёт 503 только на вложениях, текстовый мессенджер продолжает работать;
API с read-only rootfs: оригинал физически не может оказаться на диске реплики;
собственные тесты (student-tests/run_tests.py, 18 шт.): 8 из lab3 и 10 по вложениям — PNG/JPEG побайтно, лимит размера, decompression bomb, 9 вариантов подмены/повреждения, 12 опасных имён, валидация attachment_ids, идемпотентность с вложениями, 10 параллельных загрузок, ACL, чужие и неизвестные вложения и файлы другого чата;
трек 2: reconciler (server reconcile [--apply] [--grace] [--every], по умолчанию dry-run, advisory lock), сервис reconciler в стенде (apply каждые 10 мин, grace 15 мин). Находит orphan-объекты, stale pending и missing-объекты; используемые метаданные никогда не удаляет, missing только помечает.
Команды запуска из чистого clone
python3 scripts/init_secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make check
make test
make test-student
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --no-recreate --wait api
make ops-checks memory track2-faults track2-cost
Результаты проверок
make check → PASS; make test → PASS: lab4 public API scenario;
make test-student → 18/18 PASS, в логах API ни одного 500;
make test-persistence → PASS: перезапущены postgres, valkey, s3, api, lb; данные, сессия (прежний токен) и файл сохранены;
make test-failover для каждой реплики: остановлена api-2 → PASS, 123 записи, 0 ошибок, восстановление 4,1 с; остановлена api-1 → PASS, 116 записей, 0 ошибок, 4,1 с;
upload → остановка загрузившей реплики → download через другую: 10/10 скачиваний с верным SHA-256;
приватность вне API: анонимные GET/LIST/CreateBucket → 403; api-ключ: CreateBucket → 403, PUT в другой bucket → 403;
отказ S3: upload/download → 503 за 2 с, метаданные 200, текстовое сообщение 201, /health/ready 200; после старта S3 загрузки сразу работают, pending-строк не осталось;
bootstrap: повторный запуск migrate и s3-init → «migrations up to date», created:false;
память при одновременных загрузках по 10 MB (пик API, cgroup memory.peak): 1 → 66 MiB, 10 → 152 MiB, 20 → 286 MiB, 40 → 311 MiB, плато после 20 клиентов, все загрузки 201. Попутно найден OOM SeaweedFS при лимите 512M, лимит поднят до 1G, оставшиеся pending-строки убрал reconciler;
трек 2, внедрение сбоев на обеих сторонах: 5 из 5 найдены, dry-run ничего не меняет, первый apply — 7 исправлений, повторный apply — 0. Свежий orphan, свежий pending и используемые вложения целы; после возврата объекта «из бэкапа» → recovered=1;
трек 2, стоимость обхода: линейная, ~70 мкс и ~1 КБ RAM на объект, 20k объектов за 1,4–1,6 с, ложных срабатываний 0.
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (check-smoke.txt, student-tests.txt/json, persistence.txt, failover.txt, failover-upload.json, private.json, no-local-file.json, s3-outage.json, bootstrap.json, memory.json, track2/faults.json, track2/cost.json).
Ограничения / известные ошибки
Все компоненты на одном Docker-хосте, по одному PostgreSQL, S3-узлу и LB: выдерживается отказ одной API-реплики и рестарт стенда, но не потеря хоста или диска S3 (репликации томов в SeaweedFS нет). Тело загрузки буферизуется в RAM (≤10 MiB на слот, слотов 8 на реплику): память ограничена и измерена, но обработка не полностью потоковая. Полное декодирование стоит CPU: 40 одновременных загрузок по 10 MB занимают ~12 с. Missing-объект без бэкапа невосстановим, reconciler только помечает его, content отдаёт 404. Reconciler держит все ключи в памяти (~1 ГБ на 10M объектов); size_mismatch только сообщается. Для остановки api-1 в failover-тесте понадобился один лишний запрос через LB, чтобы сдвинуть round-robin. На Windows хуки запускались через .cmd-версии. CI-job со сборкой стенда не добавлен.
Источники и использование ИИ
Go 1.23.4, pgx/v5, go-redis/v9, golang.org/x/crypto (Argon2id), golang.org/x/sync (semaphore), google/uuid, minio-go/v7 (S3-клиент). Документация AWS S3 (uploads, SigV4, ListObjectsV2), SeaweedFS wiki (S3 API, s3.config), Go image.DecodeConfig. Помощь ИИ использовалась при написании отчёта.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены (failover обеих реплик, upload → failover → download, persistence, отказ S3, приватность bucket, внедрённые сбои трека 2).
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 2 «Согласованность двух хранилищ»
### Что реализовано и что перенесено
* перенесён минимум lab3 без изменения поведения: Go-приложение, PostgreSQL как источник истины, миграции под advisory lock, Argon2id, Bearer-сессии с кэшем в Valkey, keyset-пагинация, обязательный Idempotency-Key (запись одним SQL-оператором с CTE), X-Instance-Id, HAProxy round-robin без sticky перед двумя API-репликами, хуки restart/stop-one;
* изменено относительно lab3: убран экспериментальный путь MESSAGE_WRITE_PATH=tx, лимит памяти API 256M → 512M, таймауты HAProxy увеличены до 75 с (загрузка до 10 MiB);
* S3-хранилище SeaweedFS 3.80 (`chrislusf/seaweedfs:3.80`) в общем Compose. MinIO не использован: образы minio/minio и minio/mc недоступны для pull. Порт S3 и консоли master/filer не публикуются, сервис доступен только в сети data, volume s3data;
* две S3-идентичности: bootstrap-admin (только для s3-init) и messenger-api (Read/Write/List только на bucket messenger-attachments). Анонимной идентичности нет, bucket приватный; идемпотентный bootstrap bucket через сервис s3-init;
* миграция 0003: таблица attachments (метаданные, object_key генерирует сервер: `attachments/<chat_id>/<attachment_id>`, filename только для отображения) и message_attachments с составным FK (chat_id, attachment_id). Привязку файла другого чата запрещает сама БД;
* POST /api/v1/chats/{id}/attachments: проверка членства до чтения тела, filename (1..255, без `/`, `\`, NUL, управляющих и bidi-символов), Content-Type, Content-Length > 10 MiB → 413 сразу, MaxBytesReader, MIME по magic bytes (подмена → 415), лимит 40M пикселей по заголовку до декодирования (→ 413), полное декодирование под общим бюджетом памяти (повреждённое → 415), семафор UPLOAD_CONCURRENCY=8 на реплику;
* транзакционная граница: INSERT pending → S3 PUT → UPDATE ready → 201 ready. При ошибке → 503 и компенсация, начинающаяся со строки (DELETE … WHERE status='pending', затем удаление объекта). Остатки после сбоев убирает reconciler после grace;
* GET /attachments/{id} и /content только для участников чата (иначе 404), поток из S3 без redirect, истинный Content-Type, nosniff, Cache-Control: private, no-store;
* сообщения с attachment_ids (0..10 уникальных, только ready из этого чата, иначе 404). Пустой текст допустим при ≥1 вложении. Идемпотентность учитывает attachment_ids (отсутствие поля = []);
* /health/ready зависит только от PostgreSQL: недоступность S3 даёт 503 только на вложениях, текстовый мессенджер продолжает работать;
* API с read-only rootfs: оригинал физически не может оказаться на диске реплики;
* собственные тесты (student-tests/run_tests.py, 18 шт.): 8 из lab3 и 10 по вложениям — PNG/JPEG побайтно, лимит размера, decompression bomb, 9 вариантов подмены/повреждения, 12 опасных имён, валидация attachment_ids, идемпотентность с вложениями, 10 параллельных загрузок, ACL, чужие и неизвестные вложения и файлы другого чата;
* трек 2: reconciler (`server reconcile [--apply] [--grace] [--every]`, по умолчанию dry-run, advisory lock), сервис reconciler в стенде (apply каждые 10 мин, grace 15 мин). Находит orphan-объекты, stale pending и missing-объекты; используемые метаданные никогда не удаляет, missing только помечает.
### Команды запуска из чистого clone
python3 scripts/init_secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make check
make test
make test-student
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose up -d --no-recreate --wait api
make ops-checks memory track2-faults track2-cost
### Результаты проверок
* make check → PASS; make test → PASS: lab4 public API scenario;
* make test-student → 18/18 PASS, в логах API ни одного 500;
* make test-persistence → PASS: перезапущены postgres, valkey, s3, api, lb; данные, сессия (прежний токен) и файл сохранены;
* make test-failover для каждой реплики: остановлена api-2 → PASS, 123 записи, 0 ошибок, восстановление 4,1 с; остановлена api-1 → PASS, 116 записей, 0 ошибок, 4,1 с;
* upload → остановка загрузившей реплики → download через другую: 10/10 скачиваний с верным SHA-256;
* приватность вне API: анонимные GET/LIST/CreateBucket → 403; api-ключ: CreateBucket → 403, PUT в другой bucket → 403;
* отказ S3: upload/download → 503 за 2 с, метаданные 200, текстовое сообщение 201, /health/ready 200; после старта S3 загрузки сразу работают, pending-строк не осталось;
* bootstrap: повторный запуск migrate и s3-init → «migrations up to date», created:false;
* память при одновременных загрузках по 10 MB (пик API, cgroup memory.peak): 1 → 66 MiB, 10 → 152 MiB, 20 → 286 MiB, 40 → 311 MiB, плато после 20 клиентов, все загрузки 201. Попутно найден OOM SeaweedFS при лимите 512M, лимит поднят до 1G, оставшиеся pending-строки убрал reconciler;
* трек 2, внедрение сбоев на обеих сторонах: 5 из 5 найдены, dry-run ничего не меняет, первый apply — 7 исправлений, повторный apply — 0. Свежий orphan, свежий pending и используемые вложения целы; после возврата объекта «из бэкапа» → recovered=1;
* трек 2, стоимость обхода: линейная, ~70 мкс и ~1 КБ RAM на объект, 20k объектов за 1,4–1,6 с, ложных срабатываний 0.
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (check-smoke.txt, student-tests.txt/json, persistence.txt, failover.txt, failover-upload.json, private.json, no-local-file.json, s3-outage.json, bootstrap.json, memory.json, track2/faults.json, track2/cost.json).
### Ограничения / известные ошибки
Все компоненты на одном Docker-хосте, по одному PostgreSQL, S3-узлу и LB: выдерживается отказ одной API-реплики и рестарт стенда, но не потеря хоста или диска S3 (репликации томов в SeaweedFS нет). Тело загрузки буферизуется в RAM (≤10 MiB на слот, слотов 8 на реплику): память ограничена и измерена, но обработка не полностью потоковая. Полное декодирование стоит CPU: 40 одновременных загрузок по 10 MB занимают ~12 с. Missing-объект без бэкапа невосстановим, reconciler только помечает его, content отдаёт 404. Reconciler держит все ключи в памяти (~1 ГБ на 10M объектов); size_mismatch только сообщается. Для остановки api-1 в failover-тесте понадобился один лишний запрос через LB, чтобы сдвинуть round-robin. На Windows хуки запускались через .cmd-версии. CI-job со сборкой стенда не добавлен.
### Источники и использование ИИ
Go 1.23.4, pgx/v5, go-redis/v9, golang.org/x/crypto (Argon2id), golang.org/x/sync (semaphore), google/uuid, minio-go/v7 (S3-клиент). Документация AWS S3 (uploads, SigV4, ListObjectsV2), SeaweedFS wiki (S3 API, s3.config), Go image.DecodeConfig. Помощь ИИ использовалась при написании отчёта.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены (failover обеих реплик, upload → failover → download, persistence, отказ S3, приватность bucket, внедрённые сбои трека 2).
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
compose.yaml:73: master и filer SeaweedFS доступны из общей сети. Без credentials запрос к :8888/buckets/messenger-attachments/<object_key> возвращает оригинал с 200, обходя ограничения S3. Изолируйте или защитите backend-порты; запрета анонимного доступа только на S3 endpoint недостаточно.
- [compose.yaml:73](https://gitea.privcloud.tech/Sh1pYe/mtusi2026lab4/src/commit/e094e13dc3d2098faca90d7bd31c0eaf02e755fd/compose.yaml#L73): master и filer SeaweedFS доступны из общей сети. Без credentials запрос к :8888/buckets/messenger-attachments/<object_key> возвращает оригинал с 200, обходя ограничения S3. Изолируйте или защитите backend-порты; запрета анонимного доступа только на S3 endpoint недостаточно.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Кораблев Петр / БВТ2304
Целевая оценка: 5
Трек 5: трек 2 «Согласованность двух хранилищ»
Что реализовано и что перенесено
chrislusf/seaweedfs:3.80) в общем Compose. MinIO не использован: образы minio/minio и minio/mc недоступны для pull. Порт S3 и консоли master/filer не публикуются, сервис доступен только в сети data, volume s3data;attachments/<chat_id>/<attachment_id>, filename только для отображения) и message_attachments с составным FK (chat_id, attachment_id). Привязку файла другого чата запрещает сама БД;/,\, NUL, управляющих и bidi-символов), Content-Type, Content-Length > 10 MiB → 413 сразу, MaxBytesReader, MIME по magic bytes (подмена → 415), лимит 40M пикселей по заголовку до декодирования (→ 413), полное декодирование под общим бюджетом памяти (повреждённое → 415), семафор UPLOAD_CONCURRENCY=8 на реплику;server reconcile [--apply] [--grace] [--every], по умолчанию dry-run, advisory lock), сервис reconciler в стенде (apply каждые 10 мин, grace 15 мин). Находит orphan-объекты, stale pending и missing-объекты; используемые метаданные никогда не удаляет, missing только помечает.Команды запуска из чистого clone
Результаты проверок
Методика, результаты и ограничения приведены в REPORT.md, сырые данные — в evidence/ (check-smoke.txt, student-tests.txt/json, persistence.txt, failover.txt, failover-upload.json, private.json, no-local-file.json, s3-outage.json, bootstrap.json, memory.json, track2/faults.json, track2/cost.json).
Ограничения / известные ошибки
Все компоненты на одном Docker-хосте, по одному PostgreSQL, S3-узлу и LB: выдерживается отказ одной API-реплики и рестарт стенда, но не потеря хоста или диска S3 (репликации томов в SeaweedFS нет). Тело загрузки буферизуется в RAM (≤10 MiB на слот, слотов 8 на реплику): память ограничена и измерена, но обработка не полностью потоковая. Полное декодирование стоит CPU: 40 одновременных загрузок по 10 MB занимают ~12 с. Missing-объект без бэкапа невосстановим, reconciler только помечает его, content отдаёт 404. Reconciler держит все ключи в памяти (~1 ГБ на 10M объектов); size_mismatch только сообщается. Для остановки api-1 в failover-тесте понадобился один лишний запрос через LB, чтобы сдвинуть round-robin. На Windows хуки запускались через .cmd-версии. CI-job со сборкой стенда не добавлен.
Источники и использование ИИ
Go 1.23.4, pgx/v5, go-redis/v9, golang.org/x/crypto (Argon2id), golang.org/x/sync (semaphore), google/uuid, minio-go/v7 (S3-клиент). Документация AWS S3 (uploads, SigV4, ListObjectsV2), SeaweedFS wiki (S3 API, s3.config), Go image.DecodeConfig. Помощь ИИ использовалась при написании отчёта.
Solution/bvt2304 korablevto ЛР 4 — БВТ2304 — Кораблев — на 5Принято. Закрываю МР.
Переоткрой пожалуйста мр)
Pull request closed