Автор / группа: Боданюк Алексей, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (reconciler S3 ↔ PostgreSQL)
Что реализовано и что перенесено: реализация lab3 перенесена отдельным коммитом без изменений. Добавлено: S3-хранилище SeaweedFS 4.46 (приватный bucket, идемпотентный bootstrap с проверкой прав, отдельные ключи для API / reconciler / admin), вложения PNG/JPEG (метаданные в PostgreSQL, байты в S3; полная проверка целостности до записи; лимиты до чтения и декодирования), attachment_ids в сообщениях, скачивание через API без redirect, деградированный режим LB при отказе S3, janitor незавершённых загрузок, reconciler с dry-run, внедрение отказов, замеры памяти и стоимости обхода. Подробно — REPORT.md.
Команды запуска из чистого clone: REPORT.md → «Запуск из чистого clone» (python3 scripts/init_secrets.py, cp .env.example .env, docker compose --env-file .env up -d --build --wait).
Результаты проверок и ссылка на REPORT.md: REPORT.md → «Доказательства критериев», вывод в evidence/.
Ограничения / известные ошибки: REPORT.md → «Ограничения и следующие шаги».
Источники и использование ИИ: REPORT.md, шапка (код, тесты и отчёт написаны с помощью Claude Code; все замеры реально выполнены).
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: Боданюк Алексей, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (reconciler S3 ↔ PostgreSQL)
Что реализовано и что перенесено: реализация lab3 перенесена отдельным коммитом без изменений. Добавлено: S3-хранилище SeaweedFS 4.46 (приватный bucket, идемпотентный bootstrap с проверкой прав, отдельные ключи для API / reconciler / admin), вложения PNG/JPEG (метаданные в PostgreSQL, байты в S3; полная проверка целостности до записи; лимиты до чтения и декодирования), `attachment_ids` в сообщениях, скачивание через API без redirect, деградированный режим LB при отказе S3, janitor незавершённых загрузок, reconciler с dry-run, внедрение отказов, замеры памяти и стоимости обхода. Подробно — REPORT.md.
Команды запуска из чистого clone: REPORT.md → «Запуск из чистого clone» (`python3 scripts/init_secrets.py`, `cp .env.example .env`, `docker compose --env-file .env up -d --build --wait`).
Результаты проверок и ссылка на REPORT.md: REPORT.md → «Доказательства критериев», вывод в evidence/.
Ограничения / известные ошибки: REPORT.md → «Ограничения и следующие шаги».
Источники и использование ИИ: REPORT.md, шапка (код, тесты и отчёт написаны с помощью Claude Code; все замеры реально выполнены).
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Исходники, Dockerfile, compose.yaml, скрипты и собственные тесты скопированы из
mtusi2026lab3 (ветка solution/bvt2302-bodanyuk, b6847e2) как есть; изменения lab4 —
отдельными коммитами.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- compose: сервис s3 (SeaweedFS 4.46 по digest, volume s3data, внутренняя сеть storage,
web-интерфейсы только на 127.0.0.1 внутри контейнера), одноразовый s3-init;
- три пары ключей S3: admin (только bootstrap), api (Read+Write своего bucket),
reconciler (+List); bootstrap идемпотентен и проверяет приватность и права;
- миграция 0004: attachments (pending -> ready, случайный object_key), message_attachments,
post_message_v2 с проверкой вложений в той же транзакции;
- POST /chats/{id}/attachments: лимиты до чтения/декодирования, потоковая проверка PNG
(CRC + zlib до точного размера), JPEG через djpeg -strict, семафор загрузок;
- GET метаданных и /content (стриминг из S3, без redirect), readiness с S3,
HAProxy: деградированный режим без S3 через /health/ready/core;
- janitor незавершённых загрузок с grace period.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- python -m messenger.reconcile: merge-join листинга S3 и attachments по object_key;
dry-run read-only конструктивно (default_transaction_read_only + S3 без записи),
--apply: orphan/stale intent удаляются, ready-строки только в карантин (обратимо),
перепроверка под FOR UPDATE, предохранитель от массового удаления;
- attachment_ids хранится в строке сообщения (история остаётся одним index range scan),
message_attachments — для FK и обратного поиска;
- семафор полной проверки изображений (IMAGE_VERIFY_CONCURRENCY);
- тесты: вложения (56), отказ/пауза S3 и деградированный режим LB, failover загрузки,
приватность bucket, FAULT_POINTS после PUT/после COMMIT, janitor, reconciler;
- бенчмарки памяти загрузок и стоимости обхода reconciler.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- тело загрузки: один буфер ровно Content-Length, без копий до S3 и djpeg;
- PNG: zlib получает вход кусками по 64 KiB (unconsumed_tail копировал остаток IDAT);
- djpeg, убитый OOM-killer'ом, -> 503 (ресурсы сервера), а не 415;
- api: memswap_limit = memory (жёсткий лимит без swap); S3: GOMEMLIMIT и лимиты
одновременных загрузок SeaweedFS, память 1g;
- docs: CONSISTENCY.md, DEFENSE.md, WINDOWS.md, DATA_MODEL.md под lab4;
scripts/demo_attachments.py для сценария защиты; CI и collect_evidence под lab4;
- bench/reconcile_faults.py: отчёты трека 2 (ошибки с обеих сторон, прерванный apply).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Замер 32 одновременных загрузок показал: семафор ограничивал только чтение тела, а буферы
копились на этапе S3 PUT (+214 МБ при 4 слотах). Теперь пик при 32 клиентах тот же, что при 16.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Найдено прогоном из чистого clone: после stop/start S3 первое скачивание получало 503 на
соединении из пула к старому процессу. Все операции идемпотентны по ключу. Тест TTL при
рестарте: 30 с (рестарт Valkey + API с проверкой S3 дольше 12 с).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Найдено замером стоимости на чистом стенде: последующий --apply без проверки сумм видел
совпадающий размер и снимал карантин checksum_mismatch как restored_object.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Прогон scripts/collect_evidence.py на свежем clone (f9f5ab9) + повтор своих тестов,
публичных проверок и замера стоимости после найденных им исправлений.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Боданюк Алексей, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» (reconciler S3 ↔ PostgreSQL)
Что реализовано и что перенесено: реализация lab3 перенесена отдельным коммитом без изменений. Добавлено: S3-хранилище SeaweedFS 4.46 (приватный bucket, идемпотентный bootstrap с проверкой прав, отдельные ключи для API / reconciler / admin), вложения PNG/JPEG (метаданные в PostgreSQL, байты в S3; полная проверка целостности до записи; лимиты до чтения и декодирования),
attachment_idsв сообщениях, скачивание через API без redirect, деградированный режим LB при отказе S3, janitor незавершённых загрузок, reconciler с dry-run, внедрение отказов, замеры памяти и стоимости обхода. Подробно — REPORT.md.Команды запуска из чистого clone: REPORT.md → «Запуск из чистого clone» (
python3 scripts/init_secrets.py,cp .env.example .env,docker compose --env-file .env up -d --build --wait).Результаты проверок и ссылка на REPORT.md: REPORT.md → «Доказательства критериев», вывод в evidence/.
Ограничения / известные ошибки: REPORT.md → «Ограничения и следующие шаги».
Источники и использование ИИ: REPORT.md, шапка (код, тесты и отчёт написаны с помощью Claude Code; все замеры реально выполнены).
- compose: сервис s3 (SeaweedFS 4.46 по digest, volume s3data, внутренняя сеть storage, web-интерфейсы только на 127.0.0.1 внутри контейнера), одноразовый s3-init; - три пары ключей S3: admin (только bootstrap), api (Read+Write своего bucket), reconciler (+List); bootstrap идемпотентен и проверяет приватность и права; - миграция 0004: attachments (pending -> ready, случайный object_key), message_attachments, post_message_v2 с проверкой вложений в той же транзакции; - POST /chats/{id}/attachments: лимиты до чтения/декодирования, потоковая проверка PNG (CRC + zlib до точного размера), JPEG через djpeg -strict, семафор загрузок; - GET метаданных и /content (стриминг из S3, без redirect), readiness с S3, HAProxy: деградированный режим без S3 через /health/ready/core; - janitor незавершённых загрузок с grace period. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>Принято. Закрываю МР.
Pull request closed