ЛР 4 — БВТ2301 — Сафронов — на 5 #25

Closed
ricoroma wants to merge 62 commits from ricoroma/mtusi2026lab4-safronov:solution/bvt2301-safronov into main
First-time contributor

Лабораторная 4

Автор / группа: Сафронов Роман Николаевич, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» — повторяемая сверка bucket и БД (dry-run, --apply, повторный запуск) и замер стоимости обхода

Что реализовано и что перенесено:

Перенесено из лабы 3 (commit ce89eba) без изменения поведения: PostgreSQL как источник истины, Basic → Bearer-сессии, Argon2id, кэш карточек чатов в Valkey, HAProxy перед двумя репликами без портов, X-Instance-Id, обязательный Idempotency-Key, поочерёдная замена make rolling_update, свои тесты и стенд замеров bench/. Переход API лабы 4 — вложения; прежние текстовые POST валидны (attachment_ids по умолчанию []).

Сделано в лабе 4 (семь changes OpenSpec, все в openspec/changes/archive/):

  • s3-storage — SeaweedFS 4.48 в общем Compose (образ по тегу и digest, volume s3_data); bucket приватен с первой секунды; одноразовый идемпотентный s3-bootstrap; у API свой пользователь S3 только на объекты bucket; служебные серверы S3 на loopback; проверка приватности вне API — make s3_check;
  • attachments — POST /chats/{id}/attachments сырыми байтами PNG/JPEG ≤ 10 MiB и ≤ 40 млн пикселей. Тип проверяется по содержимому, структура проверяется до записи (CRC, поток zlib до ожидаемого объёма, маркеры JPEG). Ответ — 201 со status=ready после PUT и фиксации. Метаданные — в PostgreSQL (миграции attachments и message_attachments), байты — в приватном bucket по ключу <база>/attachments/<id>/original. Скачивание — только участникам, без redirect. attachment_ids в сообщениях; тесты рубрики «4»;
  • upload-consistency — строка pending до PUT. Если сбой случился до отправки COMMIT, объект удаляется до ответа 503. Отдельный сервис-уборщик cleaner (grace 900 с, FOR UPDATE SKIP LOCKED, свой пользователь S3 «чтение и удаление») убирает незавершённые загрузки;
  • upload-memory — 4 места загрузки на реплику, очередь 16, затем 429 с Retry-After; срок тела 30 с; одна копия тела при PUT; буферы сокетов и timeout server LB пути загрузки. Замер 1–40 одновременных загрузок с пиком памяти;
  • track2-reconciler — сверка bucket и БД make reconcile [APPLY=1] и плановая в уборщике. Классы расхождений: объект без строки, строка без объекта, другой размер, зависшая загрузка, вернувшийся оригинал, чужой ключ. Сверка не трогает свежее и используемое, перепроверяет перед каждым действием, ограничивает число изменений. Потерянный оригинал помечается;
  • fix-upload-put-flake — причина редких 503 на загрузке: срок чтения aiohttp портил соединение в пуле клиента S3;
  • track2-reconcile-cost — гипотезы до замера, профиль стоимости обхода, стратегия «HEAD на строку», глубокая сверка по SHA-256, предел скорости, ранний отказ по пределу.

Команды запуска из чистого clone:

git clone https://gitea.privcloud.tech/ricoroma/mtusi2026lab4-safronov.git && cd mtusi2026lab4-safronov
git checkout solution/bvt2301-safronov
make env_setup         # .env и config.toml из шаблонов, секреты случайные
make run_docker        # postgres, valkey, s3 → migrate, s3-bootstrap → api × 2 и cleaner → haproxy на 127.0.0.1:8080
make replicas          # дождаться healthy
make check && make test
make s3_check
make test-persistence ACTION_SCRIPT=scripts/restart.sh
STOP_ONE_LOG=/tmp/stop-one.log make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make student_test
make failure_checks    # ~15 мин, отдельный проект compose
make stop              # остановка; make wipe_data — удаление данных после ввода yes

Полная последовательность, prerequisites, версии и сценарий защиты — REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок и ссылка на REPORT.md:

Отчёт — REPORT.md в ветке solution/bvt2301-safronov. В нём таблица «Доказательства критериев» (строка на каждый пункт уровней 3, 4 и трека 2), эксперименты и отказы, ограничения. Выводы команд лежат в evidence/.

  • Проверка из чистого clone кода приложения de98d77 (2026-10-29): все шаги с кодом 0 (evidence/tests/clean-clone-final.md). После неё в стенде изменилась одна строка restart hook (--no-recreate, ниже), её проверил CI:

    • make check, make validate, make test — PASS;
    • make instances — 2 реплики;
    • make s3_check — 70 проверок;
    • make test-persistence и make test-failover для обеих реплик — PASS, восстановление 1,08 и 1,2 с, failed_attempts 0;
    • make student_test — 198 passed;
    • make test_isolated — 193 passed и 5 пропусков (тесты реплик против одного процесса);
    • make failure_checks — 56 passed, crash markers 0.
    $ make check
    PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
    $ make test BASE_URL=http://localhost:8090
    PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
    
  • CI (CONTRIBUTING.md, «CI») — свой job .github/workflows/application.yml на раннере Gitea; workflow skeleton contracts.yml не менялся:

    • job собирает образ, поднимает стенд и ждёт обе реплики в LB, затем make check, make test, анонимный GET в S3 — 403, make validate, make student_test, make test-persistence, make test-failover (stop и kill), уборка;
    • прогон в fork на 5e791a6 — run 325, success, все шаги с кодом 0: make test и make validate — PASS, make student_test — 198 passed, make test-persistence и make test-failover — PASS, failed_attempts 0. В репозитории преподавателя Actions выключены, поэтому статуса на PR нет;
    • contracts.yml на этом раннере падает на actions/checkout: github.server_url здесь — внутренний http://gitea:3000, из job он не резолвится. Поэтому его make check и make validate выполняет job application, а checkout в нём идёт по публичному адресу;
    • job нашёл дефект restart hook. С Compose 5.4 на машине без образов в кэше make test-persistence падал: up --wait в scripts/restart.sh пересоздавал postgres, valkey и s3, и s3-bootstrap (network_mode: service:s3) не стартовал. Исправлено флагом --no-recreate. Воспроизведение, контрольный прогон без правки и прогон с правкой на отдельном демоне Docker с пустым кэшем — в evidence/tests/ci-application.md.
  • Файл через другую реплику: загрузку принял 94a968393dd6, его остановили, 91fbe934191d отдал тот же SHA-256, постороннему — 404. Байтов нет ни в БД, ни в контейнерах API (docker diff), анонимный GET ключа в S3 — 403.

  • Уровень «4», память: метка evidence/uploads/baseline/, 72 прогона, реплика 1 CPU / 512 МБ без swap. С местами загрузки пик при 10 / 20 / 40 клиентах × 10 MiB — 169,5 / 177,3 / 181,3 MiB, OOM 0, 5xx 0, лишние загрузки получают 429. Без лимита при 40 × 10 MiB и у кода до change при 20 × 10 MiB — OOM 3 из 3. H1–H4 подтверждены.

  • Трек 2, сверка: evidence/reconcile/cycle.md — ошибки внесены с обеих сторон, dry-run ничего не меняет, --apply исправляет безопасное, повтор находит 0. evidence/reconcile/stress.md — 640 / 640 загрузок под --apply раз в ~3 с скачиваются с тем же SHA-256.

  • Трек 2, стоимость: метка evidence/reconcile/baseline/, 51 проход, 1k × 1 MiB и 10k → 100k × 4 KiB. Подтверждены H1 (линейность, batch ~0,3 мс на объект, 161 Б памяти на ключ), H2 (HEAD на строку в ~21 раз дороже), H3 (глубокая в 11 раз дороже, 5,5 мс на MiB, упор в CPU уборщика) и S4 (ранний отказ по пределу: +0,6 с вместо +56,5 с). H4 (влияние на фоновую нагрузку) не проверена: контраст не насытил S3, поэтому предел скорости — страховка доли CPU S3, а не доказанная защита задержек.

Ограничения / известные ошибки:

  • один Docker-host, одна нода S3 без репликации, один PostgreSQL и один HAProxy: их отказ стенд не переживает. Отказ одной реплики API и отказ S3 (503 только на путях вложений) переживает;
  • KNOWN_ISSUES.md, четыре открытые записи, штатную работу стендов они не затрагивают:
    • повтор bootstrap после удаления bucket на маленьком tmpfs;
    • уборщик удаляет объект по ключу вне своего префикса — только в базе, восстановленной под другим именем;
    • 408 LB на медленные заголовки — страницей HAProxy;
    • поля float настроек принимают inf;
  • два открытых вопроса преподавателю (REPORT.md, «Открытые вопросы преподавателю»), сделаны варианты по умолчанию:
    1. заняты все места загрузки — 429 rate_limited или 503 unavailable? Сделано 429 с Retry-After;
    2. ответ API на вложение, чей оригинал сверка признала потерянным? Сделано так: метаданные 200, байты 404, ссылка в сообщении 201;
  • в CI нет make s3_check, make test_isolated, make failure_checks и замеров: им нужны порты хоста и отдельные проекты, их вывод — в evidence/.

Согласования с преподавателем, которые действуют в лабе 4: FastAPI (2026-09-26), config.toml через pydantic-settings (2026-09-29), пустой текст из пробелов с вложением — 201 (2026-10-20).

Источники и использование ИИ: Claude Code (модель Claude Opus 5.5). Работа шла по changes OpenSpec: propose → apply → verify → правки по verify → archive, каждый этап — отдельный субагент. Код, тесты, стенды, замеры, evidence и отчёт делал ИИ. Автор выбирал трек и S3-сервер и принимал решения по ходу (вопросы контракта, приёмка меток). Все commit после переноса лабы 3 помечены Co-Authored-By. Подробно, с источниками и найденными ошибками ИИ — REPORT.md, раздел «Источники, библиотеки и использование ИИ».

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4 Автор / группа: Сафронов Роман Николаевич, БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Согласованность двух хранилищ» — повторяемая сверка bucket и БД (dry-run, `--apply`, повторный запуск) и замер стоимости обхода Что реализовано и что перенесено: Перенесено из лабы 3 (commit `ce89eba`) без изменения поведения: PostgreSQL как источник истины, Basic → Bearer-сессии, Argon2id, кэш карточек чатов в Valkey, HAProxy перед двумя репликами без портов, `X-Instance-Id`, обязательный `Idempotency-Key`, поочерёдная замена `make rolling_update`, свои тесты и стенд замеров `bench/`. Переход API лабы 4 — вложения; прежние текстовые POST валидны (`attachment_ids` по умолчанию `[]`). Сделано в лабе 4 (семь changes OpenSpec, все в `openspec/changes/archive/`): - `s3-storage` — SeaweedFS 4.48 в общем Compose (образ по тегу и digest, volume `s3_data`); bucket приватен с первой секунды; одноразовый идемпотентный `s3-bootstrap`; у API свой пользователь S3 только на объекты bucket; служебные серверы S3 на loopback; проверка приватности вне API — `make s3_check`; - `attachments` — `POST /chats/{id}/attachments` сырыми байтами PNG/JPEG ≤ 10 MiB и ≤ 40 млн пикселей. Тип проверяется по содержимому, структура проверяется до записи (CRC, поток zlib до ожидаемого объёма, маркеры JPEG). Ответ — `201` со `status=ready` после PUT и фиксации. Метаданные — в PostgreSQL (миграции `attachments` и `message_attachments`), байты — в приватном bucket по ключу `<база>/attachments/<id>/original`. Скачивание — только участникам, без redirect. `attachment_ids` в сообщениях; тесты рубрики «4»; - `upload-consistency` — строка `pending` до PUT. Если сбой случился до отправки COMMIT, объект удаляется до ответа 503. Отдельный сервис-уборщик `cleaner` (grace 900 с, `FOR UPDATE SKIP LOCKED`, свой пользователь S3 «чтение и удаление») убирает незавершённые загрузки; - `upload-memory` — 4 места загрузки на реплику, очередь 16, затем `429` с `Retry-After`; срок тела 30 с; одна копия тела при PUT; буферы сокетов и `timeout server` LB пути загрузки. Замер 1–40 одновременных загрузок с пиком памяти; - `track2-reconciler` — сверка bucket и БД `make reconcile [APPLY=1]` и плановая в уборщике. Классы расхождений: объект без строки, строка без объекта, другой размер, зависшая загрузка, вернувшийся оригинал, чужой ключ. Сверка не трогает свежее и используемое, перепроверяет перед каждым действием, ограничивает число изменений. Потерянный оригинал помечается; - `fix-upload-put-flake` — причина редких 503 на загрузке: срок чтения aiohttp портил соединение в пуле клиента S3; - `track2-reconcile-cost` — гипотезы до замера, профиль стоимости обхода, стратегия «HEAD на строку», глубокая сверка по SHA-256, предел скорости, ранний отказ по пределу. Команды запуска из чистого clone: ```sh git clone https://gitea.privcloud.tech/ricoroma/mtusi2026lab4-safronov.git && cd mtusi2026lab4-safronov git checkout solution/bvt2301-safronov make env_setup # .env и config.toml из шаблонов, секреты случайные make run_docker # postgres, valkey, s3 → migrate, s3-bootstrap → api × 2 и cleaner → haproxy на 127.0.0.1:8080 make replicas # дождаться healthy make check && make test make s3_check make test-persistence ACTION_SCRIPT=scripts/restart.sh STOP_ONE_LOG=/tmp/stop-one.log make test-failover ACTION_SCRIPT=scripts/stop-one.sh make student_test make failure_checks # ~15 мин, отдельный проект compose make stop # остановка; make wipe_data — удаление данных после ввода yes ``` Полная последовательность, prerequisites, версии и сценарий защиты — `REPORT.md`, раздел «Запуск из чистого clone». Результаты проверок и ссылка на REPORT.md: Отчёт — [`REPORT.md`](https://gitea.privcloud.tech/ricoroma/mtusi2026lab4-safronov/src/branch/solution/bvt2301-safronov/REPORT.md) в ветке `solution/bvt2301-safronov`. В нём таблица «Доказательства критериев» (строка на каждый пункт уровней 3, 4 и трека 2), эксперименты и отказы, ограничения. Выводы команд лежат в `evidence/`. - Проверка из чистого clone кода приложения `de98d77` (2026-10-29): все шаги с кодом 0 (`evidence/tests/clean-clone-final.md`). После неё в стенде изменилась одна строка restart hook (`--no-recreate`, ниже), её проверил CI: - `make check`, `make validate`, `make test` — PASS; - `make instances` — 2 реплики; - `make s3_check` — 70 проверок; - `make test-persistence` и `make test-failover` для обеих реплик — PASS, восстановление 1,08 и 1,2 с, `failed_attempts` 0; - `make student_test` — 198 passed; - `make test_isolated` — 193 passed и 5 пропусков (тесты реплик против одного процесса); - `make failure_checks` — 56 passed, `crash markers 0`. ```text $ make check PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. $ make test BASE_URL=http://localhost:8090 PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. ``` - CI (`CONTRIBUTING.md`, «CI») — свой job `.github/workflows/application.yml` на раннере Gitea; workflow skeleton `contracts.yml` не менялся: - job собирает образ, поднимает стенд и ждёт обе реплики в LB, затем `make check`, `make test`, анонимный GET в S3 — 403, `make validate`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), уборка; - прогон в fork на `5e791a6` — [run 325](https://gitea.privcloud.tech/ricoroma/mtusi2026lab4-safronov/actions/runs/325), success, все шаги с кодом 0: `make test` и `make validate` — PASS, `make student_test` — 198 passed, `make test-persistence` и `make test-failover` — PASS, `failed_attempts` 0. В репозитории преподавателя Actions выключены, поэтому статуса на PR нет; - `contracts.yml` на этом раннере падает на `actions/checkout`: `github.server_url` здесь — внутренний `http://gitea:3000`, из job он не резолвится. Поэтому его `make check` и `make validate` выполняет job `application`, а checkout в нём идёт по публичному адресу; - job нашёл дефект restart hook. С Compose 5.4 на машине без образов в кэше `make test-persistence` падал: `up --wait` в `scripts/restart.sh` пересоздавал `postgres`, `valkey` и `s3`, и `s3-bootstrap` (`network_mode: service:s3`) не стартовал. Исправлено флагом `--no-recreate`. Воспроизведение, контрольный прогон без правки и прогон с правкой на отдельном демоне Docker с пустым кэшем — в `evidence/tests/ci-application.md`. - Файл через другую реплику: загрузку принял `94a968393dd6`, его остановили, `91fbe934191d` отдал тот же SHA-256, постороннему — 404. Байтов нет ни в БД, ни в контейнерах API (`docker diff`), анонимный GET ключа в S3 — 403. - Уровень «4», память: метка `evidence/uploads/baseline/`, 72 прогона, реплика 1 CPU / 512 МБ без swap. С местами загрузки пик при 10 / 20 / 40 клиентах × 10 MiB — 169,5 / 177,3 / 181,3 MiB, OOM 0, 5xx 0, лишние загрузки получают 429. Без лимита при 40 × 10 MiB и у кода до change при 20 × 10 MiB — OOM 3 из 3. H1–H4 подтверждены. - Трек 2, сверка: `evidence/reconcile/cycle.md` — ошибки внесены с обеих сторон, dry-run ничего не меняет, `--apply` исправляет безопасное, повтор находит 0. `evidence/reconcile/stress.md` — 640 / 640 загрузок под `--apply` раз в ~3 с скачиваются с тем же SHA-256. - Трек 2, стоимость: метка `evidence/reconcile/baseline/`, 51 проход, 1k × 1 MiB и 10k → 100k × 4 KiB. Подтверждены H1 (линейность, `batch` ~0,3 мс на объект, 161 Б памяти на ключ), H2 (HEAD на строку в ~21 раз дороже), H3 (глубокая в 11 раз дороже, 5,5 мс на MiB, упор в CPU уборщика) и S4 (ранний отказ по пределу: +0,6 с вместо +56,5 с). H4 (влияние на фоновую нагрузку) **не проверена**: контраст не насытил S3, поэтому предел скорости — страховка доли CPU S3, а не доказанная защита задержек. Ограничения / известные ошибки: - один Docker-host, одна нода S3 без репликации, один PostgreSQL и один HAProxy: их отказ стенд не переживает. Отказ одной реплики API и отказ S3 (503 только на путях вложений) переживает; - `KNOWN_ISSUES.md`, четыре открытые записи, штатную работу стендов они не затрагивают: - повтор bootstrap после удаления bucket на маленьком tmpfs; - уборщик удаляет объект по ключу вне своего префикса — только в базе, восстановленной под другим именем; - 408 LB на медленные заголовки — страницей HAProxy; - поля `float` настроек принимают `inf`; - **два открытых вопроса преподавателю** (`REPORT.md`, «Открытые вопросы преподавателю»), сделаны варианты по умолчанию: 1. заняты все места загрузки — `429 rate_limited` или `503 unavailable`? Сделано 429 с `Retry-After`; 2. ответ API на вложение, чей оригинал сверка признала потерянным? Сделано так: метаданные 200, байты 404, ссылка в сообщении 201; - в CI нет `make s3_check`, `make test_isolated`, `make failure_checks` и замеров: им нужны порты хоста и отдельные проекты, их вывод — в `evidence/`. Согласования с преподавателем, которые действуют в лабе 4: FastAPI (2026-09-26), `config.toml` через pydantic-settings (2026-09-29), пустой текст из пробелов с вложением — 201 (2026-10-20). Источники и использование ИИ: Claude Code (модель Claude Opus 5.5). Работа шла по changes OpenSpec: propose → apply → verify → правки по verify → archive, каждый этап — отдельный субагент. Код, тесты, стенды, замеры, evidence и отчёт делал ИИ. Автор выбирал трек и S3-сервер и принимал решения по ходу (вопросы контракта, приёмка меток). Все commit после переноса лабы 3 помечены `Co-Authored-By`. Подробно, с источниками и найденными ошибками ИИ — `REPORT.md`, раздел «Источники, библиотеки и использование ИИ». - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
ricoroma added 59 commits 2026-10-29 18:58:34 +03:00
- carry the lab 3 solution over from mtusi2026lab3-safronov
  (solution/bvt2301-safronov, ce89eba): src, migrations, student-tests,
  bench, openspec, .claude, infra/haproxy and infra/valkey, own scripts,
  Dockerfile, compose, pyproject and uv lock
- merge Makefile, .gitignore and .dockerignore (the lab 3 versions only
  add lines to the skeleton, which is the same in lab 4) and
  .env.example (lab 4 skeleton names listed in the header)
- rename the compose project to mtusi-lab4 and the image to :lab4 so
  the stand does not reuse the lab 3 containers and volumes
- update AGENTS.md for lab 4: current lab, origin commit, contract and
  test files of the new skeleton

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- s3 and s3-bootstrap services: SeaweedFS 4.48 pinned by digest,
  internals on loopback, signing key, private bucket, API user policy,
  privacy checks on every bootstrap
- [s3] settings and aiobotocore client in src/infra/s3: deadline per
  call, no retries, 503 on outage or rejected credentials
- make start_s3, stop_s3, s3_check; run_dev, test_isolated, wipe_data
  and restart hook include S3
- failure_checks with own S3 and readiness check without it; bench
  generates S3 secrets and filters them out of the passport
- rules, AGENTS.md, skill; sync health delta; KNOWN_ISSUES: rollout_from

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- evidence/s3: bootstrap, privacy (make s3_check), gRPC without token,
  restart and SIGKILL, client failures, memory of 20 concurrent uploads
- evidence/tests: failure_checks with own S3, test_isolated prefix
  cleanup (red tests: no attachment_ids until attachments)
- REPORT.md: S3 role, services table, bootstrap, readiness
  dependencies, skeleton S3_* names, evidence rows, limitations
- refine expected-red counts in tasks, design and PLAN

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- s3 healthcheck and fault hook probe wait for the volume server to
  register with master (first write after restart no longer waits ~5 s)
- s3-bootstrap mounts /data as tmpfs: no anonymous volume per container
- S3 client: NoSuchBucket and AccessDenied are 503 with their own error
  logs, not a missing object or rejected credentials; delete ignores only
  a missing key
- test_isolated verifies prefix removal (weed shell exits 0 on errors)
- s3_check derives ports from listening sockets in the s3 container
- readiness without S3 is also checked with s3 paused

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- evidence/s3 and evidence/tests re-captured from f57635a: first write
  after healthy, deleted bucket, netstat-based port check, readiness
  with s3 paused, prefix cleanup check
- PLAN: HEAD on a deleted bucket is an accepted limitation
- KNOWN_ISSUES: bootstrap after a manual bucket delete

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- upload, metadata and download endpoints for PNG/JPEG attachments:
  limits before reading and decompression, type by content,
  structural integrity check without decoding pixels, safe filename
- write order: pending row with object key -> PUT to S3 -> ready;
  per-step DB sessions so no pool connection is held during transfers
- attachment_ids in messages (validation, idempotency hash, history);
  whitespace-only text allowed with an attachment (teacher, 2026-10-20)
- migration: attachments and message_attachments tables, text length
  CHECK relaxed with NOT VALID
- student tests, fault checks and driver commands for attachments;
  rollout profile starts from e1161f7 and checks the commit first
- sync attachments deltas into main specs; rules, AGENTS.md, PLAN.md

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
switch_api recreated the API replica with the same IP while HAProxy
still showed the old container's slot UP, so restore_check hit 503
<NOSRV> before the new process listened. Wait until each new replica
answers /health/ready from inside its container, then for LB UP.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- re-capture coverage-exclusion evidence on the lab 4 stand: cache,
  auth storage, replay after API recreate, test-persistence,
  attachment-failover (stop, kill), attachment-storage
- green evidence/tests: student_test via LB, test_isolated,
  failure_checks; smoke, slow transfer, test-failover per replica
- bench_rollout label attachments: e1161f7 -> schema with attachments
  under load, no errors, messages = keys
- REPORT.md: attachments architecture, write order, defense answers,
  level 3/4 evidence rows, limitations; PLAN.md stage 2

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- keep one upload body in memory: BytesIO + getvalue() without copy,
  fixed glibc mmap threshold in the image (no realloc copy on growth)
- stop PNG inflate at expected size + 1 byte
- reject filename that is not valid UTF-8 after percent-decoding (400)
- failure stand: env limit variables do not change attachment limits;
  history with attachment_ids while S3 is stopped
- drop dead constants; restate "old image on new schema" scenario

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- bench_rollout label attachments from e1f8531 (dirty: false):
  replacement 8.67 s, 0 errors, 12001 messages = keys
- student_test through LB (197 passed) and failure_checks (24/24)
  after verify fixes
- REPORT: upload memory ~1.2 bodies with fixed mmap threshold,
  strict UTF-8 filename, env does not change attachment limits

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- upload: delete the stored object when ready fails before COMMIT or the
  pending row is gone (503 instead of 500); unknown COMMIT outcome keeps it
- cleaner service (python -m src.cleaner): stale pending rows older than
  grace (900 s, must exceed 17 s live-upload bound) under FOR UPDATE SKIP
  LOCKED, object before row, own S3 user with read/delete only
- shared session_scope for API and cleaner; early_stop process name
- partial index on pending attachments, CREATE INDEX CONCURRENTLY
- s3-bootstrap: cleaner user, policy and checks; make env_setup appends
  missing template variables to an existing .env
- failure checks: cleaner on the failure stand, id-list hook actions,
  five new and three updated tests; driver upload-consistency
- sync upload-consistency deltas into main specs (storage-consistency)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- evidence: consistency (driver upload-consistency), cleaner process,
  cleaner S3 key, pending index plan on the working database
- re-run failure_checks (29/29), student_test via LB and test_isolated
  with the cleaner and storage-consistency coverage
- REPORT: database and S3 consistency, compensation table, grace period
  rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows,
  limitations; PLAN stage 3 and AGENTS evidence map

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Mark a stale pending row in its own committed transaction before the
cleaner deletes the object, and let mark_ready promote only unmarked
rows, so a cleaner rollback after the object delete can no longer leave
a ready attachment without its object. Add fault checks for an unknown
COMMIT outcome, an upload outliving the grace period and a cleaner
failure after the object delete; fix the cleaner entrypoint in rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Capture the cleaner pass under a paused S3 (row stays marked pending,
next pass removes it), re-run failure checks (32 of 32 with red runs of
the new checks), student tests and the isolated run on 87c48b9, and
describe the marked three-step cleanup and its rolling-update window in
the report.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Keep the committed mark, then delete the object and the row under the
same row lock, so an older replica without the mark check that waits on
the row finds it gone instead of promoting it to ready after the object
delete. A mixed-version stand is no worse than before the mark; document
the upgrade order (replicas first, cleaner last) and fix stale wording.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Re-run failure checks (32 of 32) and the cleaner pass under a paused S3
on the two-step cleanup, fix the storage-consistency scenario count in
the student test evidence and point the report at the new commit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Fourth API of the failure stand (S3__TIMEOUT_SECONDS=1), slow streamed
download in the test client, test_upload_after_idle_s3 and the
fix-upload-put-flake spec deltas synced into the main specs.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
aiohttp 3.13-3.14.5 re-arms sock_read in resume_reading() after a
streamed response has already returned the connection to the pool; the
timer fires while the connection idles and the next call on it fails in
1 ms with ReadTimeoutError (503 on a healthy S3). The call and per-chunk
asyncio.timeout stay the only S3 timeout. Adds driver.py s3-idle and
documents the timeouts in the rules.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
s3-idle before and after replacing replicas, red runs on 4cfaab0 and
green ones on b5983f0, failure_checks 49/49, eight student_test runs
without 503, PUT memory probe and bench_uploads_quick; drop the fixed
KNOWN_ISSUES entry and describe the S3 client timeouts in REPORT.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
aiohttp 3.14.5 buffers 256 KiB and pauses reading above 512 KiB; name
the aiohttp versions actually checked instead of a range; fix line
references in the idle-connection evidence; the object-storage spec now
exempts the connect timeout from the single call timeout.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
make test_isolated: 193 passed, 5 replica tests skipped; full
make failure_checks: 49/49 in 552 s with the unfiltered output, paths
anonymized; REPORT.md points to the reshoots.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- reconcile --strategy head, --deep (checksum_mismatch), restore needs the same SHA-256
- [reconciler] max_objects_per_second (2000), pause interrupted by signal
- --apply stops rechecks once the limit is exceeded (unchecked)
- pass cost in the summary: S3 objects and requests, bytes, DB sessions, phases
- S3 client counters, cleaner exits with os._exit after main()
- fault tests, hook args, driver reconcile-signal --pace
- bench profile reconcile / reconcile_quick: fill outside the API, gateway metrics, background load
- sync spec deltas, rules, AGENTS.md, PLAN.md

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
An iteration interrupted by SIGINT after its line loses both the
iteration count and the bg_lines counter sample, so neither can match
the console lines exactly. line_problems now requires lines >= each
count (fewer: "lines lost") and at most MAX_VUS extra lines over each.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
make bench_reconcile on d8b8ae3, quiet host: 51/51 passes,
swapouts_delta 0, no host warnings.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Add the baseline label results to REPORT.md: H1, H2, H3 and S4
confirmed, H4 not verified (the fast-unlimited contrast did not
saturate S3, r 1.08). Keep 2000 objects/s as a bound on the S3 share
and give head/deep limits by S3 CPU per object. Refresh failure_checks
(54/54, red run of task 1.3), test_isolated and the pace stop evidence.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- fill the skeleton sections of REPORT.md: author and target grade,
  launch from a clean clone, architecture and variable mapping, open
  questions to the teacher, limitations, sources and AI use
- add evidence/tests/clean-clone-final.md: clean clone of de98d77
- add .github/workflows/application.yml (CONTRIBUTING.md, CI) and the
  .github/ci/ override for the Gitea runner: configs instead of bind
  mounts, no host ports; evidence/tests/ci-application.md
- remove PLAN.md now that all changes are archived; point AGENTS.md
  and the rules at REPORT.md

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- github.server_url on this Gitea is the internal http://gitea:3000,
  which the job container cannot resolve: the first run failed at
  checkout; take https://gitea.privcloud.tech literally
- the skeleton contracts.yml fails at actions/checkout for the same
  reason, so the application job also runs make validate
- record the failed first run and the fix in
  evidence/tests/ci-application.md and REPORT.md

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- scripts/restart.sh waits for postgres, valkey and s3 with
  up --wait --no-recreate: Compose 5.4 recreated containers whose image
  was pulled by the first up (index digest in the label, platform
  manifest digest on the check), s3-bootstrap could not join the new s3
  network namespace (exit 128) and make test-persistence failed on a
  clean host; found by the CI job on the Gitea runner
- record the runner failure, the repro across Compose 5.4.0 and 5.6.1
  and the fixed and control runs on a fresh Docker daemon in
  evidence/tests/ci-application.md, REPORT.md and the docker rule

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
ricoroma changed title from Solution/bvt2301 safronov to ЛР 4 — БВТ2301 — Сафронов — на 5 2026-10-29 18:58:51 +03:00
Owner

Тоже просто ради интереса, но не крит:

принимается заведомо недекодируемый JPEG. Минимальное воспроизведение — участником загрузить в свой чат с Content-Type: image/jpeg следующие 27 байт, записанные здесь в hex:

ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9

Ожидается 415; фактически получен 201. Pillow при загрузке изображения выдаёт broken data stream. Заголовок скана учитывается даже при пустых данных, затем EOI завершает проверку: src/utils/image.py:369. Текущие негативные тесты этот случай не покрывают.

[Тоже](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/24) просто ради интереса, но не крит: принимается заведомо недекодируемый JPEG. Минимальное воспроизведение — участником загрузить в свой чат с Content-Type: image/jpeg следующие 27 байт, записанные здесь в hex: ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9 Ожидается 415; фактически получен 201. Pillow при загрузке изображения выдаёт broken data stream. Заголовок скана учитывается даже при пустых данных, затем EOI завершает проверку: [src/utils/image.py:369](https://gitea.privcloud.tech/ricoroma/mtusi2026lab4-safronov/src/commit/5e791a6feaeeafb8799082f8e6180858949049fe/src/utils/image.py#L369). Текущие негативные тесты этот случай не покрывают.
ricoroma added 2 commits 2026-10-30 03:24:29 +03:00
- run 325 on 5e791a6: every step of the application job exits 0
  (make check, test, validate, student_test, test-persistence,
  test-failover stop and kill); link it in REPORT.md and the evidence
  table, note that the runner had the stand images cached by then

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
ricoroma added 1 commit 2026-10-30 12:52:56 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:05 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#25