| s3 | `s3` | `rustfs/rustfs:1.0.4@sha256:ed9210d6…`, uid 10001, `read_only`, `cap_drop: ALL`, консоль выключена | `curl /health/ready` | `s3data:/data` | `backend`, :9000 без публикации | root: `s3_root_user`, `s3_root_password` через `RUSTFS_*_FILE` |
| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, `read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи и ключ API (создаёт пользователя) |
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc` | нет | нет | `backend` | aliases `root`, `api`, `anon` |
| bootstrap S3 | `s3-init` | `rustfs/rc:v0.1.36@sha256:ab024bfe…`, uid 65534,`read_only` | код выхода 0 | нет (`infra/s3` только для чтения) | `backend` | root-ключи, ключи API и сверки (создаёт пользователей) |
| операторский CLI (профиль `tools`) | `s3-cli` | тот же `rc`, uid 65534 | нет | нет | `backend` | aliases `root`, `api`,`reconciler`,`anon` |
| — | `S3_CPUS`, `S3_CPUSET`, `PG_CPUSET`, `RECONCILE_CPUSET` | 1 CPU у RustFS; пусто — без закрепления; `make reconcile-cost` задаёт 2 CPU / 3 GiB RustFS и отдельные ядра на время замеров (трек 2) |
| — | `LB_HTTP_PORT`, `LB_STATS_PORT`, `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN`, `DRAIN_SECONDS`, `PG_*`, `K6_*`, `CURSOR_SECRET_FILE` | как в лабе 3 |
## Доказательства критериев
Таблица ниже — историческая серия asyncpg. Актуальные результаты: `evidence/sqlalchemy-2026-11-06/grade3/NOTES.md`
и `grade4/NOTES.md`; результаты трека добавляются после его отдельного цикла. Файлы старых серий сохранены.
Уровни «3» и «4» сняты одной серией на стенде из чистого состояния (`make reset-data`, `make up`) на `81dd816`; порядок
серии — в `evidence/README.md`. Трек 2 — на `5c3c238` и `b191623`, проверка уровней после трека — на `8cb5a66`.
@@ -308,7 +324,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
| **3.7** Недоступность S3: ограниченная ошибка, тексты работают, политика readiness | `make scenario SCENARIO=s3-outage` | при остановленном `s3`: upload `503` за 2,23 с, `/content``503` за 1,99 с, метаданные `200`, текст `201`, `/health/ready``200`; S3 снова healthy за 5,8 с, файл скачивается с тем же SHA-256 | `evidence/s3-outage.json` |
| **3.8** Закреплённая версия образа S3 и создание приватного bucket | `compose.yaml`, `infra/s3/init.sh`; `make up`; `make s3-check` | все образы по digest; `s3-init` пишет `bucket=messenger-attachments anonymous=private policy=messenger-api lifecycle=abort-incomplete-uploads`; 23/23 проверки `PASS`, включая двойной повторный bootstrap без изменений | `evidence/environment.txt`, `evidence/clean-clone.txt`, `evidence/s3-security.txt` |
| **3.9** Перенос lab3: ≥2 реплики, одна точка входа, порты только у LB, схема и миграции, KDF, общая идемпотентность, секреты вне Git | `make stack-evidence`, `make limits`, `make storage-evidence`, `make lb-check`, `make retry-check` | 2 `api` без портов, `container_name` 0, LB видит `api1/api2 UP L7OK 200`, `X-Instance-Id` чередуется; политика лимитов, портов, секретов и сетей — `PASS`; миграции `0001`–`0004`, повтор `up to date` без изменения счётчиков (66 пользователей, 288 сообщений, 17 вложений); Argon2id у всех 66, хеши токенов по 32 B; один токен на обеих репликах — 20 + 20; 20 раундов × 8 параллельных POST одним ключом — 160 × `201`, по одной копии; потерянный ответ на живой и на убитой реплике — повтор `201` с тем же сообщением, одна копия; `git ls-files secrets .env` пуст | `evidence/stack.txt`, `evidence/limits.txt`, `evidence/schema.txt`, `evidence/migrations.txt`, `evidence/kdf.txt`, `evidence/secrets.txt`, `evidence/lb-check.json`, `evidence/retry.json` |
| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 ×`404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с`Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 ×`415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за прогон 54 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` |
| **4.1** Тесты: слишком большой файл, повреждённое изображение, подмена MIME, чужое `attachment_id`, вложение другого чата; пользовательская ошибка не даёт `500` | `make student-test` (`test_attachments.py`, `test_message_attachments.py`, `test_upload_consistency.py`); `make upload-faults` (`test_user_errors_never_become_500` через LB против PostgreSQL и RustFS) | `342 passed`; на стенде 36 ошибочных запросов: 16 × `400` (опасные и пустые `filename`, 11 и повторяющиеся `attachment_ids`, невалидный UUID, пустой текст без вложений, `variant=thumbnail`), 6 ×`404` (upload, метаданные, `/content` и ссылка постороннего, вложение другого чата, неизвестное вложение), 4 × `413` (10 MiB + 1 с`Content-Length` — ответ до первого байта тела, chunked, бомба 100 000 × 100 000, 8001 × 5000), 10 ×`415` (обрезанные PNG и JPEG, JPEG/GIF/WebP/текст как PNG, PNG как JPEG, пустое тело, чужой и отсутствующий `Content-Type`); тело ошибки по схеме, `request_id` равен заголовку; в журнале реплик за исторический прогон 53 ответа, из них `5xx` — 0; строк вложений в чате ровно 2 — по числу `201`; обрыв клиента посреди тела — `400`, не `500` | `evidence/student-tests.txt`, `evidence/upload-faults.txt` |
| **4.2** Прерывание загрузки и отказ между записью S3 и БД не оставляют вечных неучтённых объектов: компенсация и уборка с grace period | `make upload-faults` (триггеры PostgreSQL на время теста, `docker kill -s KILL` реплики); `make student-test` (`test_upload_consistency.py`) | отказ `COMMIT` после `PUT` → `503`, сразу нет ни строки, ни объекта (`HEAD` 404), в журнале `audit.attachment_discarded reason=compensation`; реплика убита между `PUT` и `COMMIT` (обе по очереди, клиент получил `502` от LB) → остались `pending` и объект (`HEAD` 200); намерение, сдвинутое за grace, уборка удалила вместе с объектом через 24,7 с, свежее осталось (`pending`, `HEAD` 200) и ушло через 1,0 с после сдвига; готовое вложение в сообщении со сдвинутым `created_at` скачивается с тем же SHA-256; обрыв после 256 KiB из 5 MiB → `400` в журнале, намерение не создавалось; зависшее тело → `503` за 8,01 с, ничего не записано. API-тесты: снятое во время `PUT` намерение → `503` и удалённый объект, сбой `PUT` оставляет `pending` до конца grace, два параллельных прохода делят 5 намерений ровно, следующий проход удаляет 0 | `evidence/upload-faults.txt`, `evidence/student-tests.txt` |
| **4.3** Лимиты, таймауты и потоковая обработка не дают одной загрузке занять неограниченную RAM; ≥10 одновременных загрузок с пиком памяти | `make upload-memory` трижды (`scripts/upload_memory.py --out evidence/upload-memory/runN`): слоты 64 и 3 × 1 и 10 MiB × 10, 20, 40 одновременных, по 2 загрузки на клиента, реплики и LB пересоздаются перед каждой точкой; отдельно порог `mmap` 32 MiB | при 3 слотах медиана пика реплики 297 / 321 / 334 MiB для 10 / 20 / 40 одновременных загрузок по 10 MiB, максимум трёх прогонов 345 MiB (простой 112–122, лимит 512), `oom_kill` 0, пик LB ≤ 31 MiB; без лимита слотов те же загрузки — 288 / 428 / 512 MiB, при 40 упор в лимит cgroup во всех трёх прогонах и 27 и 34 × `503` в двух из них; при 3 слотах и 40 клиентах p95 4,6–7,6 с, в одном прогоне 7 из 80 не уложились в таймаут 8 с (`503`); 1 MiB при любой настройке — 173–213 MiB; порог `mmap` 32 MiB — +12…35 MiB; таймауты: зависшее тело — `503` за 8,01 с (4.2), S3 — 2 × (1 + 2) с, LB `timeout server` 10 с | `evidence/upload-memory/run{1,2,3}/summary.txt` и JSON точек, `evidence/upload-memory/mmap-32m/` |
| **4.4** Идемпотентный bootstrap; отдельные ключи API с ограниченными правами; консоль не открыта; приватность bucket вне API | `make s3-check` | 23/23 `PASS`: у`s3` нет host-портов, консоль :9001 не отвечает ни внутри контейнера, ни из отдельного контейнера сети стенда (`connection refused`); `s3-init` ещё дважды — код 0, снимок IAM и bucket не изменился; ключ API: Put/Head/Get/List/Delete объектов — разрешены, CreateBucket, DeleteBucket, публичная политика, импорт lifecycle, `admin user list`, запись и листинг чужого bucket — deny; анонимные Head/List/Put — deny, прямой HTTP GET объекта из отдельного контейнера — `403`, анонимная политика `private` | `evidence/s3-security.txt` |
@@ -356,7 +372,7 @@ root и не читает ключи из файлов. Лимиты: lb 1/128m,
| Трек 2: сверка при остановленном S3 | код `1` за ограниченное время, ничего не меняет | код `1` за 1,63 с, `EndpointConnectionError` в журнале | повторить после возврата S3 |
| Трек 2: `--apply` подряд во время загрузок через LB | ни одно идущее или готовое вложение не удалено | 3 418 × `201`, все готовы с тем же SHA-256, `lost_ready` 0; 247 раз объект идущей загрузки выглядел объектом без строки и остался | потерь нет |
### Нагрузка записи сообщений
### Нагрузка записи сообщений (историческая серия asyncpg)
**Цель.** Проверить, что после переноса исправлений лабы 3 и добавления вложений запись сообщений под нагрузкой
проходит без ошибок, и снять её профиль: RPS, задержки, CPU и память. Гипотеза о пределе заранее не ставилась.
@@ -407,9 +423,10 @@ cgroup. С `UPLOAD_CONCURRENCY` слотами на воркер пик огра
`memory.events`. Конфигурации: 64 слота (фактически без лимита) и 3 слота; 1 и 10 MiB; c = 10, 20, 40; отдельно один
| `pending_stale` / `pending_fresh` | `pending` старше / моложе порога | `FOR UPDATE SKIP LOCKED`, всё ещё `pending` и старая → объект, затем строка / ничего |
| `quarantined` / `healed` | в карантине и всё ещё расходится / снова совпал | ничего / снять карантин |
| `quarantined` / `healed` | в карантине и всё ещё расходится / размер снова совпал, и SHA-256 потока объекта равен `sha256` (хешируется и без `--deep`) | ничего / снять карантин |
Безопасность: готовая строка и её объект не удаляются никогда — строка уходит в карантин (миграция `0004`:
`quarantine_reason`, `quarantined_at`), метаданные не меняются, `/content` отвечает `404` без запроса к S3, на строку
по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим. Каждое
действие предваряет повторная проверка той стороны, которую оно меняет (отказ — `rechecked`). Одновременно идёт один
по-прежнему ссылаются сообщения (`message_attachments → attachments ON DELETE RESTRICT`); карантин обратим, но
снимается только после того, как объект прочитан и его SHA-256 совпал с метаданными. Объект той же длины с другими
байтами строку из карантина не выпускает. Каждое действие предваряет повторная проверка той стороны, которую оно
меняет (отказ — `rechecked`). Одновременно идёт один
проход: `pg_try_advisory_lock(20260004)` на отдельном соединении на всё время прохода, второй отвечает `skipped`с
кодом `0`. `--deep` читает каждый объект потоком и хеширует кусками по 64 KiB, не больше 8 в полёте. Отчёт — JSON в
stdout (классы, исправленное, `rechecked`, до 20 примеров id, запросы, время, CPU, пик RSS), журнал — в stderr без
ключей объектов и кредов; код `1` — недоступна зависимость или не выполнено действие. Ключ S3 — тот же
ограниченный ключ API (`ListBucket`, `GetObject`, `DeleteObject`), root-ключей у сервиса нет.
ключей объектов и кредов. Код `1` — любая ошибка прохода (журнал `reconcile.failed` с типом ошибки, без трассировки)
или не выполненное действие. Удаление брошенного намерения пишет `audit.attachment_discarded reason=reconcile`, как
уборка и компенсация API: события UoW идут через `EventBus` в `AttachmentsJournal`, сервис собирает dishka из
`PlatformProvider` и того же провайдера хранилища, что у API. Ключ S3 у сверки свой (`ListBucket`, `GetObject`,
`DeleteObject`), ключа API и root-ключей у сервиса нет. `init: true`: `docker stop` идущего прохода завершает его
сразу, advisory lock снимает PostgreSQL при закрытии соединения.
**Гипотезы**(записаны в `design.md` изменения до первого прогона). H1 (корректность): слияние находит каждое
внедрённое расхождение в его классе, `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0
действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
H2 (стоимость): время прохода без `--deep` линейно (`t(30k)/t(10k) = 3 ± 30 %`) и определяется страницами листинга;
листингов и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS на 1k и 30k отличается меньше чем на 10 %; `--deep` на порядок
дороже на объект и линеен по объёму.
**Гипотезы** записаны в `design.md` изменения `add-lab4-storage-reconciler` в коммите предложения `148868b`, до первого
прогона. H1 (корректность): слияние находит каждое внедрённое расхождение в его классе, `--apply` исправляет ровно
найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения
не удаляются, в том числе во время загрузок. H2 (стоимость), дословно из `148868b`: время прохода без `--deep` растёт
линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`,
`HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %); `--deep` на порядок дороже на объект и линеен по
объёму. История формулировки: после двух прерванных наполнений до 100k (`cost-aborted/`) H2 в `5ca2cdc` была
переписана на 30k (`t(30k)/t(10k) = 3 ± 30 %`), и прошлая версия отчёта проверяла уже её. Точка 100k в прежней серии не является доказательством SQLAlchemy;
текущий цикл повторяет исходную H2 из `148868b`. Соотношение 30k/10k приведено как дополнительное.
**Методика.**
-`make reconcile-demo` (`scripts/reconcile_track.py demo`, стенд из чистого состояния, коммит `5c3c238`,
`--grace 60 --skew 0`): 18 загрузок через LB, 6 из них в двух сообщениях → снимок готовых вне API
(`scripts/reconcile_check.py`: `rc` под root-ключом, `psql`, SHA-256 каждого объекта) → внедрение на обеих
сторонах (`scripts/reconcile-inject.sh`): 3 объекта без строки (`rc pipe` мусора под префикс), 3 удалённых
объекта (`rc object remove`, два — у вложений в сообщениях), 3 объекта, перезаписанных короче, 3 — случайными
байтами той же длины, 3 строки `pending` без объекта (`INSERT` — загрузка оборвалась до `PUT`) и 3 с объектом
(`PUT` прошёл, `COMMIT ready` нет — тот же остаток, что оставляет реплика, убитая между ними в `make
upload-faults`), все старше grace → пауза 65 с → ещё 2 свежих объекта без строки и 2 свежих намерения →
`--dry-run --deep` → `--apply --deep` дважды → независимая проверка с `--expect-ready` и проверки API → возврат
объекта (`healed`) → проход при занятой блокировке → проход при остановленном `s3` → 75 с загрузок через LB
(3 потока, каждое 10-е вложение — в сообщение) и `--apply` подряд всё это время → проверка `--deep`.
-`make reconcile-cost` (`scripts/reconcile_track.py cost`, свежий стенд, коммит `b191623`): RustFS 2 CPU / 3 GiB на
`cpuset` 11–12, PostgreSQL 13–14, `reconciler` 15 (1 CPU, 256 MiB); наполнение до N = 1 000, 10 000, 30 000
синтетических вложений (`student-tests/tools/seed_storage.py`: 4 параллельных `PutObject` PNG 264 B и `COPY` строк
`ready`); на каждой точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей
100. Метрики — из отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS.
контейнере образа API под ключом API: 4 параллельных `PutObject` PNG 264 B и `COPY` строк `ready`); на каждой
точке 3 прохода `--dry-run` (страница 1000) и 3 `--dry-run --deep`, на 10k ещё 3 со страницей 100. Метрики — из
отчёта сверки: время прохода, ожидание листинга и SQL, число запросов, процессорное время, пик RSS.
- Отбраковка: до и после каждого прогона читаются `/proc/stat` всей VM Docker и `cpu.stat` cgroup `s3` и
`postgres`; чужой CPU за окно — занятость минус наше (`s3`, `postgres`, CPU процесса сверки) минус запуск
контейнера (1,5 ядро·с во всей VM, 0,5 на закреплённых ядрах — замерено на простаивающем стенде). Прогон с чужим
@@ -518,7 +550,7 @@ H2 (стоимость): время прохода без `--deep` линейн
печаталась трассировкой вместо `reconcile.failed`, исправлено в `3b3cb5b`); `test_s3_storage.py` — байтовый порядок и
страницы листинга RustFS.
**Результаты H2** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не
**Исторические результаты H2 до SQLAlchemy** (`evidence/reconcile/cost/summary.txt`, медиана трёх прогонов; отбраковано 0 из 21 — чужой CPU не
больше 0,2 ядра в VM и 0,01 на закреплённых ядрах; разброс повторов ≤ 5 %):
| N | Режим | Проход, с | мкс на объект | Листинг, с | SQL, с | Листингов / SQL / `GET` | CPU сверки, с | Пик RSS, MiB |
@@ -542,10 +574,11 @@ H2 (стоимость): время прохода без `--deep` линейн
ровно найденное, повтор — 0 действий, независимая проверка вне API (другие инструменты и root-ключ) не нашла ни
нарушений, ни потерь. Под непрерывной загрузкой 75 проходов подряд не тронули ни одного вложения: идущая загрузка
выглядит для прохода «объектом без строки» (листинг увидел объект раньше, чем страница строк — строку) сотни раз,
и от удаления её спасают оба барьера — порог grace и повторная проверка строки.
на этом стенде её защищает порог grace. Повторная проверка строки независимо доказана
тестом `test_row_written_after_listing_keeps_the_object`; наблюдение grace не доказывает срабатывание recheck.
- H2 **подтверждена в части стоимости обхода, опровергнута в части `--deep`.** Без `--deep` время растёт линейно:
`t(10k)/t(1k)` = 9,5, `t(30k)/t(10k)` = 3,73 (в пределах 3 ± 30 %, у верхней границы; в серии 29.10 — 3,05); запросов
листинга `⌈N/1000⌉`, SQL на один больше — keyset дочитывает пустую последнюю страницу; пик RSS 82,5 → 83,8 MiB
листинга `⌈N/1000⌉`, в исторической версии SQL на один больше; текущий lookahead выбирает size+1 и делает ⌈N/страница⌉ запросов; пик RSS 82,5 → 83,8 MiB
(+1,6 %) — память от N не зависит. На 10k и 30k 95 % прохода — ожидание листинга RustFS, а не код сверки (CPU сверки сверх
старта ≈ 30 мкс на объект, SQL — 4–5 мс на страницу). Цена листинга — около 83 мкс на ключ плюс 11 мс на запрос
(страница 100 вдвое дороже страницы 1000 при вдесятеро большем числе запросов), и на ключ она растёт с размером
@@ -643,8 +676,12 @@ PostgreSQL); S3 о пользователях мессенджера ничег
- Тело всё ещё собирается в памяти целиком (≈ 36 MiB на загрузку 10 MiB с учётом копий проверки и клиента S3):
потоковая запись в S3 без буфера потребовала бы multipart и проверки изображения после записи.
- Ранний `413`/`404` до конца тела: клиент, ещё отправляющий 10 MiB, может получить reset вместо ответа; собственные
тесты проверяют `413` через `Content-Length`. Объявленный `Content-Length` больше лимита отклоняется `413` ещё до
проверки токена: анонимный клиент узнаёт лимит маршрута, но не данные.
тесты проверяют `413` через `Content-Length`. Токен проверяется раньше объявленного размера: анонимный клиент
получает `401`, а не лимит маршрута.
- Минимальная скорость клиента — `MIN_TRANSFER_RATE_BYTES` (128 KiB/s): медленнее этого upload и скачивание
обрываются (`503` для upload, обрыв тела после заголовков для скачивания), быстрее — идут сколько нужно. Длинная
передача держит слот загрузки и буфер тела: upload 10 MiB на пороговой скорости занимает слот до 88 с. При
`SIGTERM` реплики передача, не успевшая за `SHUTDOWN_TIMEOUT_SECONDS`, прерывается.
- Нагрузка записи снята закрытым контуром `tests/load.py` с клиентом на той же VM и всеми записями в один чат: это
пропускная способность этого распределения CPU (реплики и PostgreSQL у своих лимитов), а не предел архитектуры;
с хоста macOS тот же замер упирается в эфемерные порты.
@@ -659,3 +696,6 @@ PostgreSQL); S3 о пользователях мессенджера ничег
- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в двух архивных циклах —
`add-lab4-image-attachments` и `add-lab4-upload-resilience` (около 453 слов без разметки, 492 и 477 по `wc -w`);
у`add-lab4-storage-reconciler` 406 по `wc -w` и 364 без разметки. Архив уже закоммичен, историю не переписываю.
Proposal переноса `carry-over-lab3-review-fixes` ссылается на «пункт 4.1 (согласованные таймауты и `SIGTERM`)» —
это нумерация рубрики лабы 3. В этом отчёте перенос закрывает строку 3.9 (минимум лабы 3), а таймауты и `SIGTERM`
лабы 3 проверяются тестами стенда (`faults.txt`) и `make limits`; строка 4.1 здесь — тесты файлов.
`storage-evidence`, три прогона `upload-memory` и `mmap-32m`, `overload-leftovers`, `load-evidence`. Без стенда сняты
`contract-checks.txt` и `student-tests.txt`. `clean-clone.txt` снят в отдельном клоне со своим compose-проектом
после серии, на `<CLONE>`.
## Уровень «3» и перенос лабы 3
| Файл | Что доказывает | Команда | Коммит |
| --- | --- | --- | --- |
| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up`с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | команды блока «Запуск из чистого clone» `REPORT.md` дословно, между ними — наблюдения | `81dd816` |
| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `81dd816` |
| `student-tests.txt` | `make lint` и все собственные тесты по именам (342), включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `81dd816` |
| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `81dd816` |
| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`), volumes и сети по политике | `make limits` | `81dd816` |
| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `81dd816` |
| `failover-899a952a5a21.txt`, `failover-0cc3ee358e59.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `81dd816` |
| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `81dd816` |
| `s3-outage.json` | S3 остановлен: upload и `/content``503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `81dd816` |
| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `81dd816` |
| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `81dd816` |
| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `81dd816` |
| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up`с миграциями `0001`–`0004` и `s3-init`, smoke, persistence, failover, `restore`, `failover-upload`, `s3-outage`, `s3-check`, `reconcile`, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены); сырой вывод каждой команды | `make clean-clone-evidence LB_HTTP_PORT=18084 LB_STATS_PORT=24084` (`scripts/clean-clone.sh`) | `<CLONE>` |
| `contract-checks.txt` | `make check`, `make validate` (`openapi-spec-validator` 0.7.2 из `.venv`); `git diff --stat upstream/main` контракта, публичных тестов и задания (пусто) и `.github` (только свой CI job) | команды внутри файла | `<SERIES>` |
| `student-tests.txt` | `make lint` и все собственные тесты по именам, включая адаптер S3 против RustFS | `make student-test PYTEST_ARGS='-v --no-header'` | `<SERIES>` |
| `environment.txt` | host, Docker, образы по digest, версии Python, HAProxy, RustFS и пакетов, uid процессов | `make stack-evidence` | `<SERIES>` |
| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты (root-ключи S3 только у `s3`, `s3-init`, `s3-cli`; у`reconciler` свой ключ), пользователь сервисов, volumes и сети по политике | `make limits` | `<SERIES>` |
| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другое тело | `make lb-check` | `<SERIES>` |
| `failover-upload.json` | upload → остановка принявшей реплики → скачивание через другую, SHA-256; `docker inspect` обеих реплик в момент скачивания (target `exited`, сосед `running`, `StartedAt`/`FinishedAt`) и после возврата | `make scenario SCENARIO=failover-upload` | `<SERIES>` |
| `failover-<id>.txt` (две) | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, его журнал остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `<SERIES>` |
| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `<SERIES>` |
| `s3-outage.json` | S3 остановлен (`docker inspect` контейнера `s3` в это время): upload и `/content``503` с временем ответа, метаданные, текст и readiness, возврат S3 и скачивание с тем же SHA-256 | `make scenario SCENARIO=s3-outage` | `<SERIES>` |
| `storage-layout.txt` | `\d attachments` и `\d message_attachments`, `bytea` всей схемы, строки по статусам и объекты bucket, сверка SHA-256 вне API, `ro` и mounts реплик, volume `s3`, секреты сервисов | `make attachments-evidence` | `<SERIES>` |
| `schema.txt`, `migrations.txt`, `kdf.txt`, `secrets.txt` | `\d+` всех таблиц и применённые миграции; повтор `migrate` → `up to date` при тех же счётчиках; Argon2id и 32-байтовые хеши токенов; секреты, `.env` и volumes не в Git | `make storage-evidence` | `<SERIES>` |
| `retry.json` | потерянный ответ: запись ждёт блокировку строки чата дольше таймаута клиента, повтор тем же ключом через LB — на живой и на убитой реплике; `201`, одна копия | `make retry-check` | `<SERIES>` |
## Уровень «4»
| Файл | Что доказывает | Команда | Коммит |
| --- | --- | --- | --- |
| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `81dd816` |
| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py` | `make faults-evidence` | `81dd816` |
| `s3-security.txt` | 23 проверки: нет host-портов у`s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключа API (разрешено и `AccessDenied`), анонимный доступ, снимок политики без секретов | `make s3-check` | `81dd816` |
| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `python3 scripts/upload_memory.py --out evidence/upload-memory/runN` (то же, что `make upload-memory`, в свой каталог) | `81dd816` |
| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `edge`: RPS, ошибки, p50/p95/p99, `docker stats` стенда и клиента, статусы `request.handled` реплик | команды внутри `load.txt` | `81dd816` |
| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS: клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` |
| `overload-leftovers.txt` | после серии памяти: 67 невидимых намерений от `503` по таймауту посреди `PutObject` (и одно от `s3-outage`), их вид в `make reconcile` и удаление фоновой уборкой после grace 900 с | команды внутри файла | `81dd816` |
| `upload-faults.txt` | 36 ошибочных запросов через LB без `5xx`; отказ `COMMIT` после `PUT` → немедленная компенсация; реплика убита между `PUT` и `COMMIT` → уборка после grace; обрыв и зависание тела | `make upload-faults` | `<SERIES>` |
| `faults.txt` | все проверки стенда под маркером `stack`: тесты лаб 2–3 (гонка регистрации, остановка Valkey и PostgreSQL, рестарты, срок сессии) и `test_attachment_faults.py`, включая `401` раньше `413` и медленные upload и скачивание 3 MiB дольше таймаута запроса | `make faults-evidence` | `<SERIES>` |
| `s3-security.txt` | нет host-портов у `s3`, консоль закрыта изнутри и из сети стенда, `s3-init` повторно дважды без изменений, права ключей API и сверки (разрешено и `AccessDenied`), анонимный доступ, снимок политики пользователей без секретов и дат (валидный JSON) | `make s3-check` | `<SERIES>` |
| `upload-memory/run{1,2,3}/` | три прогона матрицы: 64 и 3 слота × 1 и 10 MiB × 10/20/40 одновременных загрузок; `summary.txt` и JSON на точку (ответы, задержки, пик `memory.peak` реплик и LB, `oom_kill`) | `make upload-memory ARGS='--out evidence/upload-memory/runN'` | `<SERIES>` |
| `overload-leftovers.txt` | после серии памяти: невидимые намерения от `503` по таймауту, их вид в `make reconcile`, удаление уборкой после grace 900 с, сверка после | `make overload-leftovers` | `<SERIES>` |
| `load.txt`, `load/run{1,2,3}.json` | нагрузка записи сообщений `tests/load.py` (64 потока, 8 с, 3 повтора) клиентом-контейнером в сети `<проект>_edge`: полная команда клиента, сырой вывод `load.py`, `docker stats` стенда и клиента, статусы `request.handled` реплик | `make load-evidence` | `<SERIES>` |
| `load/host-attempt.txt` | отброшенная попытка той же нагрузки с хоста macOS (30.10, до этой серии): клиентские ошибки соединения при исчерпании эфемерных портов, ни одного `5xx` на репликах; строки перенесены из вывода консоли | команды внутри файла | `81dd816` |
## Трек 2 «Согласованность двух хранилищ»
`reconcile/` — сценарий трека, матрица стоимости и проверки после трека; состав и поля — `reconcile/README.md`.
`reconcile/` — сценарий трека и матрица стоимости; состав и поля — `reconcile/README.md`.
| Файл | Что доказывает | Команда | Коммит |
| --- | --- | --- | --- |
| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run, `apply` дважды, независимая проверка, карантин, `healed`, занятая блокировка, остановленный S3, 75 проходов под загрузками | `make reconcile-demo` | `5c3c238` |
| `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | первая серия матрицы без отбраковки; прерванные попытки наполнить RustFS до 100k | `make reconcile-cost` | `5ca2cdc`, до `5ca2cdc` |
| `reconcile/after-checks.txt` | уровни «3» и «4» после трека на стенде из чистого состояния | команды внутри файла | `8cb5a66` |
| `reconcile/demo.json` и файлы сценария | внедрение ошибок на обеих сторонах, dry-run (счёт и множества id), `apply` дважды с журналом аудита, независимая проверка, карантин, снятие карантина только при совпавшем SHA-256, занятая блокировка, `docker stop` идущего прохода, остановленный S3, 74 прохода под загрузками | `make reconcile-demo` | `61dcb6b` |
| `reconcile/cost/` | стоимость обхода 1k/10k/30k/100k× 3 прогона,`--deep` на всех точках, закреплённые CPU, отбраковка чужой нагрузки | `make reconcile-cost` | `61dcb6b` |
| `reconcile/cost-b191623/`, `reconcile/cost-2026-10-29/`, `reconcile/cost-aborted/` | прошлые серии 1k/10k/30k (`b191623` — с лишней SQL-страницей; `5ca2cdc` — без отбраковки) и прерванные попытки наполнить 100k в прежних конфигурациях | `make reconcile-cost` |`b191623`,`5ca2cdc`, до `5ca2cdc` |
Исходный список: .prep/lab4-review1-findings.json, нумерация по порядку (1–21).
Ни одно замечание не считается закрытым только по старому remark. Источник приложения:
SQLAlchemy-перенос 8e4532f6f5c05d902b6e2c310f54320d95585904, 404 текущих теста в grade3/student-tests.txt.
Строки трека ожидают отдельного цикла после уровня 4.
| № | Состояние и проверяемое основание |
| --- | --- |
| 1 | Ожидает новой матрицы track5 1k/10k/30k/100k ×3 shallow/deep. Старые asyncpg цифры не доказательство. |
| 2 | REPORT сохраняет хронологию: исходная H2 100k в 148868b; редакция 30k в 5ca2cdc постфактум. Новая H2 будет записана до новой серии. |
| 3 | REPORT различает наблюдавшийся grace и recheck. test_row_written_after_listing_keeps_the_object проходит; новый demo должен отдельно вывести rechecked_total. |
| 4 | scripts/reconcile-inject.sh fresh использует один UUID; demo сравнивает множества. Методика: 18 явных загрузок + fixture предварительного публичного smoke. Ожидает нового demo. |
| 5 | _row хеширует любую строку в карантине даже без deep. test_other_bytes_of_the_same_length_keep_the_quarantine проходит; новый heal ожидается в track5. |
| 6 | Историческая колонка LB переименована в максимум из трёх. Новая таблица будет рассчитывать медиану и диапазон непосредственно из трёх JSON. |
| 7 | grade3/s3-security.txt: полный SHA/UTC, JSON политик сформирован json.dumps, 31 PASS и RESULT PASS. |
| 8 | grade3/failover-upload.json: UTC/SHA, target exited и сосед running при download, SHA равен. |
| 9 | scripts/clean-clone.sh сохраняет raw, проверяет ошибки и не удаляет volumes. Ожидает нового clone-прогона. |
| 10 | grade4/stack-faults.txt: test_token_is_checked_before_the_declared_size, 401 при Content-Length 10485761. |
| 11 | grade3/s3-security.txt: API ListBucket deny, Get/Put/Delete allow; отдельные ограниченные ключи reconciler. |
| 12 | Положительный прогресс продлевает deadline. grade4/stack-faults.txt: upload 3 MiB за 12,2 с, download за 16,0 с — оба PASS. |
| 13 | compose init:true; test_any_pass_failure_ends_as_reconcile_failed и test_cancelled_pass_releases_its_autocommit_lock проходят. Новый SIGTERM/outage demo ожидается. |
| 14 | ReconcileProvider использует dishka, EventBus и AttachmentsJournal; UoW events публикуются. Новый audit reason=reconcile ожидается в demo. |
| 15 | _rows использует lookahead size+1; test_pages_of_rows_are_not_followed_by_an_empty_one проходит. Ожидает новых чисел SQL из cost. |
| 16 | compose x-s3-client user65534:65534; grade3/limits.txt проверяет и одноразовые сервисы. CI отдельно проверяет s3-init/migrate через ps -aq. |
| 17 | REPORT ограничения процесса: carry-over закрывает 3.9, номер 4.1 пришёл из ЛР3; превышение 400 слов признано. Старые архивы не переписаны. |
| 18 | load-evidence.sh содержит полный digest и монтирования, сеть из project; ошибка клиента возвращается. Ожидает трёх реальных прогонов. |
| 19 | Новая серия S3 ×3: upload 0,828–5,039, download 0,510–1,397 с, <6 с. Счётчик negative: 53 в grade3, 54 в grade4; оба 0×5xx. Это число наблюдений, не константа. |
| 20 | upload_memory.py --out требует пустой каталог; provenance в каждом JSON. Изоляция cost будет проверена в track5 без удаления старых файлов. |
| 21 | Дубликат №5: любой карантин снимается только после SHA-256; тест с другими байтами той же длины проходит. |
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.