Document grade-five reconciliation experiments

This commit is contained in:
Самохвалов Андрей Ремович
2026-10-02 14:23:33 +03:00
parent 9c15fc3744
commit 255c11a822
+6 -3
View File
@@ -1,7 +1,7 @@
# Отчёт — лабораторная 4
- Автор, группа: Самохвалов Андрей Ремович, БПИ-2302.
- Целевая оценка: 5, трек 2 «Согласованность двух хранилищ». Уровни 3 и 4 проверены; повторяемый эксперимент трека 5 выполняется далее.
- Целевая оценка: 5, трек 2 «Согласованность двух хранилищ». Уровни 3 и 4 и повторяемый эксперимент трека 5 проверены.
- Ветка: `solution/bpi2302-samohvalov`; commit/PR указываются после публикации.
- Источники: `README.md`, `COURSE.md`, `contracts/README.md`, `contracts/openapi.json`, публичные тесты, [MinIO release](https://github.com/minio/minio/releases/tag/RELEASE.2025-10-15T17-29-55Z), [образ](https://hub.docker.com/r/alpine/minio/tags), документация MinIO для IAM. Python/FastAPI, PostgreSQL, MinIO Python SDK; проект подготовлен с помощью ИИ Codex с локальной проверкой ниже.
@@ -60,13 +60,16 @@ POST сообщения принимает до 10 уникальных ID из
| Сохранность S3 и отказ API | `make test-persistence ... ACTION_SCRIPT=scripts/restart.sh`; `make test-failover ... ACTION_SCRIPT=scripts/stop-one.sh`; `python3 student-tests/test_attachment_failover.py` | Токен, Message, metadata и bytes пережили restart API/DB/S3; публичный failover восстановил запись за 2,826 и 3,020 с; адресный тест остановил каждую загрузившую реплику и скачал те же bytes через другую | `evidence/attachment-access-2026-10-02.txt` |
| Сверка orphan/missing | `docker compose --profile maintenance run --rm reconcile`; `student-tests/test_reconcile.py` в maintenance-контейнере | 2/2 PASS: old orphan после PG rollback удалён по истечении grace; fresh и привязанный сохранены; missing дал 503, неверный fixture не изменил данные, верный восстановил bytes/200; повтор идемпотентен | `evidence/reconcile-u5-2026-10-02.txt`, три JSON результата |
| Права S3 | `student-tests/test_storage_permissions.py` в API и maintenance-контейнерах | 1/1 PASS для каждой роли; API не может list, обе не могут создавать bucket, анонимный GET 403, консоль не опубликована | `evidence/reconcile-u5-2026-10-02.txt` |
| Трек 5: два отказа и стоимость сверки | `sh scripts/fault-injection.sh`; повторные dry-run/apply; 3 замера на каждом размере inventory | Old orphan удалён, missing восстановлен только по проверенному fixture; fresh/linked сохранены; повторы без изменений. Для 333/334 и 533/534 строк/объектов медианы wall 21,143 и 24,219 мс, CPU 7,420 и 9,993 мс | `evidence/reconciliation/analysis-2026-10-02.md`, `run-20261002T111817Z.json` |
## Эксперименты и отказы
Граница PUT/COMMIT проверена fault-инъекциями; U5 сверяет реальные расхождения, а U6 отдельно измерит повторяемость и стоимость. Для теста удаления grace уменьшался до 5 секунд только на синтетическом наборе; обычный запуск использует 3600 секунд. Список объектов MinIO содержит миллисекунды, а HEAD округляет время до секунд: перед удалением сверяются секунды, ETag и размер, затем возраст и ссылка в БД. После канонического dry-run 28 metadata, 29 objects, 1 свежий orphan был защищён и ни один объект не удалён.
Граница PUT/COMMIT проверена fault-инъекциями. Повторяемый сценарий трека 5 создал orphan после успешного S3 PUT и отклонённой PostgreSQL-транзакции, а также missing после COMMIT метаданных и удаления S3-объекта. Dry-run не изменил данные. Apply удалил только старый orphan; свежий и связанный с сообщением объекты остались. Missing без fixture остался ручным инцидентом, неверный fixture был отвергнут до мутаций, проверенный по размеру и SHA-256 fixture восстановил исходные байты. Повторные dry-run/apply не сделали новых изменений. Для теста удаления grace уменьшался до 5 секунд только на синтетическом наборе; обычный запуск использует 3600 секунд. Список объектов MinIO содержит миллисекунды, а HEAD округляет время до секунд: перед удалением сверяются секунды, ETag и размер, затем возраст и ссылка в БД. После раннего канонического dry-run 28 metadata, 29 objects, 1 свежий orphan был защищён и ни один объект не удалён.
Для двух размеров inventory сценарий выполнил по три последовательных dry-run в одном maintenance-процессе: 333 metadata/334 objects — wall 19,390/21,143/23,322 мс, CPU 6,447/7,420/8,516 мс; 533/534 — wall 16,585/24,219/44,148 мс, CPU 9,993/9,997/9,500 мс. RSS процесса между сериями изменился с 68 152 до 68 936 KiB, high-water 126 608 KiB был достигнут до этих сканов. Больший inventory потребовал больше CPU в этой серии; wall сильно колебался. Шесть замеров на одном локальном стенде не определяют закон масштабирования; ресурсы PostgreSQL и S3 в них не включены. Полные сырые результаты и способ воспроизведения приведены в `evidence/reconciliation/`.
Замер RAM проводился на локальном Colima/arm64, 2 CPU и 2 GiB, API ×2 с 0,5 CPU/256 MiB на экземпляр, 10 потоков с барьером старта. CSV содержит baseline и два Docker stats снимка во время 6,145 с серии: peak означает максимум **наблюдённых** снимков, а не точный аппаратный high-water mark. Все 10 ответов 201 имели уникальные ID и совпадающий SHA-256. Создание body по `os.urandom` оставляет воспроизводимыми размер/разрешение/алгоритм, но не конкретные байты и hash между прогонами.
## Ограничения и следующие шаги
Публичный `make test` проходит; он не доказывает все отказные сценарии. Уровень 4 подтверждён отдельными проверками. Трек 5 ещё не заявляется завершённым до повторяемой серии и измерения стоимости. Missing без проверенного источника остаётся ручным инцидентом, автоматической реконструкции чужих байтов нет. Один MinIO/PostgreSQL/LB и один Docker-host остаются одиночными точками отказа. Локальный HTTP допустим только для изолированного стенда с синтетическими данными; удалённой демонстрации нужен TLS.
Публичный `make test` проходит; отказные сценарии подтверждены отдельными проверками. Missing без проверенного источника остаётся ручным инцидентом, автоматической реконструкции чужих байтов нет. Один MinIO/PostgreSQL/LB и один Docker-host остаются одиночными точками отказа. Локальный HTTP допустим только для изолированного стенда с синтетическими данными; удалённой демонстрации нужен TLS.