better report

This commit is contained in:
2026-11-12 18:37:11 +03:00
parent e942463a58
commit c82383e72d
7 changed files with 143 additions and 62 deletions
+45 -45
View File
@@ -1,9 +1,9 @@
# Отчёт — лабораторная 4
- Автор, группа: Sunrise443 (указать группу)
- Целевая оценка; выбранный трек 5, если нужен: **5**; трек 2, согласованность PostgreSQL и S3
- Commit/PR: TODO после публикации (рабочее дерево поверх `c594b88`)
- Использованные источники, библиотеки и помощь ИИ: OpenAPI/семантика курса; документация MinIO, boto3, HAProxy 3.2; FastAPI/Starlette; реализация с помощью Cursor (Grok)
- Автор, группа: Тимаева М.П., БПИ2302
- Целевая оценка; выбранный трек 5, если нужен: 5, трек 2
- Commit/PR: TODO
- Использованные источники, библиотеки и помощь ИИ: OpenAPI/семантика курса; документация MinIO, boto3, HAProxy 3.2; FastAPI/Starlette; Cursor помогал переносить старый код в новый репозиторий и с составление отчетов
## Запуск из чистого clone
@@ -28,15 +28,15 @@ docker compose --env-file .env down -v
Образы (закреплены тегом+digest в `compose.yaml` / `Dockerfile`):
| Роль | Service | Образ | Volume | Сеть | Порт на host | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| LB | lb | haproxy:3.2.26-alpine@sha256:96ec… | — | edge | 127.0.0.1 / ::1 `LB_PORT` | нет |
| API | api ×2 | messenger-lab4-app (python:3.14.8-slim) | нет оригиналов | edge+data | нет | DB и S3 из secret files uid 10001 |
| PostgreSQL | postgres | postgres:16.10-alpine@sha256:0296… | pgdata | data (internal) | нет | POSTGRES_PASSWORD_FILE |
| S3 | minio | minio RELEASE.2025-09-07…@sha256:14ce… | miniodata | data, alias `s3` | нет | root только у minio-init |
| Bootstrap | minio-init | тот же MinIO + `infra/minio/bootstrap.sh` | — | data | — | root + API keys |
| Сверка | reconcile (profile `ops`) | тот же app image | — | data | — | те же API S3 keys |
| Private probe | check-private-bucket (profile `ops`) | тот же MinIO | — | data | — | root + API keys |
| Роль | Service | Образ | Volume | Сеть | Порт на host | Credentials |
| ------------- | ------------------------------------ | ----------------------------------------- | -------------- | ---------------- | ------------------------- | --------------------------------- |
| LB | lb | haproxy:3.2.26-alpine@sha256:96ec… | — | edge | 127.0.0.1 / ::1 `LB_PORT` | нет |
| API | api ×2 | messenger-lab4-app (python:3.14.8-slim) | нет оригиналов | edge+data | нет | DB и S3 из secret files uid 10001 |
| PostgreSQL | postgres | postgres:16.10-alpine@sha256:0296… | pgdata | data (internal) | нет | POSTGRES_PASSWORD_FILE |
| S3 | minio | minio RELEASE.2025-09-07…@sha256:14ce… | miniodata | data, alias `s3` | нет | root только у minio-init |
| Bootstrap | minio-init | тот же MinIO + `infra/minio/bootstrap.sh` | — | data | — | root + API keys |
| Сверка | reconcile (profile `ops`) | тот же app image | — | data | — | те же API S3 keys |
| Private probe | check-private-bucket (profile `ops`) | тот же MinIO | — | data | — | root + API keys |
Локально на этой машине `LB_PORT=8084`, потому что 8080 занят стендом lab3.
@@ -56,19 +56,19 @@ Upload не держит весь файл в Python heap: чанки счита
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8084` | PASS lab4 public API | [evidence/smoke.txt](evidence/smoke.txt) |
| S3 в стенде, байты не в БД/диске API | compose: minio без host ports, API без volume оригиналов, ключ `originals/{uuid}` | minio ports `[]`, API не публикует 9000 | [evidence/compose-minio-exposure.json](evidence/compose-minio-exposure.json) |
| PNG/JPEG ≤10 MiB / 40M px, MIME по содержимому | smoke fixture + negative suite | 201 на sample.png; 413/415 на отказ | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) |
| Другая реплика / restart volumes | `scripts/restart.sh`, `scripts/stop-one.sh` (уровень 3, сохранено) | hook перезапускает postgres+minio+api+lb; stop-one гасит одну реплику | scripts/restart.sh, scripts/stop-one.sh |
| Негативные вложения, не 500 | `make test-attachments BASE_URL=http://localhost:8084` | oversized CL и chunked → 413; corrupt/MIME spoof → 415; pixel bomb → 413; чужой id и чужой чат → 404 | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) |
| Компенсация / сверка / grace | `docker compose --profile ops run --rm reconcile --seed-orphan` затем `--apply --grace-seconds 0` | dry-run: сирота в `orphans_protected_by_grace`; apply: ключ удалён; живые originals не тронуты | [evidence/reconcile-dry-run.json](evidence/reconcile-dry-run.json), [evidence/reconcile-apply.json](evidence/reconcile-apply.json) |
| RAM, ≥10 одновременных upload | `python scripts/upload_mem.py --base-url http://localhost:8084` | 10/10 ок, ~1.9 MiB PNG, пик RSS api 93.66 MiB при лимите 256M (N×size ≈ 19 MiB) | [evidence/upload-concurrency.json](evidence/upload-concurrency.json) |
| Идемпотентный bootstrap | два `docker compose --env-file .env run --rm --no-deps minio-init` | оба: `bucket messenger-attachments is private`, exit 0 | [evidence/minio-init-rerun.txt](evidence/minio-init-rerun.txt) |
| Узкие S3 creds, консоль закрыта, private bucket вне API | `python scripts/check_private_bucket.py` | anonymous GET 403; API user не листит чужой bucket; MINIO_BROWSER=off; нет host ports; не в edge | [evidence/private-bucket.txt](evidence/private-bucket.txt) |
| Трек 2: обе стороны, dry-run, повтор, защита | `make reconcile-track2` | `ok: true`. Grace 900 не удалил свежий orphan и свежую непривязанную строку; привязанная строка без объекта осталась. После сдвига `created_at` на 2 ч `--apply` удалил только её, второй прогон пуст. Grace 0 после preflight удалил только посеянный orphan; повтор снова пуст. SHA-256 здорового объекта совпал со строкой | [evidence/reconcile-track2.json](evidence/reconcile-track2.json) |
| Трек 2: стоимость обхода | тот же прогон, `--bench 10,100,400` | 51 ключ: list объектов 13 ms; 141 ключ: 180 ms; 441 ключ: 75 ms. Метаданные 1–5 ms. Свои ключи бенча удалены, в `--apply` не передавались | [evidence/reconcile-walk.json](evidence/reconcile-walk.json) |
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| ------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- |
| Публичный smoke | `python tests/smoke.py --base-url http://localhost:8084` | PASS lab4 public API | [evidence/smoke.txt](evidence/smoke.txt) |
| S3 в стенде, байты не в БД/диске API | compose: minio без host ports, API без volume оригиналов, ключ `originals/{uuid}` | minio ports `[]`, API не публикует 9000 | [evidence/compose-minio-exposure.json](evidence/compose-minio-exposure.json) |
| PNG/JPEG ≤10 MiB / 40M px, MIME по содержимому | smoke fixture + negative suite | 201 на sample.png; 413/415 на отказ | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) |
| Другая реплика / restart volumes | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, BASE_URL `http://127.0.0.1:8084` | persistence: PASS, тот же токен и тот же оригинал; id контейнеров не сменились, StartedAt обновился у postgres, minio, обеих API и LB. failover: 2 реплики до отказа, 128 успешных записей, 0 ошибок, восстановление за 5.699 с; api-2 осталась exited, postgres/minio/lb/api-1 не перезапускались | [evidence/persistence.txt](evidence/persistence.txt), [evidence/failover.txt](evidence/failover.txt) |
| Негативные вложения, не 500 | `make test-attachments BASE_URL=http://localhost:8084` | oversized CL и chunked → 413; corrupt/MIME spoof → 415; pixel bomb → 413; чужой id и чужой чат → 404 | [evidence/attachments-negative.txt](evidence/attachments-negative.txt) |
| Компенсация / сверка / grace | `docker compose --profile ops run --rm -T reconcile --seed-orphan`, затем `--apply --grace-seconds 0` | dry-run, grace 900: посеянный ключ в `orphans_protected_by_grace`, `deleted` пуст. apply, grace 0: удалён только `originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab`. Строка сообщения без объекта осталась в `missing_in_use`, ключи вне `originals/` — в `ignored_outside_prefix` | [evidence/reconcile-dry-run.json](evidence/reconcile-dry-run.json), [evidence/reconcile-apply.json](evidence/reconcile-apply.json) |
| RAM, ≥10 одновременных upload | `python scripts/upload_mem.py --base-url http://localhost:8084` | 10/10 ок, ~1.9 MiB PNG, пик RSS api 93.66 MiB при лимите 256M (N×size ≈ 19 MiB) | [evidence/upload-concurrency.json](evidence/upload-concurrency.json) |
| Идемпотентный bootstrap | два `docker compose --env-file .env run --rm --no-deps minio-init` | оба: `bucket messenger-attachments is private`, exit 0 | [evidence/minio-init-rerun.txt](evidence/minio-init-rerun.txt) |
| Узкие S3 creds, консоль закрыта, private bucket вне API | `python scripts/check_private_bucket.py` | anonymous GET 403; API user не листит чужой bucket; MINIO_BROWSER=off; нет host ports; не в edge | [evidence/private-bucket.txt](evidence/private-bucket.txt) |
| Трек 2: обе стороны, dry-run, повтор, защита | `make reconcile-track2` | `ok: true`. Grace 900 не удалил свежий orphan и свежую непривязанную строку; привязанная строка без объекта осталась. После сдвига `created_at` на 2 ч `--apply` удалил только её, второй прогон пуст. Grace 0 после preflight удалил только посеянный orphan; повтор снова пуст. SHA-256 здорового объекта совпал со строкой | [evidence/reconcile-track2.json](evidence/reconcile-track2.json) |
| Трек 2: стоимость обхода | тот же прогон, `--bench 10,100,400` | 51 ключ: list объектов 13 ms; 141 ключ: 180 ms; 441 ключ: 75 ms. Метаданные 1–5 ms. Свои ключи бенча удалены, в `--apply` не передавались | [evidence/reconcile-walk.json](evidence/reconcile-walk.json) |
## Эксперименты и отказы
@@ -79,28 +79,28 @@ Upload не держит весь файл в Python heap: чанки счита
Результат обхода: [evidence/reconcile-walk.json](evidence/reconcile-walk.json). К уже лежавшим ~41 ключам добавлялись 10, 100 и 400 объектов, каждый набор удалялся по списку своих ключей.
| Посеяно | Ключей в list | list объектов, ms | list метаданных, ms | весь проход, ms |
| --- | ---: | ---: | ---: | ---: |
| 10 | 51 | 13 | 5 | 24 |
| 100 | 141 | 180 | 1 | 188 |
| 400 | 441 | 75 | 2 | 82 |
| ------- | ------------: | ----------------: | ------------------: | --------------: |
| 10 | 51 | 13 | 5 | 24 |
| 100 | 141 | 180 | 1 | 188 |
| 400 | 441 | 75 | 2 | 82 |
Верхняя граница подтвердилась: все три прохода короче 200 ms. Линейный рост на этих трёх точках не подтвердился: 441 ключ обошёлся дешевле 141. `SELECT` оставался в единицах миллисекунд. Ограничение замера: один прогон, время boto/MinIO внутри compose, `elapsed_ms` включает ещё и `ListMultipartUploads`. Это не стоимость обхода миллиона ключей.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| Content-Length > 10 MiB | 413 на LB, тело не читается | 413 `payload_too_large` | нет записи |
| Chunked тело > 10 MiB | 413 на API по счётчику чанков | 413 `payload_too_large` | нет объекта |
| Повреждённый PNG/JPEG, подмена MIME | 415 | 415 `unsupported_media_type` | нет объекта |
| IHDR 10000×5000 (50M px) | 413 до decode | 413 | нет объекта |
| GET чужого attachment_id | 404, без утечки | 404 `not_found` | — |
| attachment_id другого чата в POST message | 404 | 404 | сообщение не создано |
| S3 PUT прошёл, INSERT нет | компенсация DELETE; иначе orphan до сверки | `_discard_object`; сирота удаляется `--apply` после grace | объект без метаданных не вечный |
| Объект есть, строки нет, объект моложе grace | не удалять | age 0 остался в `orphans_protected_by_grace` при `--apply` | объект на месте |
| Строка есть, объекта нет, строка в сообщении | не удалять даже при grace 0 | осталась в `missing_in_use`; `metadata_deleted` её не содержит | строка на месте, байтов нет |
| Строка есть, объекта нет, строка старше grace и не в сообщении | удалить строку; повтор пуст | удалена одна строка с age 7200; второй `--apply` пуст | строка снята |
| Grace 0 при чужом orphan | не удалять ничего | preflight сравнивает `orphans_stale` с посеянным ключом | в этом прогоне чужих не было, удаление прошло |
| Повтор minio-init | no-op, bucket private | два exit 0 | нет |
| Unauthenticated GET объекта | 403 мимо API | 403 | — |
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| -------------------------------------------------------------- | ------------------------------------------ | -------------------------------------------------------------- | --------------------------------------------- |
| Content-Length > 10 MiB | 413 на LB, тело не читается | 413 `payload_too_large` | нет записи |
| Chunked тело > 10 MiB | 413 на API по счётчику чанков | 413 `payload_too_large` | нет объекта |
| Повреждённый PNG/JPEG, подмена MIME | 415 | 415 `unsupported_media_type` | нет объекта |
| IHDR 10000×5000 (50M px) | 413 до decode | 413 | нет объекта |
| GET чужого attachment_id | 404, без утечки | 404 `not_found` | — |
| attachment_id другого чата в POST message | 404 | 404 | сообщение не создано |
| S3 PUT прошёл, INSERT нет | компенсация DELETE; иначе orphan до сверки | `_discard_object`; сирота удаляется `--apply` после grace | объект без метаданных не вечный |
| Объект есть, строки нет, объект моложе grace | не удалять | age 0 остался в `orphans_protected_by_grace` при `--apply` | объект на месте |
| Строка есть, объекта нет, строка в сообщении | не удалять даже при grace 0 | осталась в `missing_in_use`; `metadata_deleted` её не содержит | строка на месте, байтов нет |
| Строка есть, объекта нет, строка старше grace и не в сообщении | удалить строку; повтор пуст | удалена одна строка с age 7200; второй `--apply` пуст | строка снята |
| Grace 0 при чужом orphan | не удалять ничего | preflight сравнивает `orphans_stale` с посеянным ключом | в этом прогоне чужих не было, удаление прошло |
| Повтор minio-init | no-op, bucket private | два exit 0 | нет |
| Unauthenticated GET объекта | 403 мимо API | 403 | — |
Две старые строки с ключами без prefix `originals/` на каждом проходе остаются в `ignored_outside_prefix` и не удаляются. Живая пара «строка + объект» в списки расхождений не попадает.
+26
View File
@@ -0,0 +1,26 @@
# python tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://127.0.0.1:8084
# Same public test as: make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://127.0.0.1:8084
# On this Windows host the hook process was Git bash, because CreateProcess cannot exec a #!/bin/sh file.
# The script and its arguments are scripts/stop-one.sh. git index mode of the hook is 100755.
=== before ===
api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z
api-2 2d9cb0ed8adc status=running started=2026-11-12T15:27:00.68343251Z
lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z
postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z
minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 128, "failed_attempts": 0, "first_recovery_seconds": 5.699}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
=== after the hook, before any restore ===
api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z
api-2 2d9cb0ed8adc status=exited finished=2026-11-12T15:27:30.226687078Z
lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z
postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z
minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z
The test saw two instance ids before the stop. Writes recovered in 5.699 s, with 128 successes and 0 failures. api-2 stayed exited. PostgreSQL, MinIO, the LB and api-1 kept the start times from before the hook.
After this snapshot the stopped replica was started again with `docker compose --env-file .env up -d --wait api`. Both API replicas were healthy. That restore is not part of the hook: the hook left api-2 exited.
+23
View File
@@ -0,0 +1,23 @@
# python tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8084
# Same public test as: make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://127.0.0.1:8084
# On this Windows host the hook process was Git bash, because CreateProcess cannot exec a #!/bin/sh file.
# The script and its arguments are scripts/restart.sh. git index mode of the hook is 100755.
=== before, docker inspect StartedAt ===
api-1 606d8436f093 status=running started=2026-11-12T15:25:28.188004778Z
api-2 2d9cb0ed8adc status=running started=2026-11-12T15:25:27.827643637Z
lb-1 a708afda6620 status=running started=2026-11-12T15:25:34.521198734Z
postgres-1 9c54ddd911ba status=running started=2026-11-12T15:25:18.149534309Z
minio-1 4aa69397a7e9 status=running started=2026-11-12T15:25:18.110830021Z
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
=== after, same container ids, new StartedAt ===
api-1 606d8436f093 status=running started=2026-11-12T15:27:01.000430042Z
api-2 2d9cb0ed8adc status=running started=2026-11-12T15:27:00.68343251Z
lb-1 a708afda6620 status=running started=2026-11-12T15:27:06.923950206Z
postgres-1 9c54ddd911ba status=running started=2026-11-12T15:26:49.628819651Z
minio-1 4aa69397a7e9 status=running started=2026-11-12T15:26:49.732842597Z
Container ids did not change, so the named volumes stayed. PostgreSQL, MinIO, both API replicas and the LB all received a new start time.
+25 -9
View File
@@ -2,28 +2,44 @@
"apply": true,
"grace_seconds": 0,
"seeded": null,
"scanned_originals": 37,
"referenced": 38,
"scanned_originals": 48,
"referenced": 50,
"orphans_protected_by_grace": [],
"orphans_stale": [
{
"key": "originals/44d0830b-a013-482c-ae07-83805b6470c1",
"age_seconds": 10,
"key": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab",
"age_seconds": 648,
"size": 12
}
],
"multipart_protected_by_grace": [],
"multipart_stale": [],
"deleted": [
"originals/44d0830b-a013-482c-ae07-83805b6470c1"
"originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab"
],
"aborted_multipart": [],
"missing_objects": [
"missing_protected_by_grace": [],
"missing_in_use": [
{
"key": "a93d1b7ab79245ec95f792b569c3ee46"
"id": "c9877ebc-08b1-46ba-9cb9-d9d42240db71",
"key": "originals/c9877ebc-08b1-46ba-9cb9-d9d42240db71",
"age_seconds": 168553,
"in_use": true
}
],
"missing_stale": [],
"ignored_outside_prefix": [
{
"id": "28bbf1a8-866e-4b03-a22f-d7daa2e36157",
"key": "c96e4c9da2114c9e837c372ef9e75e15"
},
{
"key": "c96e4c9da2114c9e837c372ef9e75e15"
"id": "69c98e0c-0660-4dc2-ae9f-1ecb52650b60",
"key": "a93d1b7ab79245ec95f792b569c3ee46"
}
]
],
"metadata_deleted": [],
"list_objects_ms": 14,
"list_metadata_ms": 2,
"elapsed_ms": 31
}
+24 -8
View File
@@ -1,12 +1,12 @@
{
"apply": false,
"grace_seconds": 900,
"seeded": "originals/44d0830b-a013-482c-ae07-83805b6470c1",
"scanned_originals": 37,
"referenced": 38,
"seeded": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab",
"scanned_originals": 45,
"referenced": 47,
"orphans_protected_by_grace": [
{
"key": "originals/44d0830b-a013-482c-ae07-83805b6470c1",
"key": "originals/ecc25a63-0271-4944-bd3a-d9c83c78c4ab",
"age_seconds": 0,
"size": 12
}
@@ -16,12 +16,28 @@
"multipart_stale": [],
"deleted": [],
"aborted_multipart": [],
"missing_objects": [
"missing_protected_by_grace": [],
"missing_in_use": [
{
"key": "a93d1b7ab79245ec95f792b569c3ee46"
"id": "c9877ebc-08b1-46ba-9cb9-d9d42240db71",
"key": "originals/c9877ebc-08b1-46ba-9cb9-d9d42240db71",
"age_seconds": 167904,
"in_use": true
}
],
"missing_stale": [],
"ignored_outside_prefix": [
{
"id": "28bbf1a8-866e-4b03-a22f-d7daa2e36157",
"key": "c96e4c9da2114c9e837c372ef9e75e15"
},
{
"key": "c96e4c9da2114c9e837c372ef9e75e15"
"id": "69c98e0c-0660-4dc2-ae9f-1ecb52650b60",
"key": "a93d1b7ab79245ec95f792b569c3ee46"
}
]
],
"metadata_deleted": [],
"list_objects_ms": 20,
"list_metadata_ms": 7,
"elapsed_ms": 30
}
Regular → Executable
View File
Regular → Executable
View File