forked from mtusi2026/mtusi2026lab4
Проверить ЛР4: сборка MinIO из исходников и результаты полного прогона
This commit is contained in:
@@ -4,13 +4,12 @@
|
||||
|
||||
## Статус проверки
|
||||
|
||||
Реализация подготовлена, но **полный Docker-прогон ещё не выполнен**. В среде подготовки
|
||||
нет доступа к Docker socket. Проверены структура задания, Python-синтаксис,
|
||||
Compose-конфигурация и пять локальных тестов валидации изображений.
|
||||
Фактические локальные результаты находятся в `evidence/offline.txt`.
|
||||
Smoke, сохранность, отказ реплики, доступ к приватному bucket, очистка после сбоя
|
||||
и эксперимент с 10 загрузками необходимо выполнить приведённой ниже командой.
|
||||
До этого выполнение всех критериев оценки 4 не подтверждено.
|
||||
Полный прогон выполнен **12 ноября 2026 года** на macOS arm64 / Docker Desktop.
|
||||
`make check`, полная валидация OpenAPI, 5 unit-тестов и весь `scripts/verify.py`
|
||||
прошли. Реальные результаты находятся в `evidence/`: smoke, негативные сценарии,
|
||||
приватность bucket, безопасная очистка, обрыв upload, отказ S3, повторный bootstrap,
|
||||
persistence, failover и нагрузка. Контракт и публичные тесты не изменены.
|
||||
Первоначальный `evidence/offline.txt` сохранён как историческая проверка до запуска Docker.
|
||||
|
||||
## Запуск
|
||||
|
||||
@@ -19,11 +18,14 @@ API работает на Python 3.12.7. Новый стенд использу
|
||||
и Compose project `mtusi-lab4`, поэтому не занимает порт предыдущих работ.
|
||||
|
||||
```sh
|
||||
cd labs/mtusi2026lab4
|
||||
cd mtusi2026lab4-fork
|
||||
python3 -m venv .venv
|
||||
.venv/bin/pip install -r requirements-dev.txt Pillow==11.1.0
|
||||
python3 scripts/bootstrap.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait
|
||||
BASE_URL=http://localhost:8084 python3 scripts/verify.py
|
||||
BASE_URL=http://localhost:8084 .venv/bin/python scripts/verify.py
|
||||
make validate PYTHON=.venv/bin/python
|
||||
```
|
||||
|
||||
Команды выполняются из корня этой лабораторной. Если репозиторий склонирован отдельно,
|
||||
@@ -36,6 +38,14 @@ API: http://localhost:8084; Swagger: http://localhost:8084/docs.
|
||||
Остановка без потери данных: `docker compose down` (без `-v`).
|
||||
Возобновление: `docker compose up -d --wait`.
|
||||
|
||||
Готовые образы `minio/minio` и `minio/mc` оказались недоступны при проверке
|
||||
12 ноября 2026 года (Docker Hub: pull access denied; Quay: 401).
|
||||
Поэтому `infra/s3/Dockerfile` собирает официальные исходники закреплённых релизов
|
||||
[MinIO RELEASE.2025-04-22T22-12-26Z](https://github.com/minio/minio/tree/RELEASE.2025-04-22T22-12-26Z)
|
||||
и [mc RELEASE.2025-04-16T18-13-26Z](https://github.com/minio/mc/tree/RELEASE.2025-04-16T18-13-26Z)
|
||||
в Go 1.24.2. Лицензии включены в образы. Первый запуск требует интернет и время
|
||||
на скачивание Go-зависимостей и компиляцию; следующие сборки используют Docker cache.
|
||||
|
||||
## Архитектура
|
||||
|
||||
HAProxy → две FastAPI-реплики → общий PostgreSQL и приватный MinIO.
|
||||
@@ -100,23 +110,39 @@ Root credentials доступны только MinIO и init, API их не по
|
||||
Readiness зависит от PostgreSQL и MinIO. Valkey имеет fallback в PostgreSQL.
|
||||
Секреты находятся в исключённом из Git каталоге `secrets/`.
|
||||
|
||||
| Роль / service | Версия | Готовность | Постоянные данные | Доступ / credentials |
|
||||
|---|---|---|---|---|
|
||||
| LB / `lb` | HAProxy 3.0.8-alpine | HTTP `/health/ready` обеих API | нет | только `127.0.0.1:8084` |
|
||||
| API / `api1`, `api2` | Python 3.12.7; `app/requirements.txt` | PostgreSQL + MinIO | нет | внутренняя сеть; DB/S3 через secrets |
|
||||
| БД / `postgres` | PostgreSQL 16.6-bookworm | `pg_isready` | `postgres-data` | внутренняя сеть; password secret |
|
||||
| Кэш / `valkey` | Valkey 8.0.2-alpine | некритичен, fallback в БД | `valkey-data` (AOF) | внутренняя сеть |
|
||||
| S3 / `s3` | MinIO RELEASE.2025-04-22T22-12-26Z | `/minio/health/live` | `s3-data` | внутренняя сеть; root secrets |
|
||||
| Bootstrap / `s3-init` | mc RELEASE.2025-04-16T18-13-26Z | успешное завершение | bucket/policy в S3 | root + API secrets |
|
||||
| Миграции / `migrate` | образ API | успешное завершение | `schema_migrations` в БД | secrets, advisory lock, checksum миграций |
|
||||
| Очистка / `cleaner` | образ API | повтор каждые 60 s | pending в БД | ограниченные API S3 credentials |
|
||||
|
||||
Все сервисы находятся в отдельной Compose-сети `mtusi-lab4_default`.
|
||||
Повторный `bootstrap.py` сохраняет секреты; повторные `migrate` и `s3-init`
|
||||
не удаляют данные и выполняются при `docker compose up`.
|
||||
|
||||
## Проверки и доказательства
|
||||
|
||||
| Критерий | Проверка | Статус на момент подготовки |
|
||||
| Критерий | Проверка | Результат 12.11.2026 |
|
||||
|---|---|---|
|
||||
| Структура и синтаксис | `make check`, AST всех новых Python-файлов | выполнено |
|
||||
| Конфигурация | `docker compose config --quiet` | выполнено |
|
||||
| Реальные PNG/JPEG, MIME, повреждение, пиксели | `python3 student-tests/unit.py` | 5 тестов пройдено |
|
||||
| Обязательный API и checksum | `make test BASE_URL=http://localhost:8084` | требуется запуск Docker |
|
||||
| Ошибки файлов и ACL, конкуренция ключа | `BASE_URL=http://localhost:8084 python3 student-tests/verify.py` | требуется запуск Docker |
|
||||
| Приватность bucket и безопасная очистка | `student-tests/storage_checks.py` внутри API через общий runner | требуется запуск Docker |
|
||||
| Обрыв загрузки и отказ S3 | `student-tests/outage.py` | требуется запуск Docker |
|
||||
| Повторный bootstrap | повтор `docker compose run --rm s3-init` | требуется запуск Docker |
|
||||
| Перезапуск всех сервисов | persistence + `scripts/restart.sh` | требуется запуск Docker |
|
||||
| Остановка обслужившей реплики | failover + `scripts/stop-one.sh` | требуется запуск Docker |
|
||||
| 10 одновременных загрузок и RSS | `student-tests/memory.py` | измерения ещё не получены |
|
||||
| Обязательный API и checksum | `make test BASE_URL=http://localhost:8084` | PASS; вывод в `evidence/` |
|
||||
| Ошибки файлов и ACL, конкуренция ключа | `BASE_URL=http://localhost:8084 python3 student-tests/verify.py` | PASS; вывод в `evidence/` |
|
||||
| Приватность bucket и безопасная очистка | `student-tests/storage_checks.py` внутри API через общий runner | PASS; вывод в `evidence/` |
|
||||
| Обрыв загрузки и отказ S3 | `student-tests/outage.py` | PASS; вывод в `evidence/` |
|
||||
| Повторный bootstrap | повтор `docker compose run --rm s3-init` | PASS; вывод в `evidence/` |
|
||||
| Перезапуск всех сервисов | persistence + `scripts/restart.sh` | PASS; вывод в `evidence/` |
|
||||
| Остановка обслужившей реплики | failover + `scripts/stop-one.sh` | PASS; 89 записей, 3 неудачные попытки, восстановление 2.8 s |
|
||||
| Остановка именно загрузившей реплики | `student-tests/attachment_failover.py` | PASS; upload api1 → download api2; bytes совпадают |
|
||||
| 10 одновременных загрузок и RSS | `student-tests/memory.py` | 8 × 201, 2 × 503; пик RSS 132796 / 133912 KiB |
|
||||
|
||||
`python3 scripts/verify.py` выполняет проверки и сохраняет реальные результаты в evidence,
|
||||
`.venv/bin/python scripts/verify.py` выполняет проверки и сохраняет реальные результаты в evidence,
|
||||
останавливаясь при первом провале. Тест очистки создаёт только синтетические строки и объекты,
|
||||
моделирует rollback финализации после PUT, проверяет grace period и сохранность ready.
|
||||
Он удаляет только свои синтетические данные. До запуска убедитесь, что это учебный стенд.
|
||||
@@ -125,7 +151,11 @@ Memory-тест создаёт PNG примерно 9 MiB и одновреме
|
||||
Он пишет коды ответов, длительность, выборки VmRSS процессов API и измеренный максимум.
|
||||
Отказы 503 из-за ограничения слотов учитываются явно; они не записываются как успешные загрузки.
|
||||
Последовательная выборка `/proc/1/status` может пропустить короткий пик, поэтому результат —
|
||||
максимум наблюдений, а не гарантированный абсолютный пик. Числа не подставлены заранее.
|
||||
максимум наблюдений, а не гарантированный абсолютный пик. Фактический эксперимент: 10 одновременных запросов по 9 201 866 байт,
|
||||
8 ответов 201 и 2 ответа 503; время ответа 0.427–0.680 s. Наблюдаемый пик RSS:
|
||||
api1 — 132 796 KiB (129.7 MiB), api2 — 133 912 KiB (130.8 MiB), при лимите
|
||||
768 MiB на реплику. Полные выборки сохранены в `evidence/memory.json`.
|
||||
Это проверка ограниченности ресурсов, а не обещание принять любую конкуренцию без 503.
|
||||
|
||||
## Ограничения
|
||||
|
||||
@@ -134,4 +164,12 @@ Memory-тест создаёт PNG примерно 9 MiB и одновреме
|
||||
становится 503; после восстановления новые обращения повторяются клиентом.
|
||||
Обрыв S3 посреди уже начатого download закрывает поток, поэтому клиент проверяет длину/checksum.
|
||||
Нет UI, обработки изображений в очереди, presigned URL и исследовательских треков.
|
||||
Проверка реальных контейнеров и образов остаётся обязательной перед сдачей.
|
||||
Проверка реальных контейнеров выполнена; при переносе на другую машину её нужно повторить.
|
||||
|
||||
## Источники и использование ИИ
|
||||
|
||||
Основа — собственные предыдущие лабораторные и skeleton преподавателя;
|
||||
API и критерии взяты из `contracts/` и `README.md`. MinIO/mc собираются из официальных
|
||||
исходников по ссылкам выше. При проверке и исправлении работы использован Codex:
|
||||
анализ кода, исправление сборки S3, дополнительные тесты, запуск стенда и оформление
|
||||
фактических результатов. Результаты получены запуском, а не сгенерированы.
|
||||
|
||||
+8
-2
@@ -35,7 +35,10 @@ services:
|
||||
command: [valkey-server, --appendonly, 'yes', --maxmemory, 64mb, --maxmemory-policy, allkeys-lru]
|
||||
volumes: [valkey-data:/data]
|
||||
s3:
|
||||
image: minio/minio:RELEASE.2025-04-22T22-12-26Z
|
||||
build:
|
||||
context: ./infra/s3
|
||||
target: server
|
||||
image: mtusi-minio:RELEASE.2025-04-22T22-12-26Z
|
||||
command: [server, /data, --console-address, '127.0.0.1:9001']
|
||||
environment:
|
||||
MINIO_ROOT_USER_FILE: /run/secrets/s3_root_user
|
||||
@@ -48,7 +51,10 @@ services:
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
s3-init:
|
||||
image: minio/mc:RELEASE.2025-04-16T18-13-26Z
|
||||
build:
|
||||
context: ./infra/s3
|
||||
target: client
|
||||
image: mtusi-mc:RELEASE.2025-04-16T18-13-26Z
|
||||
entrypoint: [/bin/sh, /config/init.sh]
|
||||
volumes: ['./infra/s3:/config:ro']
|
||||
secrets: [s3_root_user, s3_root_password, s3_access_key_id, s3_secret_access_key]
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
Container mtusi-lab4-api1-1 Stopping
|
||||
Container mtusi-lab4-api1-1 Stopped
|
||||
Container mtusi-lab4-valkey-1 Running
|
||||
Container mtusi-lab4-s3-1 Running
|
||||
Container mtusi-lab4-api2-1 Running
|
||||
Container mtusi-lab4-postgres-1 Running
|
||||
Container mtusi-lab4-postgres-1 Waiting
|
||||
Container mtusi-lab4-s3-1 Waiting
|
||||
Container mtusi-lab4-s3-1 Healthy
|
||||
Container mtusi-lab4-postgres-1 Healthy
|
||||
Container mtusi-lab4-s3-init-1 Starting
|
||||
Container mtusi-lab4-migrate-1 Starting
|
||||
Container mtusi-lab4-s3-init-1 Started
|
||||
Container mtusi-lab4-migrate-1 Started
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-api1-1 Starting
|
||||
Container mtusi-lab4-api1-1 Started
|
||||
Container mtusi-lab4-migrate-1 Waiting
|
||||
Container mtusi-lab4-api1-1 Waiting
|
||||
Container mtusi-lab4-s3-init-1 Waiting
|
||||
Container mtusi-lab4-valkey-1 Waiting
|
||||
Container mtusi-lab4-s3-1 Waiting
|
||||
Container mtusi-lab4-api2-1 Waiting
|
||||
Container mtusi-lab4-postgres-1 Waiting
|
||||
Container mtusi-lab4-postgres-1 Healthy
|
||||
Container mtusi-lab4-api2-1 Healthy
|
||||
Container mtusi-lab4-s3-init-1 Exited
|
||||
Container mtusi-lab4-migrate-1 Exited
|
||||
Container mtusi-lab4-valkey-1 Healthy
|
||||
Container mtusi-lab4-s3-1 Healthy
|
||||
Container mtusi-lab4-api1-1 Healthy
|
||||
PASS: upload=api1, download=api2, sha256=99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75
|
||||
@@ -0,0 +1,6 @@
|
||||
Container mtusi-lab4-s3-1 Running
|
||||
Container mtusi-lab4-s3-1 Waiting
|
||||
Container mtusi-lab4-s3-1 Healthy
|
||||
Container mtusi-lab4-s3-init-run-6bff1f84d1f3 Creating
|
||||
Container mtusi-lab4-s3-init-run-6bff1f84d1f3 Created
|
||||
Private bucket and restricted API user ready
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,7 @@
|
||||
{"Service": "api1", "ID": "dfb599607e63", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "healthy", "Status": "Up 9 seconds (healthy)", "Ports": "8080/tcp"}
|
||||
{"Service": "api2", "ID": "0f6254d1d00b", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "healthy", "Status": "Up 9 seconds (healthy)", "Ports": "8080/tcp"}
|
||||
{"Service": "cleaner", "ID": "91c5a5e1aecb", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "", "Status": "Up Less than a second", "Ports": "8080/tcp"}
|
||||
{"Service": "lb", "ID": "2b763a6b13e7", "Image": "haproxy:3.0.8-alpine", "State": "running", "Health": "", "Status": "Up 10 seconds", "Ports": "127.0.0.1:8084->8080/tcp"}
|
||||
{"Service": "postgres", "ID": "1f7074602484", "Image": "postgres:16.6-bookworm", "State": "running", "Health": "healthy", "Status": "Up 10 seconds (healthy)", "Ports": "5432/tcp"}
|
||||
{"Service": "s3", "ID": "52d093feabad", "Image": "mtusi-minio:RELEASE.2025-04-22T22-12-26Z", "State": "running", "Health": "healthy", "Status": "Up 10 seconds (healthy)", "Ports": ""}
|
||||
{"Service": "valkey", "ID": "54a602e6f545", "Image": "valkey/valkey:8.0.2-alpine", "State": "running", "Health": "", "Status": "Up 10 seconds", "Ports": "6379/tcp"}
|
||||
@@ -0,0 +1,7 @@
|
||||
{"Service": "api1", "ID": "dfb599607e63", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "healthy", "Status": "Up 42 seconds (healthy)", "Ports": "8080/tcp"}
|
||||
{"Service": "api2", "ID": "0f6254d1d00b", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "healthy", "Status": "Up 42 seconds (healthy)", "Ports": "8080/tcp"}
|
||||
{"Service": "cleaner", "ID": "91c5a5e1aecb", "Image": "mtusi-messenger:lab4", "State": "running", "Health": "", "Status": "Up 8 seconds", "Ports": "8080/tcp"}
|
||||
{"Service": "lb", "ID": "2b763a6b13e7", "Image": "haproxy:3.0.8-alpine", "State": "running", "Health": "", "Status": "Up 36 seconds", "Ports": "127.0.0.1:8084->8080/tcp"}
|
||||
{"Service": "postgres", "ID": "1f7074602484", "Image": "postgres:16.6-bookworm", "State": "running", "Health": "healthy", "Status": "Up 46 seconds (healthy)", "Ports": "5432/tcp"}
|
||||
{"Service": "s3", "ID": "52d093feabad", "Image": "mtusi-minio:RELEASE.2025-04-22T22-12-26Z", "State": "running", "Health": "healthy", "Status": "Up 4 seconds (healthy)", "Ports": ""}
|
||||
{"Service": "valkey", "ID": "54a602e6f545", "Image": "valkey/valkey:8.0.2-alpine", "State": "running", "Health": "", "Status": "Up 46 seconds", "Ports": "6379/tcp"}
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8084"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 89, "failed_attempts": 3, "first_recovery_seconds": 2.8}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,68 @@
|
||||
{
|
||||
"concurrency": 10,
|
||||
"file_bytes": 9201866,
|
||||
"results": [
|
||||
{
|
||||
"status": 503,
|
||||
"seconds": 0.597
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.489
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.68
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.624
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.427
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.673
|
||||
},
|
||||
{
|
||||
"status": 503,
|
||||
"seconds": 0.57
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.493
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.455
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.645
|
||||
}
|
||||
],
|
||||
"samples": [
|
||||
{
|
||||
"seconds": 0.0,
|
||||
"api1_rss_kib": 107580,
|
||||
"api2_rss_kib": 109104
|
||||
},
|
||||
{
|
||||
"seconds": 0.309,
|
||||
"api1_rss_kib": 128832,
|
||||
"api2_rss_kib": 133908
|
||||
},
|
||||
{
|
||||
"seconds": 0.639,
|
||||
"api1_rss_kib": 132796,
|
||||
"api2_rss_kib": 133912
|
||||
}
|
||||
],
|
||||
"peak_rss_kib": {
|
||||
"api1": 132796,
|
||||
"api2": 133912
|
||||
},
|
||||
"sampling_note": "Sequential /proc sampling; very brief peaks may be missed. 503 is explicit admission control."
|
||||
}
|
||||
@@ -0,0 +1,51 @@
|
||||
{
|
||||
"concurrency": 10,
|
||||
"file_bytes": 9201866,
|
||||
"results": [
|
||||
{
|
||||
"status": 503,
|
||||
"seconds": 0.597
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.489
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.68
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.624
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.427
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.673
|
||||
},
|
||||
{
|
||||
"status": 503,
|
||||
"seconds": 0.57
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.493
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.455
|
||||
},
|
||||
{
|
||||
"status": 201,
|
||||
"seconds": 0.645
|
||||
}
|
||||
],
|
||||
"peak_rss_kib": {
|
||||
"api1": 132796,
|
||||
"api2": 133912
|
||||
},
|
||||
"sampling_note": "Sequential /proc sampling; very brief peaks may be missed. 503 is explicit admission control."
|
||||
}
|
||||
@@ -0,0 +1,9 @@
|
||||
PASS: interrupted upload did not create an attachment
|
||||
Container mtusi-lab4-s3-1 Stopping
|
||||
Container mtusi-lab4-s3-1 Stopped
|
||||
PASS: unavailable S3 returns 503 from API
|
||||
Container mtusi-lab4-s3-1 Starting
|
||||
Container mtusi-lab4-s3-1 Started
|
||||
Container mtusi-lab4-s3-1 Waiting
|
||||
Container mtusi-lab4-s3-1 Healthy
|
||||
PASS: S3 recovery preserves the original bytes
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8084"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "http://localhost:8084"
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: private bucket, failed finalization recovery, active lock protection, grace period, ready protection, repeated cleanup
|
||||
@@ -0,0 +1 @@
|
||||
PASS: JPEG round-trip, invalid files, ACL, cross-chat references, concurrent idempotency
|
||||
@@ -0,0 +1,10 @@
|
||||
test_mime_substitution (__main__.Images) ... ok
|
||||
test_not_image (__main__.Images) ... ok
|
||||
test_pixel_limit_before_decode (__main__.Images) ... ok
|
||||
test_png_and_jpeg (__main__.Images) ... ok
|
||||
test_truncated_pixels (__main__.Images) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 5 tests in 0.714s
|
||||
|
||||
OK
|
||||
@@ -0,0 +1,4 @@
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
/Users/sleepy13/Desktop/projects/vp/mtusi2026lab4/.venv/lib/python3.9/site-packages/urllib3/__init__.py:35: NotOpenSSLWarning: urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'. See: https://github.com/urllib3/urllib3/issues/3020
|
||||
warnings.warn(
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,23 @@
|
||||
# Build the pinned upstream releases: public MinIO registry images are unavailable.
|
||||
FROM golang:1.24.2-bookworm AS minio-build
|
||||
WORKDIR /src
|
||||
RUN curl -fsSL https://codeload.github.com/minio/minio/tar.gz/refs/tags/RELEASE.2025-04-22T22-12-26Z | tar xz --strip-components=1
|
||||
RUN CGO_ENABLED=0 go build -trimpath -o /out/minio .
|
||||
|
||||
FROM golang:1.24.2-bookworm AS mc-build
|
||||
WORKDIR /src
|
||||
RUN curl -fsSL https://codeload.github.com/minio/mc/tar.gz/refs/tags/RELEASE.2025-04-16T18-13-26Z | tar xz --strip-components=1
|
||||
RUN CGO_ENABLED=0 go build -trimpath -o /out/mc .
|
||||
|
||||
FROM debian:bookworm-20250407-slim AS runtime
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends ca-certificates curl && rm -rf /var/lib/apt/lists/*
|
||||
|
||||
FROM runtime AS server
|
||||
COPY --from=minio-build /out/minio /usr/local/bin/minio
|
||||
COPY --from=minio-build /src/LICENSE /usr/share/licenses/minio/LICENSE
|
||||
ENTRYPOINT ["minio"]
|
||||
|
||||
FROM runtime AS client
|
||||
COPY --from=mc-build /out/mc /usr/local/bin/mc
|
||||
COPY --from=mc-build /src/LICENSE /usr/share/licenses/mc/LICENSE
|
||||
ENTRYPOINT ["mc"]
|
||||
+9
-2
@@ -1,5 +1,6 @@
|
||||
"""Run all checks and save actual outputs. Stop on the first failure."""
|
||||
import os
|
||||
import json
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
@@ -10,8 +11,13 @@ os.environ.setdefault('BASE_URL','http://localhost:8084')
|
||||
|
||||
def run(name, args, stdin=None):
|
||||
result=subprocess.run(args,input=stdin,text=True,stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
|
||||
(root/'evidence'/name).write_text(result.stdout)
|
||||
print(result.stdout,end='')
|
||||
output = result.stdout
|
||||
if name.startswith('containers-') and result.returncode == 0:
|
||||
fields = ('Service', 'ID', 'Image', 'State', 'Health', 'Status', 'Ports')
|
||||
output = '\n'.join(json.dumps({key: row.get(key) for key in fields})
|
||||
for row in map(json.loads, output.splitlines())) + '\n'
|
||||
(root/'evidence'/name).write_text(output)
|
||||
print(output,end='')
|
||||
if result.returncode:
|
||||
raise SystemExit(result.returncode)
|
||||
|
||||
@@ -36,5 +42,6 @@ finally:
|
||||
subprocess.run(['docker','compose','start','api1','api2'],check=True)
|
||||
# Compose waits for the API's actual readiness after restoring the replica.
|
||||
subprocess.run(['docker','compose','up','-d','--wait','api1','api2'],check=True)
|
||||
run('attachment-failover.txt',[sys.executable,'student-tests/attachment_failover.py'])
|
||||
run('memory.txt',[sys.executable,'student-tests/memory.py'])
|
||||
print('All requested checks passed; actual results are in evidence/.')
|
||||
|
||||
@@ -0,0 +1,34 @@
|
||||
"""Stop the exact replica that accepted the upload, then compare original bytes."""
|
||||
import hashlib
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, Failure, check
|
||||
|
||||
c = Client(timeout=10)
|
||||
a, b, _, chat = c.bootstrap()
|
||||
png = (Path(__file__).resolve().parents[1] / 'tests/fixtures/sample.png').read_bytes()
|
||||
result = c.call('POST', '/api/v1/chats/' + chat['id'] + '/attachments?filename=failover.png',
|
||||
201, actor=a, raw=png, headers={'Content-Type': 'image/png'}, schema='Attachment')
|
||||
target = result['headers']['X-Instance-Id']
|
||||
check(target in ('api1', 'api2'), 'unknown upload replica')
|
||||
try:
|
||||
subprocess.run(['docker', 'compose', 'stop', target], check=True)
|
||||
deadline = time.monotonic() + 20
|
||||
while True:
|
||||
try:
|
||||
downloaded = c.call('GET', '/api/v1/attachments/' + result['json']['id'] + '/content', actor=b)
|
||||
break
|
||||
except Failure:
|
||||
if time.monotonic() >= deadline:
|
||||
raise
|
||||
time.sleep(0.5)
|
||||
check(downloaded['headers']['X-Instance-Id'] != target, 'uploader still serves download')
|
||||
check(downloaded['bytes'] == png, 'original changed after uploader stopped')
|
||||
print('PASS: upload=' + target + ', download=' + downloaded['headers']['X-Instance-Id']
|
||||
+ ', sha256=' + hashlib.sha256(png).hexdigest())
|
||||
finally:
|
||||
subprocess.run(['docker', 'compose', 'up', '-d', '--wait', 'api1', 'api2'], check=True)
|
||||
@@ -38,6 +38,12 @@ try:
|
||||
with psycopg.connect(dsn) as db:
|
||||
db.execute("UPDATE attachments SET status='ready' WHERE id=%s", (ids[0],))
|
||||
db.rollback()
|
||||
# Even an old intent must survive while a live finalization holds its lock.
|
||||
with psycopg.connect(dsn) as active:
|
||||
active.execute('SELECT id FROM attachments WHERE id=%s FOR UPDATE', (ids[0],))
|
||||
sweep()
|
||||
storage.client.head_object(Bucket=storage.BUCKET, Key=keys[0])
|
||||
assert active.execute('SELECT status FROM attachments WHERE id=%s', (ids[0],)).fetchone()[0] == 'pending'
|
||||
sweep()
|
||||
sweep() # Idempotent after completion.
|
||||
with psycopg.connect(dsn) as db:
|
||||
@@ -50,7 +56,7 @@ try:
|
||||
assert error.response['ResponseMetadata']['HTTPStatusCode']==404
|
||||
for key in keys[1:]:
|
||||
storage.client.head_object(Bucket=storage.BUCKET,Key=key)
|
||||
print('PASS: private bucket, failed finalization recovery, grace period, ready protection, repeated cleanup')
|
||||
print('PASS: private bucket, failed finalization recovery, active lock protection, grace period, ready protection, repeated cleanup')
|
||||
finally:
|
||||
for key in keys:
|
||||
storage.client.delete_object(Bucket=storage.BUCKET,Key=key)
|
||||
|
||||
+14
-1
@@ -1,11 +1,13 @@
|
||||
"""Black-box grade-4 checks; creates only synthetic data on the local lab."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
from pathlib import Path
|
||||
import sys
|
||||
import threading
|
||||
import uuid
|
||||
from PIL import Image
|
||||
from urllib.parse import quote
|
||||
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests'))
|
||||
from client import Client, check
|
||||
@@ -14,6 +16,17 @@ c = Client(timeout=45)
|
||||
a,b,e,chat = c.bootstrap()
|
||||
base = '/api/v1/chats/' + chat['id']
|
||||
att, png = c.attachment(a, chat)
|
||||
# Exercise the second supported format through both stores, not only Pillow.
|
||||
jpeg_file = io.BytesIO()
|
||||
Image.new('RGB', (320, 200), (20, 30, 40)).save(jpeg_file, 'JPEG')
|
||||
jpeg = jpeg_file.getvalue()
|
||||
jpeg_att = c.call('POST', base+'/attachments?filename=photo.jpg', 201, actor=a,
|
||||
raw=jpeg, headers={'Content-Type': 'image/jpeg'}, schema='Attachment')['json']
|
||||
check(jpeg_att['sha256'] == hashlib.sha256(jpeg).hexdigest(), 'JPEG checksum differs')
|
||||
check(jpeg_att['size_bytes'] == len(jpeg), 'JPEG length differs')
|
||||
jpeg_download = c.call('GET', '/api/v1/attachments/'+jpeg_att['id']+'/content', actor=b)
|
||||
check(jpeg_download['bytes'] == jpeg, 'JPEG original differs')
|
||||
check(jpeg_download['headers'].get_content_type() == 'image/jpeg', 'JPEG MIME differs')
|
||||
for name in ['../x.png', 'a\\b.png', '\x00.png', '\n.png']:
|
||||
c.call('POST', base+'/attachments?filename='+quote(name, safe=''), 400, actor=a,
|
||||
raw=png, headers={'Content-Type':'image/png'})
|
||||
@@ -43,4 +56,4 @@ c.call('POST',base+'/messages',409,actor=a,body={'text':'different'},headers={'I
|
||||
# Default [] and explicit [] are equivalent.
|
||||
c.call('POST',base+'/messages',201,actor=a,body={'text':'one logical message','attachment_ids':[]},
|
||||
headers={'Idempotency-Key':key},schema='Message')
|
||||
print('PASS: invalid files, ACL, cross-chat references, concurrent idempotency')
|
||||
print('PASS: JPEG round-trip, invalid files, ACL, cross-chat references, concurrent idempotency')
|
||||
|
||||
Reference in New Issue
Block a user