forked from mtusi2026/mtusi2026lab5
fix(lab5): complete submission checks and portable bootstrap
This commit is contained in:
@@ -0,0 +1,2 @@
|
||||
# Keep shell hooks runnable after a Windows clone with core.autocrlf=true.
|
||||
*.sh text eol=lf
|
||||
@@ -0,0 +1,25 @@
|
||||
name: Application smoke
|
||||
on: [push, pull_request]
|
||||
permissions:
|
||||
contents: read
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 15
|
||||
steps:
|
||||
- uses: actions/checkout@v4
|
||||
- uses: actions/setup-python@v5
|
||||
with:
|
||||
python-version: '3.12'
|
||||
- name: Prepare isolated lab credentials
|
||||
run: |
|
||||
sh scripts/init-secrets.sh
|
||||
cp .env.example .env
|
||||
docker compose --env-file .env config --quiet
|
||||
- name: Build and wait for application
|
||||
run: docker compose --env-file .env up -d --build --wait --wait-timeout 120
|
||||
- name: Check contract and public scenario
|
||||
run: make check test PYTHON=python BASE_URL=http://127.0.0.1:8080
|
||||
- name: Stop disposable CI stack
|
||||
if: always()
|
||||
run: docker compose --env-file .env down
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302
|
||||
- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 1 «Очередь под перегрузкой»
|
||||
- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5); ссылка на PR добавляется после открытия
|
||||
- Commit/PR: [PR №52](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab5/pulls/52), ветка `solution/bpi2302-kushnarenko` из [форка kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5) в `mtusi2026/mtusi2026lab5:main`; проверенная базовая реализация — `5dbb905`.
|
||||
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore, aio-pika (RabbitMQ), Pillow (обработка изображений); RabbitMQ 4.1.8, SeaweedFS 4.48, PostgreSQL 17, Valkey 8, HAProxy 3.0. Код lab4 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, исправил перенос reconciler, усилил методику исследования и выполнил реальные запуски 12.11.2026
|
||||
|
||||
## Запуск из чистого clone
|
||||
@@ -43,11 +43,19 @@ outbox ──relay (в API и worker, SKIP LOCKED)──▶ RabbitMQ (quorum, pe
|
||||
worker: claim(queued→processing, lease) → staging → thumbnail/crop/WebP → S3 att/<id>/… → ОДНА транзакция: варианты + ready → ack → очистка staging
|
||||
```
|
||||
|
||||
| Роль | Сервис | Health | Volume | Credentials |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| Брокер | `rabbitmq` 4.1.8 | `rabbitmq-diagnostics ping` | `rabbitmqdata` | secret `rabbitmq.conf`; клиентам — secret `broker_url` |
|
||||
| Worker | `worker` (отдельный процесс, тот же образ; 1 CPU / 768 MiB) | heartbeat-файл (<30 с) | — | secrets БД/S3/брокер |
|
||||
| остальные | как в lab4 | | | |
|
||||
Все сервисы находятся в сети Compose `backend`; наружу опубликован только LB. Полные digest перечислены в compose.yaml и Dockerfile.
|
||||
|
||||
| Роль → service name | Образ / ресурсы | Health/readiness | Volume | Порт | Credentials |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| API → `api` × 2 | собственный образ, Python 3.12.12; по 1 CPU / 256 MiB | `/health/ready`, отдельно `/health/live` | нет локального состояния | 8080, только backend | файловые secrets database_url, S3, broker_url |
|
||||
| БД → `postgres` | PostgreSQL 17.11; 1 CPU / 512 MiB | `pg_isready` | `pgdata` | 5432, backend | postgres_password; клиентам database_url |
|
||||
| Кэш сессий → `valkey` | Valkey 8.1.10; 0.5 CPU / 128 MiB | `valkey-cli ping` | `valkeydata`, AOF | 6379, backend | отдельного пароля нет; не опубликован на host |
|
||||
| S3 → `seaweedfs` | SeaweedFS 4.48; 1 CPU / 768 MiB | master cluster status + S3 socket; restart hook дополнительно читает объекты | `seaweeddata` | 8333 и внутренние служебные порты, backend | seaweed_s3_config; admin только для bootstrap, API-ключ ограничен bucket |
|
||||
| Брокер → `rabbitmq` | RabbitMQ 4.1.8; 1 CPU / 512 MiB | `rabbitmq-diagnostics ping` | `rabbitmqdata` | 5672, backend | rabbitmq_conf; клиентам broker_url |
|
||||
| Worker → `worker` | собственный образ, Python 3.12.12; 1 CPU / 768 MiB | heartbeat-файл моложе 30 с | нет локального устойчивого состояния | нет слушающего порта | файловые secrets БД/S3/брокер |
|
||||
| Балансировщик → `lb` | HAProxy 3.0; 1 CPU / 128 MiB | внутренний `:8081/healthz`; backend checks API | конфигурация read-only | **127.0.0.1:8080** | credentials не нужны |
|
||||
|
||||
Bootstrap: init-secrets.sh создаёт недостающие локальные файлы без перезаписи; migrate применяет версионные SQL-миграции; s3-init создаёт bucket при отсутствии и проверяет права; API/worker идемпотентно объявляют durable RabbitMQ topology. Повтор s3-init проверен дважды. Секреты и volumes не переносятся из предыдущей лабораторной. `.gitattributes` сохраняет LF в shell hooks при Windows clone.
|
||||
|
||||
- **Границы приёма (до 202)**: байты проверены (формат, целостность, размеры) и записаны в **устойчивый staging** (приватный S3-prefix `staging/<id>`, не локальный диск); метаданные и **намерение обработки** записаны одной транзакцией PostgreSQL (таблицы `attachments` и `outbox`). Только после COMMIT клиент получает `202` со снимком `status=queued`. Если брокер недоступен — это не мешает приёму: задание остаётся в outbox и публикуется позже. HTTP-передача байт клиентом по-прежнему синхронна (честная граница: staging уже в S3).
|
||||
- **Состояния и переходы** (`contracts/attachment-states.md`): `queued → processing → ready | failed`; `processing → queued` при временной ошибке (backoff) и при истечении lease (sweeper); `failed → queued` только явным операторским replay. Повторная доставка готовой задачи — no-op с ack; завершённое состояние не откатывается дубликатом. Условия UPDATE (`status='queued'`, `lease_owner=…`) исключают конкурирующую запись.
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
Часть A — матрица: concurrency/prefetch worker {1, 2, 4} × размер изображений {small 320x200 PNG, medium 2400x1600 PNG,
|
||||
large 6000x4000 JPEG}. Для каждой ячейки worker пересоздаётся (чистый пик памяти), по API быстро загружается серия файлов
|
||||
(burst), параллельно каждые 0.5 с снимаются глубина очереди и возраст старейшей задачи. Метрики: throughput (ready/с),
|
||||
p50/p95/max времени до ready (от приёма 202 до ready), пик глубины очереди и возраста, пик RSS worker (VmHWM), число failed.
|
||||
p50/p95/p99/max времени до ready, глубина/возраст очереди, RSS и CPU worker, ошибки HTTP и число failed.
|
||||
Часть B — backpressure и восстановление: MAX_QUEUED_JOBS=30, worker concurrency 1, burst 200 мелких файлов 32 клиентами:
|
||||
API ограничивает приём по порогу очереди и отвечает 503 + Retry-After (возможен конкурентный overshoot);
|
||||
принятые задания не теряются (все ready);
|
||||
@@ -117,6 +117,26 @@ def worker_peak_rss():
|
||||
return None
|
||||
|
||||
|
||||
def worker_cpu_snapshot():
|
||||
# /proc/1/stat includes CPU time of the worker's threads. No cgroup version dependency.
|
||||
code = ("import json,os,time; s=open('/proc/1/stat').read().rsplit(')',1)[1].split(); "
|
||||
"print(json.dumps({'cpu_s':(int(s[11])+int(s[12]))/os.sysconf('SC_CLK_TCK'), "
|
||||
"'monotonic_s':time.monotonic()}))")
|
||||
return json.loads(sh("docker", "compose", "exec", "-T", "worker", "python", "-c", code))
|
||||
|
||||
|
||||
def interval_metrics(before, after, statuses):
|
||||
elapsed = after["monotonic_s"] - before["monotonic_s"]
|
||||
cpu = after["cpu_s"] - before["cpu_s"]
|
||||
attempts = sum(statuses.values())
|
||||
errors = sum(n for status, n in statuses.items() if not 200 <= int(status) < 300)
|
||||
assert elapsed > 0 and cpu >= 0 and attempts > 0
|
||||
return {"measurement_window_s": round(elapsed, 3), "worker_cpu_seconds": round(cpu, 3),
|
||||
"worker_cpu_percent_one_core": round(100 * cpu / elapsed, 2),
|
||||
"http_non_2xx_fraction": errors / attempts,
|
||||
"accepted_http_rps_over_window": round(statuses.get("202", 0) / elapsed, 2)}
|
||||
|
||||
|
||||
async def burst(s, token, chat, data, n, clients, retry_503=False):
|
||||
"""Загружает n файлов клиентами; возвращает (accepted ids, rejected, attempts_statuses)."""
|
||||
accepted, statuses, sem = [], {}, asyncio.Semaphore(clients)
|
||||
@@ -175,7 +195,7 @@ def stats_for(ids):
|
||||
ttr.sort()
|
||||
pct = lambda p: round(ttr[max(0, math.ceil(p * len(ttr)) - 1)], 2) if ttr else None # noqa: E731
|
||||
span = (last - first) if first is not None else None
|
||||
return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "max_s": round(max(ttr), 2) if ttr else None,
|
||||
return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "p99_s": pct(0.99), "max_s": round(max(ttr), 2) if ttr else None,
|
||||
"throughput_per_s": round(ready / span, 2) if span else None, "span_s": round(span, 1) if span else None}
|
||||
|
||||
|
||||
@@ -192,12 +212,14 @@ async def part_a(args, images):
|
||||
assert limits == {"memory_bytes": 768 * 1024 * 1024, "nano_cpus": 1000000000}, limits
|
||||
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=16, force_close=True)) as s:
|
||||
token, chat = await register(s)
|
||||
cpu_before = worker_cpu_snapshot()
|
||||
sampler = QueueSampler()
|
||||
sampler.start()
|
||||
t0 = time.time()
|
||||
ids, statuses, observed = await burst(s, token, chat, images[size], n, 8)
|
||||
accepted_in = time.time() - t0
|
||||
done = wait_all(ids, 400)
|
||||
cpu_after = worker_cpu_snapshot()
|
||||
sampler.stop.set()
|
||||
sampler.join()
|
||||
cell = {"concurrency": conc, "image": size, "image_kib": round(len(images[size]) / 1024), "uploads": n, "accepted": len(ids),
|
||||
@@ -206,6 +228,8 @@ async def part_a(args, images):
|
||||
"peak_oldest_age_s": round(max((x[2] for x in sampler.samples), default=0), 1), "worker_peak_rss_mib": worker_peak_rss(),
|
||||
"worker_oom_killed": sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", sh("docker", "compose", "--env-file", ".env", "ps", "-q", "worker").split()[0])}
|
||||
cell.update(stats_for(ids))
|
||||
cell.update(interval_metrics(cpu_before, cpu_after, statuses))
|
||||
cell["attachment_ids"] = ids
|
||||
print(json.dumps(cell, ensure_ascii=False))
|
||||
cells.append(cell)
|
||||
with open(os.path.join(args.out, "matrix_progress.json"), "w", encoding="utf-8") as fh:
|
||||
@@ -222,12 +246,14 @@ async def part_b(args, images):
|
||||
recreate("worker", {"WORKER_CONCURRENCY": "1"})
|
||||
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=64, force_close=True)) as s:
|
||||
token, chat = await register(s)
|
||||
cpu_before = worker_cpu_snapshot()
|
||||
sampler = QueueSampler()
|
||||
sampler.start()
|
||||
t0 = time.time()
|
||||
ids, statuses, observed = await burst(s, token, chat, images["small"] if not args.b_medium else images["medium"], args.burst, 32, retry_503=False)
|
||||
accepted_in = time.time() - t0
|
||||
done = wait_all(ids, 300)
|
||||
cpu_after = worker_cpu_snapshot()
|
||||
drained_after = time.time() - t0
|
||||
sampler.stop.set()
|
||||
sampler.join()
|
||||
@@ -242,7 +268,8 @@ async def part_b(args, images):
|
||||
"retry_after_header_seen": valid_retry_after, "retry_after_values": sorted(set(throttled), key=str),
|
||||
"transport_errors": observed["transport_errors"], "recovered_new_uploads_accepted": len(extra) == 3,
|
||||
"recovered_new_uploads_ready": extra_done and stats_for(extra)["ready"] == 3,
|
||||
"no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids), **{k: v for k, v in stats_for(ids).items() if k in ("ready", "failed", "p95_s")}}
|
||||
"no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids),
|
||||
**stats_for(ids), **interval_metrics(cpu_before, cpu_after, statuses), "attachment_ids": ids}
|
||||
print(json.dumps(res, ensure_ascii=False))
|
||||
with open(os.path.join(args.out, "backpressure_progress.json"), "w", encoding="utf-8") as fh:
|
||||
json.dump(res, fh, ensure_ascii=False, indent=2)
|
||||
|
||||
Reference in New Issue
Block a user