fix(lab5): complete submission checks and portable bootstrap

This commit is contained in:
kolya5544
2026-11-12 04:08:01 +03:00
parent 5dbb905364
commit 2773115e1c
4 changed files with 71 additions and 9 deletions
+2
View File
@@ -0,0 +1,2 @@
# Keep shell hooks runnable after a Windows clone with core.autocrlf=true.
*.sh text eol=lf
+25
View File
@@ -0,0 +1,25 @@
name: Application smoke
on: [push, pull_request]
permissions:
contents: read
jobs:
application:
runs-on: ubuntu-latest
timeout-minutes: 15
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: '3.12'
- name: Prepare isolated lab credentials
run: |
sh scripts/init-secrets.sh
cp .env.example .env
docker compose --env-file .env config --quiet
- name: Build and wait for application
run: docker compose --env-file .env up -d --build --wait --wait-timeout 120
- name: Check contract and public scenario
run: make check test PYTHON=python BASE_URL=http://127.0.0.1:8080
- name: Stop disposable CI stack
if: always()
run: docker compose --env-file .env down
+14 -6
View File
@@ -2,7 +2,7 @@
- Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302
- Целевая оценка; выбранный трек 5, если нужен: **5**, трек 1 «Очередь под перегрузкой»
- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5); ссылка на PR добавляется после открытия
- Commit/PR: [PR №52](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab5/pulls/52), ветка `solution/bpi2302-kushnarenko` из [форка kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5) в `mtusi2026/mtusi2026lab5:main`; проверенная базовая реализация — `5dbb905`.
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore, aio-pika (RabbitMQ), Pillow (обработка изображений); RabbitMQ 4.1.8, SeaweedFS 4.48, PostgreSQL 17, Valkey 8, HAProxy 3.0. Код lab4 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, исправил перенос reconciler, усилил методику исследования и выполнил реальные запуски 12.11.2026
## Запуск из чистого clone
@@ -43,11 +43,19 @@ outbox ──relay (в API и worker, SKIP LOCKED)──▶ RabbitMQ (quorum, pe
worker: claim(queued→processing, lease) → staging → thumbnail/crop/WebP → S3 att/<id>/… → ОДНА транзакция: варианты + ready → ack → очистка staging
```
| Роль | Сервис | Health | Volume | Credentials |
| --- | --- | --- | --- | --- |
| Брокер | `rabbitmq` 4.1.8 | `rabbitmq-diagnostics ping` | `rabbitmqdata` | secret `rabbitmq.conf`; клиентам — secret `broker_url` |
| Worker | `worker` (отдельный процесс, тот же образ; 1 CPU / 768 MiB) | heartbeat-файл (<30 с) | — | secrets БД/S3/брокер |
| остальные | как в lab4 | | | |
Все сервисы находятся в сети Compose `backend`; наружу опубликован только LB. Полные digest перечислены в compose.yaml и Dockerfile.
| Роль → service name | Образ / ресурсы | Health/readiness | Volume | Порт | Credentials |
| --- | --- | --- | --- | --- | --- |
| API → `api` × 2 | собственный образ, Python 3.12.12; по 1 CPU / 256 MiB | `/health/ready`, отдельно `/health/live` | нет локального состояния | 8080, только backend | файловые secrets database_url, S3, broker_url |
| БД → `postgres` | PostgreSQL 17.11; 1 CPU / 512 MiB | `pg_isready` | `pgdata` | 5432, backend | postgres_password; клиентам database_url |
| Кэш сессий → `valkey` | Valkey 8.1.10; 0.5 CPU / 128 MiB | `valkey-cli ping` | `valkeydata`, AOF | 6379, backend | отдельного пароля нет; не опубликован на host |
| S3 → `seaweedfs` | SeaweedFS 4.48; 1 CPU / 768 MiB | master cluster status + S3 socket; restart hook дополнительно читает объекты | `seaweeddata` | 8333 и внутренние служебные порты, backend | seaweed_s3_config; admin только для bootstrap, API-ключ ограничен bucket |
| Брокер → `rabbitmq` | RabbitMQ 4.1.8; 1 CPU / 512 MiB | `rabbitmq-diagnostics ping` | `rabbitmqdata` | 5672, backend | rabbitmq_conf; клиентам broker_url |
| Worker → `worker` | собственный образ, Python 3.12.12; 1 CPU / 768 MiB | heartbeat-файл моложе 30 с | нет локального устойчивого состояния | нет слушающего порта | файловые secrets БД/S3/брокер |
| Балансировщик → `lb` | HAProxy 3.0; 1 CPU / 128 MiB | внутренний `:8081/healthz`; backend checks API | конфигурация read-only | **127.0.0.1:8080** | credentials не нужны |
Bootstrap: init-secrets.sh создаёт недостающие локальные файлы без перезаписи; migrate применяет версионные SQL-миграции; s3-init создаёт bucket при отсутствии и проверяет права; API/worker идемпотентно объявляют durable RabbitMQ topology. Повтор s3-init проверен дважды. Секреты и volumes не переносятся из предыдущей лабораторной. `.gitattributes` сохраняет LF в shell hooks при Windows clone.
- **Границы приёма (до 202)**: байты проверены (формат, целостность, размеры) и записаны в **устойчивый staging** (приватный S3-prefix `staging/<id>`, не локальный диск); метаданные и **намерение обработки** записаны одной транзакцией PostgreSQL (таблицы `attachments` и `outbox`). Только после COMMIT клиент получает `202` со снимком `status=queued`. Если брокер недоступен — это не мешает приёму: задание остаётся в outbox и публикуется позже. HTTP-передача байт клиентом по-прежнему синхронна (честная граница: staging уже в S3).
- **Состояния и переходы** (`contracts/attachment-states.md`): `queued → processing → ready | failed`; `processing → queued` при временной ошибке (backoff) и при истечении lease (sweeper); `failed → queued` только явным операторским replay. Повторная доставка готовой задачи — no-op с ack; завершённое состояние не откатывается дубликатом. Условия UPDATE (`status='queued'`, `lease_owner=…`) исключают конкурирующую запись.
+30 -3
View File
@@ -4,7 +4,7 @@
Часть A — матрица: concurrency/prefetch worker {1, 2, 4} × размер изображений {small 320x200 PNG, medium 2400x1600 PNG,
large 6000x4000 JPEG}. Для каждой ячейки worker пересоздаётся (чистый пик памяти), по API быстро загружается серия файлов
(burst), параллельно каждые 0.5 с снимаются глубина очереди и возраст старейшей задачи. Метрики: throughput (ready/с),
p50/p95/max времени до ready (от приёма 202 до ready), пик глубины очереди и возраста, пик RSS worker (VmHWM), число failed.
p50/p95/p99/max времени до ready, глубина/возраст очереди, RSS и CPU worker, ошибки HTTP и число failed.
Часть B — backpressure и восстановление: MAX_QUEUED_JOBS=30, worker concurrency 1, burst 200 мелких файлов 32 клиентами:
API ограничивает приём по порогу очереди и отвечает 503 + Retry-After (возможен конкурентный overshoot);
принятые задания не теряются (все ready);
@@ -117,6 +117,26 @@ def worker_peak_rss():
return None
def worker_cpu_snapshot():
# /proc/1/stat includes CPU time of the worker's threads. No cgroup version dependency.
code = ("import json,os,time; s=open('/proc/1/stat').read().rsplit(')',1)[1].split(); "
"print(json.dumps({'cpu_s':(int(s[11])+int(s[12]))/os.sysconf('SC_CLK_TCK'), "
"'monotonic_s':time.monotonic()}))")
return json.loads(sh("docker", "compose", "exec", "-T", "worker", "python", "-c", code))
def interval_metrics(before, after, statuses):
elapsed = after["monotonic_s"] - before["monotonic_s"]
cpu = after["cpu_s"] - before["cpu_s"]
attempts = sum(statuses.values())
errors = sum(n for status, n in statuses.items() if not 200 <= int(status) < 300)
assert elapsed > 0 and cpu >= 0 and attempts > 0
return {"measurement_window_s": round(elapsed, 3), "worker_cpu_seconds": round(cpu, 3),
"worker_cpu_percent_one_core": round(100 * cpu / elapsed, 2),
"http_non_2xx_fraction": errors / attempts,
"accepted_http_rps_over_window": round(statuses.get("202", 0) / elapsed, 2)}
async def burst(s, token, chat, data, n, clients, retry_503=False):
"""Загружает n файлов клиентами; возвращает (accepted ids, rejected, attempts_statuses)."""
accepted, statuses, sem = [], {}, asyncio.Semaphore(clients)
@@ -175,7 +195,7 @@ def stats_for(ids):
ttr.sort()
pct = lambda p: round(ttr[max(0, math.ceil(p * len(ttr)) - 1)], 2) if ttr else None # noqa: E731
span = (last - first) if first is not None else None
return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "max_s": round(max(ttr), 2) if ttr else None,
return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "p99_s": pct(0.99), "max_s": round(max(ttr), 2) if ttr else None,
"throughput_per_s": round(ready / span, 2) if span else None, "span_s": round(span, 1) if span else None}
@@ -192,12 +212,14 @@ async def part_a(args, images):
assert limits == {"memory_bytes": 768 * 1024 * 1024, "nano_cpus": 1000000000}, limits
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=16, force_close=True)) as s:
token, chat = await register(s)
cpu_before = worker_cpu_snapshot()
sampler = QueueSampler()
sampler.start()
t0 = time.time()
ids, statuses, observed = await burst(s, token, chat, images[size], n, 8)
accepted_in = time.time() - t0
done = wait_all(ids, 400)
cpu_after = worker_cpu_snapshot()
sampler.stop.set()
sampler.join()
cell = {"concurrency": conc, "image": size, "image_kib": round(len(images[size]) / 1024), "uploads": n, "accepted": len(ids),
@@ -206,6 +228,8 @@ async def part_a(args, images):
"peak_oldest_age_s": round(max((x[2] for x in sampler.samples), default=0), 1), "worker_peak_rss_mib": worker_peak_rss(),
"worker_oom_killed": sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", sh("docker", "compose", "--env-file", ".env", "ps", "-q", "worker").split()[0])}
cell.update(stats_for(ids))
cell.update(interval_metrics(cpu_before, cpu_after, statuses))
cell["attachment_ids"] = ids
print(json.dumps(cell, ensure_ascii=False))
cells.append(cell)
with open(os.path.join(args.out, "matrix_progress.json"), "w", encoding="utf-8") as fh:
@@ -222,12 +246,14 @@ async def part_b(args, images):
recreate("worker", {"WORKER_CONCURRENCY": "1"})
async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=64, force_close=True)) as s:
token, chat = await register(s)
cpu_before = worker_cpu_snapshot()
sampler = QueueSampler()
sampler.start()
t0 = time.time()
ids, statuses, observed = await burst(s, token, chat, images["small"] if not args.b_medium else images["medium"], args.burst, 32, retry_503=False)
accepted_in = time.time() - t0
done = wait_all(ids, 300)
cpu_after = worker_cpu_snapshot()
drained_after = time.time() - t0
sampler.stop.set()
sampler.join()
@@ -242,7 +268,8 @@ async def part_b(args, images):
"retry_after_header_seen": valid_retry_after, "retry_after_values": sorted(set(throttled), key=str),
"transport_errors": observed["transport_errors"], "recovered_new_uploads_accepted": len(extra) == 3,
"recovered_new_uploads_ready": extra_done and stats_for(extra)["ready"] == 3,
"no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids), **{k: v for k, v in stats_for(ids).items() if k in ("ready", "failed", "p95_s")}}
"no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids),
**stats_for(ids), **interval_metrics(cpu_before, cpu_after, statuses), "attachment_ids": ids}
print(json.dumps(res, ensure_ascii=False))
with open(os.path.join(args.out, "backpressure_progress.json"), "w", encoding="utf-8") as fh:
json.dump(res, fh, ensure_ascii=False, indent=2)