diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..b759e5b --- /dev/null +++ b/.gitattributes @@ -0,0 +1,2 @@ +# Keep shell hooks runnable after a Windows clone with core.autocrlf=true. +*.sh text eol=lf diff --git a/.github/workflows/application.yml b/.github/workflows/application.yml new file mode 100644 index 0000000..a6996f2 --- /dev/null +++ b/.github/workflows/application.yml @@ -0,0 +1,25 @@ +name: Application smoke +on: [push, pull_request] +permissions: + contents: read +jobs: + application: + runs-on: ubuntu-latest + timeout-minutes: 15 + steps: + - uses: actions/checkout@v4 + - uses: actions/setup-python@v5 + with: + python-version: '3.12' + - name: Prepare isolated lab credentials + run: | + sh scripts/init-secrets.sh + cp .env.example .env + docker compose --env-file .env config --quiet + - name: Build and wait for application + run: docker compose --env-file .env up -d --build --wait --wait-timeout 120 + - name: Check contract and public scenario + run: make check test PYTHON=python BASE_URL=http://127.0.0.1:8080 + - name: Stop disposable CI stack + if: always() + run: docker compose --env-file .env down diff --git a/REPORT.md b/REPORT.md index 5fe38d1..9ed2ab1 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,7 +2,7 @@ - Автор, группа: Кушнаренко Николай Вячеславович, БПИ2302 - Целевая оценка; выбранный трек 5, если нужен: **5**, трек 1 «Очередь под перегрузкой» -- Commit/PR: ветка `solution/bpi2302-kushnarenko` в [форке kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5); ссылка на PR добавляется после открытия +- Commit/PR: [PR №52](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab5/pulls/52), ветка `solution/bpi2302-kushnarenko` из [форка kolya](https://gitea.privcloud.tech/kolya/mtusi2026lab5) в `mtusi2026/mtusi2026lab5:main`; проверенная базовая реализация — `5dbb905`. - Использованные источники, библиотеки и помощь ИИ: Python 3.12, uvicorn, asyncpg, aiobotocore, aio-pika (RabbitMQ), Pillow (обработка изображений); RabbitMQ 4.1.8, SeaweedFS 4.48, PostgreSQL 17, Valkey 8, HAProxy 3.0. Код lab4 перенесён. ИИ-ассистенты использовались для помощи с кодом, тестами и отчётом; Codex проверил подготовку к сдаче, исправил перенос reconciler, усилил методику исследования и выполнил реальные запуски 12.11.2026 ## Запуск из чистого clone @@ -43,11 +43,19 @@ outbox ──relay (в API и worker, SKIP LOCKED)──▶ RabbitMQ (quorum, pe worker: claim(queued→processing, lease) → staging → thumbnail/crop/WebP → S3 att//… → ОДНА транзакция: варианты + ready → ack → очистка staging ``` -| Роль | Сервис | Health | Volume | Credentials | -| --- | --- | --- | --- | --- | -| Брокер | `rabbitmq` 4.1.8 | `rabbitmq-diagnostics ping` | `rabbitmqdata` | secret `rabbitmq.conf`; клиентам — secret `broker_url` | -| Worker | `worker` (отдельный процесс, тот же образ; 1 CPU / 768 MiB) | heartbeat-файл (<30 с) | — | secrets БД/S3/брокер | -| остальные | как в lab4 | | | | +Все сервисы находятся в сети Compose `backend`; наружу опубликован только LB. Полные digest перечислены в compose.yaml и Dockerfile. + +| Роль → service name | Образ / ресурсы | Health/readiness | Volume | Порт | Credentials | +| --- | --- | --- | --- | --- | --- | +| API → `api` × 2 | собственный образ, Python 3.12.12; по 1 CPU / 256 MiB | `/health/ready`, отдельно `/health/live` | нет локального состояния | 8080, только backend | файловые secrets database_url, S3, broker_url | +| БД → `postgres` | PostgreSQL 17.11; 1 CPU / 512 MiB | `pg_isready` | `pgdata` | 5432, backend | postgres_password; клиентам database_url | +| Кэш сессий → `valkey` | Valkey 8.1.10; 0.5 CPU / 128 MiB | `valkey-cli ping` | `valkeydata`, AOF | 6379, backend | отдельного пароля нет; не опубликован на host | +| S3 → `seaweedfs` | SeaweedFS 4.48; 1 CPU / 768 MiB | master cluster status + S3 socket; restart hook дополнительно читает объекты | `seaweeddata` | 8333 и внутренние служебные порты, backend | seaweed_s3_config; admin только для bootstrap, API-ключ ограничен bucket | +| Брокер → `rabbitmq` | RabbitMQ 4.1.8; 1 CPU / 512 MiB | `rabbitmq-diagnostics ping` | `rabbitmqdata` | 5672, backend | rabbitmq_conf; клиентам broker_url | +| Worker → `worker` | собственный образ, Python 3.12.12; 1 CPU / 768 MiB | heartbeat-файл моложе 30 с | нет локального устойчивого состояния | нет слушающего порта | файловые secrets БД/S3/брокер | +| Балансировщик → `lb` | HAProxy 3.0; 1 CPU / 128 MiB | внутренний `:8081/healthz`; backend checks API | конфигурация read-only | **127.0.0.1:8080** | credentials не нужны | + +Bootstrap: init-secrets.sh создаёт недостающие локальные файлы без перезаписи; migrate применяет версионные SQL-миграции; s3-init создаёт bucket при отсутствии и проверяет права; API/worker идемпотентно объявляют durable RabbitMQ topology. Повтор s3-init проверен дважды. Секреты и volumes не переносятся из предыдущей лабораторной. `.gitattributes` сохраняет LF в shell hooks при Windows clone. - **Границы приёма (до 202)**: байты проверены (формат, целостность, размеры) и записаны в **устойчивый staging** (приватный S3-prefix `staging/`, не локальный диск); метаданные и **намерение обработки** записаны одной транзакцией PostgreSQL (таблицы `attachments` и `outbox`). Только после COMMIT клиент получает `202` со снимком `status=queued`. Если брокер недоступен — это не мешает приёму: задание остаётся в outbox и публикуется позже. HTTP-передача байт клиентом по-прежнему синхронна (честная граница: staging уже в S3). - **Состояния и переходы** (`contracts/attachment-states.md`): `queued → processing → ready | failed`; `processing → queued` при временной ошибке (backoff) и при истечении lease (sweeper); `failed → queued` только явным операторским replay. Повторная доставка готовой задачи — no-op с ack; завершённое состояние не откатывается дубликатом. Условия UPDATE (`status='queued'`, `lease_owner=…`) исключают конкурирующую запись. diff --git a/research/queue_overload.py b/research/queue_overload.py index c525959..907b887 100644 --- a/research/queue_overload.py +++ b/research/queue_overload.py @@ -4,7 +4,7 @@ Часть A — матрица: concurrency/prefetch worker {1, 2, 4} × размер изображений {small 320x200 PNG, medium 2400x1600 PNG, large 6000x4000 JPEG}. Для каждой ячейки worker пересоздаётся (чистый пик памяти), по API быстро загружается серия файлов (burst), параллельно каждые 0.5 с снимаются глубина очереди и возраст старейшей задачи. Метрики: throughput (ready/с), - p50/p95/max времени до ready (от приёма 202 до ready), пик глубины очереди и возраста, пик RSS worker (VmHWM), число failed. + p50/p95/p99/max времени до ready, глубина/возраст очереди, RSS и CPU worker, ошибки HTTP и число failed. Часть B — backpressure и восстановление: MAX_QUEUED_JOBS=30, worker concurrency 1, burst 200 мелких файлов 32 клиентами: API ограничивает приём по порогу очереди и отвечает 503 + Retry-After (возможен конкурентный overshoot); принятые задания не теряются (все ready); @@ -117,6 +117,26 @@ def worker_peak_rss(): return None +def worker_cpu_snapshot(): + # /proc/1/stat includes CPU time of the worker's threads. No cgroup version dependency. + code = ("import json,os,time; s=open('/proc/1/stat').read().rsplit(')',1)[1].split(); " + "print(json.dumps({'cpu_s':(int(s[11])+int(s[12]))/os.sysconf('SC_CLK_TCK'), " + "'monotonic_s':time.monotonic()}))") + return json.loads(sh("docker", "compose", "exec", "-T", "worker", "python", "-c", code)) + + +def interval_metrics(before, after, statuses): + elapsed = after["monotonic_s"] - before["monotonic_s"] + cpu = after["cpu_s"] - before["cpu_s"] + attempts = sum(statuses.values()) + errors = sum(n for status, n in statuses.items() if not 200 <= int(status) < 300) + assert elapsed > 0 and cpu >= 0 and attempts > 0 + return {"measurement_window_s": round(elapsed, 3), "worker_cpu_seconds": round(cpu, 3), + "worker_cpu_percent_one_core": round(100 * cpu / elapsed, 2), + "http_non_2xx_fraction": errors / attempts, + "accepted_http_rps_over_window": round(statuses.get("202", 0) / elapsed, 2)} + + async def burst(s, token, chat, data, n, clients, retry_503=False): """Загружает n файлов клиентами; возвращает (accepted ids, rejected, attempts_statuses).""" accepted, statuses, sem = [], {}, asyncio.Semaphore(clients) @@ -175,7 +195,7 @@ def stats_for(ids): ttr.sort() pct = lambda p: round(ttr[max(0, math.ceil(p * len(ttr)) - 1)], 2) if ttr else None # noqa: E731 span = (last - first) if first is not None else None - return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "max_s": round(max(ttr), 2) if ttr else None, + return {"ready": ready, "failed": failed, "p50_s": pct(0.5), "p95_s": pct(0.95), "p99_s": pct(0.99), "max_s": round(max(ttr), 2) if ttr else None, "throughput_per_s": round(ready / span, 2) if span else None, "span_s": round(span, 1) if span else None} @@ -192,12 +212,14 @@ async def part_a(args, images): assert limits == {"memory_bytes": 768 * 1024 * 1024, "nano_cpus": 1000000000}, limits async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=16, force_close=True)) as s: token, chat = await register(s) + cpu_before = worker_cpu_snapshot() sampler = QueueSampler() sampler.start() t0 = time.time() ids, statuses, observed = await burst(s, token, chat, images[size], n, 8) accepted_in = time.time() - t0 done = wait_all(ids, 400) + cpu_after = worker_cpu_snapshot() sampler.stop.set() sampler.join() cell = {"concurrency": conc, "image": size, "image_kib": round(len(images[size]) / 1024), "uploads": n, "accepted": len(ids), @@ -206,6 +228,8 @@ async def part_a(args, images): "peak_oldest_age_s": round(max((x[2] for x in sampler.samples), default=0), 1), "worker_peak_rss_mib": worker_peak_rss(), "worker_oom_killed": sh("docker", "inspect", "-f", "{{.State.OOMKilled}}", sh("docker", "compose", "--env-file", ".env", "ps", "-q", "worker").split()[0])} cell.update(stats_for(ids)) + cell.update(interval_metrics(cpu_before, cpu_after, statuses)) + cell["attachment_ids"] = ids print(json.dumps(cell, ensure_ascii=False)) cells.append(cell) with open(os.path.join(args.out, "matrix_progress.json"), "w", encoding="utf-8") as fh: @@ -222,12 +246,14 @@ async def part_b(args, images): recreate("worker", {"WORKER_CONCURRENCY": "1"}) async with aiohttp.ClientSession(timeout=aiohttp.ClientTimeout(total=120), connector=aiohttp.TCPConnector(limit=64, force_close=True)) as s: token, chat = await register(s) + cpu_before = worker_cpu_snapshot() sampler = QueueSampler() sampler.start() t0 = time.time() ids, statuses, observed = await burst(s, token, chat, images["small"] if not args.b_medium else images["medium"], args.burst, 32, retry_503=False) accepted_in = time.time() - t0 done = wait_all(ids, 300) + cpu_after = worker_cpu_snapshot() drained_after = time.time() - t0 sampler.stop.set() sampler.join() @@ -242,7 +268,8 @@ async def part_b(args, images): "retry_after_header_seen": valid_retry_after, "retry_after_values": sorted(set(throttled), key=str), "transport_errors": observed["transport_errors"], "recovered_new_uploads_accepted": len(extra) == 3, "recovered_new_uploads_ready": extra_done and stats_for(extra)["ready"] == 3, - "no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids), **{k: v for k, v in stats_for(ids).items() if k in ("ready", "failed", "p95_s")}} + "no_accepted_job_lost": stats_for(ids)["ready"] + stats_for(ids)["failed"] == len(ids), + **stats_for(ids), **interval_metrics(cpu_before, cpu_after, statuses), "attachment_ids": ids} print(json.dumps(res, ensure_ascii=False)) with open(os.path.join(args.out, "backpressure_progress.json"), "w", encoding="utf-8") as fh: json.dump(res, fh, ensure_ascii=False, indent=2)