Files
mtusi2026lab6/compose.yaml
T

739 lines
35 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд лабы 6. Вход — HAProxy, за ним API_REPLICAS реплик API.
# Хранилища: PostgreSQL (источник истины, в том числе задания обработки),
# Valkey (кэш карточек чатов), SeaweedFS (staging и опубликованные файлы),
# RabbitMQ (сообщения о заданиях). Фон: relay (outbox → брокер), worker
# (обработка изображений), cleaner (уборка и сверка). Одноразовые:
# migrate, s3-bootstrap. Наблюдаемость (лаба 6): api, worker и relay шлют
# OTLP в otel-collector, он раскладывает сигналы по prometheus (метрики),
# loki (логи) и tempo (трассы); grafana — интерфейс к ним. ${...} — из
# .env (`make env`). Наружу — только 127.0.0.1. Правила — infra/AGENTS.md;
# запуск — `make up`.
name: vladimirceva-lab6
# Блоки окружения ниже разбиты по хранилищам, чтобы каждый сервис
# подключал только свои секреты. К базе ходят api, cleaner, relay,
# worker и migrate
x-db-env: &db-env
LOG_LEVEL: ${LOG_LEVEL:-INFO}
DB_HOST: postgres
DB_PORT: "5432"
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
# кэш нужен одному api
x-cache-env: &cache-env
CACHE_HOST: valkey
CACHE_PORT: "6379"
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
# общий для api, worker и cleaner адрес S3 и имя bucket; ключи каждый
# получает свои (их заводит infra/s3/bootstrap.sh), root-пары нет ни у кого
x-s3-env: &s3-env
S3_ENDPOINT: http://s3:8333
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
# RabbitMQ — только relay и worker; у реплик API брокера нет вовсе
x-broker-env: &broker-env
BROKER_HOST: rabbitmq
BROKER_PORT: "5672"
BROKER_USER: messenger
BROKER_PASSWORD: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
# параметры pipeline: читают worker (повторы, аренда) и relay (бюджет при
# возврате истёкшей аренды)
x-pipeline-env: &pipeline-env
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
# лаба 6: куда и как api, worker и relay отдают телеметрию. Адрес
# Collector — не секрет. Значения по умолчанию — полная телеметрия;
# ручки трека 1 (выключить, доля трасс, период метрик, границы histogram)
# переопределяются из .env или окружения make (src/AGENTS.md, таблица)
x-telemetry-env: &telemetry-env
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL: http/protobuf
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1.0}
OTEL_METRIC_EXPORT_INTERVAL: ${OTEL_METRIC_EXPORT_INTERVAL:-15000}
TELEMETRY_HISTOGRAM_BUCKETS: ${TELEMETRY_HISTOGRAM_BUCKETS:-default}
# сервисы телеметрии: перезапуск сами, Go не видит лимит cgroup — мягкий
# предел кучи задаётся GOMEMLIMIT у каждого (~75–80 % лимита контейнера)
x-telemetry-service: &telemetry-service
restart: unless-stopped
networks:
- telemetry
# один образ SeaweedFS на сервер и bootstrap; digest мультиарх-индекса,
# поэтому закрепление работает и на amd64, и на arm64
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
# ужесточение контейнеров приложения: файловая система только для
# чтения, без capabilities и повышения привилегий
x-hardened: &hardened
read_only: true
cap_drop:
- ALL
security_opt:
- no-new-privileges:true
services:
postgres:
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
restart: unless-stopped
environment:
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
ports:
# только localhost: к нему подключается `make run` и миграции с
# хоста. API наружу так не публикуется — только через LB
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
volumes:
# с 18-й версии кластер лежит в подкаталоге 18/docker, поэтому
# монтируем родительский каталог — тот, что объявлен в Config.Volumes
- pgdata:/var/lib/postgresql
healthcheck:
# -h 127.0.0.1 обязателен: init-скрипты образа идут на временном
# сервере, который слушает лишь unix-сокет, и проверка по сокету
# отпустила бы зависимых до настоящего старта. $$ раскрывает shell
# контейнера, а не compose
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
# соединения ≤ max_connections (100): реплики 2 × 15, migrate 1,
# cleaner 1, relay 1, worker 3 — 36; на пике замены реплик 51
# (REPORT.md, «Лимиты и пулы»)
cpus: "2.0"
memory: 1G
# Valkey держит только кэш карточек чатов и ничего не пишет на диск
# (valkey.conf): рестарт обнуляет кэш, а источник истины — PostgreSQL
valkey:
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
restart: unless-stopped
# пароль подставляет shell контейнера ($$), в описании сервиса его не
# видно; entrypoint образа сбрасывает права до пользователя valkey
command:
- sh
- -c
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
environment:
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
# valkey-cli читает пароль отсюда, и healthcheck обходится без -a
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
ports:
# только localhost: к нему подключается `make run`
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
volumes:
- type: bind
source: ./infra/valkey/valkey.conf
target: /usr/local/etc/valkey/valkey.conf
read_only: true
bind:
create_host_path: false
healthcheck:
# с неверным паролем ответ будет NOAUTH, так что PONG значит
# «сервер жив и пароль совпал»
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# 64mb под данные (maxmemory) и запас на сам процесс
cpus: "0.5"
memory: 128M
# SeaweedFS хранит байты вложений (infra/AGENTS.md, «S3»). Команда weed
# server запускает в одном процессе master, volume, filer и S3-шлюз.
# Внутренние компоненты сидят на 127.0.0.1 контейнера; наружу, в сеть
# стенда, смотрят только S3 API (8333) и gRPC шлюза (18333) под
# JWT-подписью. Переход на пользователя seaweed и -dir=/data делает
# entrypoint образа
s3:
image: *s3-image
restart: unless-stopped
command:
- server
# внутренние серверы SeaweedFS привязаны к loopback
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
# иначе master отправляет телеметрию разработчикам SeaweedFS
- -master.telemetry=false
# с одним master выбирать лидера не из кого; рестарт до healthy
# занимает ~7 с вместо ~24
- -master.electionTimeout=1s
# задержка остановки тома имеет смысл только в многоузловом кластере
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=8333
# гасим порты Iceberg (8181) и Lance (9101), открытые по умолчанию
- -s3.port.iceberg=0
- -s3.port.lance=0
# пользователей заводит weed shell в bootstrap, HTTP IAM на 8333 лишний
- -s3.iam=false
# суммарный объём параллельных загрузок в шлюзе ≤ 64 МБ, сверх — очередь
- -s3.concurrentUploadLimitMB=64
environment:
# root-ключи заданы сразу, поэтому S3 ни секунды не работает без
# аутентификации. Они есть только здесь, другим сервисам не
# передаются
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, run make env}
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, run make env}
# gRPC шлюза открыт в сеть стенда; JWT-подпись не даёт соседнему
# контейнеру действовать от имени администратора
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
# мягкий предел кучи Go заставляет GC срабатывать раньше; вместе с
# concurrentUploadLimitMB это держит двадцать параллельных PUT по
# 10 MiB в лимите 512 МБ
GOMEMLIMIT: 400MiB
ports:
# только localhost и только API S3: проверки приватности с хоста
# (make s3-check) и make run; консоль, UI и служебные серверы не
# публикуются
- "127.0.0.1:${S3_HOST_PORT:-8334}:8333"
volumes:
# /data объявлен в образе: данные томов, метаданные filer, пользователи
- s3data:/data
healthcheck:
# четыре условия по loopback: у master есть лидер, в /dir/status уже
# виден узел данных, filer и шлюз отвечают. Без проверки DataNodes
# healthy приходит ~4 с до регистрации тома, и первый PUT висел бы
# почти до своего таймаута
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
# filer на SIGTERM ждёт подписчиков около 15 с (константа в коде
# SeaweedFS); с grace 10 с контейнер добивался бы SIGKILL и кодом 137
stop_grace_period: 20s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
# Разовая настройка S3 перед стартом реплик, по аналогии с migrate:
# приватный bucket, пользователи api, worker и cleaner с узкими правами
# и проверка, что анонимно ничего не читается. Запускать можно сколько
# угодно раз — ключи и политики каждый раз приводятся к .env.
# network_mode: service:s3 даёт общий loopback с сервером, без него до
# master и filer не достучаться. make s3-check — тот же скрипт с check
s3-bootstrap:
image: *s3-image
network_mode: service:s3
user: seaweed
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
command: ["apply"]
restart: "no"
environment:
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
# weed shell обращается к IAM filer только с JWT этой подписи
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
# политика cleaner разрешает ListBucket лишь под этим префиксом; это
# не секрет — cleaner вычисляет такой же из DB_NAME
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}/attachments/
HOME: /tmp
volumes:
- type: bind
source: ./infra/s3/bootstrap.sh
target: /opt/s3/bootstrap.sh
read_only: true
bind:
create_host_path: false
# tmpfs: временные файлы с ключами и политиками не попадают на диск, а
# объявленный в образе /data не плодит анонимный volume на каждый запуск
tmpfs:
- /tmp
- /data
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
# миграции до старта реплик: тот же образ, другая команда. Один раз на
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
# no-op: alembic применяет только недостающие ревизии
migrate:
image: mtusi-messenger-vladimirceva:lab6
# образ собирает сервис api (make up, make docker-build)
pull_policy: never
command: ["python", "-m", "alembic", "upgrade", "head"]
restart: "no"
# migrate получает одно окружение базы
environment: *db-env
<<: *hardened
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# API масштабируется числом реплик, поэтому у сервиса нет ни ports, ни
# container_name — с ними --scale не работает; клиенты ходят только
# через haproxy. X-Instance-Id берётся из hostname, а это короткий ID
# контейнера. Временно сменить число — `make replicas API_REPLICAS=N`
api:
build: .
# тот же тег, что у make docker-build
image: mtusi-messenger-vladimirceva:lab6
restart: unless-stopped
environment:
<<: [*db-env, *cache-env, *s3-env, *telemetry-env]
# пользователь API в S3: чтение, запись и удаление объектов своего
# bucket; списка и прав на bucket нет
S3_ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
S3_SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
# предел незавершённых заданий стенда; 0 — без предела
UPLOAD_MAX_UNFINISHED: ${UPLOAD_MAX_UNFINISHED:-300}
<<: *hardened
# приложение ничего не пишет на диск, кроме временных файлов Python
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
# API переживает отказ Valkey, но стенд стартует сразу с рабочим кэшем
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
# к первому запросу ключи API в S3 уже заведены
s3-bootstrap:
condition: service_completed_successfully
# проверка здоровья задана в Dockerfile. Grace 10 с больше
# SHUTDOWN_TIMEOUT (≤ 9 с), чтобы uvicorn закрылся сам, без SIGKILL
stop_grace_period: 10s
# потолок приёмного буфера TCP 512 KiB вместо 32 MiB по умолчанию в ВМ
# Docker. Пока реплика не читает тело (ждёт место загрузки или уже
# отказала), байты лежат в этом буфере и идут в лимит памяти
# контейнера. Действует на все копии api, включая тестовые стенды и bench/
sysctls:
net.ipv4.tcp_rmem: "4096 131072 524288"
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# на event loop хватает одного ядра; только Argon2id в потоках
# мог бы взять больше, и под лимитом вход просто медленнее.
# 512M складываются из четырёх Argon2id по 64 MiB, самого
# интерпретатора и четырёх мест загрузки по телу до 10 MiB
cpus: "1.0"
memory: 512M
# cleaner: фоновая уборка брошенных загрузок и сверка S3 с базой. Образ
# тот же, что у api, точка входа своя; стартует после migrate и
# s3-bootstrap, от него никто не зависит, портов у него нет.
# Разовые запуски из Makefile: make cleanup-once и make reconcile
cleaner:
image: mtusi-messenger-vladimirceva:lab6
pull_policy: never
# точка входа, а не command: аргументы `docker compose run cleaner …`
# — флаги уборщика, а не замена команды
entrypoint: ["python", "-m", "src.cleaner"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env]
# проходы идут по одному, хватает одного соединения
DB_POOL_SIZE: "1"
DB_POOL_OVERFLOW: "0"
# сколько держать staging и обрывки failed (окно для replay)
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
# ключи cleaner в S3: читать, удалять и листать префикс своей базы;
# чужих ключей и пароля Valkey он не видит
S3_ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
S3_SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
<<: *hardened
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
# унаследованный от образа healthcheck стучится в /health/ready, а у
# cleaner нет HTTP; следить за ним — по журналу
healthcheck:
disable: true
# на SIGTERM cleaner дорабатывает шаг (до 6 с) и выходит с кодом 0
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 256M
# брокер: одна quorum-очередь <база>.attachment-jobs (объявляют relay и
# worker). hostname фиксирован: по нему RabbitMQ называет узел и каталог
# данных в volume — с новым именем старые сообщения не нашлись бы
rabbitmq:
image: rabbitmq:4.3.7-alpine@sha256:b1f997f74103d08fc1f20a13890dc44fe6cfa51d528cf521b480ada988d3ffa5
hostname: rabbitmq
restart: unless-stopped
environment:
# пользователь создаётся при первом старте на пустом volume; смена
# пароля потом — rabbitmqctl change_password (REPORT.md)
RABBITMQ_DEFAULT_USER: messenger
RABBITMQ_DEFAULT_PASS: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
ports:
# только localhost: make run-worker / run-relay с хоста
- "127.0.0.1:${BROKER_HOST_PORT:-5673}:5672"
volumes:
- rmqdata:/var/lib/rabbitmq
- type: bind
source: ./infra/rabbitmq/rabbitmq.conf
target: /etc/rabbitmq/conf.d/90-messenger.conf
read_only: true
bind:
create_host_path: false
healthcheck:
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
interval: 5s
timeout: 5s
retries: 12
start_period: 30s
start_interval: 2s
stop_grace_period: 20s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
# relay: забирает намерения из attachment_jobs и публикует с
# подтверждением; возвращает истёкшие аренды. S3 и Valkey ему не нужны
relay:
image: mtusi-messenger-vladimirceva:lab6
pull_policy: never
entrypoint: ["python", "-m", "src.relay"]
restart: unless-stopped
environment:
<<: [*db-env, *broker-env, *pipeline-env, *telemetry-env]
DB_POOL_SIZE: "1"
DB_POOL_OVERFLOW: "0"
<<: *hardened
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
rabbitmq:
condition: service_healthy
healthcheck:
disable: true
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 192M
# worker: обработка изображений. Pillow работает только в его дочерних
# процессах (src/worker/render.py) с RLIMIT_AS = RENDER_MEMORY_MB и
# RLIMIT_CPU; лимит контейнера — на concurrency таких процессов сразу
worker:
image: mtusi-messenger-vladimirceva:lab6
pull_policy: never
entrypoint: ["python", "-m", "src.worker"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env, *broker-env, *pipeline-env, *telemetry-env]
# пользователь worker в S3: чтение staging, запись результата
S3_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
S3_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
DB_POOL_SIZE: "2"
DB_POOL_OVERFLOW: "1"
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
WORKER_PREFETCH: ${WORKER_PREFETCH:-2}
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-768}
<<: *hardened
tmpfs:
- /tmp
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
rabbitmq:
condition: service_healthy
healthcheck:
disable: true
# SIGTERM: начатые задания ждут WORKER_STOP_TIMEOUT (8 с)
stop_grace_period: 12s
deploy:
resources:
limits:
cpus: "2.0"
memory: 1536M
# HAProxy — единственный опубликованный вход API. Список реплик берёт из
# DNS Docker и опрашивает их /health/ready (infra/haproxy/haproxy.cfg);
# секретов в окружении нет
haproxy:
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
restart: unless-stopped
ports:
# публикуем на 127.0.0.1: учебный стенд, из внешней сети не нужен
- "127.0.0.1:${HOST_PORT:-8080}:8080"
volumes:
- type: bind
source: ./infra/haproxy/haproxy.cfg
target: /usr/local/etc/haproxy/haproxy.cfg
read_only: true
bind:
create_host_path: false
<<: *hardened
# из-за зависимости LB стартует после реплик, а при остановке стенда
# выключается первым
depends_on:
- api
healthcheck:
# /lb/ready вернёт 200, только если в backend есть живая реплика,
# то есть LB правда может ответить. Запрос — через /dev/tcp bash:
# curl в образе отсутствует
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
interval: 5s
timeout: 3s
retries: 3
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# HAProxy запущен с одним потоком (nbthread 1). С лабы 6 — 0,5
# CPU вместо 1: телеметрия заняла 1,5 CPU, а сумма лимитов стенда
# должна уложиться в 11 CPU машины замеров; LB на учебной
# нагрузке берёт сотые доли ядра (нагрузочный стенд bench/ задаёт
# свой лимит LB)
cpus: "0.5"
memory: 256M
# --- Наблюдаемость (лаба 6) -------------------------------------------------
# Конфиги — infra/otel/, каждый файл монтируется только на чтение. Наружу
# — одна Grafana на 127.0.0.1; OTLP, метрики и API хранилищ видны только
# внутри сетей стенда. Приложение от этих сервисов не зависит: без них
# API, worker и relay работают, SDK лишь теряет то, что не отправил.
# OpenTelemetry Collector (contrib): приёмник OTLP/HTTP для api, worker и
# relay (сеть default) и экспорт в хранилища (сеть telemetry). В образе нет
# оболочки — healthcheck нет, живость видна как up{job="otel-collector"}
otel-collector:
<<: *telemetry-service
image: otel/opentelemetry-collector-contrib:0.164.0@sha256:340c9ca6a36617084c6661bdc4f0fe92b7cda5a805d61673ec8db375fddc522b
command: ["--config=/etc/otelcol-contrib/collector.yaml"]
environment:
# memory_limiter в collector.yaml — 180 / 36 МиБ
GOMEMLIMIT: 200MiB
volumes:
- type: bind
source: ./infra/otel/collector.yaml
target: /etc/otelcol-contrib/collector.yaml
read_only: true
bind:
create_host_path: false
networks:
- default
- telemetry
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# Prometheus — метрики: забирает экспортёр Collector и собственные метрики
# Collector, Loki, Tempo. Срок и объём хранения — флагами
prometheus:
<<: *telemetry-service
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=7d
- --storage.tsdb.retention.size=1GB
environment:
GOMEMLIMIT: 256MiB
volumes:
# /prometheus объявлен в образе, владелец nobody — chown не нужен
- promdata:/prometheus
- type: bind
source: ./infra/otel/prometheus/prometheus.yml
target: /etc/prometheus/prometheus.yml
read_only: true
bind:
create_host_path: false
# уровень 4: SLI (recording) и alert rules; тесты правил — make alerts-test
- type: bind
source: ./infra/otel/prometheus/rules.yml
target: /etc/prometheus/rules.yml
read_only: true
bind:
create_host_path: false
healthcheck:
# в образе есть busybox wget
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
interval: 10s
timeout: 3s
retries: 6
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
cpus: "0.25"
memory: 320M
# Loki — логи: родной OTLP-приёмник (/otlp), файловое хранилище в volume.
# Оболочки в образе нет — healthcheck нет, живость — up{job="loki"}
loki:
<<: *telemetry-service
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
command: ["-config.file=/etc/loki/loki.yaml"]
environment:
GOMEMLIMIT: 300MiB
volumes:
- lokidata:/loki
- type: bind
source: ./infra/otel/loki/loki.yaml
target: /etc/loki/loki.yaml
read_only: true
bind:
create_host_path: false
deploy:
resources:
limits:
cpus: "0.25"
memory: 384M
# Tempo — трассы: монолит (-target=all) с локальным хранилищем блоков.
# Healthcheck нет по той же причине, живость — up{job="tempo"}
tempo:
<<: *telemetry-service
image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044
command: ["-config.file=/etc/tempo/tempo.yaml", "-target=all"]
environment:
# куча Tempo упирается в GOMEMLIMIT, поэтому запас до лимита больше
GOMEMLIMIT: 320MiB
volumes:
- tempodata:/var/tempo
- type: bind
source: ./infra/otel/tempo/tempo.yaml
target: /etc/tempo/tempo.yaml
read_only: true
bind:
create_host_path: false
deploy:
resources:
limits:
cpus: "0.25"
memory: 512M
# Grafana — только интерфейс и запросы к хранилищам; своего состояния нет
# (tmpfs): источники и dashboard — provisioning из git, пароль admin из
# .env действует на каждом старте, правки в UI не расходятся с git.
# Встроенные источники, кроме трёх нужных, выключены — каждый был бы
# отдельным процессом в памяти; установки плагинов из сети нет
grafana:
<<: *telemetry-service
image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf
environment:
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?GRAFANA_ADMIN_PASSWORD is empty, run make env}
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_USERS_ALLOW_SIGN_UP: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
GF_NEWS_NEWS_FEED_ENABLED: "false"
GF_PLUGINS_PREINSTALL_DISABLED: "true"
GF_PLUGINS_DISABLE_PLUGINS: cloudwatch,elasticsearch,graphite,influxdb,jaeger,mssql,mysql,opentsdb,stackdriver,zipkin,grafana-postgresql-datasource,grafana-pyroscope-datasource,grafana-azure-monitor-datasource,grafana-testdata-datasource
GOMEMLIMIT: 300MiB
ports:
- "127.0.0.1:${GRAFANA_HOST_PORT:-3180}:3000"
tmpfs:
- /var/lib/grafana
volumes:
- type: bind
source: ./infra/otel/grafana/datasources.yaml
target: /etc/grafana/provisioning/datasources/datasources.yaml
read_only: true
bind:
create_host_path: false
- type: bind
source: ./infra/otel/grafana/dashboards.yaml
target: /etc/grafana/provisioning/dashboards/dashboards.yaml
read_only: true
bind:
create_host_path: false
- type: bind
source: ./infra/otel/grafana/dashboards
target: /var/lib/grafana-dashboards
read_only: true
bind:
create_host_path: false
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3000/api/health"]
interval: 10s
timeout: 3s
retries: 6
start_period: 60s
start_interval: 1s
deploy:
resources:
limits:
cpus: "0.25"
memory: 448M
networks:
# хранилища телеметрии и Grafana: процессы приложения сюда не попадают и
# до Loki, Tempo и Prometheus не достают — только до OTLP Collector. Не
# internal: иначе не работает опубликованный порт Grafana
telemetry:
volumes:
pgdata:
s3data:
rmqdata:
# лаба 6: история метрик, логов и трасс переживает рестарт и make down
promdata:
lokidata:
tempodata: