739 lines
35 KiB
YAML
739 lines
35 KiB
YAML
# Стенд лабы 6. Вход — HAProxy, за ним API_REPLICAS реплик API.
|
||
# Хранилища: PostgreSQL (источник истины, в том числе задания обработки),
|
||
# Valkey (кэш карточек чатов), SeaweedFS (staging и опубликованные файлы),
|
||
# RabbitMQ (сообщения о заданиях). Фон: relay (outbox → брокер), worker
|
||
# (обработка изображений), cleaner (уборка и сверка). Одноразовые:
|
||
# migrate, s3-bootstrap. Наблюдаемость (лаба 6): api, worker и relay шлют
|
||
# OTLP в otel-collector, он раскладывает сигналы по prometheus (метрики),
|
||
# loki (логи) и tempo (трассы); grafana — интерфейс к ним. ${...} — из
|
||
# .env (`make env`). Наружу — только 127.0.0.1. Правила — infra/AGENTS.md;
|
||
# запуск — `make up`.
|
||
name: vladimirceva-lab6
|
||
|
||
# Блоки окружения ниже разбиты по хранилищам, чтобы каждый сервис
|
||
# подключал только свои секреты. К базе ходят api, cleaner, relay,
|
||
# worker и migrate
|
||
x-db-env: &db-env
|
||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||
DB_HOST: postgres
|
||
DB_PORT: "5432"
|
||
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
|
||
# кэш нужен одному api
|
||
x-cache-env: &cache-env
|
||
CACHE_HOST: valkey
|
||
CACHE_PORT: "6379"
|
||
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
|
||
# общий для api, worker и cleaner адрес S3 и имя bucket; ключи каждый
|
||
# получает свои (их заводит infra/s3/bootstrap.sh), root-пары нет ни у кого
|
||
x-s3-env: &s3-env
|
||
S3_ENDPOINT: http://s3:8333
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
|
||
# RabbitMQ — только relay и worker; у реплик API брокера нет вовсе
|
||
x-broker-env: &broker-env
|
||
BROKER_HOST: rabbitmq
|
||
BROKER_PORT: "5672"
|
||
BROKER_USER: messenger
|
||
BROKER_PASSWORD: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
|
||
|
||
# параметры pipeline: читают worker (повторы, аренда) и relay (бюджет при
|
||
# возврате истёкшей аренды)
|
||
x-pipeline-env: &pipeline-env
|
||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||
|
||
# лаба 6: куда и как api, worker и relay отдают телеметрию. Адрес
|
||
# Collector — не секрет. Значения по умолчанию — полная телеметрия;
|
||
# ручки трека 1 (выключить, доля трасс, период метрик, границы histogram)
|
||
# переопределяются из .env или окружения make (src/AGENTS.md, таблица)
|
||
x-telemetry-env: &telemetry-env
|
||
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4318
|
||
OTEL_EXPORTER_OTLP_PROTOCOL: http/protobuf
|
||
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
|
||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1.0}
|
||
OTEL_METRIC_EXPORT_INTERVAL: ${OTEL_METRIC_EXPORT_INTERVAL:-15000}
|
||
TELEMETRY_HISTOGRAM_BUCKETS: ${TELEMETRY_HISTOGRAM_BUCKETS:-default}
|
||
|
||
# сервисы телеметрии: перезапуск сами, Go не видит лимит cgroup — мягкий
|
||
# предел кучи задаётся GOMEMLIMIT у каждого (~75–80 % лимита контейнера)
|
||
x-telemetry-service: &telemetry-service
|
||
restart: unless-stopped
|
||
networks:
|
||
- telemetry
|
||
|
||
# один образ SeaweedFS на сервер и bootstrap; digest мультиарх-индекса,
|
||
# поэтому закрепление работает и на amd64, и на arm64
|
||
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||
|
||
# ужесточение контейнеров приложения: файловая система только для
|
||
# чтения, без capabilities и повышения привилегий
|
||
x-hardened: &hardened
|
||
read_only: true
|
||
cap_drop:
|
||
- ALL
|
||
security_opt:
|
||
- no-new-privileges:true
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run` и миграции с
|
||
# хоста. API наружу так не публикуется — только через LB
|
||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
|
||
volumes:
|
||
# с 18-й версии кластер лежит в подкаталоге 18/docker, поэтому
|
||
# монтируем родительский каталог — тот, что объявлен в Config.Volumes
|
||
- pgdata:/var/lib/postgresql
|
||
healthcheck:
|
||
# -h 127.0.0.1 обязателен: init-скрипты образа идут на временном
|
||
# сервере, который слушает лишь unix-сокет, и проверка по сокету
|
||
# отпустила бы зависимых до настоящего старта. $$ раскрывает shell
|
||
# контейнера, а не compose
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения ≤ max_connections (100): реплики 2 × 15, migrate 1,
|
||
# cleaner 1, relay 1, worker 3 — 36; на пике замены реплик 51
|
||
# (REPORT.md, «Лимиты и пулы»)
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# Valkey держит только кэш карточек чатов и ничего не пишет на диск
|
||
# (valkey.conf): рестарт обнуляет кэш, а источник истины — PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# пароль подставляет shell контейнера ($$), в описании сервиса его не
|
||
# видно; entrypoint образа сбрасывает права до пользователя valkey
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
# valkey-cli читает пароль отсюда, и healthcheck обходится без -a
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run`
|
||
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
# с неверным паролем ответ будет NOAUTH, так что PONG значит
|
||
# «сервер жив и пароль совпал»
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# 64mb под данные (maxmemory) и запас на сам процесс
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# SeaweedFS хранит байты вложений (infra/AGENTS.md, «S3»). Команда weed
|
||
# server запускает в одном процессе master, volume, filer и S3-шлюз.
|
||
# Внутренние компоненты сидят на 127.0.0.1 контейнера; наружу, в сеть
|
||
# стенда, смотрят только S3 API (8333) и gRPC шлюза (18333) под
|
||
# JWT-подписью. Переход на пользователя seaweed и -dir=/data делает
|
||
# entrypoint образа
|
||
s3:
|
||
image: *s3-image
|
||
restart: unless-stopped
|
||
command:
|
||
- server
|
||
# внутренние серверы SeaweedFS привязаны к loopback
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
# иначе master отправляет телеметрию разработчикам SeaweedFS
|
||
- -master.telemetry=false
|
||
# с одним master выбирать лидера не из кого; рестарт до healthy
|
||
# занимает ~7 с вместо ~24
|
||
- -master.electionTimeout=1s
|
||
# задержка остановки тома имеет смысл только в многоузловом кластере
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=8333
|
||
# гасим порты Iceberg (8181) и Lance (9101), открытые по умолчанию
|
||
- -s3.port.iceberg=0
|
||
- -s3.port.lance=0
|
||
# пользователей заводит weed shell в bootstrap, HTTP IAM на 8333 лишний
|
||
- -s3.iam=false
|
||
# суммарный объём параллельных загрузок в шлюзе ≤ 64 МБ, сверх — очередь
|
||
- -s3.concurrentUploadLimitMB=64
|
||
environment:
|
||
# root-ключи заданы сразу, поэтому S3 ни секунды не работает без
|
||
# аутентификации. Они есть только здесь, другим сервисам не
|
||
# передаются
|
||
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, run make env}
|
||
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, run make env}
|
||
# gRPC шлюза открыт в сеть стенда; JWT-подпись не даёт соседнему
|
||
# контейнеру действовать от имени администратора
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
# мягкий предел кучи Go заставляет GC срабатывать раньше; вместе с
|
||
# concurrentUploadLimitMB это держит двадцать параллельных PUT по
|
||
# 10 MiB в лимите 512 МБ
|
||
GOMEMLIMIT: 400MiB
|
||
ports:
|
||
# только localhost и только API S3: проверки приватности с хоста
|
||
# (make s3-check) и make run; консоль, UI и служебные серверы не
|
||
# публикуются
|
||
- "127.0.0.1:${S3_HOST_PORT:-8334}:8333"
|
||
volumes:
|
||
# /data объявлен в образе: данные томов, метаданные filer, пользователи
|
||
- s3data:/data
|
||
healthcheck:
|
||
# четыре условия по loopback: у master есть лидер, в /dir/status уже
|
||
# виден узел данных, filer и шлюз отвечают. Без проверки DataNodes
|
||
# healthy приходит ~4 с до регистрации тома, и первый PUT висел бы
|
||
# почти до своего таймаута
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# filer на SIGTERM ждёт подписчиков около 15 с (константа в коде
|
||
# SeaweedFS); с grace 10 с контейнер добивался бы SIGKILL и кодом 137
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# Разовая настройка S3 перед стартом реплик, по аналогии с migrate:
|
||
# приватный bucket, пользователи api, worker и cleaner с узкими правами
|
||
# и проверка, что анонимно ничего не читается. Запускать можно сколько
|
||
# угодно раз — ключи и политики каждый раз приводятся к .env.
|
||
# network_mode: service:s3 даёт общий loopback с сервером, без него до
|
||
# master и filer не достучаться. make s3-check — тот же скрипт с check
|
||
s3-bootstrap:
|
||
image: *s3-image
|
||
network_mode: service:s3
|
||
user: seaweed
|
||
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
|
||
command: ["apply"]
|
||
restart: "no"
|
||
environment:
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
# weed shell обращается к IAM filer только с JWT этой подписи
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
|
||
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
|
||
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
# политика cleaner разрешает ListBucket лишь под этим префиксом; это
|
||
# не секрет — cleaner вычисляет такой же из DB_NAME
|
||
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}/attachments/
|
||
HOME: /tmp
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/s3/bootstrap.sh
|
||
target: /opt/s3/bootstrap.sh
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# tmpfs: временные файлы с ключами и политиками не попадают на диск, а
|
||
# объявленный в образе /data не плодит анонимный volume на каждый запуск
|
||
tmpfs:
|
||
- /tmp
|
||
- /data
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции до старта реплик: тот же образ, другая команда. Один раз на
|
||
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
|
||
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
|
||
# no-op: alembic применяет только недостающие ревизии
|
||
migrate:
|
||
image: mtusi-messenger-vladimirceva:lab6
|
||
# образ собирает сервис api (make up, make docker-build)
|
||
pull_policy: never
|
||
command: ["python", "-m", "alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# migrate получает одно окружение базы
|
||
environment: *db-env
|
||
<<: *hardened
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# API масштабируется числом реплик, поэтому у сервиса нет ни ports, ни
|
||
# container_name — с ними --scale не работает; клиенты ходят только
|
||
# через haproxy. X-Instance-Id берётся из hostname, а это короткий ID
|
||
# контейнера. Временно сменить число — `make replicas API_REPLICAS=N`
|
||
api:
|
||
build: .
|
||
# тот же тег, что у make docker-build
|
||
image: mtusi-messenger-vladimirceva:lab6
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env, *s3-env, *telemetry-env]
|
||
# пользователь API в S3: чтение, запись и удаление объектов своего
|
||
# bucket; списка и прав на bucket нет
|
||
S3_ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
|
||
# предел незавершённых заданий стенда; 0 — без предела
|
||
UPLOAD_MAX_UNFINISHED: ${UPLOAD_MAX_UNFINISHED:-300}
|
||
<<: *hardened
|
||
# приложение ничего не пишет на диск, кроме временных файлов Python
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# API переживает отказ Valkey, но стенд стартует сразу с рабочим кэшем
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# к первому запросу ключи API в S3 уже заведены
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# проверка здоровья задана в Dockerfile. Grace 10 с больше
|
||
# SHUTDOWN_TIMEOUT (≤ 9 с), чтобы uvicorn закрылся сам, без SIGKILL
|
||
stop_grace_period: 10s
|
||
# потолок приёмного буфера TCP 512 KiB вместо 32 MiB по умолчанию в ВМ
|
||
# Docker. Пока реплика не читает тело (ждёт место загрузки или уже
|
||
# отказала), байты лежат в этом буфере и идут в лимит памяти
|
||
# контейнера. Действует на все копии api, включая тестовые стенды и bench/
|
||
sysctls:
|
||
net.ipv4.tcp_rmem: "4096 131072 524288"
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# на event loop хватает одного ядра; только Argon2id в потоках
|
||
# мог бы взять больше, и под лимитом вход просто медленнее.
|
||
# 512M складываются из четырёх Argon2id по 64 MiB, самого
|
||
# интерпретатора и четырёх мест загрузки по телу до 10 MiB
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# cleaner: фоновая уборка брошенных загрузок и сверка S3 с базой. Образ
|
||
# тот же, что у api, точка входа своя; стартует после migrate и
|
||
# s3-bootstrap, от него никто не зависит, портов у него нет.
|
||
# Разовые запуски из Makefile: make cleanup-once и make reconcile
|
||
cleaner:
|
||
image: mtusi-messenger-vladimirceva:lab6
|
||
pull_policy: never
|
||
# точка входа, а не command: аргументы `docker compose run cleaner …`
|
||
# — флаги уборщика, а не замена команды
|
||
entrypoint: ["python", "-m", "src.cleaner"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env]
|
||
# проходы идут по одному, хватает одного соединения
|
||
DB_POOL_SIZE: "1"
|
||
DB_POOL_OVERFLOW: "0"
|
||
# сколько держать staging и обрывки failed (окно для replay)
|
||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||
# ключи cleaner в S3: читать, удалять и листать префикс своей базы;
|
||
# чужих ключей и пароля Valkey он не видит
|
||
S3_ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# унаследованный от образа healthcheck стучится в /health/ready, а у
|
||
# cleaner нет HTTP; следить за ним — по журналу
|
||
healthcheck:
|
||
disable: true
|
||
# на SIGTERM cleaner дорабатывает шаг (до 6 с) и выходит с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# брокер: одна quorum-очередь <база>.attachment-jobs (объявляют relay и
|
||
# worker). hostname фиксирован: по нему RabbitMQ называет узел и каталог
|
||
# данных в volume — с новым именем старые сообщения не нашлись бы
|
||
rabbitmq:
|
||
image: rabbitmq:4.3.7-alpine@sha256:b1f997f74103d08fc1f20a13890dc44fe6cfa51d528cf521b480ada988d3ffa5
|
||
hostname: rabbitmq
|
||
restart: unless-stopped
|
||
environment:
|
||
# пользователь создаётся при первом старте на пустом volume; смена
|
||
# пароля потом — rabbitmqctl change_password (REPORT.md)
|
||
RABBITMQ_DEFAULT_USER: messenger
|
||
RABBITMQ_DEFAULT_PASS: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: make run-worker / run-relay с хоста
|
||
- "127.0.0.1:${BROKER_HOST_PORT:-5673}:5672"
|
||
volumes:
|
||
- rmqdata:/var/lib/rabbitmq
|
||
- type: bind
|
||
source: ./infra/rabbitmq/rabbitmq.conf
|
||
target: /etc/rabbitmq/conf.d/90-messenger.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
|
||
interval: 5s
|
||
timeout: 5s
|
||
retries: 12
|
||
start_period: 30s
|
||
start_interval: 2s
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# relay: забирает намерения из attachment_jobs и публикует с
|
||
# подтверждением; возвращает истёкшие аренды. S3 и Valkey ему не нужны
|
||
relay:
|
||
image: mtusi-messenger-vladimirceva:lab6
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.relay"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *broker-env, *pipeline-env, *telemetry-env]
|
||
DB_POOL_SIZE: "1"
|
||
DB_POOL_OVERFLOW: "0"
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
healthcheck:
|
||
disable: true
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 192M
|
||
|
||
# worker: обработка изображений. Pillow работает только в его дочерних
|
||
# процессах (src/worker/render.py) с RLIMIT_AS = RENDER_MEMORY_MB и
|
||
# RLIMIT_CPU; лимит контейнера — на concurrency таких процессов сразу
|
||
worker:
|
||
image: mtusi-messenger-vladimirceva:lab6
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.worker"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env, *broker-env, *pipeline-env, *telemetry-env]
|
||
# пользователь worker в S3: чтение staging, запись результата
|
||
S3_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
|
||
DB_POOL_SIZE: "2"
|
||
DB_POOL_OVERFLOW: "1"
|
||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||
WORKER_PREFETCH: ${WORKER_PREFETCH:-2}
|
||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-768}
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: начатые задания ждут WORKER_STOP_TIMEOUT (8 с)
|
||
stop_grace_period: 12s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1536M
|
||
|
||
# HAProxy — единственный опубликованный вход API. Список реплик берёт из
|
||
# DNS Docker и опрашивает их /health/ready (infra/haproxy/haproxy.cfg);
|
||
# секретов в окружении нет
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
ports:
|
||
# публикуем на 127.0.0.1: учебный стенд, из внешней сети не нужен
|
||
- "127.0.0.1:${HOST_PORT:-8080}:8080"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
<<: *hardened
|
||
# из-за зависимости LB стартует после реплик, а при остановке стенда
|
||
# выключается первым
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# /lb/ready вернёт 200, только если в backend есть живая реплика,
|
||
# то есть LB правда может ответить. Запрос — через /dev/tcp bash:
|
||
# curl в образе отсутствует
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# HAProxy запущен с одним потоком (nbthread 1). С лабы 6 — 0,5
|
||
# CPU вместо 1: телеметрия заняла 1,5 CPU, а сумма лимитов стенда
|
||
# должна уложиться в 11 CPU машины замеров; LB на учебной
|
||
# нагрузке берёт сотые доли ядра (нагрузочный стенд bench/ задаёт
|
||
# свой лимит LB)
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# --- Наблюдаемость (лаба 6) -------------------------------------------------
|
||
# Конфиги — infra/otel/, каждый файл монтируется только на чтение. Наружу
|
||
# — одна Grafana на 127.0.0.1; OTLP, метрики и API хранилищ видны только
|
||
# внутри сетей стенда. Приложение от этих сервисов не зависит: без них
|
||
# API, worker и relay работают, SDK лишь теряет то, что не отправил.
|
||
|
||
# OpenTelemetry Collector (contrib): приёмник OTLP/HTTP для api, worker и
|
||
# relay (сеть default) и экспорт в хранилища (сеть telemetry). В образе нет
|
||
# оболочки — healthcheck нет, живость видна как up{job="otel-collector"}
|
||
otel-collector:
|
||
<<: *telemetry-service
|
||
image: otel/opentelemetry-collector-contrib:0.164.0@sha256:340c9ca6a36617084c6661bdc4f0fe92b7cda5a805d61673ec8db375fddc522b
|
||
command: ["--config=/etc/otelcol-contrib/collector.yaml"]
|
||
environment:
|
||
# memory_limiter в collector.yaml — 180 / 36 МиБ
|
||
GOMEMLIMIT: 200MiB
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/otel/collector.yaml
|
||
target: /etc/otelcol-contrib/collector.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
networks:
|
||
- default
|
||
- telemetry
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# Prometheus — метрики: забирает экспортёр Collector и собственные метрики
|
||
# Collector, Loki, Tempo. Срок и объём хранения — флагами
|
||
prometheus:
|
||
<<: *telemetry-service
|
||
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||
command:
|
||
- --config.file=/etc/prometheus/prometheus.yml
|
||
- --storage.tsdb.path=/prometheus
|
||
- --storage.tsdb.retention.time=7d
|
||
- --storage.tsdb.retention.size=1GB
|
||
environment:
|
||
GOMEMLIMIT: 256MiB
|
||
volumes:
|
||
# /prometheus объявлен в образе, владелец nobody — chown не нужен
|
||
- promdata:/prometheus
|
||
- type: bind
|
||
source: ./infra/otel/prometheus/prometheus.yml
|
||
target: /etc/prometheus/prometheus.yml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# уровень 4: SLI (recording) и alert rules; тесты правил — make alerts-test
|
||
- type: bind
|
||
source: ./infra/otel/prometheus/rules.yml
|
||
target: /etc/prometheus/rules.yml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
# в образе есть busybox wget
|
||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
retries: 6
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 320M
|
||
|
||
# Loki — логи: родной OTLP-приёмник (/otlp), файловое хранилище в volume.
|
||
# Оболочки в образе нет — healthcheck нет, живость — up{job="loki"}
|
||
loki:
|
||
<<: *telemetry-service
|
||
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
|
||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||
environment:
|
||
GOMEMLIMIT: 300MiB
|
||
volumes:
|
||
- lokidata:/loki
|
||
- type: bind
|
||
source: ./infra/otel/loki/loki.yaml
|
||
target: /etc/loki/loki.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 384M
|
||
|
||
# Tempo — трассы: монолит (-target=all) с локальным хранилищем блоков.
|
||
# Healthcheck нет по той же причине, живость — up{job="tempo"}
|
||
tempo:
|
||
<<: *telemetry-service
|
||
image: grafana/tempo:3.1.1@sha256:64e2fbd56d9c2b3412a4b430a58ea59e91a670b1e75f920a0c702213ad145044
|
||
command: ["-config.file=/etc/tempo/tempo.yaml", "-target=all"]
|
||
environment:
|
||
# куча Tempo упирается в GOMEMLIMIT, поэтому запас до лимита больше
|
||
GOMEMLIMIT: 320MiB
|
||
volumes:
|
||
- tempodata:/var/tempo
|
||
- type: bind
|
||
source: ./infra/otel/tempo/tempo.yaml
|
||
target: /etc/tempo/tempo.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 512M
|
||
|
||
# Grafana — только интерфейс и запросы к хранилищам; своего состояния нет
|
||
# (tmpfs): источники и dashboard — provisioning из git, пароль admin из
|
||
# .env действует на каждом старте, правки в UI не расходятся с git.
|
||
# Встроенные источники, кроме трёх нужных, выключены — каждый был бы
|
||
# отдельным процессом в памяти; установки плагинов из сети нет
|
||
grafana:
|
||
<<: *telemetry-service
|
||
image: grafana/grafana:13.3.1@sha256:0615ec4fbd4072004b7d86b46ded63013a74b7d6eb1119273dd89e8fa25c13cf
|
||
environment:
|
||
GF_SECURITY_ADMIN_USER: admin
|
||
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD:?GRAFANA_ADMIN_PASSWORD is empty, run make env}
|
||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
|
||
GF_NEWS_NEWS_FEED_ENABLED: "false"
|
||
GF_PLUGINS_PREINSTALL_DISABLED: "true"
|
||
GF_PLUGINS_DISABLE_PLUGINS: cloudwatch,elasticsearch,graphite,influxdb,jaeger,mssql,mysql,opentsdb,stackdriver,zipkin,grafana-postgresql-datasource,grafana-pyroscope-datasource,grafana-azure-monitor-datasource,grafana-testdata-datasource
|
||
GOMEMLIMIT: 300MiB
|
||
ports:
|
||
- "127.0.0.1:${GRAFANA_HOST_PORT:-3180}:3000"
|
||
tmpfs:
|
||
- /var/lib/grafana
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/otel/grafana/datasources.yaml
|
||
target: /etc/grafana/provisioning/datasources/datasources.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
- type: bind
|
||
source: ./infra/otel/grafana/dashboards.yaml
|
||
target: /etc/grafana/provisioning/dashboards/dashboards.yaml
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
- type: bind
|
||
source: ./infra/otel/grafana/dashboards
|
||
target: /var/lib/grafana-dashboards
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3000/api/health"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
retries: 6
|
||
start_period: 60s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 448M
|
||
|
||
networks:
|
||
# хранилища телеметрии и Grafana: процессы приложения сюда не попадают и
|
||
# до Loki, Tempo и Prometheus не достают — только до OTLP Collector. Не
|
||
# internal: иначе не работает опубликованный порт Grafana
|
||
telemetry:
|
||
|
||
volumes:
|
||
pgdata:
|
||
s3data:
|
||
rmqdata:
|
||
# лаба 6: история метрик, логов и трасс переживает рестарт и make down
|
||
promdata:
|
||
lokidata:
|
||
tempodata:
|