#!/usr/bin/env python3 """Лимиты CPU/RAM, порты, секреты, хранилища и масштабирование одного Compose-service. Сверяет файл конфигурации с тем, что реально применено в контейнерах. Значения секретов не печатает. Масштабирует api до 4 реплик и возвращает 2. Запуск: scripts/limits-evidence.sh""" # Четыре проверки: файл конфигурации, запущенные контейнеры, сеть хоста, масштабирование. # Каждая отдельная проверка печатает PASS или FAIL, в конце общий ИТОГ. # Нужен поднятый стенд с двумя репликами. Код выхода: 0, если нет ни одного FAIL. import collections import json import pathlib import re import socket import subprocess import sys import time import urllib.request # Корень проекта: docker compose должен запускаться из него. ROOT = pathlib.Path(__file__).resolve().parents[1] # Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается. BASE = 'http://localhost:8080' # Порт, на котором заведомо ничего не должно работать: им проверяется честность адреса. CONTROL_PORT = 59999 # Кому какой секрет нужен: всё остальное считается лишним. EXPECTED_SECRETS = { 'postgres': {'postgres_password'}, 'valkey': {'valkey_password'}, 'valkey-cache': {'valkey_cache_password'}, 'migrate': {'database_url'}, 'api': {'database_url', 'cache_url'}, 'lb': set(), 'loadgen': set(), } # Именованные тома есть только у хранилищ; остальные сервисы их иметь не должны. EXPECTED_VOLUMES = {'postgres': {'pgdata'}, 'valkey': {'valkeydata'}} # Имена проваленных проверок: по этому списку считается ИТОГ. failed = [] # Напечатать результат одной проверки и запомнить неудачу. def result(name, ok, detail=''): print('PASS' if ok else 'FAIL', name, detail, flush=True) if not ok: failed.append(name) # Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение. def run(*args, check=True): return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip() # То же для docker compose с настройками стенда. def dc(*args, check=True): return run('docker', 'compose', '--env-file', '.env', *args, check=check) # Проверка 1: что написано в конфигурации. docker compose config разворачивает все переменные, # поэтому видны итоговые значения. Профили включены, чтобы не пропустить необязательные сервисы. def audit_config(): print('## конфигурация, все сервисы и профили') config = json.loads(dc('--profile', 'cache', '--profile', 'bench', 'config', '--format', 'json')) services = config['services'] for name, service in services.items(): limits = service.get('deploy', {}).get('resources', {}).get('limits', {}) ports = ['%s:%s' % (p.get('host_ip', '*'), p.get('published')) for p in service.get('ports', [])] secrets = {s['source'] for s in service.get('secrets', [])} volumes = {v['source'] for v in service.get('volumes', []) if v['type'] == 'volume'} print('%-13s cpus=%-4s mem=%-5sMB ports=%-16s secrets=%s volumes=%s' % ( name, limits.get('cpus'), int(limits.get('memory', 0)) // 1048576, ','.join(ports) or '-', ','.join(sorted(secrets)) or '-', ','.join(sorted(volumes)) or '-')) result(name + ': заданы лимиты CPU и RAM', bool(limits.get('cpus') and limits.get('memory'))) result(name + ': секреты только нужные', secrets == EXPECTED_SECRETS[name], '' if secrets == EXPECTED_SECRETS[name] else str(secrets)) result(name + ': том только свой', volumes == EXPECTED_VOLUMES.get(name, set())) # container_name запретил бы запустить несколько реплик одного сервиса. result(name + ': нет container_name', 'container_name' not in service) result('API не публикует порты', not services['api'].get('ports')) # Сервисы, у которых есть порт не на 127.0.0.1: таким должен быть только LB. public = [n for n, s in services.items() for p in s.get('ports', []) if p.get('host_ip') != '127.0.0.1'] result('снаружи открыт только LB', public == ['lb'], str(public)) return services # Проверка 2: что применено на самом деле. Конфигурация могла не примениться, поэтому данные # берутся из самих контейнеров. def audit_runtime(): print('## запущенные контейнеры') expected_names = {'lb', 'api', 'postgres', 'valkey'} seen = set() for cid in dc('ps', '-q').split(): service = run('docker', 'inspect', '-f', '{{index .Config.Labels "com.docker.compose.service"}}', cid) name = run('docker', 'inspect', '-f', '{{.Name}}', cid) seen.add(service) # Фактические лимиты ядра из cgroup и пик использования памяти. cgroup = run('docker', 'exec', cid, 'sh', '-c', 'echo "cpu=$(cat /sys/fs/cgroup/cpu.max | tr " " "/") mem=$(cat /sys/fs/cgroup/memory.max) ' 'peak=$(cat /sys/fs/cgroup/memory.peak 2>/dev/null)"') # Только имена файлов секретов внутри контейнера, без содержимого. secrets = set(run('docker', 'exec', cid, 'sh', '-c', 'ls /run/secrets 2>/dev/null || true').split()) # На каких адресах хоста опубликованы порты контейнера. info = json.loads(run('docker', 'inspect', '-f', '{{json .NetworkSettings.Ports}}', cid)) bound = sorted({b['HostIp'] for v in info.values() if v for b in v}) # Был ли контейнер убит из-за нехватки памяти. oom = run('docker', 'inspect', '-f', '{{.State.OOMKilled}}', cid) print('%s %s secrets=%s bind=%s oom=%s' % (name, cgroup, ','.join(sorted(secrets)) or '-', ','.join(bound) or '-', oom)) # Значение max в cgroup означает, что лимита нет. result(name + ': лимиты применены в cgroup', 'max/' not in cgroup and 'mem=max' not in cgroup) result(name + ': в контейнере только нужные секреты', secrets == EXPECTED_SECRETS[service]) # Секрет не должен оказаться в окружении: его видно через docker inspect. Значения # только сравниваются; в вывод попадают лишь имена файлов. env = run('docker', 'inspect', '-f', '{{range .Config.Env}}{{println .}}{{end}}', cid) leaked = [f.name for f in (ROOT / 'secrets').iterdir() if f.is_file() and f.read_text().strip() in env] result(name + ': значения секретов не в окружении', not leaked, str(leaked) if leaked else '') if service == 'api': result(name + ': API без проброса порта', not bound) elif service != 'lb': result(name + ': порт только на 127.0.0.1', bound == ['127.0.0.1'], str(bound)) result('запущены все сервисы стенда', expected_names <= seen, str(sorted(seen))) # Проверка 3: реальное подключение с внешних адресов хоста, а не вывод настроек. def audit_network(): print('## доступность с внешних адресов хоста') def is_open(host, port): with socket.socket() as s: s.settimeout(1) return s.connect_ex((host, port)) == 0 # Все IPv4-адреса хоста. ifconfig есть на macOS; в Linux его может не быть. addresses = re.findall(r'inet (\d+\.\d+\.\d+\.\d+)', run('ifconfig')) checked = 0 # В доказательство адрес попадает под номером: IP машины в нём не нужен. for number, host in enumerate(addresses, 1): label = 'адрес %d' % number if host.startswith('127.'): continue # VPN-туннель может принимать соединения на любой порт: такой адрес ничего не доказывает. if is_open(host, CONTROL_PORT): print('%s пропущен: открыт и контрольный порт %d' % (label, CONTROL_PORT)) continue checked += 1 states = {port: is_open(host, port) for port in (8080, 5432, 6379)} print(label, states) result(label + ': LB доступен', states[8080]) result(label + ': PostgreSQL и Valkey закрыты', not states[5432] and not states[6379]) # Без этого пропуск всех адресов выглядел бы как успех. result('проверен хотя бы один внешний адрес', checked > 0) # Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy. def lb_up(): csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv') return sum(1 for line in csv.splitlines() if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP') # Подождать до 60 с, пока LB не покажет заданное число реплик. def wait_lb(count): end = time.monotonic() + 60 while time.monotonic() < end: if lb_up() == count: return True time.sleep(0.3) return False # Сколько запросов обслужила каждая реплика: по заголовку X-Instance-Id в ответе. def instances(requests=48): seen = collections.Counter() for _ in range(requests): with urllib.request.urlopen(BASE + '/health/ready', timeout=3) as response: seen[response.headers['X-Instance-Id']] += 1 return seen # Изменить число реплик и проверить, что все получают трафик поровну (разница не больше 1). # --no-recreate не трогает работающие контейнеры, только добавляет или убирает лишние. def scale(count): dc('up', '-d', '--no-recreate', '--wait', '--scale', 'api=%d' % count, check=False) arrived = wait_lb(count) names = sorted(dc('ps', '--format', '{{.Name}}', 'api').split()) seen = instances() print('реплик=%d контейнеры=%s запросы_по_репликам=%s' % (count, names, dict(seen))) result('масштаб %d: LB видит все реплики' % count, arrived) result('масштаб %d: нагрузка на всех поровну' % count, len(names) == count and len(seen) == count and max(seen.values()) - min(seen.values()) <= 1) # Проверка 4: api масштабируется до 4 реплик и обратно. finally возвращает 2 реплики даже при ошибке. def audit_scale(): print('## масштабирование одного Compose-service') if not wait_lb(2): raise SystemExit('LB не видит 2 реплики') try: scale(4) finally: scale(2) # У реплик нет своего состояния: новых томов появиться не должно. volumes = run('docker', 'volume', 'ls', '--filter', 'name=mtusi-lab3_', '--format', '{{.Name}}').split() print('тома проекта:', volumes) result('реплики не создали своих томов', set(volumes) == {'mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'}) # Выполнить все проверки и вывести итог. Код выхода 1, если хотя бы одна не прошла. def main(): audit_config() audit_runtime() audit_network() audit_scale() print('ИТОГ:', 'PASS' if not failed else 'FAIL: ' + '; '.join(failed)) sys.exit(1 if failed else 0) main()