210 lines
13 KiB
Python
Executable File
210 lines
13 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
"""Лимиты CPU/RAM, порты, секреты, хранилища и масштабирование одного Compose-service.
|
|
Сверяет файл конфигурации с тем, что реально применено в контейнерах. Значения секретов не
|
|
печатает. Масштабирует api до 4 реплик и возвращает 2. Запуск: scripts/limits-evidence.sh"""
|
|
# Четыре проверки: файл конфигурации, запущенные контейнеры, сеть хоста, масштабирование.
|
|
# Каждая отдельная проверка печатает PASS или FAIL, в конце общий ИТОГ.
|
|
# Нужен поднятый стенд с двумя репликами. Код выхода: 0, если нет ни одного FAIL.
|
|
import collections
|
|
import json
|
|
import pathlib
|
|
import re
|
|
import socket
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
import urllib.request
|
|
|
|
# Корень проекта: docker compose должен запускаться из него.
|
|
ROOT = pathlib.Path(__file__).resolve().parents[1]
|
|
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
|
|
BASE = 'http://localhost:8080'
|
|
# Порт, на котором заведомо ничего не должно работать: им проверяется честность адреса.
|
|
CONTROL_PORT = 59999
|
|
# Кому какой секрет нужен: всё остальное считается лишним.
|
|
EXPECTED_SECRETS = {
|
|
'postgres': {'postgres_password'}, 'valkey': {'valkey_password'},
|
|
'valkey-cache': {'valkey_cache_password'}, 'migrate': {'database_url'},
|
|
'api': {'database_url', 'cache_url'}, 'lb': set(), 'loadgen': set(),
|
|
}
|
|
# Именованные тома есть только у хранилищ; остальные сервисы их иметь не должны.
|
|
EXPECTED_VOLUMES = {'postgres': {'pgdata'}, 'valkey': {'valkeydata'}}
|
|
# Имена проваленных проверок: по этому списку считается ИТОГ.
|
|
failed = []
|
|
|
|
|
|
# Напечатать результат одной проверки и запомнить неудачу.
|
|
def result(name, ok, detail=''):
|
|
print('PASS' if ok else 'FAIL', name, detail, flush=True)
|
|
if not ok:
|
|
failed.append(name)
|
|
|
|
|
|
# Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение.
|
|
def run(*args, check=True):
|
|
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip()
|
|
|
|
|
|
# То же для docker compose с настройками стенда.
|
|
def dc(*args, check=True):
|
|
return run('docker', 'compose', '--env-file', '.env', *args, check=check)
|
|
|
|
|
|
# Проверка 1: что написано в конфигурации. docker compose config разворачивает все переменные,
|
|
# поэтому видны итоговые значения. Профили включены, чтобы не пропустить необязательные сервисы.
|
|
def audit_config():
|
|
print('## конфигурация, все сервисы и профили')
|
|
config = json.loads(dc('--profile', 'cache', '--profile', 'bench', 'config', '--format', 'json'))
|
|
services = config['services']
|
|
for name, service in services.items():
|
|
limits = service.get('deploy', {}).get('resources', {}).get('limits', {})
|
|
ports = ['%s:%s' % (p.get('host_ip', '*'), p.get('published')) for p in service.get('ports', [])]
|
|
secrets = {s['source'] for s in service.get('secrets', [])}
|
|
volumes = {v['source'] for v in service.get('volumes', []) if v['type'] == 'volume'}
|
|
print('%-13s cpus=%-4s mem=%-5sMB ports=%-16s secrets=%s volumes=%s' % (
|
|
name, limits.get('cpus'), int(limits.get('memory', 0)) // 1048576, ','.join(ports) or '-',
|
|
','.join(sorted(secrets)) or '-', ','.join(sorted(volumes)) or '-'))
|
|
result(name + ': заданы лимиты CPU и RAM', bool(limits.get('cpus') and limits.get('memory')))
|
|
result(name + ': секреты только нужные', secrets == EXPECTED_SECRETS[name], '' if secrets == EXPECTED_SECRETS[name] else str(secrets))
|
|
result(name + ': том только свой', volumes == EXPECTED_VOLUMES.get(name, set()))
|
|
# container_name запретил бы запустить несколько реплик одного сервиса.
|
|
result(name + ': нет container_name', 'container_name' not in service)
|
|
result('API не публикует порты', not services['api'].get('ports'))
|
|
# Сервисы, у которых есть порт не на 127.0.0.1: таким должен быть только LB.
|
|
public = [n for n, s in services.items() for p in s.get('ports', []) if p.get('host_ip') != '127.0.0.1']
|
|
result('снаружи открыт только LB', public == ['lb'], str(public))
|
|
return services
|
|
|
|
|
|
# Проверка 2: что применено на самом деле. Конфигурация могла не примениться, поэтому данные
|
|
# берутся из самих контейнеров.
|
|
def audit_runtime():
|
|
print('## запущенные контейнеры')
|
|
expected_names = {'lb', 'api', 'postgres', 'valkey'}
|
|
seen = set()
|
|
for cid in dc('ps', '-q').split():
|
|
service = run('docker', 'inspect', '-f', '{{index .Config.Labels "com.docker.compose.service"}}', cid)
|
|
name = run('docker', 'inspect', '-f', '{{.Name}}', cid)
|
|
seen.add(service)
|
|
# Фактические лимиты ядра из cgroup и пик использования памяти.
|
|
cgroup = run('docker', 'exec', cid, 'sh', '-c',
|
|
'echo "cpu=$(cat /sys/fs/cgroup/cpu.max | tr " " "/") mem=$(cat /sys/fs/cgroup/memory.max) '
|
|
'peak=$(cat /sys/fs/cgroup/memory.peak 2>/dev/null)"')
|
|
# Только имена файлов секретов внутри контейнера, без содержимого.
|
|
secrets = set(run('docker', 'exec', cid, 'sh', '-c', 'ls /run/secrets 2>/dev/null || true').split())
|
|
# На каких адресах хоста опубликованы порты контейнера.
|
|
info = json.loads(run('docker', 'inspect', '-f', '{{json .NetworkSettings.Ports}}', cid))
|
|
bound = sorted({b['HostIp'] for v in info.values() if v for b in v})
|
|
# Был ли контейнер убит из-за нехватки памяти.
|
|
oom = run('docker', 'inspect', '-f', '{{.State.OOMKilled}}', cid)
|
|
print('%s %s secrets=%s bind=%s oom=%s' % (name, cgroup, ','.join(sorted(secrets)) or '-', ','.join(bound) or '-', oom))
|
|
# Значение max в cgroup означает, что лимита нет.
|
|
result(name + ': лимиты применены в cgroup', 'max/' not in cgroup and 'mem=max' not in cgroup)
|
|
result(name + ': в контейнере только нужные секреты', secrets == EXPECTED_SECRETS[service])
|
|
# Секрет не должен оказаться в окружении: его видно через docker inspect. Значения
|
|
# только сравниваются; в вывод попадают лишь имена файлов.
|
|
env = run('docker', 'inspect', '-f', '{{range .Config.Env}}{{println .}}{{end}}', cid)
|
|
leaked = [f.name for f in (ROOT / 'secrets').iterdir() if f.is_file() and f.read_text().strip() in env]
|
|
result(name + ': значения секретов не в окружении', not leaked, str(leaked) if leaked else '')
|
|
if service == 'api':
|
|
result(name + ': API без проброса порта', not bound)
|
|
elif service != 'lb':
|
|
result(name + ': порт только на 127.0.0.1', bound == ['127.0.0.1'], str(bound))
|
|
result('запущены все сервисы стенда', expected_names <= seen, str(sorted(seen)))
|
|
|
|
|
|
# Проверка 3: реальное подключение с внешних адресов хоста, а не вывод настроек.
|
|
def audit_network():
|
|
print('## доступность с внешних адресов хоста')
|
|
|
|
def is_open(host, port):
|
|
with socket.socket() as s:
|
|
s.settimeout(1)
|
|
return s.connect_ex((host, port)) == 0
|
|
|
|
# Все IPv4-адреса хоста. ifconfig есть на macOS; в Linux его может не быть.
|
|
addresses = re.findall(r'inet (\d+\.\d+\.\d+\.\d+)', run('ifconfig'))
|
|
checked = 0
|
|
# В доказательство адрес попадает под номером: IP машины в нём не нужен.
|
|
for number, host in enumerate(addresses, 1):
|
|
label = 'адрес %d' % number
|
|
if host.startswith('127.'):
|
|
continue
|
|
# VPN-туннель может принимать соединения на любой порт: такой адрес ничего не доказывает.
|
|
if is_open(host, CONTROL_PORT):
|
|
print('%s пропущен: открыт и контрольный порт %d' % (label, CONTROL_PORT))
|
|
continue
|
|
checked += 1
|
|
states = {port: is_open(host, port) for port in (8080, 5432, 6379)}
|
|
print(label, states)
|
|
result(label + ': LB доступен', states[8080])
|
|
result(label + ': PostgreSQL и Valkey закрыты', not states[5432] and not states[6379])
|
|
# Без этого пропуск всех адресов выглядел бы как успех.
|
|
result('проверен хотя бы один внешний адрес', checked > 0)
|
|
|
|
|
|
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
|
|
def lb_up():
|
|
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
|
|
return sum(1 for line in csv.splitlines()
|
|
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
|
|
|
|
|
|
# Подождать до 60 с, пока LB не покажет заданное число реплик.
|
|
def wait_lb(count):
|
|
end = time.monotonic() + 60
|
|
while time.monotonic() < end:
|
|
if lb_up() == count:
|
|
return True
|
|
time.sleep(0.3)
|
|
return False
|
|
|
|
|
|
# Сколько запросов обслужила каждая реплика: по заголовку X-Instance-Id в ответе.
|
|
def instances(requests=48):
|
|
seen = collections.Counter()
|
|
for _ in range(requests):
|
|
with urllib.request.urlopen(BASE + '/health/ready', timeout=3) as response:
|
|
seen[response.headers['X-Instance-Id']] += 1
|
|
return seen
|
|
|
|
|
|
# Изменить число реплик и проверить, что все получают трафик поровну (разница не больше 1).
|
|
# --no-recreate не трогает работающие контейнеры, только добавляет или убирает лишние.
|
|
def scale(count):
|
|
dc('up', '-d', '--no-recreate', '--wait', '--scale', 'api=%d' % count, check=False)
|
|
arrived = wait_lb(count)
|
|
names = sorted(dc('ps', '--format', '{{.Name}}', 'api').split())
|
|
seen = instances()
|
|
print('реплик=%d контейнеры=%s запросы_по_репликам=%s' % (count, names, dict(seen)))
|
|
result('масштаб %d: LB видит все реплики' % count, arrived)
|
|
result('масштаб %d: нагрузка на всех поровну' % count, len(names) == count and len(seen) == count and max(seen.values()) - min(seen.values()) <= 1)
|
|
|
|
|
|
# Проверка 4: api масштабируется до 4 реплик и обратно. finally возвращает 2 реплики даже при ошибке.
|
|
def audit_scale():
|
|
print('## масштабирование одного Compose-service')
|
|
if not wait_lb(2):
|
|
raise SystemExit('LB не видит 2 реплики')
|
|
try:
|
|
scale(4)
|
|
finally:
|
|
scale(2)
|
|
# У реплик нет своего состояния: новых томов появиться не должно.
|
|
volumes = run('docker', 'volume', 'ls', '--filter', 'name=mtusi-lab3_', '--format', '{{.Name}}').split()
|
|
print('тома проекта:', volumes)
|
|
result('реплики не создали своих томов', set(volumes) == {'mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'})
|
|
|
|
|
|
# Выполнить все проверки и вывести итог. Код выхода 1, если хотя бы одна не прошла.
|
|
def main():
|
|
audit_config()
|
|
audit_runtime()
|
|
audit_network()
|
|
audit_scale()
|
|
print('ИТОГ:', 'PASS' if not failed else 'FAIL: ' + '; '.join(failed))
|
|
sys.exit(1 if failed else 0)
|
|
|
|
|
|
main()
|