Files
mtusi2026lab3/scripts/limits-evidence.py
2026-11-05 17:56:30 +03:00

210 lines
13 KiB
Python
Executable File

#!/usr/bin/env python3
"""Лимиты CPU/RAM, порты, секреты, хранилища и масштабирование одного Compose-service.
Сверяет файл конфигурации с тем, что реально применено в контейнерах. Значения секретов не
печатает. Масштабирует api до 4 реплик и возвращает 2. Запуск: scripts/limits-evidence.sh"""
# Четыре проверки: файл конфигурации, запущенные контейнеры, сеть хоста, масштабирование.
# Каждая отдельная проверка печатает PASS или FAIL, в конце общий ИТОГ.
# Нужен поднятый стенд с двумя репликами. Код выхода: 0, если нет ни одного FAIL.
import collections
import json
import pathlib
import re
import socket
import subprocess
import sys
import time
import urllib.request
# Корень проекта: docker compose должен запускаться из него.
ROOT = pathlib.Path(__file__).resolve().parents[1]
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
BASE = 'http://localhost:8080'
# Порт, на котором заведомо ничего не должно работать: им проверяется честность адреса.
CONTROL_PORT = 59999
# Кому какой секрет нужен: всё остальное считается лишним.
EXPECTED_SECRETS = {
'postgres': {'postgres_password'}, 'valkey': {'valkey_password'},
'valkey-cache': {'valkey_cache_password'}, 'migrate': {'database_url'},
'api': {'database_url', 'cache_url'}, 'lb': set(), 'loadgen': set(),
}
# Именованные тома есть только у хранилищ; остальные сервисы их иметь не должны.
EXPECTED_VOLUMES = {'postgres': {'pgdata'}, 'valkey': {'valkeydata'}}
# Имена проваленных проверок: по этому списку считается ИТОГ.
failed = []
# Напечатать результат одной проверки и запомнить неудачу.
def result(name, ok, detail=''):
print('PASS' if ok else 'FAIL', name, detail, flush=True)
if not ok:
failed.append(name)
# Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение.
def run(*args, check=True):
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip()
# То же для docker compose с настройками стенда.
def dc(*args, check=True):
return run('docker', 'compose', '--env-file', '.env', *args, check=check)
# Проверка 1: что написано в конфигурации. docker compose config разворачивает все переменные,
# поэтому видны итоговые значения. Профили включены, чтобы не пропустить необязательные сервисы.
def audit_config():
print('## конфигурация, все сервисы и профили')
config = json.loads(dc('--profile', 'cache', '--profile', 'bench', 'config', '--format', 'json'))
services = config['services']
for name, service in services.items():
limits = service.get('deploy', {}).get('resources', {}).get('limits', {})
ports = ['%s:%s' % (p.get('host_ip', '*'), p.get('published')) for p in service.get('ports', [])]
secrets = {s['source'] for s in service.get('secrets', [])}
volumes = {v['source'] for v in service.get('volumes', []) if v['type'] == 'volume'}
print('%-13s cpus=%-4s mem=%-5sMB ports=%-16s secrets=%s volumes=%s' % (
name, limits.get('cpus'), int(limits.get('memory', 0)) // 1048576, ','.join(ports) or '-',
','.join(sorted(secrets)) or '-', ','.join(sorted(volumes)) or '-'))
result(name + ': заданы лимиты CPU и RAM', bool(limits.get('cpus') and limits.get('memory')))
result(name + ': секреты только нужные', secrets == EXPECTED_SECRETS[name], '' if secrets == EXPECTED_SECRETS[name] else str(secrets))
result(name + ': том только свой', volumes == EXPECTED_VOLUMES.get(name, set()))
# container_name запретил бы запустить несколько реплик одного сервиса.
result(name + ': нет container_name', 'container_name' not in service)
result('API не публикует порты', not services['api'].get('ports'))
# Сервисы, у которых есть порт не на 127.0.0.1: таким должен быть только LB.
public = [n for n, s in services.items() for p in s.get('ports', []) if p.get('host_ip') != '127.0.0.1']
result('снаружи открыт только LB', public == ['lb'], str(public))
return services
# Проверка 2: что применено на самом деле. Конфигурация могла не примениться, поэтому данные
# берутся из самих контейнеров.
def audit_runtime():
print('## запущенные контейнеры')
expected_names = {'lb', 'api', 'postgres', 'valkey'}
seen = set()
for cid in dc('ps', '-q').split():
service = run('docker', 'inspect', '-f', '{{index .Config.Labels "com.docker.compose.service"}}', cid)
name = run('docker', 'inspect', '-f', '{{.Name}}', cid)
seen.add(service)
# Фактические лимиты ядра из cgroup и пик использования памяти.
cgroup = run('docker', 'exec', cid, 'sh', '-c',
'echo "cpu=$(cat /sys/fs/cgroup/cpu.max | tr " " "/") mem=$(cat /sys/fs/cgroup/memory.max) '
'peak=$(cat /sys/fs/cgroup/memory.peak 2>/dev/null)"')
# Только имена файлов секретов внутри контейнера, без содержимого.
secrets = set(run('docker', 'exec', cid, 'sh', '-c', 'ls /run/secrets 2>/dev/null || true').split())
# На каких адресах хоста опубликованы порты контейнера.
info = json.loads(run('docker', 'inspect', '-f', '{{json .NetworkSettings.Ports}}', cid))
bound = sorted({b['HostIp'] for v in info.values() if v for b in v})
# Был ли контейнер убит из-за нехватки памяти.
oom = run('docker', 'inspect', '-f', '{{.State.OOMKilled}}', cid)
print('%s %s secrets=%s bind=%s oom=%s' % (name, cgroup, ','.join(sorted(secrets)) or '-', ','.join(bound) or '-', oom))
# Значение max в cgroup означает, что лимита нет.
result(name + ': лимиты применены в cgroup', 'max/' not in cgroup and 'mem=max' not in cgroup)
result(name + ': в контейнере только нужные секреты', secrets == EXPECTED_SECRETS[service])
# Секрет не должен оказаться в окружении: его видно через docker inspect. Значения
# только сравниваются; в вывод попадают лишь имена файлов.
env = run('docker', 'inspect', '-f', '{{range .Config.Env}}{{println .}}{{end}}', cid)
leaked = [f.name for f in (ROOT / 'secrets').iterdir() if f.is_file() and f.read_text().strip() in env]
result(name + ': значения секретов не в окружении', not leaked, str(leaked) if leaked else '')
if service == 'api':
result(name + ': API без проброса порта', not bound)
elif service != 'lb':
result(name + ': порт только на 127.0.0.1', bound == ['127.0.0.1'], str(bound))
result('запущены все сервисы стенда', expected_names <= seen, str(sorted(seen)))
# Проверка 3: реальное подключение с внешних адресов хоста, а не вывод настроек.
def audit_network():
print('## доступность с внешних адресов хоста')
def is_open(host, port):
with socket.socket() as s:
s.settimeout(1)
return s.connect_ex((host, port)) == 0
# Все IPv4-адреса хоста. ifconfig есть на macOS; в Linux его может не быть.
addresses = re.findall(r'inet (\d+\.\d+\.\d+\.\d+)', run('ifconfig'))
checked = 0
# В доказательство адрес попадает под номером: IP машины в нём не нужен.
for number, host in enumerate(addresses, 1):
label = 'адрес %d' % number
if host.startswith('127.'):
continue
# VPN-туннель может принимать соединения на любой порт: такой адрес ничего не доказывает.
if is_open(host, CONTROL_PORT):
print('%s пропущен: открыт и контрольный порт %d' % (label, CONTROL_PORT))
continue
checked += 1
states = {port: is_open(host, port) for port in (8080, 5432, 6379)}
print(label, states)
result(label + ': LB доступен', states[8080])
result(label + ': PostgreSQL и Valkey закрыты', not states[5432] and not states[6379])
# Без этого пропуск всех адресов выглядел бы как успех.
result('проверен хотя бы один внешний адрес', checked > 0)
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
def lb_up():
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
return sum(1 for line in csv.splitlines()
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
# Подождать до 60 с, пока LB не покажет заданное число реплик.
def wait_lb(count):
end = time.monotonic() + 60
while time.monotonic() < end:
if lb_up() == count:
return True
time.sleep(0.3)
return False
# Сколько запросов обслужила каждая реплика: по заголовку X-Instance-Id в ответе.
def instances(requests=48):
seen = collections.Counter()
for _ in range(requests):
with urllib.request.urlopen(BASE + '/health/ready', timeout=3) as response:
seen[response.headers['X-Instance-Id']] += 1
return seen
# Изменить число реплик и проверить, что все получают трафик поровну (разница не больше 1).
# --no-recreate не трогает работающие контейнеры, только добавляет или убирает лишние.
def scale(count):
dc('up', '-d', '--no-recreate', '--wait', '--scale', 'api=%d' % count, check=False)
arrived = wait_lb(count)
names = sorted(dc('ps', '--format', '{{.Name}}', 'api').split())
seen = instances()
print('реплик=%d контейнеры=%s запросы_по_репликам=%s' % (count, names, dict(seen)))
result('масштаб %d: LB видит все реплики' % count, arrived)
result('масштаб %d: нагрузка на всех поровну' % count, len(names) == count and len(seen) == count and max(seen.values()) - min(seen.values()) <= 1)
# Проверка 4: api масштабируется до 4 реплик и обратно. finally возвращает 2 реплики даже при ошибке.
def audit_scale():
print('## масштабирование одного Compose-service')
if not wait_lb(2):
raise SystemExit('LB не видит 2 реплики')
try:
scale(4)
finally:
scale(2)
# У реплик нет своего состояния: новых томов появиться не должно.
volumes = run('docker', 'volume', 'ls', '--filter', 'name=mtusi-lab3_', '--format', '{{.Name}}').split()
print('тома проекта:', volumes)
result('реплики не создали своих томов', set(volumes) == {'mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'})
# Выполнить все проверки и вывести итог. Код выхода 1, если хотя бы одна не прошла.
def main():
audit_config()
audit_runtime()
audit_network()
audit_scale()
print('ИТОГ:', 'PASS' if not failed else 'FAIL: ' + '; '.join(failed))
sys.exit(1 if failed else 0)
main()