forked from mtusi2026/mtusi2026lab3
work 3
This commit is contained in:
Executable
+209
@@ -0,0 +1,209 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Лимиты CPU/RAM, порты, секреты, хранилища и масштабирование одного Compose-service.
|
||||
Сверяет файл конфигурации с тем, что реально применено в контейнерах. Значения секретов не
|
||||
печатает. Масштабирует api до 4 реплик и возвращает 2. Запуск: scripts/limits-evidence.sh"""
|
||||
# Четыре проверки: файл конфигурации, запущенные контейнеры, сеть хоста, масштабирование.
|
||||
# Каждая отдельная проверка печатает PASS или FAIL, в конце общий ИТОГ.
|
||||
# Нужен поднятый стенд с двумя репликами. Код выхода: 0, если нет ни одного FAIL.
|
||||
import collections
|
||||
import json
|
||||
import pathlib
|
||||
import re
|
||||
import socket
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
# Корень проекта: docker compose должен запускаться из него.
|
||||
ROOT = pathlib.Path(__file__).resolve().parents[1]
|
||||
# Публичный адрес LB. Задан жёстко, другой порт здесь не поддерживается.
|
||||
BASE = 'http://localhost:8080'
|
||||
# Порт, на котором заведомо ничего не должно работать: им проверяется честность адреса.
|
||||
CONTROL_PORT = 59999
|
||||
# Кому какой секрет нужен: всё остальное считается лишним.
|
||||
EXPECTED_SECRETS = {
|
||||
'postgres': {'postgres_password'}, 'valkey': {'valkey_password'},
|
||||
'valkey-cache': {'valkey_cache_password'}, 'migrate': {'database_url'},
|
||||
'api': {'database_url', 'cache_url'}, 'lb': set(), 'loadgen': set(),
|
||||
}
|
||||
# Именованные тома есть только у хранилищ; остальные сервисы их иметь не должны.
|
||||
EXPECTED_VOLUMES = {'postgres': {'pgdata'}, 'valkey': {'valkeydata'}}
|
||||
# Имена проваленных проверок: по этому списку считается ИТОГ.
|
||||
failed = []
|
||||
|
||||
|
||||
# Напечатать результат одной проверки и запомнить неудачу.
|
||||
def result(name, ok, detail=''):
|
||||
print('PASS' if ok else 'FAIL', name, detail, flush=True)
|
||||
if not ok:
|
||||
failed.append(name)
|
||||
|
||||
|
||||
# Выполнить команду и вернуть её stdout. check=True: при ненулевом коде выхода будет исключение.
|
||||
def run(*args, check=True):
|
||||
return subprocess.run(args, cwd=ROOT, capture_output=True, text=True, check=check).stdout.strip()
|
||||
|
||||
|
||||
# То же для docker compose с настройками стенда.
|
||||
def dc(*args, check=True):
|
||||
return run('docker', 'compose', '--env-file', '.env', *args, check=check)
|
||||
|
||||
|
||||
# Проверка 1: что написано в конфигурации. docker compose config разворачивает все переменные,
|
||||
# поэтому видны итоговые значения. Профили включены, чтобы не пропустить необязательные сервисы.
|
||||
def audit_config():
|
||||
print('## конфигурация, все сервисы и профили')
|
||||
config = json.loads(dc('--profile', 'cache', '--profile', 'bench', 'config', '--format', 'json'))
|
||||
services = config['services']
|
||||
for name, service in services.items():
|
||||
limits = service.get('deploy', {}).get('resources', {}).get('limits', {})
|
||||
ports = ['%s:%s' % (p.get('host_ip', '*'), p.get('published')) for p in service.get('ports', [])]
|
||||
secrets = {s['source'] for s in service.get('secrets', [])}
|
||||
volumes = {v['source'] for v in service.get('volumes', []) if v['type'] == 'volume'}
|
||||
print('%-13s cpus=%-4s mem=%-5sMB ports=%-16s secrets=%s volumes=%s' % (
|
||||
name, limits.get('cpus'), int(limits.get('memory', 0)) // 1048576, ','.join(ports) or '-',
|
||||
','.join(sorted(secrets)) or '-', ','.join(sorted(volumes)) or '-'))
|
||||
result(name + ': заданы лимиты CPU и RAM', bool(limits.get('cpus') and limits.get('memory')))
|
||||
result(name + ': секреты только нужные', secrets == EXPECTED_SECRETS[name], '' if secrets == EXPECTED_SECRETS[name] else str(secrets))
|
||||
result(name + ': том только свой', volumes == EXPECTED_VOLUMES.get(name, set()))
|
||||
# container_name запретил бы запустить несколько реплик одного сервиса.
|
||||
result(name + ': нет container_name', 'container_name' not in service)
|
||||
result('API не публикует порты', not services['api'].get('ports'))
|
||||
# Сервисы, у которых есть порт не на 127.0.0.1: таким должен быть только LB.
|
||||
public = [n for n, s in services.items() for p in s.get('ports', []) if p.get('host_ip') != '127.0.0.1']
|
||||
result('снаружи открыт только LB', public == ['lb'], str(public))
|
||||
return services
|
||||
|
||||
|
||||
# Проверка 2: что применено на самом деле. Конфигурация могла не примениться, поэтому данные
|
||||
# берутся из самих контейнеров.
|
||||
def audit_runtime():
|
||||
print('## запущенные контейнеры')
|
||||
expected_names = {'lb', 'api', 'postgres', 'valkey'}
|
||||
seen = set()
|
||||
for cid in dc('ps', '-q').split():
|
||||
service = run('docker', 'inspect', '-f', '{{index .Config.Labels "com.docker.compose.service"}}', cid)
|
||||
name = run('docker', 'inspect', '-f', '{{.Name}}', cid)
|
||||
seen.add(service)
|
||||
# Фактические лимиты ядра из cgroup и пик использования памяти.
|
||||
cgroup = run('docker', 'exec', cid, 'sh', '-c',
|
||||
'echo "cpu=$(cat /sys/fs/cgroup/cpu.max | tr " " "/") mem=$(cat /sys/fs/cgroup/memory.max) '
|
||||
'peak=$(cat /sys/fs/cgroup/memory.peak 2>/dev/null)"')
|
||||
# Только имена файлов секретов внутри контейнера, без содержимого.
|
||||
secrets = set(run('docker', 'exec', cid, 'sh', '-c', 'ls /run/secrets 2>/dev/null || true').split())
|
||||
# На каких адресах хоста опубликованы порты контейнера.
|
||||
info = json.loads(run('docker', 'inspect', '-f', '{{json .NetworkSettings.Ports}}', cid))
|
||||
bound = sorted({b['HostIp'] for v in info.values() if v for b in v})
|
||||
# Был ли контейнер убит из-за нехватки памяти.
|
||||
oom = run('docker', 'inspect', '-f', '{{.State.OOMKilled}}', cid)
|
||||
print('%s %s secrets=%s bind=%s oom=%s' % (name, cgroup, ','.join(sorted(secrets)) or '-', ','.join(bound) or '-', oom))
|
||||
# Значение max в cgroup означает, что лимита нет.
|
||||
result(name + ': лимиты применены в cgroup', 'max/' not in cgroup and 'mem=max' not in cgroup)
|
||||
result(name + ': в контейнере только нужные секреты', secrets == EXPECTED_SECRETS[service])
|
||||
# Секрет не должен оказаться в окружении: его видно через docker inspect. Значения
|
||||
# только сравниваются; в вывод попадают лишь имена файлов.
|
||||
env = run('docker', 'inspect', '-f', '{{range .Config.Env}}{{println .}}{{end}}', cid)
|
||||
leaked = [f.name for f in (ROOT / 'secrets').iterdir() if f.is_file() and f.read_text().strip() in env]
|
||||
result(name + ': значения секретов не в окружении', not leaked, str(leaked) if leaked else '')
|
||||
if service == 'api':
|
||||
result(name + ': API без проброса порта', not bound)
|
||||
elif service != 'lb':
|
||||
result(name + ': порт только на 127.0.0.1', bound == ['127.0.0.1'], str(bound))
|
||||
result('запущены все сервисы стенда', expected_names <= seen, str(sorted(seen)))
|
||||
|
||||
|
||||
# Проверка 3: реальное подключение с внешних адресов хоста, а не вывод настроек.
|
||||
def audit_network():
|
||||
print('## доступность с внешних адресов хоста')
|
||||
|
||||
def is_open(host, port):
|
||||
with socket.socket() as s:
|
||||
s.settimeout(1)
|
||||
return s.connect_ex((host, port)) == 0
|
||||
|
||||
# Все IPv4-адреса хоста. ifconfig есть на macOS; в Linux его может не быть.
|
||||
addresses = re.findall(r'inet (\d+\.\d+\.\d+\.\d+)', run('ifconfig'))
|
||||
checked = 0
|
||||
# В доказательство адрес попадает под номером: IP машины в нём не нужен.
|
||||
for number, host in enumerate(addresses, 1):
|
||||
label = 'адрес %d' % number
|
||||
if host.startswith('127.'):
|
||||
continue
|
||||
# VPN-туннель может принимать соединения на любой порт: такой адрес ничего не доказывает.
|
||||
if is_open(host, CONTROL_PORT):
|
||||
print('%s пропущен: открыт и контрольный порт %d' % (label, CONTROL_PORT))
|
||||
continue
|
||||
checked += 1
|
||||
states = {port: is_open(host, port) for port in (8080, 5432, 6379)}
|
||||
print(label, states)
|
||||
result(label + ': LB доступен', states[8080])
|
||||
result(label + ': PostgreSQL и Valkey закрыты', not states[5432] and not states[6379])
|
||||
# Без этого пропуск всех адресов выглядел бы как успех.
|
||||
result('проверен хотя бы один внешний адрес', checked > 0)
|
||||
|
||||
|
||||
# Сколько реплик LB считает рабочими: поле status (индекс 17) в CSV-статистике HAProxy.
|
||||
def lb_up():
|
||||
csv = dc('exec', '-T', 'lb', 'wget', '-qO-', 'http://127.0.0.1:8404/stats;csv')
|
||||
return sum(1 for line in csv.splitlines()
|
||||
if line.startswith('api,') and line.split(',')[1] != 'BACKEND' and line.split(',')[17] == 'UP')
|
||||
|
||||
|
||||
# Подождать до 60 с, пока LB не покажет заданное число реплик.
|
||||
def wait_lb(count):
|
||||
end = time.monotonic() + 60
|
||||
while time.monotonic() < end:
|
||||
if lb_up() == count:
|
||||
return True
|
||||
time.sleep(0.3)
|
||||
return False
|
||||
|
||||
|
||||
# Сколько запросов обслужила каждая реплика: по заголовку X-Instance-Id в ответе.
|
||||
def instances(requests=48):
|
||||
seen = collections.Counter()
|
||||
for _ in range(requests):
|
||||
with urllib.request.urlopen(BASE + '/health/ready', timeout=3) as response:
|
||||
seen[response.headers['X-Instance-Id']] += 1
|
||||
return seen
|
||||
|
||||
|
||||
# Изменить число реплик и проверить, что все получают трафик поровну (разница не больше 1).
|
||||
# --no-recreate не трогает работающие контейнеры, только добавляет или убирает лишние.
|
||||
def scale(count):
|
||||
dc('up', '-d', '--no-recreate', '--wait', '--scale', 'api=%d' % count, check=False)
|
||||
arrived = wait_lb(count)
|
||||
names = sorted(dc('ps', '--format', '{{.Name}}', 'api').split())
|
||||
seen = instances()
|
||||
print('реплик=%d контейнеры=%s запросы_по_репликам=%s' % (count, names, dict(seen)))
|
||||
result('масштаб %d: LB видит все реплики' % count, arrived)
|
||||
result('масштаб %d: нагрузка на всех поровну' % count, len(names) == count and len(seen) == count and max(seen.values()) - min(seen.values()) <= 1)
|
||||
|
||||
|
||||
# Проверка 4: api масштабируется до 4 реплик и обратно. finally возвращает 2 реплики даже при ошибке.
|
||||
def audit_scale():
|
||||
print('## масштабирование одного Compose-service')
|
||||
if not wait_lb(2):
|
||||
raise SystemExit('LB не видит 2 реплики')
|
||||
try:
|
||||
scale(4)
|
||||
finally:
|
||||
scale(2)
|
||||
# У реплик нет своего состояния: новых томов появиться не должно.
|
||||
volumes = run('docker', 'volume', 'ls', '--filter', 'name=mtusi-lab3_', '--format', '{{.Name}}').split()
|
||||
print('тома проекта:', volumes)
|
||||
result('реплики не создали своих томов', set(volumes) == {'mtusi-lab3_pgdata', 'mtusi-lab3_valkeydata'})
|
||||
|
||||
|
||||
# Выполнить все проверки и вывести итог. Код выхода 1, если хотя бы одна не прошла.
|
||||
def main():
|
||||
audit_config()
|
||||
audit_runtime()
|
||||
audit_network()
|
||||
audit_scale()
|
||||
print('ИТОГ:', 'PASS' if not failed else 'FAIL: ' + '; '.join(failed))
|
||||
sys.exit(1 if failed else 0)
|
||||
|
||||
|
||||
main()
|
||||
Reference in New Issue
Block a user