Files
mtusi2026lab6/student-tests/labutil.py
T

157 lines
6.1 KiB
Python

"""Общие помощники собственных тестов lab4: изображения, docker compose, psql, mc.
Только stdlib. Секреты не печатаются: mc получает их внутри контейнера из /run/secrets.
"""
import struct
import subprocess
import sys
import zlib
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT / 'tests')) # публичный client.py
FIXTURES = Path(__file__).resolve().parent / 'fixtures'
BUCKET = 'messenger-attachments'
def chunk(typ, data):
return struct.pack('>I', len(data)) + typ + data + struct.pack('>I', zlib.crc32(typ + data) & 0xffffffff)
def png(w, h, raw=None, color_type=2, interlace=0, level=6):
"""PNG из сырых строк; по умолчанию RGB 8 bit, все пиксели чёрные."""
if raw is None:
raw = (b'\x00' + b'\x00' * (w * 3)) * h
ihdr = struct.pack('>IIBBBBB', w, h, 8, color_type, 0, 0, interlace)
return (b'\x89PNG\r\n\x1a\n' + chunk(b'IHDR', ihdr) + chunk(b'IDAT', zlib.compress(raw, level))
+ chunk(b'IEND', b''))
def noise_png(target_bytes):
"""Почти несжимаемый PNG размером около target_bytes (шум из детерминированного PRNG)."""
w = 1024
h = max(1, target_bytes // (w * 3 + 1))
seed = 0x2545F491
rows = bytearray()
for _ in range(h):
rows.append(0)
row = bytearray(w * 3)
for i in range(0, w * 3, 4):
seed = (seed * 1103515245 + 12345) & 0xffffffff
row[i:i + 4] = seed.to_bytes(4, 'little')[:len(row) - i]
rows += row
return png(w, h, bytes(rows), level=1)
def bomb_png(w=100_000, h=100_000):
"""Маленький файл, огромные размеры в IHDR."""
return png(w, h, raw=b'\x00')
def raw_post(base_url, path, headers, body_iter, read_timeout=30):
"""POST на сыром сокете: тело отправляется в фоне, ответ читается параллельно.
Нужен, когда сервер отвечает (413) до чтения тела и закрывает соединение:
urllib в этом случае падает на отправке, не увидев ответа.
Возвращает (status, body_bytes) или (None, b'') если ответа не было.
"""
import socket
import threading
from urllib.parse import urlsplit
u = urlsplit(base_url)
s = socket.create_connection((u.hostname, u.port or 80), timeout=read_timeout)
head = 'POST %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n' % (path, u.netloc)
head += ''.join('%s: %s\r\n' % kv for kv in headers.items()) + '\r\n'
s.sendall(head.encode())
def send():
try:
for part in body_iter:
s.sendall(part)
except OSError:
pass # сервер уже ответил и закрыл соединение — ожидаемо
t = threading.Thread(target=send, daemon=True)
t.start()
data = b''
try:
while True:
b = s.recv(65536)
if not b:
break
data += b
if b'\r\n\r\n' in data and len(data) > 4096:
break
except OSError:
pass
finally:
s.close()
if not data.startswith(b'HTTP/1.'):
return None, b''
status = int(data.split(b' ', 2)[1])
return status, data.split(b'\r\n\r\n', 1)[-1]
def fixture(name):
return (FIXTURES / name).read_bytes()
def sh(*args, check=True, timeout=300, input=None, env=None):
full_env = None
if env:
import os
full_env = dict(os.environ, **env)
r = subprocess.run(list(args), cwd=ROOT, capture_output=True, text=True, timeout=timeout, input=input, env=full_env)
if check and r.returncode != 0:
raise RuntimeError('%s failed (%d): %s' % (' '.join(args[:4]), r.returncode, (r.stderr or r.stdout)[-800:]))
return r
def compose(*args, **kw):
return sh('docker', 'compose', *args, **kw)
def psql(sql):
"""Одно значение/таблица из PostgreSQL стенда (через docker compose exec)."""
return compose('exec', '-T', 'postgres', 'psql', '-U', 'messenger', '-d', 'messenger',
'-v', 'ON_ERROR_STOP=1', '-tAc', sql).stdout.strip()
def mc(script, check=True, as_user='root'):
"""Скрипт mc в одноразовом контейнере s3-init. Алиас `s3` — root или API-пользователь."""
creds = {'root': ('s3_root_user', 's3_root_password'),
'api': ('s3_access_key_id', 's3_secret_access_key')}[as_user]
prelude = ('mc alias set s3 http://s3:9000 "$(cat /run/secrets/%s)" "$(cat /run/secrets/%s)" >/dev/null; '
% creds)
return compose('run', '--rm', '--no-deps', '-T', '--entrypoint', 'sh', 's3-init', '-c', prelude + script,
check=check)
def api_container(instance_id):
for cid in compose('ps', '-q', 'api').stdout.split():
if cid.startswith(instance_id):
return cid
raise RuntimeError('no api container for ' + instance_id)
def object_key(attachment_id):
return psql("SELECT object_key FROM attachments WHERE id = '%s'" % attachment_id)
def wait_status(c, actor, att_id, statuses=('ready',), timeout=90):
"""Опрос GET метаданных до одного из статусов; возвращает метаданные."""
import time
from client import Failure
end = time.time() + timeout
last = None
while time.time() < end:
last = c.call('GET', '/api/v1/attachments/' + att_id, actor=actor, schema='Attachment')['json']
if last['status'] in statuses:
return last
time.sleep(0.5)
raise Failure('attachment %s did not reach %s, last=%s' % (att_id, statuses, last and last['status']))
def bucket_count(prefix):
"""Число объектов под префиксом bucket (s/, o/, v/, a/ + chat)."""
return int(mc('mc ls --recursive s3/%s/%s 2>/dev/null | wc -l' % (BUCKET, prefix)).stdout.strip() or 0)