Files
mtusi2026lab2/scripts/perf.py
T
2026-10-16 05:27:13 +03:00

230 lines
8.2 KiB
Python
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Наполняет БД синтетическими сообщениями и снимает EXPLAIN (ANALYZE, BUFFERS).
Проверяет три вещи:
1) индекс messages_chat_keyset_idx используется на первой странице;
2) глубокая keyset-страница не деградирует по сравнению с первой;
3) OFFSET-пагинация читает все пропущенные строки (для контраста).
Использование:
python3 scripts/perf.py seed --messages 15000
python3 scripts/perf.py explain
python3 scripts/perf.py all --messages 15000
"""
import argparse
from pathlib import Path
from track2_common import Pg
db = Pg.compose()
PERF_USER_ID = "11111111-1111-4111-8111-111111111111"
PERF_CHAT_ID = "22222222-2222-4222-8222-222222222222"
DEEP_OFFSET = 7000 # позиция "середины" истории для keyset-курсора
PAGE_LIMIT = 50 # как limit по умолчанию в контракте
# ---------- psql-обёртка ----------
def run_psql(sql, tuples_only=False):
"""Запускает psql в контейнере db, передаёт SQL на stdin, возвращает stdout."""
return db.psql(sql, tuples=tuples_only)
def explain_block(body_sql):
"""EXPLAIN (ANALYZE, BUFFERS) <body_sql>."""
return run_psql("EXPLAIN (ANALYZE, BUFFERS)\n" + body_sql)
# ---------- SQL-тела запросов ----------
def sql_first_page(limit):
"""Первая страница: без курсора. Точно как делает MessageRepo::list_page."""
return f"""
SELECT id, chat_id, sender_id, text,
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
FROM messages
WHERE chat_id = '{PERF_CHAT_ID}'
ORDER BY created_at ASC, id ASC
LIMIT {limit + 1};
"""
def sql_page_with_cursor(cursor_ts, cursor_id, limit):
"""Страница с keyset-курсором. То же, что MessageRepo::list_page при cursor!=nullopt."""
return f"""
SELECT id, chat_id, sender_id, text,
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
FROM messages
WHERE chat_id = '{PERF_CHAT_ID}'
AND (created_at, id) > ('{cursor_ts}'::timestamptz, '{cursor_id}'::uuid)
ORDER BY created_at ASC, id ASC
LIMIT {limit + 1};
"""
def sql_offset_page(limit, offset):
"""OFFSET-пагинация. В приложении не используется, нужна для контраста."""
return f"""
SELECT id, chat_id, sender_id, text,
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
FROM messages
WHERE chat_id = '{PERF_CHAT_ID}'
ORDER BY created_at ASC, id ASC
OFFSET {offset} LIMIT {limit + 1};
"""
# ---------- Сценарии ----------
def seed(messages):
"""Идемпотентно наполняет чат сообщениями."""
existing = run_psql(
f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';",
tuples_only=True,
).strip()
if existing and int(existing) > 0:
print(f"chat already has {existing} messages, skipping seed")
return
sql = f"""
INSERT INTO users (id, username, display_name, password_hash, created_at)
VALUES ('{PERF_USER_ID}', 'perf_user', 'Perf',
'$argon2id$v=19$m=65536,t=2,p=1$FAKE$FAKE', now())
ON CONFLICT (id) DO NOTHING;
INSERT INTO chats (id, title, created_at)
VALUES ('{PERF_CHAT_ID}', 'Perf chat', now())
ON CONFLICT (id) DO NOTHING;
INSERT INTO chat_members (chat_id, user_id)
VALUES ('{PERF_CHAT_ID}', '{PERF_USER_ID}')
ON CONFLICT DO NOTHING;
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), '{PERF_CHAT_ID}', '{PERF_USER_ID}',
'msg-' || g, now() - (g || ' minutes')::interval
FROM generate_series(1, {messages}) AS g;
"""
run_psql(sql)
total = run_psql(
f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';",
tuples_only=True,
).strip()
print(f"seeded, chat now has {total} messages")
def analyze():
"""Обновляет статистику — критично, чтобы планировщик не выбрал Bitmap по устаревшим данным."""
run_psql("ANALYZE messages;")
print("ANALYZE messages — done")
def find_deep_cursor():
"""Возвращает (id, ts_rfc3339) строки на позиции DEEP_OFFSET."""
out = run_psql(
f"""
SELECT id,
to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')
FROM messages
WHERE chat_id = '{PERF_CHAT_ID}'
ORDER BY created_at ASC, id ASC
OFFSET {DEEP_OFFSET} LIMIT 1;
""",
tuples_only=True,
).strip()
id_, ts = out.split("|")
return id_, ts
# ---------- Снятие планов ----------
def plan_first_page_with_index(limit):
return explain_block(sql_first_page(limit))
def plan_first_page_without_index(limit):
"""Временный DROP INDEX и ROLLBACK — всё в одной транзакции, индекс вернётся."""
body = sql_first_page(limit)
sql = f"""
BEGIN;
DROP INDEX messages_chat_keyset_idx;
EXPLAIN (ANALYZE, BUFFERS)
{body}
ROLLBACK;
"""
return run_psql(sql)
def plan_deep_page_with_index(cursor_ts, cursor_id, limit):
return explain_block(sql_page_with_cursor(cursor_ts, cursor_id, limit))
def plan_offset_page(limit, offset):
return explain_block(sql_offset_page(limit, offset))
# ---------- Сохранение доказательств ----------
def write_evidence(blocks):
out_dir = Path("evidence")
out_dir.mkdir(exist_ok=True)
path = out_dir / "explain.md"
with open(path, "w", encoding="utf-8") as f:
f.write("# EXPLAIN (ANALYZE, BUFFERS) — индекс истории\n\n")
f.write(f"- PostgreSQL 16 (локальный контейнер)\n")
f.write(f"- Таблица `messages`: 15 000 строк в чате `{PERF_CHAT_ID}`\n")
f.write(f"- `created_at` распределено равномерно по 30 дням назад\n")
f.write(f"- `PAGE_LIMIT` = {PAGE_LIMIT}, `DEEP_OFFSET` = {DEEP_OFFSET}\n\n")
for title, body in blocks:
f.write(f"## {title}\n\n```\n{body.strip()}\n```\n\n")
print(f"\nwritten {path}")
# ---------- main ----------
def main():
p = argparse.ArgumentParser(description=__doc__,
formatter_class=argparse.RawDescriptionHelpFormatter)
p.add_argument("action", choices=["seed", "explain", "all"])
p.add_argument("--messages", type=int, default=15000)
args = p.parse_args()
if args.action in ("seed", "all"):
seed(args.messages)
if args.action in ("explain", "all"):
analyze()
print(f"finding cursor at OFFSET {DEEP_OFFSET}...")
cursor_id, cursor_ts = find_deep_cursor()
print(f" cursor: ts={cursor_ts} id={cursor_id}")
print("\nEXPLAIN 1/4: первая страница, с индексом")
p1 = plan_first_page_with_index(PAGE_LIMIT)
print("EXPLAIN 2/4: первая страница, без индекса (контраст)")
p2 = plan_first_page_without_index(PAGE_LIMIT)
print("EXPLAIN 3/4: глубокая страница через keyset-курсор, с индексом")
p3 = plan_deep_page_with_index(cursor_ts, cursor_id, PAGE_LIMIT)
print("EXPLAIN 4/4: OFFSET 7000 (контраст с keyset)")
p4 = plan_offset_page(PAGE_LIMIT, DEEP_OFFSET)
write_evidence([
("1. Первая страница, с индексом", p1),
("2. Первая страница, без индекса (контраст)", p2),
(f"3. Глубокая страница (keyset, OFFSET {DEEP_OFFSET}), с индексом", p3),
(f"4. OFFSET {DEEP_OFFSET} (контраст)", p4),
])
# Дублируем в stdout, чтобы не открывать файл лишний раз.
for title, body in [("1. first-page/index", p1),
("2. first-page/no-index", p2),
("3. deep-keyset/index", p3),
("4. offset/contrast", p4)]:
print(f"\n===== {title} =====\n{body.strip()}")
if __name__ == "__main__":
main()