forked from mtusi2026/mtusi2026lab2
230 lines
8.2 KiB
Python
Executable File
230 lines
8.2 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""Наполняет БД синтетическими сообщениями и снимает EXPLAIN (ANALYZE, BUFFERS).
|
||
|
||
Проверяет три вещи:
|
||
1) индекс messages_chat_keyset_idx используется на первой странице;
|
||
2) глубокая keyset-страница не деградирует по сравнению с первой;
|
||
3) OFFSET-пагинация читает все пропущенные строки (для контраста).
|
||
|
||
Использование:
|
||
python3 scripts/perf.py seed --messages 15000
|
||
python3 scripts/perf.py explain
|
||
python3 scripts/perf.py all --messages 15000
|
||
"""
|
||
import argparse
|
||
from pathlib import Path
|
||
|
||
from track2_common import Pg
|
||
|
||
db = Pg.compose()
|
||
PERF_USER_ID = "11111111-1111-4111-8111-111111111111"
|
||
PERF_CHAT_ID = "22222222-2222-4222-8222-222222222222"
|
||
DEEP_OFFSET = 7000 # позиция "середины" истории для keyset-курсора
|
||
PAGE_LIMIT = 50 # как limit по умолчанию в контракте
|
||
|
||
|
||
# ---------- psql-обёртка ----------
|
||
|
||
def run_psql(sql, tuples_only=False):
|
||
"""Запускает psql в контейнере db, передаёт SQL на stdin, возвращает stdout."""
|
||
return db.psql(sql, tuples=tuples_only)
|
||
|
||
|
||
def explain_block(body_sql):
|
||
"""EXPLAIN (ANALYZE, BUFFERS) <body_sql>."""
|
||
return run_psql("EXPLAIN (ANALYZE, BUFFERS)\n" + body_sql)
|
||
|
||
|
||
# ---------- SQL-тела запросов ----------
|
||
|
||
def sql_first_page(limit):
|
||
"""Первая страница: без курсора. Точно как делает MessageRepo::list_page."""
|
||
return f"""
|
||
SELECT id, chat_id, sender_id, text,
|
||
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
|
||
FROM messages
|
||
WHERE chat_id = '{PERF_CHAT_ID}'
|
||
ORDER BY created_at ASC, id ASC
|
||
LIMIT {limit + 1};
|
||
"""
|
||
|
||
|
||
def sql_page_with_cursor(cursor_ts, cursor_id, limit):
|
||
"""Страница с keyset-курсором. То же, что MessageRepo::list_page при cursor!=nullopt."""
|
||
return f"""
|
||
SELECT id, chat_id, sender_id, text,
|
||
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
|
||
FROM messages
|
||
WHERE chat_id = '{PERF_CHAT_ID}'
|
||
AND (created_at, id) > ('{cursor_ts}'::timestamptz, '{cursor_id}'::uuid)
|
||
ORDER BY created_at ASC, id ASC
|
||
LIMIT {limit + 1};
|
||
"""
|
||
|
||
|
||
def sql_offset_page(limit, offset):
|
||
"""OFFSET-пагинация. В приложении не используется, нужна для контраста."""
|
||
return f"""
|
||
SELECT id, chat_id, sender_id, text,
|
||
EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch
|
||
FROM messages
|
||
WHERE chat_id = '{PERF_CHAT_ID}'
|
||
ORDER BY created_at ASC, id ASC
|
||
OFFSET {offset} LIMIT {limit + 1};
|
||
"""
|
||
|
||
|
||
# ---------- Сценарии ----------
|
||
|
||
def seed(messages):
|
||
"""Идемпотентно наполняет чат сообщениями."""
|
||
existing = run_psql(
|
||
f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';",
|
||
tuples_only=True,
|
||
).strip()
|
||
if existing and int(existing) > 0:
|
||
print(f"chat already has {existing} messages, skipping seed")
|
||
return
|
||
|
||
sql = f"""
|
||
INSERT INTO users (id, username, display_name, password_hash, created_at)
|
||
VALUES ('{PERF_USER_ID}', 'perf_user', 'Perf',
|
||
'$argon2id$v=19$m=65536,t=2,p=1$FAKE$FAKE', now())
|
||
ON CONFLICT (id) DO NOTHING;
|
||
|
||
INSERT INTO chats (id, title, created_at)
|
||
VALUES ('{PERF_CHAT_ID}', 'Perf chat', now())
|
||
ON CONFLICT (id) DO NOTHING;
|
||
|
||
INSERT INTO chat_members (chat_id, user_id)
|
||
VALUES ('{PERF_CHAT_ID}', '{PERF_USER_ID}')
|
||
ON CONFLICT DO NOTHING;
|
||
|
||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||
SELECT gen_random_uuid(), '{PERF_CHAT_ID}', '{PERF_USER_ID}',
|
||
'msg-' || g, now() - (g || ' minutes')::interval
|
||
FROM generate_series(1, {messages}) AS g;
|
||
"""
|
||
run_psql(sql)
|
||
total = run_psql(
|
||
f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';",
|
||
tuples_only=True,
|
||
).strip()
|
||
print(f"seeded, chat now has {total} messages")
|
||
|
||
|
||
def analyze():
|
||
"""Обновляет статистику — критично, чтобы планировщик не выбрал Bitmap по устаревшим данным."""
|
||
run_psql("ANALYZE messages;")
|
||
print("ANALYZE messages — done")
|
||
|
||
|
||
def find_deep_cursor():
|
||
"""Возвращает (id, ts_rfc3339) строки на позиции DEEP_OFFSET."""
|
||
out = run_psql(
|
||
f"""
|
||
SELECT id,
|
||
to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"')
|
||
FROM messages
|
||
WHERE chat_id = '{PERF_CHAT_ID}'
|
||
ORDER BY created_at ASC, id ASC
|
||
OFFSET {DEEP_OFFSET} LIMIT 1;
|
||
""",
|
||
tuples_only=True,
|
||
).strip()
|
||
id_, ts = out.split("|")
|
||
return id_, ts
|
||
|
||
|
||
# ---------- Снятие планов ----------
|
||
|
||
def plan_first_page_with_index(limit):
|
||
return explain_block(sql_first_page(limit))
|
||
|
||
|
||
def plan_first_page_without_index(limit):
|
||
"""Временный DROP INDEX и ROLLBACK — всё в одной транзакции, индекс вернётся."""
|
||
body = sql_first_page(limit)
|
||
sql = f"""
|
||
BEGIN;
|
||
DROP INDEX messages_chat_keyset_idx;
|
||
EXPLAIN (ANALYZE, BUFFERS)
|
||
{body}
|
||
ROLLBACK;
|
||
"""
|
||
return run_psql(sql)
|
||
|
||
|
||
def plan_deep_page_with_index(cursor_ts, cursor_id, limit):
|
||
return explain_block(sql_page_with_cursor(cursor_ts, cursor_id, limit))
|
||
|
||
|
||
def plan_offset_page(limit, offset):
|
||
return explain_block(sql_offset_page(limit, offset))
|
||
|
||
|
||
# ---------- Сохранение доказательств ----------
|
||
|
||
def write_evidence(blocks):
|
||
out_dir = Path("evidence")
|
||
out_dir.mkdir(exist_ok=True)
|
||
path = out_dir / "explain.md"
|
||
with open(path, "w", encoding="utf-8") as f:
|
||
f.write("# EXPLAIN (ANALYZE, BUFFERS) — индекс истории\n\n")
|
||
f.write(f"- PostgreSQL 16 (локальный контейнер)\n")
|
||
f.write(f"- Таблица `messages`: 15 000 строк в чате `{PERF_CHAT_ID}`\n")
|
||
f.write(f"- `created_at` распределено равномерно по 30 дням назад\n")
|
||
f.write(f"- `PAGE_LIMIT` = {PAGE_LIMIT}, `DEEP_OFFSET` = {DEEP_OFFSET}\n\n")
|
||
for title, body in blocks:
|
||
f.write(f"## {title}\n\n```\n{body.strip()}\n```\n\n")
|
||
print(f"\nwritten {path}")
|
||
|
||
|
||
# ---------- main ----------
|
||
|
||
def main():
|
||
p = argparse.ArgumentParser(description=__doc__,
|
||
formatter_class=argparse.RawDescriptionHelpFormatter)
|
||
p.add_argument("action", choices=["seed", "explain", "all"])
|
||
p.add_argument("--messages", type=int, default=15000)
|
||
args = p.parse_args()
|
||
|
||
if args.action in ("seed", "all"):
|
||
seed(args.messages)
|
||
|
||
if args.action in ("explain", "all"):
|
||
analyze()
|
||
|
||
print(f"finding cursor at OFFSET {DEEP_OFFSET}...")
|
||
cursor_id, cursor_ts = find_deep_cursor()
|
||
print(f" cursor: ts={cursor_ts} id={cursor_id}")
|
||
|
||
print("\nEXPLAIN 1/4: первая страница, с индексом")
|
||
p1 = plan_first_page_with_index(PAGE_LIMIT)
|
||
|
||
print("EXPLAIN 2/4: первая страница, без индекса (контраст)")
|
||
p2 = plan_first_page_without_index(PAGE_LIMIT)
|
||
|
||
print("EXPLAIN 3/4: глубокая страница через keyset-курсор, с индексом")
|
||
p3 = plan_deep_page_with_index(cursor_ts, cursor_id, PAGE_LIMIT)
|
||
|
||
print("EXPLAIN 4/4: OFFSET 7000 (контраст с keyset)")
|
||
p4 = plan_offset_page(PAGE_LIMIT, DEEP_OFFSET)
|
||
|
||
write_evidence([
|
||
("1. Первая страница, с индексом", p1),
|
||
("2. Первая страница, без индекса (контраст)", p2),
|
||
(f"3. Глубокая страница (keyset, OFFSET {DEEP_OFFSET}), с индексом", p3),
|
||
(f"4. OFFSET {DEEP_OFFSET} (контраст)", p4),
|
||
])
|
||
|
||
# Дублируем в stdout, чтобы не открывать файл лишний раз.
|
||
for title, body in [("1. first-page/index", p1),
|
||
("2. first-page/no-index", p2),
|
||
("3. deep-keyset/index", p3),
|
||
("4. offset/contrast", p4)]:
|
||
print(f"\n===== {title} =====\n{body.strip()}")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main() |