#!/usr/bin/env python3 """Наполняет БД синтетическими сообщениями и снимает EXPLAIN (ANALYZE, BUFFERS). Проверяет три вещи: 1) индекс messages_chat_keyset_idx используется на первой странице; 2) глубокая keyset-страница не деградирует по сравнению с первой; 3) OFFSET-пагинация читает все пропущенные строки (для контраста). Использование: python3 scripts/perf.py seed --messages 15000 python3 scripts/perf.py explain python3 scripts/perf.py all --messages 15000 """ import argparse from pathlib import Path from track2_common import Pg db = Pg.compose() PERF_USER_ID = "11111111-1111-4111-8111-111111111111" PERF_CHAT_ID = "22222222-2222-4222-8222-222222222222" DEEP_OFFSET = 7000 # позиция "середины" истории для keyset-курсора PAGE_LIMIT = 50 # как limit по умолчанию в контракте # ---------- psql-обёртка ---------- def run_psql(sql, tuples_only=False): """Запускает psql в контейнере db, передаёт SQL на stdin, возвращает stdout.""" return db.psql(sql, tuples=tuples_only) def explain_block(body_sql): """EXPLAIN (ANALYZE, BUFFERS) .""" return run_psql("EXPLAIN (ANALYZE, BUFFERS)\n" + body_sql) # ---------- SQL-тела запросов ---------- def sql_first_page(limit): """Первая страница: без курсора. Точно как делает MessageRepo::list_page.""" return f""" SELECT id, chat_id, sender_id, text, EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch FROM messages WHERE chat_id = '{PERF_CHAT_ID}' ORDER BY created_at ASC, id ASC LIMIT {limit + 1}; """ def sql_page_with_cursor(cursor_ts, cursor_id, limit): """Страница с keyset-курсором. То же, что MessageRepo::list_page при cursor!=nullopt.""" return f""" SELECT id, chat_id, sender_id, text, EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch FROM messages WHERE chat_id = '{PERF_CHAT_ID}' AND (created_at, id) > ('{cursor_ts}'::timestamptz, '{cursor_id}'::uuid) ORDER BY created_at ASC, id ASC LIMIT {limit + 1}; """ def sql_offset_page(limit, offset): """OFFSET-пагинация. В приложении не используется, нужна для контраста.""" return f""" SELECT id, chat_id, sender_id, text, EXTRACT(EPOCH FROM created_at)::bigint AS created_at_epoch FROM messages WHERE chat_id = '{PERF_CHAT_ID}' ORDER BY created_at ASC, id ASC OFFSET {offset} LIMIT {limit + 1}; """ # ---------- Сценарии ---------- def seed(messages): """Идемпотентно наполняет чат сообщениями.""" existing = run_psql( f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';", tuples_only=True, ).strip() if existing and int(existing) > 0: print(f"chat already has {existing} messages, skipping seed") return sql = f""" INSERT INTO users (id, username, display_name, password_hash, created_at) VALUES ('{PERF_USER_ID}', 'perf_user', 'Perf', '$argon2id$v=19$m=65536,t=2,p=1$FAKE$FAKE', now()) ON CONFLICT (id) DO NOTHING; INSERT INTO chats (id, title, created_at) VALUES ('{PERF_CHAT_ID}', 'Perf chat', now()) ON CONFLICT (id) DO NOTHING; INSERT INTO chat_members (chat_id, user_id) VALUES ('{PERF_CHAT_ID}', '{PERF_USER_ID}') ON CONFLICT DO NOTHING; INSERT INTO messages (id, chat_id, sender_id, text, created_at) SELECT gen_random_uuid(), '{PERF_CHAT_ID}', '{PERF_USER_ID}', 'msg-' || g, now() - (g || ' minutes')::interval FROM generate_series(1, {messages}) AS g; """ run_psql(sql) total = run_psql( f"SELECT count(*) FROM messages WHERE chat_id = '{PERF_CHAT_ID}';", tuples_only=True, ).strip() print(f"seeded, chat now has {total} messages") def analyze(): """Обновляет статистику — критично, чтобы планировщик не выбрал Bitmap по устаревшим данным.""" run_psql("ANALYZE messages;") print("ANALYZE messages — done") def find_deep_cursor(): """Возвращает (id, ts_rfc3339) строки на позиции DEEP_OFFSET.""" out = run_psql( f""" SELECT id, to_char(created_at AT TIME ZONE 'UTC', 'YYYY-MM-DD"T"HH24:MI:SS"Z"') FROM messages WHERE chat_id = '{PERF_CHAT_ID}' ORDER BY created_at ASC, id ASC OFFSET {DEEP_OFFSET} LIMIT 1; """, tuples_only=True, ).strip() id_, ts = out.split("|") return id_, ts # ---------- Снятие планов ---------- def plan_first_page_with_index(limit): return explain_block(sql_first_page(limit)) def plan_first_page_without_index(limit): """Временный DROP INDEX и ROLLBACK — всё в одной транзакции, индекс вернётся.""" body = sql_first_page(limit) sql = f""" BEGIN; DROP INDEX messages_chat_keyset_idx; EXPLAIN (ANALYZE, BUFFERS) {body} ROLLBACK; """ return run_psql(sql) def plan_deep_page_with_index(cursor_ts, cursor_id, limit): return explain_block(sql_page_with_cursor(cursor_ts, cursor_id, limit)) def plan_offset_page(limit, offset): return explain_block(sql_offset_page(limit, offset)) # ---------- Сохранение доказательств ---------- def write_evidence(blocks): out_dir = Path("evidence") out_dir.mkdir(exist_ok=True) path = out_dir / "explain.md" with open(path, "w", encoding="utf-8") as f: f.write("# EXPLAIN (ANALYZE, BUFFERS) — индекс истории\n\n") f.write(f"- PostgreSQL 16 (локальный контейнер)\n") f.write(f"- Таблица `messages`: 15 000 строк в чате `{PERF_CHAT_ID}`\n") f.write(f"- `created_at` распределено равномерно по 30 дням назад\n") f.write(f"- `PAGE_LIMIT` = {PAGE_LIMIT}, `DEEP_OFFSET` = {DEEP_OFFSET}\n\n") for title, body in blocks: f.write(f"## {title}\n\n```\n{body.strip()}\n```\n\n") print(f"\nwritten {path}") # ---------- main ---------- def main(): p = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter) p.add_argument("action", choices=["seed", "explain", "all"]) p.add_argument("--messages", type=int, default=15000) args = p.parse_args() if args.action in ("seed", "all"): seed(args.messages) if args.action in ("explain", "all"): analyze() print(f"finding cursor at OFFSET {DEEP_OFFSET}...") cursor_id, cursor_ts = find_deep_cursor() print(f" cursor: ts={cursor_ts} id={cursor_id}") print("\nEXPLAIN 1/4: первая страница, с индексом") p1 = plan_first_page_with_index(PAGE_LIMIT) print("EXPLAIN 2/4: первая страница, без индекса (контраст)") p2 = plan_first_page_without_index(PAGE_LIMIT) print("EXPLAIN 3/4: глубокая страница через keyset-курсор, с индексом") p3 = plan_deep_page_with_index(cursor_ts, cursor_id, PAGE_LIMIT) print("EXPLAIN 4/4: OFFSET 7000 (контраст с keyset)") p4 = plan_offset_page(PAGE_LIMIT, DEEP_OFFSET) write_evidence([ ("1. Первая страница, с индексом", p1), ("2. Первая страница, без индекса (контраст)", p2), (f"3. Глубокая страница (keyset, OFFSET {DEEP_OFFSET}), с индексом", p3), (f"4. OFFSET {DEEP_OFFSET} (контраст)", p4), ]) # Дублируем в stdout, чтобы не открывать файл лишний раз. for title, body in [("1. first-page/index", p1), ("2. first-page/no-index", p2), ("3. deep-keyset/index", p3), ("4. offset/contrast", p4)]: print(f"\n===== {title} =====\n{body.strip()}") if __name__ == "__main__": main()