RabbitMQ (quorum queue, publisher confirms, manual ack, DLX) + отдельный worker: staging в S3 + вложение/job/outbox одной транзакцией -> 202 queued; relay outbox, lease с heartbeat и fencing (worker_id, attempt), retry с backoff+jitter, failed-реестр, безопасный replay с audit; thumbnail/crop/WebP в изолированном процессе с лимитами. Тесты окон отказа (fault injection), трек 1 «Очередь под перегрузкой» с backpressure. Перенесено исправление замечания lab3 PR #99 (U+0000 в тексте). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
61 lines
2.7 KiB
Python
61 lines
2.7 KiB
Python
"""Версионированные миграции: migrations/NNNN_name.sql применяются по порядку, каждая в своей транзакции.
|
|
|
|
Повторный запуск безопасен: применённые версии записаны в schema_migrations и пропускаются,
|
|
изменённый задним числом файл (другая контрольная сумма) останавливает запуск.
|
|
Advisory lock не даёт двум параллельным запускам применить одну миграцию дважды.
|
|
"""
|
|
import asyncio
|
|
import hashlib
|
|
from pathlib import Path
|
|
|
|
import asyncpg
|
|
|
|
from . import config
|
|
|
|
MIGRATIONS = Path(__file__).resolve().parent.parent / 'migrations'
|
|
LOCK_ID = 2026_0002
|
|
|
|
|
|
async def connect(url: str, attempts: int = 30) -> asyncpg.Connection:
|
|
for attempt in range(attempts):
|
|
try:
|
|
return await asyncpg.connect(url, timeout=3)
|
|
except (OSError, asyncpg.CannotConnectNowError, asyncpg.PostgresConnectionError):
|
|
if attempt == attempts - 1:
|
|
raise
|
|
await asyncio.sleep(1)
|
|
|
|
|
|
async def migrate() -> None:
|
|
# Только DATABASE_URL: сервису migrate не нужны (и не выдаются) S3-credentials API.
|
|
database_url = config._secret('DATABASE_URL')
|
|
if not database_url:
|
|
raise SystemExit('DATABASE_URL_FILE is not configured')
|
|
conn = await connect(database_url)
|
|
try:
|
|
await conn.execute('SELECT pg_advisory_lock($1)', LOCK_ID)
|
|
await conn.execute(
|
|
'CREATE TABLE IF NOT EXISTS schema_migrations ('
|
|
' version text PRIMARY KEY, checksum text NOT NULL,'
|
|
' applied_at timestamptz NOT NULL DEFAULT clock_timestamp())')
|
|
applied = {r['version']: r['checksum'] for r in await conn.fetch('SELECT version, checksum FROM schema_migrations')}
|
|
for path in sorted(MIGRATIONS.glob('[0-9][0-9][0-9][0-9]_*.sql')):
|
|
version = path.stem
|
|
sql = path.read_text(encoding='utf-8')
|
|
checksum = hashlib.sha256(sql.encode()).hexdigest()
|
|
if version in applied:
|
|
if applied[version] != checksum:
|
|
raise SystemExit(f'migration {version} was modified after being applied')
|
|
print(f'skip {version}')
|
|
continue
|
|
async with conn.transaction():
|
|
await conn.execute(sql)
|
|
await conn.execute('INSERT INTO schema_migrations (version, checksum) VALUES ($1, $2)', version, checksum)
|
|
print(f'apply {version}')
|
|
finally:
|
|
await conn.close()
|
|
|
|
|
|
if __name__ == '__main__':
|
|
asyncio.run(migrate())
|