diff --git a/.dockerignore b/.dockerignore index bc16e556..58c0655c 100644 --- a/.dockerignore +++ b/.dockerignore @@ -1,20 +1,5 @@ .git -.github .env -.env.* -!.env.example -secrets -certs -volumes -data -backups -*.key -*.pem -*.p12 -*.pfx -*.jks .venv -__pycache__ -node_modules evidence -.DS_Store +__pycache__ diff --git a/.env.example b/.env.example index d99d26a2..f8856049 100644 --- a/.env.example +++ b/.env.example @@ -1,20 +1,8 @@ -# Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. -APP_HOST=0.0.0.0 -APP_PORT=8080 -APP_ENV=lab +POSTGRES_DB=messenger +POSTGRES_USER=messenger +POSTGRES_PASSWORD=local-demo-password-only +PUBLIC_PORT=8084 SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url -API_REPLICAS=2 -IDEMPOTENCY_TTL_SECONDS=86400 -S3_ENDPOINT=http://s3:9000 -S3_REGION=us-east-1 -S3_BUCKET=messenger-attachments -S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id -S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key -MAX_UPLOAD_BYTES=10485760 -MAX_IMAGE_PIXELS=40000000 +S3_ACCESS_KEY=localminio +S3_SECRET_KEY=local-minio-password-only +S3_BUCKET=attachments diff --git a/.github/pull_request_template.md b/.github/pull_request_template.md index 1bec5472..66997504 100644 --- a/.github/pull_request_template.md +++ b/.github/pull_request_template.md @@ -1,18 +1,34 @@ ## Лабораторная 4 -Автор / группа: TODO -Целевая оценка (3/4/5): TODO -Трек 5, если заявлен: TODO +Автор / группа: Бахрамов Бахрам, БПИ2303. +Целевая оценка: **3**. Трек 5 не заявлен. -Что реализовано и что перенесено: TODO -Команды запуска из чистого clone: TODO -Результаты проверок и ссылка на REPORT.md: TODO -Ограничения / известные ошибки: TODO -Источники и использование ИИ: TODO +Реализованы PostgreSQL, общие действующие сессии, миграции, две API-реплики за HAProxy и транзакционная идемпотентность POST сообщений. +Добавлены приватное S3-хранилище SeaweedFS, синхронная загрузка PNG/JPEG с проверкой содержимого и лимитов, метаданные вложений и авторизованный download оригиналов. -- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [ ] Контракт и публичные тесты не ослаблены. -- [ ] make check и make test выполнены; приложен реальный вывод. -- [ ] Сценарии отказов/безопасности своего уровня воспроизведены. -- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. +Запуск из чистого clone: + +```sh +cp .env.example .env +docker compose up -d --build +# После готовности /health/ready: +make check +make test BASE_URL=http://localhost:8084 +python3 scripts/verify.py > evidence/verification.txt 2>&1 +``` + +Проверки прошли: публичный smoke, 16 конкурентных повторов с одним ключом, persistence с рестартом всех используемых хранилищ и failover через LB. +Также проверены отказ S3, приватность bucket (анонимный GET → 403), побайтное скачивание после остановки каждой загрузившей API, JPEG, лимиты размера/пикселей, повреждённый файл, подмена MIME и вложение другого чата. + +Подробности: [REPORT.md](REPORT.md), [результаты проверок](evidence/verification.txt). + +Ограничения: один хост, PostgreSQL и LB без репликации; уровни 4 и 5 не заявлены. +Автоматическая очистка orphan-объектов S3 не реализована. + +Источники: исходное задание и документация PostgreSQL, HAProxy, Docker Compose, Argon2; ссылки в REPORT.md. + +- [x] Обязательный минимум реализован. +- [x] Контракт и публичные тесты не ослаблены. +- [x] make check, smoke, persistence и failover выполнены, реальный вывод приложен. +- [x] Локальный .env и реальные credentials не включены в Git; демонстрационные значения явно обозначены. +- [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения. diff --git a/COURSE.md b/COURSE.md index b02172bb..42a6b73a 100644 --- a/COURSE.md +++ b/COURSE.md @@ -48,6 +48,6 @@ ## Что сдавать -Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство. +Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство. PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md). diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..f9e0d1d2 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,10 @@ +FROM python:3.12.10-slim +WORKDIR /srv +COPY requirements.txt . +RUN pip install --no-cache-dir -r requirements.txt +COPY app app +COPY contracts contracts +COPY migrations migrations +RUN useradd --uid 10001 --create-home api +USER api +CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--timeout-graceful-shutdown", "5"] diff --git a/MAINTAINERS.md b/MAINTAINERS.md index bb10fed7..f5d55bfa 100644 --- a/MAINTAINERS.md +++ b/MAINTAINERS.md @@ -8,7 +8,7 @@ 1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически. 2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы. -3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании. +3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании. 4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен. ## Что проверять diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..ffdb0f1e 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,134 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +Целевая оценка: **3**. Исследовательский трек не заявлен. +Автор: Бахрамов Бахрам, БПИ2303. +Ветка: `solution/bpi2303-bakhramov`. +Репозиторий: https://gitea.privcloud.tech/bahram/mtusi2026lab4 +Устройство решения и команды защиты приведены ниже. -## Запуск из чистого clone +## Запуск -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требуются Docker с Compose v2, Python 3.9+ и make на компьютере проверяющего. +Все команды выполняются из папки этой лабораторной. -## Архитектура и решения +```sh +cp .env.example .env +docker compose config --quiet +docker compose up -d --build +# Дождаться 200 по адресу http://localhost:8084/health/ready +curl -i http://localhost:8084/health/ready +make check +make test BASE_URL=http://localhost:8084 +python3 tests/acceptance_extra.py --base-url http://localhost:8084 +make test-persistence BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/restart.sh +make test-failover BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/stop-one.sh +# После failover одна API остаётся остановленной. Восстановить её: +docker compose up -d api1 api2 +``` -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Порты двух лабораторных различаются, поэтому их можно запускать одновременно. +Для обычной остановки: `docker compose down` (volumes сохраняются). +Намеренный сброс только учебных данных: `docker compose down -v` (не применять при проверке persistence). +Значения .env.example — открытые демонстрационные credentials для локального стенда с синтетическими данными. +API и хранилища не публикуют порты. Только HAProxy принимает соединения на 127.0.0.1:8084. -## Доказательства критериев +## Архитектура и реализация -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +Клиент → HAProxy → api1 / api2 → PostgreSQL. +FastAPI 0.115.12, Uvicorn 0.34.2, Python 3.12.10; HAProxy 3.0.10; PostgreSQL 16.8. +Полные версии прямых Python-зависимостей закреплены в requirements.txt, образы — в compose.yaml. +Обе API работают с одной PostgreSQL; локальное состояние API не используется для сессий и сообщений. +Пароли — Argon2id, случайный Bearer-токен имеет 256 бит энтропии; в БД хранится SHA-256 токена. +Сессии имеют абсолютный expires_at, не продлеваются рестартом и отзываются DELETE. +Источник истины — PostgreSQL, подтверждённая запись читается из неё через любую реплику. -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Одноразовый сервис migrate выполняет идемпотентный SQL до запуска API. Он не запускается каждой репликой. +Схема таблиц находится в migrations/001_init.sql. Пользовательские поля хранятся в JSONB, +идентификаторы и связи — также в отдельных колонках с внешними ключами. +Миграции здесь только создают начальную схему; обновление несовместимой схемы без остановки не заявляется. -## Эксперименты и отказы +Для сообщения PostgreSQL advisory transaction lock берётся по user+chat+key. +После блокировки повторно проверяется существующий результат за последние 24 часа. +Одинаковое нормализованное тело возвращает прежний Message и 201, отличающееся — 409. +Вставка сообщения и данных для повтора выполняется одной транзакцией. +При разрыве до ответа клиент повторяет тот же ключ: committed запись будет возвращена, rollback позволит новую запись. +Порядок JSON-ключей и отсутствие attachment_ids вместо [] не меняют сравнение. -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +HAProxy использует round-robin без sticky sessions. Каждый API сообщает hostname контейнера в X-Instance-Id. +GET /health/live проверяет процесс; /health/ready проверяет PostgreSQL, а также доступность S3 bucket. +Проверка backend идёт раз в 1 секунду; после двух неудач сервер исключается. +Connect timeout — 1 секунда, client/server timeout — 30 секунд. Это настройки обнаружения, не гарантия для любых сетевых отказов. +Docker DNS повторно разрешается HAProxy. При SIGTERM Uvicorn завершает текущие запросы до 5 секунд; +Compose даёт 10 секунд. Лимит каждой API — 512 MiB и 1 CPU. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +Пагинация — keyset по (created_at,id). Cursor содержит scope и последнюю пару; от другого чата не принимается. +Это не snapshot: вставка с более ранним временем после уже прочитанного cursor может не попасть в продолжение. +Время UTC назначает API; при обычном локальном стенде контейнеры используют общие часы хоста. -## Ограничения и следующие шаги +## Проверки и доказательства -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Проверено 12.11.2026 на Docker Desktop (Linux arm64). Все записанные проверки пройдены. +В failover наблюдались 2 разные API; за 15 секунд подтверждено 107 новых сообщений, +переходных неуспешных попыток — 6; первая успешная запись после воздействия — 0.97 с. +Подтверждённые данные и прежняя сессия сохранились. Это результат одного локального запуска, не SLA. +Фактические команды и результаты находятся в evidence/verification.txt. +Повторить полный набор: `python3 scripts/verify.py > evidence/verification.txt 2>&1`. +Публичные contracts/ и tests/smoke.py, tests/resilience.py не изменены. + +| Требование на 3 | Проверка | Доказательство | +| --- | --- | --- | +| Один LB и две API с общей БД/сессиями | docker compose ps; failover наблюдает разные X-Instance-Id одной сессии | evidence/verification.txt | +| Обязательный API и ошибки | make test | evidence/verification.txt | +| Конкурентный повтор без дублей | 16 запросов с одним ключом через LB | tests/acceptance_extra.py; evidence/verification.txt | +| Остановка выбранной реальной API, восстановление чтения/записи ≤10 секунд | make test-failover, hook сопоставляет X-Instance-Id с hostname и останавливает контейнер | scripts/stop-one.sh; evidence/verification.txt | +| Сохранность пользователей, чатов, сообщений и действующих сессий после restart всех хранилищ | make test-persistence; сравнение StartedAt до/после | scripts/restart.sh; evidence/verification.txt | + +## Вложения и S3 + +SeaweedFS 3.85 запускается одним S3-сервером в общем Compose. Его master, volume и filer +сохраняют данные в s3_data, рабочий каталог — /data. PostgreSQL хранит только метаданные, не байты. +Приватный bucket attachments создаётся отдельным bucket-init с повторными попытками до старта API. +Анонимной identity в infra/s3.json нет; S3 доступен только внутри Compose-сети, публичной policy нет. +Для уровня 3 API использует ту же учебную identity, что bootstrap; отдельные минимальные права не заявляются. +Если менять S3 credentials, нужно согласованно изменить .env и infra/s3.json. + +Upload принимает сырые PNG/JPEG. Байты читаются порциями с пределом 10 MiB до декодирования; +Pillow проверяет реальный формат, соответствие MIME, целостность и предел 40 млн пикселей. +Имя не используется в S3: object key — UUID, назначенный сервером. Slash, backslash и управляющие символы отклоняются. +201 ready возвращается после S3 PUT и PostgreSQL COMMIT. Download проверяет участника чата и отдаёт исходные байты через API. +attachment_ids валидируются на принадлежность тому же чату; допустимо сообщение без текста с вложением. + +| Требование на 3 | Проверка | Доказательство | +| --- | --- | --- | +| Побайтный оригинал, SHA-256, attachment_ids, запрет постороннему | make test | evidence/verification.txt | +| Upload → остановка загрузившей API → download через вторую, отдельно для api1 и api2 | tests/attachment_failover.py | evidence/attachment_failover.txt | +| Сохранность метаданных и оригинала после рестарта PostgreSQL и S3 | make test-persistence | evidence/verification.txt | +| Опасное имя, подмена MIME, повреждение, >10 MiB, >40 млн пикселей; настоящий JPEG; вложение другого чата | tests/acceptance_extra.py | evidence/extra_images.txt | +| Отказ S3 | tests/storage_failure.py | evidence/verification.txt | +| Анонимный S3 GET не возвращает объект | запрос из внутренней сети без подписи | evidence/verification.txt | + +Для обеих API проверено: после остановки принявшей upload реплики другая отдала тот же SHA-256; время — 0,826 с (api1) и 1,498 с (api2). Подробности в evidence/attachment_failover.txt. + +Команда дополнительного сценария: `python3 tests/storage_failure.py --base-url http://localhost:8084`. + +Согласованность: сначала S3 PUT, затем INSERT/COMMIT метаданных. При сбое БД между ними возможен orphan object. +Автоматической сверки и очистки нет — это ограничение уровня 3, а не выполненный критерий уровня 4. +При отказе S3 ready и upload возвращают 503; HAProxy исключает неготовые API. +Повтор upload не идемпотентен и может создать ещё одно вложение. +Один файл хранится в памяти до 10 MiB, декодированное изображение — до 40 млн пикселей; +потоковая передача и эксперимент на 10 параллельных загрузках не заявлены. + +## Ограничения + +Устойчивость проверяется только при отказе одной API-реплики. LB, PostgreSQL и хост — единичные точки отказа. +Бэкапы, репликация БД, rolling update и нагрузочное исследование не реализованы. +HTTP предназначен для локальных синтетических данных. Уровни 4 и 5 не заявлены. + +## Источники + +- Исходное задание и неизменённый контракт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4 +- PostgreSQL advisory locks: https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS +- HAProxy configuration: https://docs.haproxy.org/3.0/configuration.html +- Docker Compose: https://docs.docker.com/compose/ +- Argon2: https://argon2-cffi.readthedocs.io/ +- SeaweedFS S3 identity configuration: https://github.com/seaweedfs/seaweedfs/blob/3.85/docker/compose/s3.json diff --git a/app/bucket_init.py b/app/bucket_init.py new file mode 100644 index 00000000..8d7725ef --- /dev/null +++ b/app/bucket_init.py @@ -0,0 +1,13 @@ +import time +from app.main import s3, BUCKET +for attempt in range(60): + try: + client = s3() + if BUCKET not in [b['Name'] for b in client.list_buckets()['Buckets']]: + client.create_bucket(Bucket=BUCKET) + print('Private bucket ready') + break + except Exception: + if attempt == 59: + raise + time.sleep(1) diff --git a/app/main.py b/app/main.py new file mode 100644 index 00000000..15e5b135 --- /dev/null +++ b/app/main.py @@ -0,0 +1,323 @@ +import base64 +import hashlib +import io +import json +import os +import re +import secrets +import socket +import uuid +import warnings +from datetime import datetime, timedelta, timezone + +import boto3 +import psycopg +from psycopg.types.json import Jsonb +from argon2 import PasswordHasher +from fastapi import FastAPI, Request +from fastapi.responses import JSONResponse, Response +from jsonschema import Draft202012Validator, FormatChecker +from PIL import Image +from starlette.concurrency import run_in_threadpool + +app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None) +INSTANCE = socket.gethostname() +LAB = int(os.getenv('LAB_NUMBER', '4')) +DSN = os.environ['DATABASE_URL'] +BUCKET = os.getenv('S3_BUCKET', 'attachments') +ph = PasswordHasher() +schemas = json.load(open('contracts/openapi.json'))['components']['schemas'] +Image.MAX_IMAGE_PIXELS = 40_000_000 +warnings.simplefilter('error', Image.DecompressionBombWarning) + + +def s3(): + return boto3.client('s3', endpoint_url=os.environ['S3_ENDPOINT'], + aws_access_key_id=os.environ['S3_ACCESS_KEY'], + aws_secret_access_key=os.environ['S3_SECRET_KEY'], + region_name='us-east-1', + config=boto3.session.Config(connect_timeout=2, read_timeout=5, retries={'max_attempts': 0})) + + +def now(): + return datetime.now(timezone.utc).isoformat().replace('+00:00', 'Z') + + +def uid(value): + try: + return str(uuid.UUID(value)) + except (ValueError, TypeError, AttributeError): + fail(400) + + +def fail(status): + raise APIError(status) + + +class APIError(Exception): + def __init__(self, status): + self.status = status + + +CODES = {400: 'invalid_request', 401: 'unauthorized', 404: 'not_found', + 409: 'conflict', 413: 'payload_too_large', 415: 'unsupported_media_type', + 503: 'unavailable', 500: 'internal_error'} + + +def error(status, request_id, path): + code = CODES[status] + headers = {} + if status == 401: + headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"' + if path.endswith('/auth/sessions') else 'Bearer realm="messenger"') + return JSONResponse({'error': {'code': code, 'message': code, 'request_id': request_id}}, + status_code=status, headers=headers) + + +@app.middleware('http') +async def headers_and_errors(request, call_next): + request_id = secrets.token_hex(16) + try: + response = await call_next(request) + except APIError as exc: + response = error(exc.status, request_id, request.url.path) + except (psycopg.OperationalError, psycopg.InterfaceError): + response = error(503, request_id, request.url.path) + except Exception: + import logging + logging.exception('Request failed') + response = error(500, request_id, request.url.path) + response.headers['X-Request-Id'] = request_id + response.headers['X-Instance-Id'] = INSTANCE + return response + + +def validate(body, name): + if not Draft202012Validator(schemas[name], format_checker=FormatChecker()).is_valid(body): + fail(400) + return body + + +def user(db, request): + auth = request.headers.get('authorization', '') + if not auth.startswith('Bearer '): + fail(401) + token = hashlib.sha256(auth[7:].encode()).hexdigest() + row = db.execute('SELECT u.doc FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token=%s AND s.expires_at>now()', (token,)).fetchone() + if not row: + fail(401) + return row[0] + + +def chat(db, ident, actor): + ident = uid(ident) + row = db.execute('SELECT doc FROM chats WHERE id=%s', (ident,)).fetchone() + if not row or actor['id'] not in row[0]['member_ids']: + fail(404) + return row[0] + + +def attachment(db, ident, actor): + row = db.execute('SELECT doc FROM attachments WHERE id=%s', (uid(ident),)).fetchone() + if not row: + fail(404) + chat(db, row[0]['chat_id'], actor) + return row[0] + + +def page(db, request, table, scope, actor): + raw = request.query_params.get('limit', '50') + if not re.fullmatch('[0-9]+', raw) or not 1 <= int(raw) <= 100: + fail(400) + limit = int(raw) + cursor = request.query_params.get('cursor') + after = None + if cursor: + try: + decoded = json.loads(base64.urlsafe_b64decode(cursor.encode())) + if len(decoded) != 3 or decoded[0] != scope: + fail(400) + datetime.fromisoformat(decoded[1].replace('Z', '+00:00')) + uid(decoded[2]) + after = decoded[1:] + except Exception: + fail(400) + if table == 'chats': + where, args = "doc->'member_ids' ? %s", [actor['id']] + else: + where, args = "chat_id=%s", [scope] + if after: + where += " AND (doc->>'created_at',id)>(%s,%s::uuid)" + args += after + rows = db.execute(f"SELECT doc FROM {table} WHERE {where} ORDER BY doc->>'created_at',id LIMIT %s", args + [limit+1]).fetchall() + items = [r[0] for r in rows[:limit]] + next_cursor = None + if len(rows) > limit: + last = items[-1] + next_cursor = base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode() + return {'items': items, 'next_cursor': next_cursor} + + +@app.get('/health/live') +def live(): + return {'status': 'ok'} + + +@app.get('/health/ready') +def ready(): + with psycopg.connect(DSN, connect_timeout=2) as db: + db.execute('SELECT count(*) FROM sessions') + if LAB >= 4: + try: + s3().head_bucket(Bucket=BUCKET) + except Exception: + fail(503) + return {'status': 'ok'} + + +@app.api_route('/api/v1/{path:path}', methods=['GET', 'POST', 'DELETE']) +async def api(request: Request, path: str): + # Read bounded chunks before JSON parsing/image decoding. + limit = 10*1024*1024 if path.endswith('/attachments') else 65536 + data = bytearray() + async for chunk in request.stream(): + if len(data)+len(chunk) > limit: + fail(413) + data.extend(chunk) + return await run_in_threadpool(handle, request, path, bytes(data)) + + +def handle(request, path, raw): + method = request.method + parts = path.split('/') + body = None + if method == 'POST' and path != 'auth/sessions' and not path.endswith('/attachments'): + try: + body = json.loads(raw) + except (ValueError, UnicodeError): + fail(400) + with psycopg.connect(DSN) as db: + if path == 'users' and method == 'POST': + validate(body, 'CreateUser') + if not body['display_name'].strip(): + fail(400) + doc = {'id': str(uuid.uuid4()), 'username': body['username'], 'display_name': body['display_name'], 'created_at': now()} + hashed = ph.hash(body['password']) + if not db.execute('INSERT INTO users(id,username,password,doc) VALUES (%s,%s,%s,%s) ON CONFLICT(username) DO NOTHING RETURNING id', (doc['id'],doc['username'],hashed,Jsonb(doc))).fetchone(): + fail(409) + return JSONResponse(doc, 201) + if path == 'auth/sessions' and method == 'POST': + try: + auth = request.headers.get('authorization', '') + if not auth.startswith('Basic ') or raw: + fail(401) + username, password = base64.b64decode(auth[6:], validate=True).decode().split(':',1) + row = db.execute('SELECT password,doc FROM users WHERE username=%s',(username,)).fetchone() + if not row: + fail(401) + ph.verify(row[0],password) + except Exception: + fail(401) + token = secrets.token_urlsafe(32) + expiry = datetime.now(timezone.utc)+timedelta(seconds=int(os.getenv('SESSION_TTL_SECONDS','3600'))) + db.execute('INSERT INTO sessions VALUES(%s,%s,%s)', (hashlib.sha256(token.encode()).hexdigest(),row[1]['id'],expiry)) + return JSONResponse({'token':token,'token_type':'Bearer','expires_at':expiry.isoformat().replace('+00:00','Z'),'user':row[1]},201) + actor = user(db, request) + if path == 'users/me' and method == 'GET': + return actor + if path == 'auth/sessions/current' and method == 'DELETE': + db.execute('DELETE FROM sessions WHERE token=%s',(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),)) + return Response(status_code=204) + if path == 'chats': + if method == 'GET': + return page(db,request,'chats','chats:'+actor['id'],actor) + if method == 'POST': + validate(body,'CreateChat') + if not body['title'].strip() or actor['id'] not in body['member_ids']: + fail(400) + for ident in body['member_ids']: + if not db.execute('SELECT id FROM users WHERE id=%s',(uid(ident),)).fetchone(): + fail(400) + doc = dict(body,id=str(uuid.uuid4()),created_at=now()) + db.execute('INSERT INTO chats VALUES(%s,%s)',(doc['id'],Jsonb(doc))) + return JSONResponse(doc,201) + if parts[0] == 'chats' and len(parts) >= 2: + current = chat(db, parts[1], actor) + if len(parts) == 2 and method == 'GET': + return current + if len(parts) == 3 and parts[2] == 'messages': + if method == 'GET': + return page(db,request,'messages',current['id'],actor) + if method == 'POST': + validate(body,'CreateMessage') + attachments = body.get('attachment_ids',[]) if LAB >= 4 else [] + if not body['text'].strip() and not attachments: + fail(400) + key = request.headers.get('idempotency-key','') + if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key): + fail(400) + for ident in attachments: + att = attachment(db,ident,actor) + if att['chat_id'] != current['id']: + fail(404) + normalized = {'text':body['text'],'attachment_ids':attachments} + # A transaction-scoped shared lock serializes the entire lookup+insert. + scope = actor['id']+':'+current['id']+':'+key + db.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,)) + old = db.execute('SELECT body,doc FROM messages WHERE sender_id=%s AND chat_id=%s AND idem_key=%s AND saved_at>now()-interval \'24 hours\'',(actor['id'],current['id'],key)).fetchone() + if old: + if old[0] != normalized: + fail(409) + return JSONResponse(old[1],201) + doc = {'id':str(uuid.uuid4()),'chat_id':current['id'],'sender_id':actor['id'],'text':body['text'],'created_at':now()} + if LAB >= 4: + doc['attachment_ids'] = attachments + db.execute('INSERT INTO messages(id,chat_id,sender_id,idem_key,body,doc) VALUES(%s,%s,%s,%s,%s,%s)',(doc['id'],current['id'],actor['id'],key,Jsonb(normalized),Jsonb(doc))) + return JSONResponse(doc,201) + if LAB >= 4 and len(parts) == 3 and parts[2] == 'attachments' and method == 'POST': + filename = request.query_params.get('filename','') + if not 1 <= len(filename) <= 255 or any(c in '/\\' or ord(c)<32 or 127<=ord(c)<=159 for c in filename): + fail(400) + mime = request.headers.get('content-type','') + if mime not in ('image/png','image/jpeg'): + fail(415) + try: + with Image.open(io.BytesIO(raw)) as image: + if image.width*image.height > 40_000_000: + fail(413) + if image.format not in ('PNG','JPEG') or Image.MIME[image.format] != mime: + fail(415) + image.verify() + with Image.open(io.BytesIO(raw)) as image: + image.load() + except APIError: + raise + except (Image.DecompressionBombError, Image.DecompressionBombWarning): + fail(413) + except Exception: + fail(415) + ident, stamp = str(uuid.uuid4()), now() + doc = {'id':ident,'chat_id':current['id'],'owner_id':actor['id'],'filename':filename,'content_type':mime,'size_bytes':len(raw),'sha256':hashlib.sha256(raw).hexdigest(),'status':'ready','variants':[],'error_code':None,'created_at':stamp,'updated_at':stamp} + try: + s3().put_object(Bucket=BUCKET,Key=ident,Body=raw,ContentType=mime) + except Exception: + fail(503) + db.execute('INSERT INTO attachments VALUES(%s,%s,%s)',(ident,current['id'],Jsonb(doc))) + return JSONResponse(doc,201) + if LAB >= 4 and parts[0] == 'attachments' and len(parts) in (2,3) and method == 'GET': + doc = attachment(db,parts[1],actor) + if len(parts) == 2: + return doc + if parts[2] == 'content': + if request.query_params.get('variant','original') != 'original': + fail(404) + try: + obj = s3().get_object(Bucket=BUCKET,Key=doc['id']) + try: + content = obj['Body'].read(10*1024*1024+1) + finally: + obj['Body'].close() + except Exception: + fail(503) + return Response(content,media_type=doc['content_type']) + fail(404) diff --git a/app/migrate.py b/app/migrate.py new file mode 100644 index 00000000..0eea25ab --- /dev/null +++ b/app/migrate.py @@ -0,0 +1,5 @@ +import os +import psycopg +with psycopg.connect(os.environ['DATABASE_URL']) as db: + db.execute(open('migrations/001_init.sql').read()) +print('Migration complete') diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..92131574 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,77 @@ +name: messenger-lab4 +x-api: &api + build: . + environment: &environment + LAB_NUMBER: "4" + DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + S3_ENDPOINT: http://s3:8333 + S3_ACCESS_KEY: ${S3_ACCESS_KEY} + S3_SECRET_KEY: ${S3_SECRET_KEY} + S3_BUCKET: ${S3_BUCKET} + depends_on: + migrate: + condition: service_completed_successfully + bucket-init: + condition: service_completed_successfully + healthcheck: + test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health/ready', timeout=3)"] + interval: 3s + timeout: 5s + retries: 5 + stop_grace_period: 10s + mem_limit: 512m + cpus: 1.0 +services: + postgres: + image: postgres:16.8-alpine + environment: + POSTGRES_DB: ${POSTGRES_DB} + POSTGRES_USER: ${POSTGRES_USER} + POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} + volumes: + - postgres_data:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"] + interval: 2s + timeout: 3s + retries: 30 + migrate: + build: . + environment: *environment + command: ["python", "-m", "app.migrate"] + depends_on: + postgres: + condition: service_healthy + api1: + <<: *api + api2: + <<: *api + lb: + image: haproxy:3.0.10-alpine + ports: + - "127.0.0.1:${PUBLIC_PORT}:8080" + volumes: + - ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + depends_on: + api1: + condition: service_healthy + api2: + condition: service_healthy + s3: + image: chrislusf/seaweedfs:3.85 + working_dir: /data + command: server -dir=/data -ip=s3 -filer -s3 -s3.config=/etc/seaweedfs/s3.json -volume.max=5 -master.volumeSizeLimitMB=100 + volumes: + - s3_data:/data + - ./infra/s3.json:/etc/seaweedfs/s3.json:ro + bucket-init: + build: . + environment: *environment + command: ["python", "-m", "app.bucket_init"] + depends_on: + - s3 + +volumes: + postgres_data: + s3_data: diff --git a/evidence/attachment_failover.txt b/evidence/attachment_failover.txt new file mode 100644 index 00000000..01b48ac1 --- /dev/null +++ b/evidence/attachment_failover.txt @@ -0,0 +1,30 @@ + Container messenger-lab4-api1-1 Stopping + Container messenger-lab4-api1-1 Stopped +PASS: api1 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 0.826 seconds + Container messenger-lab4-postgres-1 Waiting + Container messenger-lab4-bucket-init-1 Starting + Container messenger-lab4-bucket-init-1 Started + Container messenger-lab4-postgres-1 Healthy + Container messenger-lab4-migrate-1 Starting + Container messenger-lab4-migrate-1 Started + Container messenger-lab4-bucket-init-1 Waiting + Container messenger-lab4-migrate-1 Waiting + Container messenger-lab4-migrate-1 Exited + Container messenger-lab4-bucket-init-1 Exited + Container messenger-lab4-api1-1 Starting + Container messenger-lab4-api1-1 Started + Container messenger-lab4-api2-1 Stopping + Container messenger-lab4-api2-1 Stopped +PASS: api2 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 1.498 seconds + Container messenger-lab4-postgres-1 Waiting + Container messenger-lab4-bucket-init-1 Starting + Container messenger-lab4-bucket-init-1 Started + Container messenger-lab4-postgres-1 Healthy + Container messenger-lab4-migrate-1 Starting + Container messenger-lab4-migrate-1 Started + Container messenger-lab4-migrate-1 Waiting + Container messenger-lab4-bucket-init-1 Waiting + Container messenger-lab4-migrate-1 Exited + Container messenger-lab4-bucket-init-1 Exited + Container messenger-lab4-api2-1 Starting + Container messenger-lab4-api2-1 Started diff --git a/evidence/extra_images.txt b/evidence/extra_images.txt new file mode 100644 index 00000000..ef85e68f --- /dev/null +++ b/evidence/extra_images.txt @@ -0,0 +1,3 @@ +PASS: 16 concurrent retries return one message +PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected +PASS: unsafe filename, MIME mismatch, corruption and byte limit diff --git a/evidence/verification.txt b/evidence/verification.txt new file mode 100644 index 00000000..85626a72 --- /dev/null +++ b/evidence/verification.txt @@ -0,0 +1,106 @@ +Verification UTC: 2026-11-12T12:19:26.374452+00:00 + +$ docker compose config --quiet + +$ /Library/Developer/CommandLineTools/usr/bin/python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ docker compose ps +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 58 seconds (healthy) +messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 58 seconds (healthy) +messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp +messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp +messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 2 minutes 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp + +$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/smoke.py --base-url http://localhost:8084 +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. + +$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/acceptance_extra.py --base-url http://localhost:8084 +PASS: 16 concurrent retries return one message +PASS: unsafe filename, MIME mismatch, corruption and byte limit + +Before persistence: + +$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a +/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:18:27.895360419Z +/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:18:27.839813628Z +/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:17:42.367004218Z +/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:17:15.606580678Z +/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:17:15.75486297Z + +$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8084 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +After persistence: + +$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a +/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:19:29.132205003Z +/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z +/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z +/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z +/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z + +$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8084 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 107, "failed_attempts": 6, "first_recovery_seconds": 0.97} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a +/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z +/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z +/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z +/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z + +$ docker compose ps --all +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Exited (0) 14 seconds ago +messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 44 seconds (healthy) +messenger-lab4-bucket-init-1 messenger-lab4-bucket-init "python -m app.bucke…" bucket-init About a minute ago Exited (0) About a minute ago +messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 44 seconds 127.0.0.1:8084->8080/tcp +messenger-lab4-migrate-1 messenger-lab4-migrate "python -m app.migra…" migrate About a minute ago Exited (0) About a minute ago +messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 44 seconds (healthy) 5432/tcp +messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 41 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp + +$ docker compose up -d api1 api2 + Container messenger-lab4-api2-1 Running + Container messenger-lab4-s3-1 Running + Container messenger-lab4-postgres-1 Running + Container messenger-lab4-bucket-init-1 Starting + Container messenger-lab4-postgres-1 Waiting + Container messenger-lab4-bucket-init-1 Started + Container messenger-lab4-postgres-1 Healthy + Container messenger-lab4-migrate-1 Starting + Container messenger-lab4-migrate-1 Started + Container messenger-lab4-bucket-init-1 Waiting + Container messenger-lab4-migrate-1 Waiting + Container messenger-lab4-bucket-init-1 Waiting + Container messenger-lab4-migrate-1 Waiting + Container messenger-lab4-migrate-1 Exited + Container messenger-lab4-bucket-init-1 Exited + Container messenger-lab4-bucket-init-1 Exited + Container messenger-lab4-api1-1 Starting + Container messenger-lab4-migrate-1 Exited + Container messenger-lab4-api1-1 Started + +$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/storage_failure.py --base-url http://localhost:8084 + Container messenger-lab4-s3-1 Stopping + Container messenger-lab4-s3-1 Stopped +PASS: S3 down returns 503 for readiness and upload + Container messenger-lab4-s3-1 Starting + Container messenger-lab4-s3-1 Started +PASS: S3 restored + +Checking private bucket from internal network +PASS: anonymous GET of existing S3 object denied: 403 + +$ docker compose ps +NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS +messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 2 minutes ago Up 32 seconds (healthy) +messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 2 minutes ago Up About a minute (healthy) +messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 3 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp +messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 3 minutes ago Up About a minute (healthy) 5432/tcp +messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 3 minutes ago Up 25 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp + +PASS: all recorded checks diff --git a/infra/haproxy.cfg b/infra/haproxy.cfg new file mode 100644 index 00000000..6beb8237 --- /dev/null +++ b/infra/haproxy.cfg @@ -0,0 +1,26 @@ +global + log stdout format raw local0 + maxconn 256 +defaults + log global + mode http + timeout connect 1s + timeout client 30s + timeout server 30s + retries 2 + option redispatch +resolvers docker + nameserver dns 127.0.0.11:53 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s +frontend public + bind *:8080 + default_backend apis +backend apis + balance roundrobin + option httpchk GET /health/ready + http-check expect status 200 + server api1 api1:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none + server api2 api2:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none diff --git a/infra/s3.json b/infra/s3.json new file mode 100644 index 00000000..0e847932 --- /dev/null +++ b/infra/s3.json @@ -0,0 +1 @@ +{"identities":[{"name":"lab-api","credentials":[{"accessKey":"localminio","secretKey":"local-minio-password-only"}],"actions":["Admin","Read","Write","List","Tagging"]}]} diff --git a/migrations/001_init.sql b/migrations/001_init.sql new file mode 100644 index 00000000..5b321bcc --- /dev/null +++ b/migrations/001_init.sql @@ -0,0 +1,7 @@ +CREATE TABLE IF NOT EXISTS users(id uuid PRIMARY KEY, username text NOT NULL UNIQUE, password text NOT NULL, doc jsonb NOT NULL); +CREATE TABLE IF NOT EXISTS sessions(token text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL); +CREATE TABLE IF NOT EXISTS chats(id uuid PRIMARY KEY, doc jsonb NOT NULL); +CREATE TABLE IF NOT EXISTS messages(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, idem_key text NOT NULL, body jsonb NOT NULL, doc jsonb NOT NULL, saved_at timestamptz NOT NULL DEFAULT now()); +CREATE INDEX IF NOT EXISTS messages_replay ON messages(sender_id,chat_id,idem_key,saved_at); +CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,(doc->>'created_at'),id); +CREATE TABLE IF NOT EXISTS attachments(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, doc jsonb NOT NULL); diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 00000000..9620281e --- /dev/null +++ b/requirements.txt @@ -0,0 +1,7 @@ +fastapi==0.115.12 +uvicorn==0.34.2 +psycopg[binary]==3.2.9 +argon2-cffi==23.1.0 +jsonschema==4.23.0 +boto3==1.38.23 +Pillow==11.2.1 diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..e10b1a06 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,4 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +docker compose restart postgres s3 api1 api2 lb diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 00000000..872dcc01 --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,15 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." +: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}" +for service in api1 api2; do + cid=$(docker compose ps -q "$service") + [ -n "$cid" ] || continue + hostname=$(docker inspect --format '{{.Config.Hostname}}' "$cid") + if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then + docker compose stop -t 2 "$service" + exit 0 + fi +done +echo 'Target instance not found' >&2 +exit 1 diff --git a/scripts/verify.py b/scripts/verify.py new file mode 100644 index 00000000..3b128f53 --- /dev/null +++ b/scripts/verify.py @@ -0,0 +1,75 @@ +"""Reproduce acceptance evidence without printing credentials or tokens.""" +import datetime +import json +import os +from pathlib import Path +import subprocess +import sys +import time +import urllib.request + +os.chdir(Path(__file__).resolve().parents[1]) +lab = json.load(open('lab.json'))['number'] +base = 'http://localhost:'+('8080' if lab==3 else '8084') + +def command(*args): + print('\n$ '+' '.join(args),flush=True) + subprocess.run(args,check=True) + + +def wait(): + for _ in range(90): + try: + with urllib.request.urlopen(base+'/health/ready',timeout=3) as response: + if response.status == 200: + statuses = subprocess.check_output(['docker','compose','ps','--format','json','api1','api2'],text=True) + docs = [json.loads(line) for line in statuses.splitlines() if line.strip()] + if len(docs)==2 and all(d.get('Health')=='healthy' for d in docs): + return + except Exception: + pass + time.sleep(1) + raise RuntimeError('Stand did not become ready') + + +def state(): + ids = subprocess.check_output(['docker','compose','ps','-q'],text=True).split() + command('docker','inspect','--format','{{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}}',*ids) + +print('Verification UTC:',datetime.datetime.now(datetime.timezone.utc).isoformat(),flush=True) +command('docker','compose','config','--quiet') +wait() +command(sys.executable,'scripts/check_contract.py') +command('docker','compose','ps') +command(sys.executable,'tests/smoke.py','--base-url',base) +command(sys.executable,'tests/acceptance_extra.py','--base-url',base) +print('\nBefore persistence:',flush=True) +state() +command(sys.executable,'tests/resilience.py','--mode','persistence','--action-script','scripts/restart.sh','--base-url',base) +wait() +print('\nAfter persistence:',flush=True) +state() +command(sys.executable,'tests/resilience.py','--mode','failover','--action-script','scripts/stop-one.sh','--base-url',base) +state() +command('docker','compose','ps','--all') +command('docker','compose','up','-d','api1','api2') +wait() +if lab==4: + command(sys.executable,'tests/attachment_failover.py','--base-url',base) + command(sys.executable,'tests/storage_failure.py','--base-url',base) + wait() + code = '''import os,psycopg,urllib.request,urllib.error +with psycopg.connect(os.environ['DATABASE_URL']) as db: + ident=str(db.execute('SELECT id FROM attachments LIMIT 1').fetchone()[0]) +try: + urllib.request.urlopen(os.environ['S3_ENDPOINT']+'/'+os.environ['S3_BUCKET']+'/'+ident,timeout=5) +except urllib.error.HTTPError as e: + assert e.code in (401,403), e.code + print('PASS: anonymous GET of existing S3 object denied:',e.code) +else: + raise AssertionError('Private object publicly accessible') +''' + print('\nChecking private bucket from internal network',flush=True) + subprocess.run(['docker','compose','exec','-T','api1','python','-c',code],check=True) +command('docker','compose','ps') +print('\nPASS: all recorded checks',flush=True) diff --git a/tests/acceptance_extra.py b/tests/acceptance_extra.py new file mode 100644 index 00000000..3022fc89 --- /dev/null +++ b/tests/acceptance_extra.py @@ -0,0 +1,45 @@ +"""Additional grade-3 checks: concurrent replay and invalid uploads.""" +from concurrent.futures import ThreadPoolExecutor +import uuid +import struct +import zlib +import subprocess +from client import Client, LAB, arguments, check, run + + +def main(): + args = arguments('Extra acceptance checks') + c = Client(args.base_url) + alice,bob,eve,chat = c.bootstrap() + key = uuid.uuid4().hex + def send(_): + return c.message(alice,chat,'Concurrent retry',key=key)['json'] + with ThreadPoolExecutor(max_workers=8) as pool: + results = list(pool.map(send,range(16))) + check(all(r==results[0] for r in results),'concurrent replay created different messages') + print('PASS: 16 concurrent retries return one message') + if LAB >= 4: + path = '/api/v1/chats/'+chat['id']+'/attachments' + content = open('tests/fixtures/sample.png','rb').read() + c.call('POST',path+'?filename=../x.png',400,actor=alice,raw=content,headers={'Content-Type':'image/png'}) + c.call('POST',path+'?filename=x.jpg',415,actor=alice,raw=content,headers={'Content-Type':'image/jpeg'}) + c.call('POST',path+'?filename=x.png',415,actor=alice,raw=b'broken',headers={'Content-Type':'image/png'}) + c.call('POST',path+'?filename=x.png',413,actor=alice,raw=b'x'*(10485760+1),headers={'Content-Type':'image/png'}) + # A real valid PNG >40 million pixels, highly compressible on the wire. + def chunk(kind, data): + return struct.pack('!I',len(data))+kind+data+struct.pack('!I',zlib.crc32(kind+data)&0xffffffff) + compressor = zlib.compressobj() + compressed = b''.join(compressor.compress(b'\0'*10001) for _ in range(4001))+compressor.flush() + huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',10000,4001,8,0,0,0,0))+chunk(b'IDAT',compressed)+chunk(b'IEND',b'') + c.call('POST',path+'?filename=huge.png',413,actor=alice,raw=huge,headers={'Content-Type':'image/png'}) + jpeg = subprocess.check_output(['docker','compose','exec','-T','api1','python','-c',"from PIL import Image; import sys; Image.new('RGB',(8,8),'red').save(sys.stdout.buffer,format='JPEG')"]) + uploaded = c.call('POST',path+'?filename=real.jpg',201,actor=alice,raw=jpeg,headers={'Content-Type':'image/jpeg'},schema='Attachment')['json'] + downloaded = c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob) + check(downloaded['bytes']==jpeg,'JPEG original changed') + other = c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Another chat','member_ids':[alice['id']]},schema='Chat')['json'] + c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,body={'text':'','attachment_ids':[uploaded['id']]},headers={'Idempotency-Key':uuid.uuid4().hex}) + print('PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected') + print('PASS: unsafe filename, MIME mismatch, corruption and byte limit') + +if __name__=='__main__': + run(main) diff --git a/tests/attachment_failover.py b/tests/attachment_failover.py new file mode 100644 index 00000000..cd8fc45a --- /dev/null +++ b/tests/attachment_failover.py @@ -0,0 +1,53 @@ +"""Stop exactly the API that accepted an upload, for each of the two APIs.""" +import hashlib +import os +import subprocess +import time +from client import Client, arguments, check, run + + +def main(): + args = arguments('Upload/download failover on both APIs') + c = Client(args.base_url) + alice,bob,eve,chat = c.bootstrap() + content = open('tests/fixtures/sample.png','rb').read() + path = '/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png' + for service in ('api1','api2'): + cid = subprocess.check_output(['docker','compose','ps','-q',service],text=True).strip() + target = subprocess.check_output(['docker','inspect','--format','{{.Config.Hostname}}',cid],text=True).strip() + for _ in range(20): + uploaded = c.call('POST',path,201,actor=alice,raw=content,headers={'Content-Type':'image/png'},schema='Attachment') + if uploaded['headers']['X-Instance-Id'] == target: + break + else: + raise AssertionError('Target API not observed through LB') + ident = uploaded['json']['id'] + c.message(alice,chat,'',attachments=[ident]) + started = time.monotonic() + try: + subprocess.run(['scripts/stop-one.sh'],env=dict(os.environ,TARGET_INSTANCE_ID=target),check=True,stdout=subprocess.DEVNULL) + while time.monotonic()-started < 10: + try: + downloaded = c.call('GET','/api/v1/attachments/'+ident+'/content',actor=bob) + except Exception: + time.sleep(.2) + continue + check(downloaded['headers']['X-Instance-Id'] != target,'stopped API still responds') + check(downloaded['bytes']==content,'original changed') + print('PASS:',service,'uploaded; stopped; other API returned SHA-256',hashlib.sha256(content).hexdigest(),'after',round(time.monotonic()-started,3),'seconds',flush=True) + break + else: + raise AssertionError('Download did not recover in 10 seconds') + finally: + subprocess.run(['docker','compose','start',service],check=True) + for _ in range(30): + health = subprocess.check_output(['docker','inspect','--format','{{.State.Health.Status}}',cid],text=True).strip() + if health == 'healthy': + time.sleep(2) # allow HAProxy rise check + break + time.sleep(1) + else: + raise AssertionError('API did not recover') + +if __name__=='__main__': + run(main) diff --git a/tests/storage_failure.py b/tests/storage_failure.py new file mode 100644 index 00000000..6a521032 --- /dev/null +++ b/tests/storage_failure.py @@ -0,0 +1,39 @@ +"""Check readiness and upload when S3 is unavailable; always restore S3.""" +import subprocess +import time +from client import Client, arguments, run + + +def main(): + args = arguments('Storage failure') + c = Client(args.base_url) + alice,bob,eve,chat = c.bootstrap() + data = open('tests/fixtures/sample.png','rb').read() + # Call an API inside its container because LB correctly removes unready APIs. + code = '''import urllib.request, urllib.error +for path, data, headers in CASES: + try: + r = urllib.request.urlopen(urllib.request.Request('http://localhost:8000'+path,data=data,headers=headers),timeout=10) + except urllib.error.HTTPError as e: + r = e + assert r.code == 503, r.code +print('PASS: S3 down returns 503 for readiness and upload') +''' + cases = [('/health/ready',None,{}),('/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',data,{'Content-Type':'image/png','Authorization':'Bearer '+alice['token']})] + try: + subprocess.run(['docker','compose','stop','-t','2','s3'],check=True) + subprocess.run(['docker','compose','exec','-T','api1','python','-'],input='CASES='+repr(cases)+'\n'+code,text=True,check=True) + finally: + subprocess.run(['docker','compose','start','s3'],check=True) + for _ in range(60): + try: + c.call('GET','/health/ready') + print('PASS: S3 restored') + break + except Exception: + time.sleep(1) + else: + raise AssertionError('S3 did not recover') + +if __name__=='__main__': + run(main) diff --git a/ЗАЩИТА.md b/ЗАЩИТА.md new file mode 100644 index 00000000..6be002e3 --- /dev/null +++ b/ЗАЩИТА.md @@ -0,0 +1,18 @@ +# Кратко для защиты + +1. Запустить стенд по REPORT.md и показать `docker compose ps`. +2. Несколько раз вызвать `/health/ready` с `curl -i`: X-Instance-Id меняется между двумя API. +3. Запустить публичный smoke, затем persistence и failover; показать сохранённые результаты. +4. Объяснить: сессии в PostgreSQL, поэтому смена API не требует входа. +5. Объяснить: Idempotency-Key под общей транзакционной блокировкой не позволяет повторному POST создать дубль. +6. Показать stop-one.sh: он останавливает контейнер по ID реально обслужившей API. +7. После failover восстановить API: `docker compose up -d api1 api2`. + +Отказ процесса API не равен отказу узла: при потере единственного хоста весь этот стенд недоступен. +Healthcheck только сообщает состояние. Именно HAProxy выбирает готовый backend. +Basic — кодирование логина и пароля для входа; Bearer — случайный токен действующей серверной сессии. + +Для lab4: метаданные в PostgreSQL, байты в SeaweedFS. Локальный volume одной API не годится: +другая API его не увидит. UUID ключа и приватный bucket не заменяют проверку участника чата. +201 допустим после успешной записи файла и метаданных. Если S3 записал файл, а БД не сделала COMMIT, +останется неучтённый объект; автоматическая очистка относится к следующему уровню и здесь не сделана. diff --git a/СДАЧА.md b/СДАЧА.md new file mode 100644 index 00000000..55e9f6c7 --- /dev/null +++ b/СДАЧА.md @@ -0,0 +1,11 @@ +# Текст для описания PR — лабораторная 4 + +Целевая оценка: 3. Автор: Бахрамов Бахрам, БПИ2303. + +Реализован мессенджер с PostgreSQL, общими сессиями, двумя API за HAProxy и общей транзакционной идемпотентностью отправки сообщений. +Добавлены приватное S3-хранилище SeaweedFS, проверка PNG/JPEG и авторизованный доступ к оригиналам. + +Проверки: публичный smoke, concurrent idempotency (16 запросов), persistence с рестартом всех используемых хранилищ, failover через LB. Результаты и состояния контейнеров приложены в evidence/verification.txt. +Дополнительно проверены отказ S3, приватность bucket, сохранение оригинала при остановке каждой загрузившей API, MIME/лимиты/повреждённые изображения и вложение другого чата. + +Запуск, решения и ограничения: REPORT.md. Уровни 4/5 не заявлены. Контракт и публичные проверки сохранены.