forked from mtusi2026/mtusi2026lab3
Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
5c72218dbf | ||
|
|
0228556603 |
+1
-16
@@ -1,20 +1,5 @@
|
||||
.git
|
||||
.github
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
secrets
|
||||
certs
|
||||
volumes
|
||||
data
|
||||
backups
|
||||
*.key
|
||||
*.pem
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
.venv
|
||||
__pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
__pycache__
|
||||
|
||||
+4
-12
@@ -1,13 +1,5 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
POSTGRES_DB=messenger
|
||||
POSTGRES_USER=messenger
|
||||
POSTGRES_PASSWORD=local-demo-password-only
|
||||
PUBLIC_PORT=8080
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
|
||||
@@ -1,18 +1,31 @@
|
||||
## Лабораторная 3
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Бахрамов Бахрам, БПИ2303.
|
||||
Целевая оценка: **3**. Трек 5 не заявлен.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Реализованы PostgreSQL, общие действующие сессии, миграции, две API-реплики за HAProxy и транзакционная идемпотентность POST сообщений.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск из чистого clone:
|
||||
|
||||
```sh
|
||||
cp .env.example .env
|
||||
docker compose up -d --build
|
||||
# После готовности /health/ready:
|
||||
make check
|
||||
make test BASE_URL=http://localhost:8080
|
||||
python3 scripts/verify.py > evidence/verification.txt 2>&1
|
||||
```
|
||||
|
||||
Проверки прошли: публичный smoke, 16 конкурентных повторов с одним ключом, persistence с рестартом всех используемых хранилищ и failover через LB.
|
||||
|
||||
Подробности: [REPORT.md](REPORT.md), [результаты проверок](evidence/verification.txt).
|
||||
|
||||
Ограничения: один хост, PostgreSQL и LB без репликации; уровни 4 и 5 не заявлены.
|
||||
|
||||
Источники: исходное задание и документация PostgreSQL, HAProxy, Docker Compose, Argon2; ссылки в REPORT.md.
|
||||
|
||||
- [x] Обязательный минимум реализован.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check, smoke, persistence и failover выполнены, реальный вывод приложен.
|
||||
- [x] Локальный .env и реальные credentials не включены в Git; демонстрационные значения явно обозначены.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения.
|
||||
|
||||
@@ -48,6 +48,6 @@
|
||||
|
||||
## Что сдавать
|
||||
|
||||
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
|
||||
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
|
||||
|
||||
PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md).
|
||||
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
FROM python:3.12.10-slim
|
||||
WORKDIR /srv
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
COPY app app
|
||||
COPY contracts contracts
|
||||
COPY migrations migrations
|
||||
RUN useradd --uid 10001 --create-home api
|
||||
USER api
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--timeout-graceful-shutdown", "5"]
|
||||
+1
-1
@@ -8,7 +8,7 @@
|
||||
|
||||
1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически.
|
||||
2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы.
|
||||
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
|
||||
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
|
||||
4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен.
|
||||
|
||||
## Что проверять
|
||||
|
||||
@@ -1,37 +1,99 @@
|
||||
# Отчёт — лабораторная 3
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Целевая оценка: **3**. Исследовательский трек не заявлен.
|
||||
Автор: Бахрамов Бахрам, БПИ2303.
|
||||
Ветка: `solution/bpi2303-bakhramov`.
|
||||
Репозиторий: https://gitea.privcloud.tech/bahram/mtusi2026lab3
|
||||
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/136
|
||||
Устройство решения и команды защиты приведены ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требуются Docker с Compose v2, Python 3.9+ и make на компьютере проверяющего.
|
||||
Все команды выполняются из папки этой лабораторной.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
cp .env.example .env
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build
|
||||
# Дождаться 200 по адресу http://localhost:8080/health/ready
|
||||
curl -i http://localhost:8080/health/ready
|
||||
make check
|
||||
make test BASE_URL=http://localhost:8080
|
||||
python3 tests/acceptance_extra.py --base-url http://localhost:8080
|
||||
make test-persistence BASE_URL=http://localhost:8080 ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover BASE_URL=http://localhost:8080 ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# После failover одна API остаётся остановленной. Восстановить её:
|
||||
docker compose up -d api1 api2
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Порты двух лабораторных различаются, поэтому их можно запускать одновременно.
|
||||
Для обычной остановки: `docker compose down` (volumes сохраняются).
|
||||
Намеренный сброс только учебных данных: `docker compose down -v` (не применять при проверке persistence).
|
||||
Значения .env.example — открытые демонстрационные credentials для локального стенда с синтетическими данными.
|
||||
API и хранилища не публикуют порты. Только HAProxy принимает соединения на 127.0.0.1:8080.
|
||||
|
||||
## Доказательства критериев
|
||||
## Архитектура и реализация
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Клиент → HAProxy → api1 / api2 → PostgreSQL.
|
||||
FastAPI 0.115.12, Uvicorn 0.34.2, Python 3.12.10; HAProxy 3.0.10; PostgreSQL 16.8.
|
||||
Полные версии прямых Python-зависимостей закреплены в requirements.txt, образы — в compose.yaml.
|
||||
Обе API работают с одной PostgreSQL; локальное состояние API не используется для сессий и сообщений.
|
||||
Пароли — Argon2id, случайный Bearer-токен имеет 256 бит энтропии; в БД хранится SHA-256 токена.
|
||||
Сессии имеют абсолютный expires_at, не продлеваются рестартом и отзываются DELETE.
|
||||
Источник истины — PostgreSQL, подтверждённая запись читается из неё через любую реплику.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Одноразовый сервис migrate выполняет идемпотентный SQL до запуска API. Он не запускается каждой репликой.
|
||||
Схема таблиц находится в migrations/001_init.sql. Пользовательские поля хранятся в JSONB,
|
||||
идентификаторы и связи — также в отдельных колонках с внешними ключами.
|
||||
Миграции здесь только создают начальную схему; обновление несовместимой схемы без остановки не заявляется.
|
||||
|
||||
## Эксперименты и отказы
|
||||
Для сообщения PostgreSQL advisory transaction lock берётся по user+chat+key.
|
||||
После блокировки повторно проверяется существующий результат за последние 24 часа.
|
||||
Одинаковое нормализованное тело возвращает прежний Message и 201, отличающееся — 409.
|
||||
Вставка сообщения и данных для повтора выполняется одной транзакцией.
|
||||
При разрыве до ответа клиент повторяет тот же ключ: committed запись будет возвращена, rollback позволит новую запись.
|
||||
Порядок JSON-ключей и отсутствие attachment_ids вместо [] не меняют сравнение.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
HAProxy использует round-robin без sticky sessions. Каждый API сообщает hostname контейнера в X-Instance-Id.
|
||||
GET /health/live проверяет процесс; /health/ready проверяет PostgreSQL.
|
||||
Проверка backend идёт раз в 1 секунду; после двух неудач сервер исключается.
|
||||
Connect timeout — 1 секунда, client/server timeout — 30 секунд. Это настройки обнаружения, не гарантия для любых сетевых отказов.
|
||||
Docker DNS повторно разрешается HAProxy. При SIGTERM Uvicorn завершает текущие запросы до 5 секунд;
|
||||
Compose даёт 10 секунд. Лимит каждой API — 512 MiB и 1 CPU.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Пагинация — keyset по (created_at,id). Cursor содержит scope и последнюю пару; от другого чата не принимается.
|
||||
Это не snapshot: вставка с более ранним временем после уже прочитанного cursor может не попасть в продолжение.
|
||||
Время UTC назначает API; при обычном локальном стенде контейнеры используют общие часы хоста.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
## Проверки и доказательства
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Проверено 12.11.2026 на Docker Desktop (Linux arm64). Все записанные проверки пройдены.
|
||||
В failover наблюдались 2 разные API; за 15 секунд подтверждено 103 новых сообщений,
|
||||
переходных неуспешных попыток — 5; первая успешная запись после воздействия — 2.114 с.
|
||||
Подтверждённые данные и прежняя сессия сохранились. Это результат одного локального запуска, не SLA.
|
||||
Фактические команды и результаты находятся в evidence/verification.txt.
|
||||
Повторить полный набор: `python3 scripts/verify.py > evidence/verification.txt 2>&1`.
|
||||
Публичные contracts/ и tests/smoke.py, tests/resilience.py не изменены.
|
||||
|
||||
| Требование на 3 | Проверка | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| Один LB и две API с общей БД/сессиями | docker compose ps; failover наблюдает разные X-Instance-Id одной сессии | evidence/verification.txt |
|
||||
| Обязательный API и ошибки | make test | evidence/verification.txt |
|
||||
| Конкурентный повтор без дублей | 16 запросов с одним ключом через LB | tests/acceptance_extra.py; evidence/verification.txt |
|
||||
| Остановка выбранной реальной API, восстановление чтения/записи ≤10 секунд | make test-failover, hook сопоставляет X-Instance-Id с hostname и останавливает контейнер | scripts/stop-one.sh; evidence/verification.txt |
|
||||
| Сохранность пользователей, чатов, сообщений и действующих сессий после restart всех хранилищ | make test-persistence; сравнение StartedAt до/после | scripts/restart.sh; evidence/verification.txt |
|
||||
|
||||
## Ограничения
|
||||
|
||||
Устойчивость проверяется только при отказе одной API-реплики. LB, PostgreSQL и хост — единичные точки отказа.
|
||||
Бэкапы, репликация БД, rolling update и нагрузочное исследование не реализованы.
|
||||
HTTP предназначен для локальных синтетических данных. Уровни 4 и 5 не заявлены.
|
||||
|
||||
## Источники
|
||||
|
||||
- Исходное задание и неизменённый контракт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3
|
||||
- PostgreSQL advisory locks: https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS
|
||||
- HAProxy configuration: https://docs.haproxy.org/3.0/configuration.html
|
||||
- Docker Compose: https://docs.docker.com/compose/
|
||||
- Argon2: https://argon2-cffi.readthedocs.io/
|
||||
|
||||
+323
@@ -0,0 +1,323 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import secrets
|
||||
import socket
|
||||
import uuid
|
||||
import warnings
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
import boto3
|
||||
import psycopg
|
||||
from psycopg.types.json import Jsonb
|
||||
from argon2 import PasswordHasher
|
||||
from fastapi import FastAPI, Request
|
||||
from fastapi.responses import JSONResponse, Response
|
||||
from jsonschema import Draft202012Validator, FormatChecker
|
||||
from PIL import Image
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
|
||||
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
|
||||
INSTANCE = socket.gethostname()
|
||||
LAB = int(os.getenv('LAB_NUMBER', '4'))
|
||||
DSN = os.environ['DATABASE_URL']
|
||||
BUCKET = os.getenv('S3_BUCKET', 'attachments')
|
||||
ph = PasswordHasher()
|
||||
schemas = json.load(open('contracts/openapi.json'))['components']['schemas']
|
||||
Image.MAX_IMAGE_PIXELS = 40_000_000
|
||||
warnings.simplefilter('error', Image.DecompressionBombWarning)
|
||||
|
||||
|
||||
def s3():
|
||||
return boto3.client('s3', endpoint_url=os.environ['S3_ENDPOINT'],
|
||||
aws_access_key_id=os.environ['S3_ACCESS_KEY'],
|
||||
aws_secret_access_key=os.environ['S3_SECRET_KEY'],
|
||||
region_name='us-east-1',
|
||||
config=boto3.session.Config(connect_timeout=2, read_timeout=5, retries={'max_attempts': 0}))
|
||||
|
||||
|
||||
def now():
|
||||
return datetime.now(timezone.utc).isoformat().replace('+00:00', 'Z')
|
||||
|
||||
|
||||
def uid(value):
|
||||
try:
|
||||
return str(uuid.UUID(value))
|
||||
except (ValueError, TypeError, AttributeError):
|
||||
fail(400)
|
||||
|
||||
|
||||
def fail(status):
|
||||
raise APIError(status)
|
||||
|
||||
|
||||
class APIError(Exception):
|
||||
def __init__(self, status):
|
||||
self.status = status
|
||||
|
||||
|
||||
CODES = {400: 'invalid_request', 401: 'unauthorized', 404: 'not_found',
|
||||
409: 'conflict', 413: 'payload_too_large', 415: 'unsupported_media_type',
|
||||
503: 'unavailable', 500: 'internal_error'}
|
||||
|
||||
|
||||
def error(status, request_id, path):
|
||||
code = CODES[status]
|
||||
headers = {}
|
||||
if status == 401:
|
||||
headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"'
|
||||
if path.endswith('/auth/sessions') else 'Bearer realm="messenger"')
|
||||
return JSONResponse({'error': {'code': code, 'message': code, 'request_id': request_id}},
|
||||
status_code=status, headers=headers)
|
||||
|
||||
|
||||
@app.middleware('http')
|
||||
async def headers_and_errors(request, call_next):
|
||||
request_id = secrets.token_hex(16)
|
||||
try:
|
||||
response = await call_next(request)
|
||||
except APIError as exc:
|
||||
response = error(exc.status, request_id, request.url.path)
|
||||
except (psycopg.OperationalError, psycopg.InterfaceError):
|
||||
response = error(503, request_id, request.url.path)
|
||||
except Exception:
|
||||
import logging
|
||||
logging.exception('Request failed')
|
||||
response = error(500, request_id, request.url.path)
|
||||
response.headers['X-Request-Id'] = request_id
|
||||
response.headers['X-Instance-Id'] = INSTANCE
|
||||
return response
|
||||
|
||||
|
||||
def validate(body, name):
|
||||
if not Draft202012Validator(schemas[name], format_checker=FormatChecker()).is_valid(body):
|
||||
fail(400)
|
||||
return body
|
||||
|
||||
|
||||
def user(db, request):
|
||||
auth = request.headers.get('authorization', '')
|
||||
if not auth.startswith('Bearer '):
|
||||
fail(401)
|
||||
token = hashlib.sha256(auth[7:].encode()).hexdigest()
|
||||
row = db.execute('SELECT u.doc FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token=%s AND s.expires_at>now()', (token,)).fetchone()
|
||||
if not row:
|
||||
fail(401)
|
||||
return row[0]
|
||||
|
||||
|
||||
def chat(db, ident, actor):
|
||||
ident = uid(ident)
|
||||
row = db.execute('SELECT doc FROM chats WHERE id=%s', (ident,)).fetchone()
|
||||
if not row or actor['id'] not in row[0]['member_ids']:
|
||||
fail(404)
|
||||
return row[0]
|
||||
|
||||
|
||||
def attachment(db, ident, actor):
|
||||
row = db.execute('SELECT doc FROM attachments WHERE id=%s', (uid(ident),)).fetchone()
|
||||
if not row:
|
||||
fail(404)
|
||||
chat(db, row[0]['chat_id'], actor)
|
||||
return row[0]
|
||||
|
||||
|
||||
def page(db, request, table, scope, actor):
|
||||
raw = request.query_params.get('limit', '50')
|
||||
if not re.fullmatch('[0-9]+', raw) or not 1 <= int(raw) <= 100:
|
||||
fail(400)
|
||||
limit = int(raw)
|
||||
cursor = request.query_params.get('cursor')
|
||||
after = None
|
||||
if cursor:
|
||||
try:
|
||||
decoded = json.loads(base64.urlsafe_b64decode(cursor.encode()))
|
||||
if len(decoded) != 3 or decoded[0] != scope:
|
||||
fail(400)
|
||||
datetime.fromisoformat(decoded[1].replace('Z', '+00:00'))
|
||||
uid(decoded[2])
|
||||
after = decoded[1:]
|
||||
except Exception:
|
||||
fail(400)
|
||||
if table == 'chats':
|
||||
where, args = "doc->'member_ids' ? %s", [actor['id']]
|
||||
else:
|
||||
where, args = "chat_id=%s", [scope]
|
||||
if after:
|
||||
where += " AND (doc->>'created_at',id)>(%s,%s::uuid)"
|
||||
args += after
|
||||
rows = db.execute(f"SELECT doc FROM {table} WHERE {where} ORDER BY doc->>'created_at',id LIMIT %s", args + [limit+1]).fetchall()
|
||||
items = [r[0] for r in rows[:limit]]
|
||||
next_cursor = None
|
||||
if len(rows) > limit:
|
||||
last = items[-1]
|
||||
next_cursor = base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode()
|
||||
return {'items': items, 'next_cursor': next_cursor}
|
||||
|
||||
|
||||
@app.get('/health/live')
|
||||
def live():
|
||||
return {'status': 'ok'}
|
||||
|
||||
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with psycopg.connect(DSN, connect_timeout=2) as db:
|
||||
db.execute('SELECT count(*) FROM sessions')
|
||||
if LAB >= 4:
|
||||
try:
|
||||
s3().head_bucket(Bucket=BUCKET)
|
||||
except Exception:
|
||||
fail(503)
|
||||
return {'status': 'ok'}
|
||||
|
||||
|
||||
@app.api_route('/api/v1/{path:path}', methods=['GET', 'POST', 'DELETE'])
|
||||
async def api(request: Request, path: str):
|
||||
# Read bounded chunks before JSON parsing/image decoding.
|
||||
limit = 10*1024*1024 if path.endswith('/attachments') else 65536
|
||||
data = bytearray()
|
||||
async for chunk in request.stream():
|
||||
if len(data)+len(chunk) > limit:
|
||||
fail(413)
|
||||
data.extend(chunk)
|
||||
return await run_in_threadpool(handle, request, path, bytes(data))
|
||||
|
||||
|
||||
def handle(request, path, raw):
|
||||
method = request.method
|
||||
parts = path.split('/')
|
||||
body = None
|
||||
if method == 'POST' and path != 'auth/sessions' and not path.endswith('/attachments'):
|
||||
try:
|
||||
body = json.loads(raw)
|
||||
except (ValueError, UnicodeError):
|
||||
fail(400)
|
||||
with psycopg.connect(DSN) as db:
|
||||
if path == 'users' and method == 'POST':
|
||||
validate(body, 'CreateUser')
|
||||
if not body['display_name'].strip():
|
||||
fail(400)
|
||||
doc = {'id': str(uuid.uuid4()), 'username': body['username'], 'display_name': body['display_name'], 'created_at': now()}
|
||||
hashed = ph.hash(body['password'])
|
||||
if not db.execute('INSERT INTO users(id,username,password,doc) VALUES (%s,%s,%s,%s) ON CONFLICT(username) DO NOTHING RETURNING id', (doc['id'],doc['username'],hashed,Jsonb(doc))).fetchone():
|
||||
fail(409)
|
||||
return JSONResponse(doc, 201)
|
||||
if path == 'auth/sessions' and method == 'POST':
|
||||
try:
|
||||
auth = request.headers.get('authorization', '')
|
||||
if not auth.startswith('Basic ') or raw:
|
||||
fail(401)
|
||||
username, password = base64.b64decode(auth[6:], validate=True).decode().split(':',1)
|
||||
row = db.execute('SELECT password,doc FROM users WHERE username=%s',(username,)).fetchone()
|
||||
if not row:
|
||||
fail(401)
|
||||
ph.verify(row[0],password)
|
||||
except Exception:
|
||||
fail(401)
|
||||
token = secrets.token_urlsafe(32)
|
||||
expiry = datetime.now(timezone.utc)+timedelta(seconds=int(os.getenv('SESSION_TTL_SECONDS','3600')))
|
||||
db.execute('INSERT INTO sessions VALUES(%s,%s,%s)', (hashlib.sha256(token.encode()).hexdigest(),row[1]['id'],expiry))
|
||||
return JSONResponse({'token':token,'token_type':'Bearer','expires_at':expiry.isoformat().replace('+00:00','Z'),'user':row[1]},201)
|
||||
actor = user(db, request)
|
||||
if path == 'users/me' and method == 'GET':
|
||||
return actor
|
||||
if path == 'auth/sessions/current' and method == 'DELETE':
|
||||
db.execute('DELETE FROM sessions WHERE token=%s',(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
|
||||
return Response(status_code=204)
|
||||
if path == 'chats':
|
||||
if method == 'GET':
|
||||
return page(db,request,'chats','chats:'+actor['id'],actor)
|
||||
if method == 'POST':
|
||||
validate(body,'CreateChat')
|
||||
if not body['title'].strip() or actor['id'] not in body['member_ids']:
|
||||
fail(400)
|
||||
for ident in body['member_ids']:
|
||||
if not db.execute('SELECT id FROM users WHERE id=%s',(uid(ident),)).fetchone():
|
||||
fail(400)
|
||||
doc = dict(body,id=str(uuid.uuid4()),created_at=now())
|
||||
db.execute('INSERT INTO chats VALUES(%s,%s)',(doc['id'],Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if parts[0] == 'chats' and len(parts) >= 2:
|
||||
current = chat(db, parts[1], actor)
|
||||
if len(parts) == 2 and method == 'GET':
|
||||
return current
|
||||
if len(parts) == 3 and parts[2] == 'messages':
|
||||
if method == 'GET':
|
||||
return page(db,request,'messages',current['id'],actor)
|
||||
if method == 'POST':
|
||||
validate(body,'CreateMessage')
|
||||
attachments = body.get('attachment_ids',[]) if LAB >= 4 else []
|
||||
if not body['text'].strip() and not attachments:
|
||||
fail(400)
|
||||
key = request.headers.get('idempotency-key','')
|
||||
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key):
|
||||
fail(400)
|
||||
for ident in attachments:
|
||||
att = attachment(db,ident,actor)
|
||||
if att['chat_id'] != current['id']:
|
||||
fail(404)
|
||||
normalized = {'text':body['text'],'attachment_ids':attachments}
|
||||
# A transaction-scoped shared lock serializes the entire lookup+insert.
|
||||
scope = actor['id']+':'+current['id']+':'+key
|
||||
db.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
|
||||
old = db.execute('SELECT body,doc FROM messages WHERE sender_id=%s AND chat_id=%s AND idem_key=%s AND saved_at>now()-interval \'24 hours\'',(actor['id'],current['id'],key)).fetchone()
|
||||
if old:
|
||||
if old[0] != normalized:
|
||||
fail(409)
|
||||
return JSONResponse(old[1],201)
|
||||
doc = {'id':str(uuid.uuid4()),'chat_id':current['id'],'sender_id':actor['id'],'text':body['text'],'created_at':now()}
|
||||
if LAB >= 4:
|
||||
doc['attachment_ids'] = attachments
|
||||
db.execute('INSERT INTO messages(id,chat_id,sender_id,idem_key,body,doc) VALUES(%s,%s,%s,%s,%s,%s)',(doc['id'],current['id'],actor['id'],key,Jsonb(normalized),Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if LAB >= 4 and len(parts) == 3 and parts[2] == 'attachments' and method == 'POST':
|
||||
filename = request.query_params.get('filename','')
|
||||
if not 1 <= len(filename) <= 255 or any(c in '/\\' or ord(c)<32 or 127<=ord(c)<=159 for c in filename):
|
||||
fail(400)
|
||||
mime = request.headers.get('content-type','')
|
||||
if mime not in ('image/png','image/jpeg'):
|
||||
fail(415)
|
||||
try:
|
||||
with Image.open(io.BytesIO(raw)) as image:
|
||||
if image.width*image.height > 40_000_000:
|
||||
fail(413)
|
||||
if image.format not in ('PNG','JPEG') or Image.MIME[image.format] != mime:
|
||||
fail(415)
|
||||
image.verify()
|
||||
with Image.open(io.BytesIO(raw)) as image:
|
||||
image.load()
|
||||
except APIError:
|
||||
raise
|
||||
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
|
||||
fail(413)
|
||||
except Exception:
|
||||
fail(415)
|
||||
ident, stamp = str(uuid.uuid4()), now()
|
||||
doc = {'id':ident,'chat_id':current['id'],'owner_id':actor['id'],'filename':filename,'content_type':mime,'size_bytes':len(raw),'sha256':hashlib.sha256(raw).hexdigest(),'status':'ready','variants':[],'error_code':None,'created_at':stamp,'updated_at':stamp}
|
||||
try:
|
||||
s3().put_object(Bucket=BUCKET,Key=ident,Body=raw,ContentType=mime)
|
||||
except Exception:
|
||||
fail(503)
|
||||
db.execute('INSERT INTO attachments VALUES(%s,%s,%s)',(ident,current['id'],Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if LAB >= 4 and parts[0] == 'attachments' and len(parts) in (2,3) and method == 'GET':
|
||||
doc = attachment(db,parts[1],actor)
|
||||
if len(parts) == 2:
|
||||
return doc
|
||||
if parts[2] == 'content':
|
||||
if request.query_params.get('variant','original') != 'original':
|
||||
fail(404)
|
||||
try:
|
||||
obj = s3().get_object(Bucket=BUCKET,Key=doc['id'])
|
||||
try:
|
||||
content = obj['Body'].read(10*1024*1024+1)
|
||||
finally:
|
||||
obj['Body'].close()
|
||||
except Exception:
|
||||
fail(503)
|
||||
return Response(content,media_type=doc['content_type'])
|
||||
fail(404)
|
||||
@@ -0,0 +1,5 @@
|
||||
import os
|
||||
import psycopg
|
||||
with psycopg.connect(os.environ['DATABASE_URL']) as db:
|
||||
db.execute(open('migrations/001_init.sql').read())
|
||||
print('Migration complete')
|
||||
@@ -0,0 +1,59 @@
|
||||
name: messenger-lab3
|
||||
x-api: &api
|
||||
build: .
|
||||
environment: &environment
|
||||
LAB_NUMBER: "3"
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health/ready', timeout=3)"]
|
||||
interval: 3s
|
||||
timeout: 5s
|
||||
retries: 5
|
||||
stop_grace_period: 10s
|
||||
mem_limit: 512m
|
||||
cpus: 1.0
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.8-alpine
|
||||
environment:
|
||||
POSTGRES_DB: ${POSTGRES_DB}
|
||||
POSTGRES_USER: ${POSTGRES_USER}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
migrate:
|
||||
build: .
|
||||
environment: *environment
|
||||
command: ["python", "-m", "app.migrate"]
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
api1:
|
||||
<<: *api
|
||||
api2:
|
||||
<<: *api
|
||||
lb:
|
||||
image: haproxy:3.0.10-alpine
|
||||
ports:
|
||||
- "127.0.0.1:${PUBLIC_PORT}:8080"
|
||||
volumes:
|
||||
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api1:
|
||||
condition: service_healthy
|
||||
api2:
|
||||
condition: service_healthy
|
||||
|
||||
volumes:
|
||||
postgres_data:
|
||||
@@ -0,0 +1,80 @@
|
||||
Verification UTC: 2026-11-12T12:19:25.254909+00:00
|
||||
|
||||
$ docker compose config --quiet
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
|
||||
$ docker compose ps
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 58 seconds (healthy)
|
||||
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 58 seconds (healthy)
|
||||
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 55 seconds 127.0.0.1:8080->8080/tcp
|
||||
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/smoke.py --base-url http://localhost:8080
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/acceptance_extra.py --base-url http://localhost:8080
|
||||
PASS: 16 concurrent retries return one message
|
||||
|
||||
Before persistence:
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e 42fb0afd61a3cf6b1c1cee867cf4a6c4791248a9a93a5133dfa5dd70c67feaec f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
|
||||
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:18:26.584786752Z
|
||||
/messenger-lab3-api2-1 42fb0afd61a3 running 2026-11-12T12:18:26.533199419Z
|
||||
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:18:30.165203254Z
|
||||
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:17:15.607915345Z
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
After persistence:
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e 42fb0afd61a3cf6b1c1cee867cf4a6c4791248a9a93a5133dfa5dd70c67feaec f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
|
||||
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:19:27.807372711Z
|
||||
/messenger-lab3-api2-1 42fb0afd61a3 running 2026-11-12T12:19:27.883957919Z
|
||||
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:19:27.648802211Z
|
||||
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:19:27.671302919Z
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8080
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 103, "failed_attempts": 5, "first_recovery_seconds": 2.114}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
|
||||
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:19:27.807372711Z
|
||||
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:19:27.648802211Z
|
||||
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:19:27.671302919Z
|
||||
|
||||
$ docker compose ps --all
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 19 seconds (healthy)
|
||||
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Exited (0) 14 seconds ago
|
||||
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 19 seconds 127.0.0.1:8080->8080/tcp
|
||||
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m app.migra…" migrate About a minute ago Exited (0) About a minute ago
|
||||
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 19 seconds (healthy) 5432/tcp
|
||||
|
||||
$ docker compose up -d api1 api2
|
||||
Container messenger-lab3-postgres-1 Running
|
||||
Container messenger-lab3-api1-1 Running
|
||||
Container messenger-lab3-postgres-1 Waiting
|
||||
Container messenger-lab3-postgres-1 Healthy
|
||||
Container messenger-lab3-migrate-1 Starting
|
||||
Container messenger-lab3-migrate-1 Started
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-migrate-1 Waiting
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-migrate-1 Exited
|
||||
Container messenger-lab3-api2-1 Starting
|
||||
Container messenger-lab3-api2-1 Started
|
||||
|
||||
$ docker compose ps
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 24 seconds (healthy)
|
||||
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 3 seconds (healthy)
|
||||
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 24 seconds 127.0.0.1:8080->8080/tcp
|
||||
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 24 seconds (healthy) 5432/tcp
|
||||
|
||||
PASS: all recorded checks
|
||||
@@ -0,0 +1,26 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 256
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
retries 2
|
||||
option redispatch
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
frontend public
|
||||
bind *:8080
|
||||
default_backend apis
|
||||
backend apis
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
server api1 api1:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
|
||||
server api2 api2:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
|
||||
@@ -0,0 +1,7 @@
|
||||
CREATE TABLE IF NOT EXISTS users(id uuid PRIMARY KEY, username text NOT NULL UNIQUE, password text NOT NULL, doc jsonb NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS sessions(token text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS chats(id uuid PRIMARY KEY, doc jsonb NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS messages(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, idem_key text NOT NULL, body jsonb NOT NULL, doc jsonb NOT NULL, saved_at timestamptz NOT NULL DEFAULT now());
|
||||
CREATE INDEX IF NOT EXISTS messages_replay ON messages(sender_id,chat_id,idem_key,saved_at);
|
||||
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,(doc->>'created_at'),id);
|
||||
CREATE TABLE IF NOT EXISTS attachments(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, doc jsonb NOT NULL);
|
||||
@@ -0,0 +1,7 @@
|
||||
fastapi==0.115.12
|
||||
uvicorn==0.34.2
|
||||
psycopg[binary]==3.2.9
|
||||
argon2-cffi==23.1.0
|
||||
jsonschema==4.23.0
|
||||
boto3==1.38.23
|
||||
Pillow==11.2.1
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose restart postgres api1 api2 lb
|
||||
Executable
+15
@@ -0,0 +1,15 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
|
||||
for service in api1 api2; do
|
||||
cid=$(docker compose ps -q "$service")
|
||||
[ -n "$cid" ] || continue
|
||||
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$cid")
|
||||
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
|
||||
docker compose stop -t 2 "$service"
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
echo 'Target instance not found' >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,74 @@
|
||||
"""Reproduce acceptance evidence without printing credentials or tokens."""
|
||||
import datetime
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
os.chdir(Path(__file__).resolve().parents[1])
|
||||
lab = json.load(open('lab.json'))['number']
|
||||
base = 'http://localhost:'+('8080' if lab==3 else '8084')
|
||||
|
||||
def command(*args):
|
||||
print('\n$ '+' '.join(args),flush=True)
|
||||
subprocess.run(args,check=True)
|
||||
|
||||
|
||||
def wait():
|
||||
for _ in range(90):
|
||||
try:
|
||||
with urllib.request.urlopen(base+'/health/ready',timeout=3) as response:
|
||||
if response.status == 200:
|
||||
statuses = subprocess.check_output(['docker','compose','ps','--format','json','api1','api2'],text=True)
|
||||
docs = [json.loads(line) for line in statuses.splitlines() if line.strip()]
|
||||
if len(docs)==2 and all(d.get('Health')=='healthy' for d in docs):
|
||||
return
|
||||
except Exception:
|
||||
pass
|
||||
time.sleep(1)
|
||||
raise RuntimeError('Stand did not become ready')
|
||||
|
||||
|
||||
def state():
|
||||
ids = subprocess.check_output(['docker','compose','ps','-q'],text=True).split()
|
||||
command('docker','inspect','--format','{{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}}',*ids)
|
||||
|
||||
print('Verification UTC:',datetime.datetime.now(datetime.timezone.utc).isoformat(),flush=True)
|
||||
command('docker','compose','config','--quiet')
|
||||
wait()
|
||||
command(sys.executable,'scripts/check_contract.py')
|
||||
command('docker','compose','ps')
|
||||
command(sys.executable,'tests/smoke.py','--base-url',base)
|
||||
command(sys.executable,'tests/acceptance_extra.py','--base-url',base)
|
||||
print('\nBefore persistence:',flush=True)
|
||||
state()
|
||||
command(sys.executable,'tests/resilience.py','--mode','persistence','--action-script','scripts/restart.sh','--base-url',base)
|
||||
wait()
|
||||
print('\nAfter persistence:',flush=True)
|
||||
state()
|
||||
command(sys.executable,'tests/resilience.py','--mode','failover','--action-script','scripts/stop-one.sh','--base-url',base)
|
||||
state()
|
||||
command('docker','compose','ps','--all')
|
||||
command('docker','compose','up','-d','api1','api2')
|
||||
wait()
|
||||
if lab==4:
|
||||
command(sys.executable,'tests/storage_failure.py','--base-url',base)
|
||||
wait()
|
||||
code = '''import os,psycopg,urllib.request,urllib.error
|
||||
with psycopg.connect(os.environ['DATABASE_URL']) as db:
|
||||
ident=str(db.execute('SELECT id FROM attachments LIMIT 1').fetchone()[0])
|
||||
try:
|
||||
urllib.request.urlopen(os.environ['S3_ENDPOINT']+'/'+os.environ['S3_BUCKET']+'/'+ident,timeout=5)
|
||||
except urllib.error.HTTPError as e:
|
||||
assert e.code in (401,403), e.code
|
||||
print('PASS: anonymous GET of existing S3 object denied:',e.code)
|
||||
else:
|
||||
raise AssertionError('Private object publicly accessible')
|
||||
'''
|
||||
print('\nChecking private bucket from internal network',flush=True)
|
||||
subprocess.run(['docker','compose','exec','-T','api1','python','-c',code],check=True)
|
||||
command('docker','compose','ps')
|
||||
print('\nPASS: all recorded checks',flush=True)
|
||||
@@ -0,0 +1,28 @@
|
||||
"""Additional grade-3 checks: concurrent replay and invalid uploads."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import uuid
|
||||
from client import Client, LAB, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Extra acceptance checks')
|
||||
c = Client(args.base_url)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
key = uuid.uuid4().hex
|
||||
def send(_):
|
||||
return c.message(alice,chat,'Concurrent retry',key=key)['json']
|
||||
with ThreadPoolExecutor(max_workers=8) as pool:
|
||||
results = list(pool.map(send,range(16)))
|
||||
check(all(r==results[0] for r in results),'concurrent replay created different messages')
|
||||
print('PASS: 16 concurrent retries return one message')
|
||||
if LAB >= 4:
|
||||
path = '/api/v1/chats/'+chat['id']+'/attachments'
|
||||
content = open('tests/fixtures/sample.png','rb').read()
|
||||
c.call('POST',path+'?filename=../x.png',400,actor=alice,raw=content,headers={'Content-Type':'image/png'})
|
||||
c.call('POST',path+'?filename=x.jpg',415,actor=alice,raw=content,headers={'Content-Type':'image/jpeg'})
|
||||
c.call('POST',path+'?filename=x.png',415,actor=alice,raw=b'broken',headers={'Content-Type':'image/png'})
|
||||
c.call('POST',path+'?filename=x.png',413,actor=alice,raw=b'x'*(10485760+1),headers={'Content-Type':'image/png'})
|
||||
print('PASS: unsafe filename, MIME mismatch, corruption and byte limit')
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,13 @@
|
||||
# Кратко для защиты
|
||||
|
||||
1. Запустить стенд по REPORT.md и показать `docker compose ps`.
|
||||
2. Несколько раз вызвать `/health/ready` с `curl -i`: X-Instance-Id меняется между двумя API.
|
||||
3. Запустить публичный smoke, затем persistence и failover; показать сохранённые результаты.
|
||||
4. Объяснить: сессии в PostgreSQL, поэтому смена API не требует входа.
|
||||
5. Объяснить: Idempotency-Key под общей транзакционной блокировкой не позволяет повторному POST создать дубль.
|
||||
6. Показать stop-one.sh: он останавливает контейнер по ID реально обслужившей API.
|
||||
7. После failover восстановить API: `docker compose up -d api1 api2`.
|
||||
|
||||
Отказ процесса API не равен отказу узла: при потере единственного хоста весь этот стенд недоступен.
|
||||
Healthcheck только сообщает состояние. Именно HAProxy выбирает готовый backend.
|
||||
Basic — кодирование логина и пароля для входа; Bearer — случайный токен действующей серверной сессии.
|
||||
@@ -0,0 +1,11 @@
|
||||
# Текст для описания PR — лабораторная 3
|
||||
|
||||
Целевая оценка: 3. Автор: Бахрамов Бахрам, БПИ2303.
|
||||
|
||||
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/136
|
||||
|
||||
Реализован мессенджер с PostgreSQL, общими сессиями, двумя API за HAProxy и общей транзакционной идемпотентностью отправки сообщений.
|
||||
|
||||
Проверки: публичный smoke, concurrent idempotency (16 запросов), persistence с рестартом всех используемых хранилищ, failover через LB. Результаты и состояния контейнеров приложены в evidence/verification.txt.
|
||||
|
||||
Запуск, решения и ограничения: REPORT.md. Уровни 4/5 не заявлены. Контракт и публичные проверки сохранены.
|
||||
Reference in New Issue
Block a user