ЛР 3 — БПИ2303 — Бахрамов — на 3 #136

Closed
bahram wants to merge 2 commits from bahram/mtusi2026lab3:solution/bpi2303-bakhramov into main
20 changed files with 781 additions and 67 deletions
+1 -16
View File
@@ -1,20 +1,5 @@
.git
.github
.env
.env.*
!.env.example
secrets
certs
volumes
data
backups
*.key
*.pem
*.p12
*.pfx
*.jks
.venv
__pycache__
node_modules
evidence
.DS_Store
__pycache__
+4 -12
View File
@@ -1,13 +1,5 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
POSTGRES_DB=messenger
POSTGRES_USER=messenger
POSTGRES_PASSWORD=local-demo-password-only
PUBLIC_PORT=8080
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
+27 -14
View File
@@ -1,18 +1,31 @@
## Лабораторная 3
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Бахрамов Бахрам, БПИ2303.
Целевая оценка: **3**. Трек 5 не заявлен.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Реализованы PostgreSQL, общие действующие сессии, миграции, две API-реплики за HAProxy и транзакционная идемпотентность POST сообщений.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск из чистого clone:
```sh
cp .env.example .env
docker compose up -d --build
# После готовности /health/ready:
make check
make test BASE_URL=http://localhost:8080
python3 scripts/verify.py > evidence/verification.txt 2>&1
```
Проверки прошли: публичный smoke, 16 конкурентных повторов с одним ключом, persistence с рестартом всех используемых хранилищ и failover через LB.
Подробности: [REPORT.md](REPORT.md), [результаты проверок](evidence/verification.txt).
Ограничения: один хост, PostgreSQL и LB без репликации; уровни 4 и 5 не заявлены.
Источники: исходное задание и документация PostgreSQL, HAProxy, Docker Compose, Argon2; ссылки в REPORT.md.
- [x] Обязательный минимум реализован.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check, smoke, persistence и failover выполнены, реальный вывод приложен.
- [x] Локальный .env и реальные credentials не включены в Git; демонстрационные значения явно обозначены.
- [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения.
+1 -1
View File
@@ -48,6 +48,6 @@
## Что сдавать
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md).
+10
View File
@@ -0,0 +1,10 @@
FROM python:3.12.10-slim
WORKDIR /srv
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY app app
COPY contracts contracts
COPY migrations migrations
RUN useradd --uid 10001 --create-home api
USER api
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--timeout-graceful-shutdown", "5"]
+1 -1
View File
@@ -8,7 +8,7 @@
1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически.
2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы.
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен.
## Что проверять
+85 -23
View File
@@ -1,37 +1,99 @@
# Отчёт — лабораторная 3
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Целевая оценка: **3**. Исследовательский трек не заявлен.
Автор: Бахрамов Бахрам, БПИ2303.
Ветка: `solution/bpi2303-bakhramov`.
Репозиторий: https://gitea.privcloud.tech/bahram/mtusi2026lab3
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/136
Устройство решения и команды защиты приведены ниже.
## Запуск из чистого clone
## Запуск
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Требуются Docker с Compose v2, Python 3.9+ и make на компьютере проверяющего.
Все команды выполняются из папки этой лабораторной.
## Архитектура и решения
```sh
cp .env.example .env
docker compose config --quiet
docker compose up -d --build
# Дождаться 200 по адресу http://localhost:8080/health/ready
curl -i http://localhost:8080/health/ready
make check
make test BASE_URL=http://localhost:8080
python3 tests/acceptance_extra.py --base-url http://localhost:8080
make test-persistence BASE_URL=http://localhost:8080 ACTION_SCRIPT=scripts/restart.sh
make test-failover BASE_URL=http://localhost:8080 ACTION_SCRIPT=scripts/stop-one.sh
# После failover одна API остаётся остановленной. Восстановить её:
docker compose up -d api1 api2
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Порты двух лабораторных различаются, поэтому их можно запускать одновременно.
Для обычной остановки: `docker compose down` (volumes сохраняются).
Намеренный сброс только учебных данных: `docker compose down -v` (не применять при проверке persistence).
Значения .env.example — открытые демонстрационные credentials для локального стенда с синтетическими данными.
API и хранилища не публикуют порты. Только HAProxy принимает соединения на 127.0.0.1:8080.
## Доказательства критериев
## Архитектура и реализация
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Клиент → HAProxy → api1 / api2 → PostgreSQL.
FastAPI 0.115.12, Uvicorn 0.34.2, Python 3.12.10; HAProxy 3.0.10; PostgreSQL 16.8.
Полные версии прямых Python-зависимостей закреплены в requirements.txt, образы — в compose.yaml.
Обе API работают с одной PostgreSQL; локальное состояние API не используется для сессий и сообщений.
Пароли — Argon2id, случайный Bearer-токен имеет 256 бит энтропии; в БД хранится SHA-256 токена.
Сессии имеют абсолютный expires_at, не продлеваются рестартом и отзываются DELETE.
Источник истины — PostgreSQL, подтверждённая запись читается из неё через любую реплику.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Одноразовый сервис migrate выполняет идемпотентный SQL до запуска API. Он не запускается каждой репликой.
Схема таблиц находится в migrations/001_init.sql. Пользовательские поля хранятся в JSONB,
идентификаторы и связи — также в отдельных колонках с внешними ключами.
Миграции здесь только создают начальную схему; обновление несовместимой схемы без остановки не заявляется.
## Эксперименты и отказы
Для сообщения PostgreSQL advisory transaction lock берётся по user+chat+key.
После блокировки повторно проверяется существующий результат за последние 24 часа.
Одинаковое нормализованное тело возвращает прежний Message и 201, отличающееся — 409.
Вставка сообщения и данных для повтора выполняется одной транзакцией.
При разрыве до ответа клиент повторяет тот же ключ: committed запись будет возвращена, rollback позволит новую запись.
Порядок JSON-ключей и отсутствие attachment_ids вместо [] не меняют сравнение.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
HAProxy использует round-robin без sticky sessions. Каждый API сообщает hostname контейнера в X-Instance-Id.
GET /health/live проверяет процесс; /health/ready проверяет PostgreSQL.
Проверка backend идёт раз в 1 секунду; после двух неудач сервер исключается.
Connect timeout — 1 секунда, client/server timeout — 30 секунд. Это настройки обнаружения, не гарантия для любых сетевых отказов.
Docker DNS повторно разрешается HAProxy. При SIGTERM Uvicorn завершает текущие запросы до 5 секунд;
Compose даёт 10 секунд. Лимит каждой API — 512 MiB и 1 CPU.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Пагинация — keyset по (created_at,id). Cursor содержит scope и последнюю пару; от другого чата не принимается.
Это не snapshot: вставка с более ранним временем после уже прочитанного cursor может не попасть в продолжение.
Время UTC назначает API; при обычном локальном стенде контейнеры используют общие часы хоста.
## Ограничения и следующие шаги
## Проверки и доказательства
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Проверено 12.11.2026 на Docker Desktop (Linux arm64). Все записанные проверки пройдены.
В failover наблюдались 2 разные API; за 15 секунд подтверждено 103 новых сообщений,
переходных неуспешных попыток — 5; первая успешная запись после воздействия — 2.114 с.
Подтверждённые данные и прежняя сессия сохранились. Это результат одного локального запуска, не SLA.
Фактические команды и результаты находятся в evidence/verification.txt.
Повторить полный набор: `python3 scripts/verify.py > evidence/verification.txt 2>&1`.
Публичные contracts/ и tests/smoke.py, tests/resilience.py не изменены.
| Требование на 3 | Проверка | Доказательство |
| --- | --- | --- |
| Один LB и две API с общей БД/сессиями | docker compose ps; failover наблюдает разные X-Instance-Id одной сессии | evidence/verification.txt |
| Обязательный API и ошибки | make test | evidence/verification.txt |
| Конкурентный повтор без дублей | 16 запросов с одним ключом через LB | tests/acceptance_extra.py; evidence/verification.txt |
| Остановка выбранной реальной API, восстановление чтения/записи ≤10 секунд | make test-failover, hook сопоставляет X-Instance-Id с hostname и останавливает контейнер | scripts/stop-one.sh; evidence/verification.txt |
| Сохранность пользователей, чатов, сообщений и действующих сессий после restart всех хранилищ | make test-persistence; сравнение StartedAt до/после | scripts/restart.sh; evidence/verification.txt |
## Ограничения
Устойчивость проверяется только при отказе одной API-реплики. LB, PostgreSQL и хост — единичные точки отказа.
Бэкапы, репликация БД, rolling update и нагрузочное исследование не реализованы.
HTTP предназначен для локальных синтетических данных. Уровни 4 и 5 не заявлены.
## Источники
- Исходное задание и неизменённый контракт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3
- PostgreSQL advisory locks: https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS
- HAProxy configuration: https://docs.haproxy.org/3.0/configuration.html
- Docker Compose: https://docs.docker.com/compose/
- Argon2: https://argon2-cffi.readthedocs.io/
+323
View File
@@ -0,0 +1,323 @@
import base64
import hashlib
import io
import json
import os
import re
import secrets
import socket
import uuid
import warnings
from datetime import datetime, timedelta, timezone
import boto3
import psycopg
from psycopg.types.json import Jsonb
from argon2 import PasswordHasher
from fastapi import FastAPI, Request
from fastapi.responses import JSONResponse, Response
from jsonschema import Draft202012Validator, FormatChecker
from PIL import Image
from starlette.concurrency import run_in_threadpool
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
INSTANCE = socket.gethostname()
LAB = int(os.getenv('LAB_NUMBER', '4'))
DSN = os.environ['DATABASE_URL']
BUCKET = os.getenv('S3_BUCKET', 'attachments')
ph = PasswordHasher()
schemas = json.load(open('contracts/openapi.json'))['components']['schemas']
Image.MAX_IMAGE_PIXELS = 40_000_000
warnings.simplefilter('error', Image.DecompressionBombWarning)
def s3():
return boto3.client('s3', endpoint_url=os.environ['S3_ENDPOINT'],
aws_access_key_id=os.environ['S3_ACCESS_KEY'],
aws_secret_access_key=os.environ['S3_SECRET_KEY'],
region_name='us-east-1',
config=boto3.session.Config(connect_timeout=2, read_timeout=5, retries={'max_attempts': 0}))
def now():
return datetime.now(timezone.utc).isoformat().replace('+00:00', 'Z')
def uid(value):
try:
return str(uuid.UUID(value))
except (ValueError, TypeError, AttributeError):
fail(400)
def fail(status):
raise APIError(status)
class APIError(Exception):
def __init__(self, status):
self.status = status
CODES = {400: 'invalid_request', 401: 'unauthorized', 404: 'not_found',
409: 'conflict', 413: 'payload_too_large', 415: 'unsupported_media_type',
503: 'unavailable', 500: 'internal_error'}
def error(status, request_id, path):
code = CODES[status]
headers = {}
if status == 401:
headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"'
if path.endswith('/auth/sessions') else 'Bearer realm="messenger"')
return JSONResponse({'error': {'code': code, 'message': code, 'request_id': request_id}},
status_code=status, headers=headers)
@app.middleware('http')
async def headers_and_errors(request, call_next):
request_id = secrets.token_hex(16)
try:
response = await call_next(request)
except APIError as exc:
response = error(exc.status, request_id, request.url.path)
except (psycopg.OperationalError, psycopg.InterfaceError):
response = error(503, request_id, request.url.path)
except Exception:
import logging
logging.exception('Request failed')
response = error(500, request_id, request.url.path)
response.headers['X-Request-Id'] = request_id
response.headers['X-Instance-Id'] = INSTANCE
return response
def validate(body, name):
if not Draft202012Validator(schemas[name], format_checker=FormatChecker()).is_valid(body):
fail(400)
return body
def user(db, request):
auth = request.headers.get('authorization', '')
if not auth.startswith('Bearer '):
fail(401)
token = hashlib.sha256(auth[7:].encode()).hexdigest()
row = db.execute('SELECT u.doc FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token=%s AND s.expires_at>now()', (token,)).fetchone()
if not row:
fail(401)
return row[0]
def chat(db, ident, actor):
ident = uid(ident)
row = db.execute('SELECT doc FROM chats WHERE id=%s', (ident,)).fetchone()
if not row or actor['id'] not in row[0]['member_ids']:
fail(404)
return row[0]
def attachment(db, ident, actor):
row = db.execute('SELECT doc FROM attachments WHERE id=%s', (uid(ident),)).fetchone()
if not row:
fail(404)
chat(db, row[0]['chat_id'], actor)
return row[0]
def page(db, request, table, scope, actor):
raw = request.query_params.get('limit', '50')
if not re.fullmatch('[0-9]+', raw) or not 1 <= int(raw) <= 100:
fail(400)
limit = int(raw)
cursor = request.query_params.get('cursor')
after = None
if cursor:
try:
decoded = json.loads(base64.urlsafe_b64decode(cursor.encode()))
if len(decoded) != 3 or decoded[0] != scope:
fail(400)
datetime.fromisoformat(decoded[1].replace('Z', '+00:00'))
uid(decoded[2])
after = decoded[1:]
except Exception:
fail(400)
if table == 'chats':
where, args = "doc->'member_ids' ? %s", [actor['id']]
else:
where, args = "chat_id=%s", [scope]
if after:
where += " AND (doc->>'created_at',id)>(%s,%s::uuid)"
args += after
rows = db.execute(f"SELECT doc FROM {table} WHERE {where} ORDER BY doc->>'created_at',id LIMIT %s", args + [limit+1]).fetchall()
items = [r[0] for r in rows[:limit]]
next_cursor = None
if len(rows) > limit:
last = items[-1]
next_cursor = base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode()
return {'items': items, 'next_cursor': next_cursor}
@app.get('/health/live')
def live():
return {'status': 'ok'}
@app.get('/health/ready')
def ready():
with psycopg.connect(DSN, connect_timeout=2) as db:
db.execute('SELECT count(*) FROM sessions')
if LAB >= 4:
try:
s3().head_bucket(Bucket=BUCKET)
except Exception:
fail(503)
return {'status': 'ok'}
@app.api_route('/api/v1/{path:path}', methods=['GET', 'POST', 'DELETE'])
async def api(request: Request, path: str):
# Read bounded chunks before JSON parsing/image decoding.
limit = 10*1024*1024 if path.endswith('/attachments') else 65536
data = bytearray()
async for chunk in request.stream():
if len(data)+len(chunk) > limit:
fail(413)
data.extend(chunk)
return await run_in_threadpool(handle, request, path, bytes(data))
def handle(request, path, raw):
method = request.method
parts = path.split('/')
body = None
if method == 'POST' and path != 'auth/sessions' and not path.endswith('/attachments'):
try:
body = json.loads(raw)
except (ValueError, UnicodeError):
fail(400)
with psycopg.connect(DSN) as db:
if path == 'users' and method == 'POST':
validate(body, 'CreateUser')
if not body['display_name'].strip():
fail(400)
doc = {'id': str(uuid.uuid4()), 'username': body['username'], 'display_name': body['display_name'], 'created_at': now()}
hashed = ph.hash(body['password'])
if not db.execute('INSERT INTO users(id,username,password,doc) VALUES (%s,%s,%s,%s) ON CONFLICT(username) DO NOTHING RETURNING id', (doc['id'],doc['username'],hashed,Jsonb(doc))).fetchone():
fail(409)
return JSONResponse(doc, 201)
if path == 'auth/sessions' and method == 'POST':
try:
auth = request.headers.get('authorization', '')
if not auth.startswith('Basic ') or raw:
fail(401)
username, password = base64.b64decode(auth[6:], validate=True).decode().split(':',1)
row = db.execute('SELECT password,doc FROM users WHERE username=%s',(username,)).fetchone()
if not row:
fail(401)
ph.verify(row[0],password)
except Exception:
fail(401)
token = secrets.token_urlsafe(32)
expiry = datetime.now(timezone.utc)+timedelta(seconds=int(os.getenv('SESSION_TTL_SECONDS','3600')))
db.execute('INSERT INTO sessions VALUES(%s,%s,%s)', (hashlib.sha256(token.encode()).hexdigest(),row[1]['id'],expiry))
return JSONResponse({'token':token,'token_type':'Bearer','expires_at':expiry.isoformat().replace('+00:00','Z'),'user':row[1]},201)
actor = user(db, request)
if path == 'users/me' and method == 'GET':
return actor
if path == 'auth/sessions/current' and method == 'DELETE':
db.execute('DELETE FROM sessions WHERE token=%s',(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
return Response(status_code=204)
if path == 'chats':
if method == 'GET':
return page(db,request,'chats','chats:'+actor['id'],actor)
if method == 'POST':
validate(body,'CreateChat')
if not body['title'].strip() or actor['id'] not in body['member_ids']:
fail(400)
for ident in body['member_ids']:
if not db.execute('SELECT id FROM users WHERE id=%s',(uid(ident),)).fetchone():
fail(400)
doc = dict(body,id=str(uuid.uuid4()),created_at=now())
db.execute('INSERT INTO chats VALUES(%s,%s)',(doc['id'],Jsonb(doc)))
return JSONResponse(doc,201)
if parts[0] == 'chats' and len(parts) >= 2:
current = chat(db, parts[1], actor)
if len(parts) == 2 and method == 'GET':
return current
if len(parts) == 3 and parts[2] == 'messages':
if method == 'GET':
return page(db,request,'messages',current['id'],actor)
if method == 'POST':
validate(body,'CreateMessage')
attachments = body.get('attachment_ids',[]) if LAB >= 4 else []
if not body['text'].strip() and not attachments:
fail(400)
key = request.headers.get('idempotency-key','')
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key):
fail(400)
for ident in attachments:
att = attachment(db,ident,actor)
if att['chat_id'] != current['id']:
fail(404)
normalized = {'text':body['text'],'attachment_ids':attachments}
# A transaction-scoped shared lock serializes the entire lookup+insert.
scope = actor['id']+':'+current['id']+':'+key
db.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
old = db.execute('SELECT body,doc FROM messages WHERE sender_id=%s AND chat_id=%s AND idem_key=%s AND saved_at>now()-interval \'24 hours\'',(actor['id'],current['id'],key)).fetchone()
if old:
if old[0] != normalized:
fail(409)
return JSONResponse(old[1],201)
doc = {'id':str(uuid.uuid4()),'chat_id':current['id'],'sender_id':actor['id'],'text':body['text'],'created_at':now()}
if LAB >= 4:
doc['attachment_ids'] = attachments
db.execute('INSERT INTO messages(id,chat_id,sender_id,idem_key,body,doc) VALUES(%s,%s,%s,%s,%s,%s)',(doc['id'],current['id'],actor['id'],key,Jsonb(normalized),Jsonb(doc)))
return JSONResponse(doc,201)
if LAB >= 4 and len(parts) == 3 and parts[2] == 'attachments' and method == 'POST':
filename = request.query_params.get('filename','')
if not 1 <= len(filename) <= 255 or any(c in '/\\' or ord(c)<32 or 127<=ord(c)<=159 for c in filename):
fail(400)
mime = request.headers.get('content-type','')
if mime not in ('image/png','image/jpeg'):
fail(415)
try:
with Image.open(io.BytesIO(raw)) as image:
if image.width*image.height > 40_000_000:
fail(413)
if image.format not in ('PNG','JPEG') or Image.MIME[image.format] != mime:
fail(415)
image.verify()
with Image.open(io.BytesIO(raw)) as image:
image.load()
except APIError:
raise
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
fail(413)
except Exception:
fail(415)
ident, stamp = str(uuid.uuid4()), now()
doc = {'id':ident,'chat_id':current['id'],'owner_id':actor['id'],'filename':filename,'content_type':mime,'size_bytes':len(raw),'sha256':hashlib.sha256(raw).hexdigest(),'status':'ready','variants':[],'error_code':None,'created_at':stamp,'updated_at':stamp}
try:
s3().put_object(Bucket=BUCKET,Key=ident,Body=raw,ContentType=mime)
except Exception:
fail(503)
db.execute('INSERT INTO attachments VALUES(%s,%s,%s)',(ident,current['id'],Jsonb(doc)))
return JSONResponse(doc,201)
if LAB >= 4 and parts[0] == 'attachments' and len(parts) in (2,3) and method == 'GET':
doc = attachment(db,parts[1],actor)
if len(parts) == 2:
return doc
if parts[2] == 'content':
if request.query_params.get('variant','original') != 'original':
fail(404)
try:
obj = s3().get_object(Bucket=BUCKET,Key=doc['id'])
try:
content = obj['Body'].read(10*1024*1024+1)
finally:
obj['Body'].close()
except Exception:
fail(503)
return Response(content,media_type=doc['content_type'])
fail(404)
+5
View File
@@ -0,0 +1,5 @@
import os
import psycopg
with psycopg.connect(os.environ['DATABASE_URL']) as db:
db.execute(open('migrations/001_init.sql').read())
print('Migration complete')
+59
View File
@@ -0,0 +1,59 @@
name: messenger-lab3
x-api: &api
build: .
environment: &environment
LAB_NUMBER: "3"
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
depends_on:
migrate:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health/ready', timeout=3)"]
interval: 3s
timeout: 5s
retries: 5
stop_grace_period: 10s
mem_limit: 512m
cpus: 1.0
services:
postgres:
image: postgres:16.8-alpine
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
interval: 2s
timeout: 3s
retries: 30
migrate:
build: .
environment: *environment
command: ["python", "-m", "app.migrate"]
depends_on:
postgres:
condition: service_healthy
api1:
<<: *api
api2:
<<: *api
lb:
image: haproxy:3.0.10-alpine
ports:
- "127.0.0.1:${PUBLIC_PORT}:8080"
volumes:
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api1:
condition: service_healthy
api2:
condition: service_healthy
volumes:
postgres_data:
+80
View File
@@ -0,0 +1,80 @@
Verification UTC: 2026-11-12T12:19:25.254909+00:00
$ docker compose config --quiet
$ /Library/Developer/CommandLineTools/usr/bin/python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 58 seconds (healthy)
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 58 seconds (healthy)
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 55 seconds 127.0.0.1:8080->8080/tcp
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/smoke.py --base-url http://localhost:8080
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/acceptance_extra.py --base-url http://localhost:8080
PASS: 16 concurrent retries return one message
Before persistence:
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e 42fb0afd61a3cf6b1c1cee867cf4a6c4791248a9a93a5133dfa5dd70c67feaec f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:18:26.584786752Z
/messenger-lab3-api2-1 42fb0afd61a3 running 2026-11-12T12:18:26.533199419Z
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:18:30.165203254Z
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:17:15.607915345Z
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
After persistence:
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e 42fb0afd61a3cf6b1c1cee867cf4a6c4791248a9a93a5133dfa5dd70c67feaec f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:19:27.807372711Z
/messenger-lab3-api2-1 42fb0afd61a3 running 2026-11-12T12:19:27.883957919Z
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:19:27.648802211Z
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:19:27.671302919Z
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8080
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 103, "failed_attempts": 5, "first_recovery_seconds": 2.114}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a17dbb91176fe446d10fe05295f3624fa11c86974e02c5d2ecbb9723405bca5e f4bd82f663a1a53e4edf41905e8998f6d1c8ac23eb7beb608b6f33a1bf20e501 ab5243ea52267cc41dac50bdc54319a73577c7af88c676260618a92aca9c7b9d
/messenger-lab3-api1-1 a17dbb91176f running 2026-11-12T12:19:27.807372711Z
/messenger-lab3-lb-1 f4bd82f663a1 running 2026-11-12T12:19:27.648802211Z
/messenger-lab3-postgres-1 ab5243ea5226 running 2026-11-12T12:19:27.671302919Z
$ docker compose ps --all
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 19 seconds (healthy)
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Exited (0) 14 seconds ago
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 19 seconds 127.0.0.1:8080->8080/tcp
messenger-lab3-migrate-1 messenger-lab3-migrate "python -m app.migra…" migrate About a minute ago Exited (0) About a minute ago
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 19 seconds (healthy) 5432/tcp
$ docker compose up -d api1 api2
Container messenger-lab3-postgres-1 Running
Container messenger-lab3-api1-1 Running
Container messenger-lab3-postgres-1 Waiting
Container messenger-lab3-postgres-1 Healthy
Container messenger-lab3-migrate-1 Starting
Container messenger-lab3-migrate-1 Started
Container messenger-lab3-migrate-1 Waiting
Container messenger-lab3-migrate-1 Waiting
Container messenger-lab3-migrate-1 Exited
Container messenger-lab3-migrate-1 Exited
Container messenger-lab3-api2-1 Starting
Container messenger-lab3-api2-1 Started
$ docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab3-api1-1 messenger-lab3-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 24 seconds (healthy)
messenger-lab3-api2-1 messenger-lab3-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 3 seconds (healthy)
messenger-lab3-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 24 seconds 127.0.0.1:8080->8080/tcp
messenger-lab3-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 24 seconds (healthy) 5432/tcp
PASS: all recorded checks
+26
View File
@@ -0,0 +1,26 @@
global
log stdout format raw local0
maxconn 256
defaults
log global
mode http
timeout connect 1s
timeout client 30s
timeout server 30s
retries 2
option redispatch
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s
frontend public
bind *:8080
default_backend apis
backend apis
balance roundrobin
option httpchk GET /health/ready
http-check expect status 200
server api1 api1:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
server api2 api2:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
+7
View File
@@ -0,0 +1,7 @@
CREATE TABLE IF NOT EXISTS users(id uuid PRIMARY KEY, username text NOT NULL UNIQUE, password text NOT NULL, doc jsonb NOT NULL);
CREATE TABLE IF NOT EXISTS sessions(token text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
CREATE TABLE IF NOT EXISTS chats(id uuid PRIMARY KEY, doc jsonb NOT NULL);
CREATE TABLE IF NOT EXISTS messages(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, idem_key text NOT NULL, body jsonb NOT NULL, doc jsonb NOT NULL, saved_at timestamptz NOT NULL DEFAULT now());
CREATE INDEX IF NOT EXISTS messages_replay ON messages(sender_id,chat_id,idem_key,saved_at);
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,(doc->>'created_at'),id);
CREATE TABLE IF NOT EXISTS attachments(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, doc jsonb NOT NULL);
+7
View File
@@ -0,0 +1,7 @@
fastapi==0.115.12
uvicorn==0.34.2
psycopg[binary]==3.2.9
argon2-cffi==23.1.0
jsonschema==4.23.0
boto3==1.38.23
Pillow==11.2.1
+4
View File
@@ -0,0 +1,4 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
docker compose restart postgres api1 api2 lb
+15
View File
@@ -0,0 +1,15 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
for service in api1 api2; do
cid=$(docker compose ps -q "$service")
[ -n "$cid" ] || continue
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$cid")
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
docker compose stop -t 2 "$service"
exit 0
fi
done
echo 'Target instance not found' >&2
exit 1
+74
View File
@@ -0,0 +1,74 @@
"""Reproduce acceptance evidence without printing credentials or tokens."""
import datetime
import json
import os
from pathlib import Path
import subprocess
import sys
import time
import urllib.request
os.chdir(Path(__file__).resolve().parents[1])
lab = json.load(open('lab.json'))['number']
base = 'http://localhost:'+('8080' if lab==3 else '8084')
def command(*args):
print('\n$ '+' '.join(args),flush=True)
subprocess.run(args,check=True)
def wait():
for _ in range(90):
try:
with urllib.request.urlopen(base+'/health/ready',timeout=3) as response:
if response.status == 200:
statuses = subprocess.check_output(['docker','compose','ps','--format','json','api1','api2'],text=True)
docs = [json.loads(line) for line in statuses.splitlines() if line.strip()]
if len(docs)==2 and all(d.get('Health')=='healthy' for d in docs):
return
except Exception:
pass
time.sleep(1)
raise RuntimeError('Stand did not become ready')
def state():
ids = subprocess.check_output(['docker','compose','ps','-q'],text=True).split()
command('docker','inspect','--format','{{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}}',*ids)
print('Verification UTC:',datetime.datetime.now(datetime.timezone.utc).isoformat(),flush=True)
command('docker','compose','config','--quiet')
wait()
command(sys.executable,'scripts/check_contract.py')
command('docker','compose','ps')
command(sys.executable,'tests/smoke.py','--base-url',base)
command(sys.executable,'tests/acceptance_extra.py','--base-url',base)
print('\nBefore persistence:',flush=True)
state()
command(sys.executable,'tests/resilience.py','--mode','persistence','--action-script','scripts/restart.sh','--base-url',base)
wait()
print('\nAfter persistence:',flush=True)
state()
command(sys.executable,'tests/resilience.py','--mode','failover','--action-script','scripts/stop-one.sh','--base-url',base)
state()
command('docker','compose','ps','--all')
command('docker','compose','up','-d','api1','api2')
wait()
if lab==4:
command(sys.executable,'tests/storage_failure.py','--base-url',base)
wait()
code = '''import os,psycopg,urllib.request,urllib.error
with psycopg.connect(os.environ['DATABASE_URL']) as db:
ident=str(db.execute('SELECT id FROM attachments LIMIT 1').fetchone()[0])
try:
urllib.request.urlopen(os.environ['S3_ENDPOINT']+'/'+os.environ['S3_BUCKET']+'/'+ident,timeout=5)
except urllib.error.HTTPError as e:
assert e.code in (401,403), e.code
print('PASS: anonymous GET of existing S3 object denied:',e.code)
else:
raise AssertionError('Private object publicly accessible')
'''
print('\nChecking private bucket from internal network',flush=True)
subprocess.run(['docker','compose','exec','-T','api1','python','-c',code],check=True)
command('docker','compose','ps')
print('\nPASS: all recorded checks',flush=True)
+28
View File
@@ -0,0 +1,28 @@
"""Additional grade-3 checks: concurrent replay and invalid uploads."""
from concurrent.futures import ThreadPoolExecutor
import uuid
from client import Client, LAB, arguments, check, run
def main():
args = arguments('Extra acceptance checks')
c = Client(args.base_url)
alice,bob,eve,chat = c.bootstrap()
key = uuid.uuid4().hex
def send(_):
return c.message(alice,chat,'Concurrent retry',key=key)['json']
with ThreadPoolExecutor(max_workers=8) as pool:
results = list(pool.map(send,range(16)))
check(all(r==results[0] for r in results),'concurrent replay created different messages')
print('PASS: 16 concurrent retries return one message')
if LAB >= 4:
path = '/api/v1/chats/'+chat['id']+'/attachments'
content = open('tests/fixtures/sample.png','rb').read()
c.call('POST',path+'?filename=../x.png',400,actor=alice,raw=content,headers={'Content-Type':'image/png'})
c.call('POST',path+'?filename=x.jpg',415,actor=alice,raw=content,headers={'Content-Type':'image/jpeg'})
c.call('POST',path+'?filename=x.png',415,actor=alice,raw=b'broken',headers={'Content-Type':'image/png'})
c.call('POST',path+'?filename=x.png',413,actor=alice,raw=b'x'*(10485760+1),headers={'Content-Type':'image/png'})
print('PASS: unsafe filename, MIME mismatch, corruption and byte limit')
if __name__=='__main__':
run(main)
+13
View File
@@ -0,0 +1,13 @@
# Кратко для защиты
1. Запустить стенд по REPORT.md и показать `docker compose ps`.
2. Несколько раз вызвать `/health/ready` с `curl -i`: X-Instance-Id меняется между двумя API.
3. Запустить публичный smoke, затем persistence и failover; показать сохранённые результаты.
4. Объяснить: сессии в PostgreSQL, поэтому смена API не требует входа.
5. Объяснить: Idempotency-Key под общей транзакционной блокировкой не позволяет повторному POST создать дубль.
6. Показать stop-one.sh: он останавливает контейнер по ID реально обслужившей API.
7. После failover восстановить API: `docker compose up -d api1 api2`.
Отказ процесса API не равен отказу узла: при потере единственного хоста весь этот стенд недоступен.
Healthcheck только сообщает состояние. Именно HAProxy выбирает готовый backend.
Basic — кодирование логина и пароля для входа; Bearer — случайный токен действующей серверной сессии.
+11
View File
@@ -0,0 +1,11 @@
# Текст для описания PR — лабораторная 3
Целевая оценка: 3. Автор: Бахрамов Бахрам, БПИ2303.
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/136
Реализован мессенджер с PostgreSQL, общими сессиями, двумя API за HAProxy и общей транзакционной идемпотентностью отправки сообщений.
Проверки: публичный smoke, concurrent idempotency (16 запросов), persistence с рестартом всех используемых хранилищ, failover через LB. Результаты и состояния контейнеров приложены в evidence/verification.txt.
Запуск, решения и ограничения: REPORT.md. Уровни 4/5 не заявлены. Контракт и публичные проверки сохранены.