ЛР 4 — БПИ2303 — Бахрамов — на 3 #110

Closed
bahram wants to merge 2 commits from bahram/mtusi2026lab4:solution/bpi2303-bakhramov into main
26 changed files with 1031 additions and 74 deletions
+1 -16
View File
@@ -1,20 +1,5 @@
.git
.github
.env
.env.*
!.env.example
secrets
certs
volumes
data
backups
*.key
*.pem
*.p12
*.pfx
*.jks
.venv
__pycache__
node_modules
evidence
.DS_Store
__pycache__
+7 -19
View File
@@ -1,20 +1,8 @@
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# These are logical interface suggestions; map actual framework names in REPORT.md.
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
POSTGRES_DB=messenger
POSTGRES_USER=messenger
POSTGRES_PASSWORD=local-demo-password-only
PUBLIC_PORT=8084
SESSION_TTL_SECONDS=3600
# Choose credentials locally. File paths contain no secret values.
DATABASE_URL_FILE=/run/secrets/database_url
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
SESSION_STORE=postgres
CACHE_URL_FILE=/run/secrets/cache_url
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
S3_ENDPOINT=http://s3:9000
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
S3_ACCESS_KEY=localminio
S3_SECRET_KEY=local-minio-password-only
S3_BUCKET=attachments
+30 -14
View File
@@ -1,18 +1,34 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Бахрамов Бахрам, БПИ2303.
Целевая оценка: **3**. Трек 5 не заявлен.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Реализованы PostgreSQL, общие действующие сессии, миграции, две API-реплики за HAProxy и транзакционная идемпотентность POST сообщений.
Добавлены приватное S3-хранилище SeaweedFS, синхронная загрузка PNG/JPEG с проверкой содержимого и лимитов, метаданные вложений и авторизованный download оригиналов.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Запуск из чистого clone:
```sh
cp .env.example .env
docker compose up -d --build
# После готовности /health/ready:
make check
make test BASE_URL=http://localhost:8084
python3 scripts/verify.py > evidence/verification.txt 2>&1
```
Проверки прошли: публичный smoke, 16 конкурентных повторов с одним ключом, persistence с рестартом всех используемых хранилищ и failover через LB.
Также проверены отказ S3, приватность bucket (анонимный GET → 403), побайтное скачивание после остановки каждой загрузившей API, JPEG, лимиты размера/пикселей, повреждённый файл, подмена MIME и вложение другого чата.
Подробности: [REPORT.md](REPORT.md), [результаты проверок](evidence/verification.txt).
Ограничения: один хост, PostgreSQL и LB без репликации; уровни 4 и 5 не заявлены.
Автоматическая очистка orphan-объектов S3 не реализована.
Источники: исходное задание и документация PostgreSQL, HAProxy, Docker Compose, Argon2; ссылки в REPORT.md.
- [x] Обязательный минимум реализован.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check, smoke, persistence и failover выполнены, реальный вывод приложен.
- [x] Локальный .env и реальные credentials не включены в Git; демонстрационные значения явно обозначены.
- [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения.
+1 -1
View File
@@ -48,6 +48,6 @@
## Что сдавать
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md).
+10
View File
@@ -0,0 +1,10 @@
FROM python:3.12.10-slim
WORKDIR /srv
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY app app
COPY contracts contracts
COPY migrations migrations
RUN useradd --uid 10001 --create-home api
USER api
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--timeout-graceful-shutdown", "5"]
+1 -1
View File
@@ -8,7 +8,7 @@
1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически.
2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы.
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен.
## Что проверять
+121 -23
View File
@@ -1,37 +1,135 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
Целевая оценка: **3**. Исследовательский трек не заявлен.
Автор: Бахрамов Бахрам, БПИ2303.
Ветка: `solution/bpi2303-bakhramov`.
Репозиторий: https://gitea.privcloud.tech/bahram/mtusi2026lab4
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/110
Устройство решения и команды защиты приведены ниже.
## Запуск из чистого clone
## Запуск
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Требуются Docker с Compose v2, Python 3.9+ и make на компьютере проверяющего.
Все команды выполняются из папки этой лабораторной.
## Архитектура и решения
```sh
cp .env.example .env
docker compose config --quiet
docker compose up -d --build
# Дождаться 200 по адресу http://localhost:8084/health/ready
curl -i http://localhost:8084/health/ready
make check
make test BASE_URL=http://localhost:8084
python3 tests/acceptance_extra.py --base-url http://localhost:8084
make test-persistence BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/restart.sh
make test-failover BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/stop-one.sh
# После failover одна API остаётся остановленной. Восстановить её:
docker compose up -d api1 api2
```
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Порты двух лабораторных различаются, поэтому их можно запускать одновременно.
Для обычной остановки: `docker compose down` (volumes сохраняются).
Намеренный сброс только учебных данных: `docker compose down -v` (не применять при проверке persistence).
Значения .env.example — открытые демонстрационные credentials для локального стенда с синтетическими данными.
API и хранилища не публикуют порты. Только HAProxy принимает соединения на 127.0.0.1:8084.
## Доказательства критериев
## Архитектура и реализация
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Клиент → HAProxy → api1 / api2 → PostgreSQL.
FastAPI 0.115.12, Uvicorn 0.34.2, Python 3.12.10; HAProxy 3.0.10; PostgreSQL 16.8.
Полные версии прямых Python-зависимостей закреплены в requirements.txt, образы — в compose.yaml.
Обе API работают с одной PostgreSQL; локальное состояние API не используется для сессий и сообщений.
Пароли — Argon2id, случайный Bearer-токен имеет 256 бит энтропии; в БД хранится SHA-256 токена.
Сессии имеют абсолютный expires_at, не продлеваются рестартом и отзываются DELETE.
Источник истины — PostgreSQL, подтверждённая запись читается из неё через любую реплику.
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
Одноразовый сервис migrate выполняет идемпотентный SQL до запуска API. Он не запускается каждой репликой.
Схема таблиц находится в migrations/001_init.sql. Пользовательские поля хранятся в JSONB,
идентификаторы и связи — также в отдельных колонках с внешними ключами.
Миграции здесь только создают начальную схему; обновление несовместимой схемы без остановки не заявляется.
## Эксперименты и отказы
Для сообщения PostgreSQL advisory transaction lock берётся по user+chat+key.
После блокировки повторно проверяется существующий результат за последние 24 часа.
Одинаковое нормализованное тело возвращает прежний Message и 201, отличающееся — 409.
Вставка сообщения и данных для повтора выполняется одной транзакцией.
При разрыве до ответа клиент повторяет тот же ключ: committed запись будет возвращена, rollback позволит новую запись.
Порядок JSON-ключей и отсутствие attachment_ids вместо [] не меняют сравнение.
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
HAProxy использует round-robin без sticky sessions. Каждый API сообщает hostname контейнера в X-Instance-Id.
GET /health/live проверяет процесс; /health/ready проверяет PostgreSQL, а также доступность S3 bucket.
Проверка backend идёт раз в 1 секунду; после двух неудач сервер исключается.
Connect timeout — 1 секунда, client/server timeout — 30 секунд. Это настройки обнаружения, не гарантия для любых сетевых отказов.
Docker DNS повторно разрешается HAProxy. При SIGTERM Uvicorn завершает текущие запросы до 5 секунд;
Compose даёт 10 секунд. Лимит каждой API — 512 MiB и 1 CPU.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
Пагинация — keyset по (created_at,id). Cursor содержит scope и последнюю пару; от другого чата не принимается.
Это не snapshot: вставка с более ранним временем после уже прочитанного cursor может не попасть в продолжение.
Время UTC назначает API; при обычном локальном стенде контейнеры используют общие часы хоста.
## Ограничения и следующие шаги
## Проверки и доказательства
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Проверено 12.11.2026 на Docker Desktop (Linux arm64). Все записанные проверки пройдены.
В failover наблюдались 2 разные API; за 15 секунд подтверждено 107 новых сообщений,
переходных неуспешных попыток — 6; первая успешная запись после воздействия — 0.97 с.
Подтверждённые данные и прежняя сессия сохранились. Это результат одного локального запуска, не SLA.
Фактические команды и результаты находятся в evidence/verification.txt.
Повторить полный набор: `python3 scripts/verify.py > evidence/verification.txt 2>&1`.
Публичные contracts/ и tests/smoke.py, tests/resilience.py не изменены.
| Требование на 3 | Проверка | Доказательство |
| --- | --- | --- |
| Один LB и две API с общей БД/сессиями | docker compose ps; failover наблюдает разные X-Instance-Id одной сессии | evidence/verification.txt |
| Обязательный API и ошибки | make test | evidence/verification.txt |
| Конкурентный повтор без дублей | 16 запросов с одним ключом через LB | tests/acceptance_extra.py; evidence/verification.txt |
| Остановка выбранной реальной API, восстановление чтения/записи ≤10 секунд | make test-failover, hook сопоставляет X-Instance-Id с hostname и останавливает контейнер | scripts/stop-one.sh; evidence/verification.txt |
| Сохранность пользователей, чатов, сообщений и действующих сессий после restart всех хранилищ | make test-persistence; сравнение StartedAt до/после | scripts/restart.sh; evidence/verification.txt |
## Вложения и S3
SeaweedFS 3.85 запускается одним S3-сервером в общем Compose. Его master, volume и filer
сохраняют данные в s3_data, рабочий каталог — /data. PostgreSQL хранит только метаданные, не байты.
Приватный bucket attachments создаётся отдельным bucket-init с повторными попытками до старта API.
Анонимной identity в infra/s3.json нет; S3 доступен только внутри Compose-сети, публичной policy нет.
Для уровня 3 API использует ту же учебную identity, что bootstrap; отдельные минимальные права не заявляются.
Если менять S3 credentials, нужно согласованно изменить .env и infra/s3.json.
Upload принимает сырые PNG/JPEG. Байты читаются порциями с пределом 10 MiB до декодирования;
Pillow проверяет реальный формат, соответствие MIME, целостность и предел 40 млн пикселей.
Имя не используется в S3: object key — UUID, назначенный сервером. Slash, backslash и управляющие символы отклоняются.
201 ready возвращается после S3 PUT и PostgreSQL COMMIT. Download проверяет участника чата и отдаёт исходные байты через API.
attachment_ids валидируются на принадлежность тому же чату; допустимо сообщение без текста с вложением.
| Требование на 3 | Проверка | Доказательство |
| --- | --- | --- |
| Побайтный оригинал, SHA-256, attachment_ids, запрет постороннему | make test | evidence/verification.txt |
| Upload → остановка загрузившей API → download через вторую, отдельно для api1 и api2 | tests/attachment_failover.py | evidence/attachment_failover.txt |
| Сохранность метаданных и оригинала после рестарта PostgreSQL и S3 | make test-persistence | evidence/verification.txt |
| Опасное имя, подмена MIME, повреждение, >10 MiB, >40 млн пикселей; настоящий JPEG; вложение другого чата | tests/acceptance_extra.py | evidence/extra_images.txt |
| Отказ S3 | tests/storage_failure.py | evidence/verification.txt |
| Анонимный S3 GET не возвращает объект | запрос из внутренней сети без подписи | evidence/verification.txt |
Для обеих API проверено: после остановки принявшей upload реплики другая отдала тот же SHA-256; время — 0,826 с (api1) и 1,498 с (api2). Подробности в evidence/attachment_failover.txt.
Команда дополнительного сценария: `python3 tests/storage_failure.py --base-url http://localhost:8084`.
Согласованность: сначала S3 PUT, затем INSERT/COMMIT метаданных. При сбое БД между ними возможен orphan object.
Автоматической сверки и очистки нет — это ограничение уровня 3, а не выполненный критерий уровня 4.
При отказе S3 ready и upload возвращают 503; HAProxy исключает неготовые API.
Повтор upload не идемпотентен и может создать ещё одно вложение.
Один файл хранится в памяти до 10 MiB, декодированное изображение — до 40 млн пикселей;
потоковая передача и эксперимент на 10 параллельных загрузках не заявлены.
## Ограничения
Устойчивость проверяется только при отказе одной API-реплики. LB, PostgreSQL и хост — единичные точки отказа.
Бэкапы, репликация БД, rolling update и нагрузочное исследование не реализованы.
HTTP предназначен для локальных синтетических данных. Уровни 4 и 5 не заявлены.
## Источники
- Исходное задание и неизменённый контракт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4
- PostgreSQL advisory locks: https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS
- HAProxy configuration: https://docs.haproxy.org/3.0/configuration.html
- Docker Compose: https://docs.docker.com/compose/
- Argon2: https://argon2-cffi.readthedocs.io/
- SeaweedFS S3 identity configuration: https://github.com/seaweedfs/seaweedfs/blob/3.85/docker/compose/s3.json
+13
View File
@@ -0,0 +1,13 @@
import time
from app.main import s3, BUCKET
for attempt in range(60):
try:
client = s3()
if BUCKET not in [b['Name'] for b in client.list_buckets()['Buckets']]:
client.create_bucket(Bucket=BUCKET)
print('Private bucket ready')
break
except Exception:
if attempt == 59:
raise
time.sleep(1)
+323
View File
@@ -0,0 +1,323 @@
import base64
import hashlib
import io
import json
import os
import re
import secrets
import socket
import uuid
import warnings
from datetime import datetime, timedelta, timezone
import boto3
import psycopg
from psycopg.types.json import Jsonb
from argon2 import PasswordHasher
from fastapi import FastAPI, Request
from fastapi.responses import JSONResponse, Response
from jsonschema import Draft202012Validator, FormatChecker
from PIL import Image
from starlette.concurrency import run_in_threadpool
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
INSTANCE = socket.gethostname()
LAB = int(os.getenv('LAB_NUMBER', '4'))
DSN = os.environ['DATABASE_URL']
BUCKET = os.getenv('S3_BUCKET', 'attachments')
ph = PasswordHasher()
schemas = json.load(open('contracts/openapi.json'))['components']['schemas']
Image.MAX_IMAGE_PIXELS = 40_000_000
warnings.simplefilter('error', Image.DecompressionBombWarning)
def s3():
return boto3.client('s3', endpoint_url=os.environ['S3_ENDPOINT'],
aws_access_key_id=os.environ['S3_ACCESS_KEY'],
aws_secret_access_key=os.environ['S3_SECRET_KEY'],
region_name='us-east-1',
config=boto3.session.Config(connect_timeout=2, read_timeout=5, retries={'max_attempts': 0}))
def now():
return datetime.now(timezone.utc).isoformat().replace('+00:00', 'Z')
def uid(value):
try:
return str(uuid.UUID(value))
except (ValueError, TypeError, AttributeError):
fail(400)
def fail(status):
raise APIError(status)
class APIError(Exception):
def __init__(self, status):
self.status = status
CODES = {400: 'invalid_request', 401: 'unauthorized', 404: 'not_found',
409: 'conflict', 413: 'payload_too_large', 415: 'unsupported_media_type',
503: 'unavailable', 500: 'internal_error'}
def error(status, request_id, path):
code = CODES[status]
headers = {}
if status == 401:
headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"'
if path.endswith('/auth/sessions') else 'Bearer realm="messenger"')
return JSONResponse({'error': {'code': code, 'message': code, 'request_id': request_id}},
status_code=status, headers=headers)
@app.middleware('http')
async def headers_and_errors(request, call_next):
request_id = secrets.token_hex(16)
try:
response = await call_next(request)
except APIError as exc:
response = error(exc.status, request_id, request.url.path)
except (psycopg.OperationalError, psycopg.InterfaceError):
response = error(503, request_id, request.url.path)
except Exception:
import logging
logging.exception('Request failed')
response = error(500, request_id, request.url.path)
response.headers['X-Request-Id'] = request_id
response.headers['X-Instance-Id'] = INSTANCE
return response
def validate(body, name):
if not Draft202012Validator(schemas[name], format_checker=FormatChecker()).is_valid(body):
fail(400)
return body
def user(db, request):
auth = request.headers.get('authorization', '')
if not auth.startswith('Bearer '):
fail(401)
token = hashlib.sha256(auth[7:].encode()).hexdigest()
row = db.execute('SELECT u.doc FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token=%s AND s.expires_at>now()', (token,)).fetchone()
if not row:
fail(401)
return row[0]
def chat(db, ident, actor):
ident = uid(ident)
row = db.execute('SELECT doc FROM chats WHERE id=%s', (ident,)).fetchone()
if not row or actor['id'] not in row[0]['member_ids']:
fail(404)
return row[0]
def attachment(db, ident, actor):
row = db.execute('SELECT doc FROM attachments WHERE id=%s', (uid(ident),)).fetchone()
if not row:
fail(404)
chat(db, row[0]['chat_id'], actor)
return row[0]
def page(db, request, table, scope, actor):
raw = request.query_params.get('limit', '50')
if not re.fullmatch('[0-9]+', raw) or not 1 <= int(raw) <= 100:
fail(400)
limit = int(raw)
cursor = request.query_params.get('cursor')
after = None
if cursor:
try:
decoded = json.loads(base64.urlsafe_b64decode(cursor.encode()))
if len(decoded) != 3 or decoded[0] != scope:
fail(400)
datetime.fromisoformat(decoded[1].replace('Z', '+00:00'))
uid(decoded[2])
after = decoded[1:]
except Exception:
fail(400)
if table == 'chats':
where, args = "doc->'member_ids' ? %s", [actor['id']]
else:
where, args = "chat_id=%s", [scope]
if after:
where += " AND (doc->>'created_at',id)>(%s,%s::uuid)"
args += after
rows = db.execute(f"SELECT doc FROM {table} WHERE {where} ORDER BY doc->>'created_at',id LIMIT %s", args + [limit+1]).fetchall()
items = [r[0] for r in rows[:limit]]
next_cursor = None
if len(rows) > limit:
last = items[-1]
next_cursor = base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode()
return {'items': items, 'next_cursor': next_cursor}
@app.get('/health/live')
def live():
return {'status': 'ok'}
@app.get('/health/ready')
def ready():
with psycopg.connect(DSN, connect_timeout=2) as db:
db.execute('SELECT count(*) FROM sessions')
if LAB >= 4:
try:
s3().head_bucket(Bucket=BUCKET)
except Exception:
fail(503)
return {'status': 'ok'}
@app.api_route('/api/v1/{path:path}', methods=['GET', 'POST', 'DELETE'])
async def api(request: Request, path: str):
# Read bounded chunks before JSON parsing/image decoding.
limit = 10*1024*1024 if path.endswith('/attachments') else 65536
data = bytearray()
async for chunk in request.stream():
if len(data)+len(chunk) > limit:
fail(413)
data.extend(chunk)
return await run_in_threadpool(handle, request, path, bytes(data))
def handle(request, path, raw):
method = request.method
parts = path.split('/')
body = None
if method == 'POST' and path != 'auth/sessions' and not path.endswith('/attachments'):
try:
body = json.loads(raw)
except (ValueError, UnicodeError):
fail(400)
with psycopg.connect(DSN) as db:
if path == 'users' and method == 'POST':
validate(body, 'CreateUser')
if not body['display_name'].strip():
fail(400)
doc = {'id': str(uuid.uuid4()), 'username': body['username'], 'display_name': body['display_name'], 'created_at': now()}
hashed = ph.hash(body['password'])
if not db.execute('INSERT INTO users(id,username,password,doc) VALUES (%s,%s,%s,%s) ON CONFLICT(username) DO NOTHING RETURNING id', (doc['id'],doc['username'],hashed,Jsonb(doc))).fetchone():
fail(409)
return JSONResponse(doc, 201)
if path == 'auth/sessions' and method == 'POST':
try:
auth = request.headers.get('authorization', '')
if not auth.startswith('Basic ') or raw:
fail(401)
username, password = base64.b64decode(auth[6:], validate=True).decode().split(':',1)
row = db.execute('SELECT password,doc FROM users WHERE username=%s',(username,)).fetchone()
if not row:
fail(401)
ph.verify(row[0],password)
except Exception:
fail(401)
token = secrets.token_urlsafe(32)
expiry = datetime.now(timezone.utc)+timedelta(seconds=int(os.getenv('SESSION_TTL_SECONDS','3600')))
db.execute('INSERT INTO sessions VALUES(%s,%s,%s)', (hashlib.sha256(token.encode()).hexdigest(),row[1]['id'],expiry))
return JSONResponse({'token':token,'token_type':'Bearer','expires_at':expiry.isoformat().replace('+00:00','Z'),'user':row[1]},201)
actor = user(db, request)
if path == 'users/me' and method == 'GET':
return actor
if path == 'auth/sessions/current' and method == 'DELETE':
db.execute('DELETE FROM sessions WHERE token=%s',(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
return Response(status_code=204)
if path == 'chats':
if method == 'GET':
return page(db,request,'chats','chats:'+actor['id'],actor)
if method == 'POST':
validate(body,'CreateChat')
if not body['title'].strip() or actor['id'] not in body['member_ids']:
fail(400)
for ident in body['member_ids']:
if not db.execute('SELECT id FROM users WHERE id=%s',(uid(ident),)).fetchone():
fail(400)
doc = dict(body,id=str(uuid.uuid4()),created_at=now())
db.execute('INSERT INTO chats VALUES(%s,%s)',(doc['id'],Jsonb(doc)))
return JSONResponse(doc,201)
if parts[0] == 'chats' and len(parts) >= 2:
current = chat(db, parts[1], actor)
if len(parts) == 2 and method == 'GET':
return current
if len(parts) == 3 and parts[2] == 'messages':
if method == 'GET':
return page(db,request,'messages',current['id'],actor)
if method == 'POST':
validate(body,'CreateMessage')
attachments = body.get('attachment_ids',[]) if LAB >= 4 else []
if not body['text'].strip() and not attachments:
fail(400)
key = request.headers.get('idempotency-key','')
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key):
fail(400)
for ident in attachments:
att = attachment(db,ident,actor)
if att['chat_id'] != current['id']:
fail(404)
normalized = {'text':body['text'],'attachment_ids':attachments}
# A transaction-scoped shared lock serializes the entire lookup+insert.
scope = actor['id']+':'+current['id']+':'+key
db.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
old = db.execute('SELECT body,doc FROM messages WHERE sender_id=%s AND chat_id=%s AND idem_key=%s AND saved_at>now()-interval \'24 hours\'',(actor['id'],current['id'],key)).fetchone()
if old:
if old[0] != normalized:
fail(409)
return JSONResponse(old[1],201)
doc = {'id':str(uuid.uuid4()),'chat_id':current['id'],'sender_id':actor['id'],'text':body['text'],'created_at':now()}
if LAB >= 4:
doc['attachment_ids'] = attachments
db.execute('INSERT INTO messages(id,chat_id,sender_id,idem_key,body,doc) VALUES(%s,%s,%s,%s,%s,%s)',(doc['id'],current['id'],actor['id'],key,Jsonb(normalized),Jsonb(doc)))
return JSONResponse(doc,201)
if LAB >= 4 and len(parts) == 3 and parts[2] == 'attachments' and method == 'POST':
filename = request.query_params.get('filename','')
if not 1 <= len(filename) <= 255 or any(c in '/\\' or ord(c)<32 or 127<=ord(c)<=159 for c in filename):
fail(400)
mime = request.headers.get('content-type','')
if mime not in ('image/png','image/jpeg'):
fail(415)
try:
with Image.open(io.BytesIO(raw)) as image:
if image.width*image.height > 40_000_000:
fail(413)
if image.format not in ('PNG','JPEG') or Image.MIME[image.format] != mime:
fail(415)
image.verify()
with Image.open(io.BytesIO(raw)) as image:
image.load()
except APIError:
raise
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
fail(413)
except Exception:
fail(415)
ident, stamp = str(uuid.uuid4()), now()
doc = {'id':ident,'chat_id':current['id'],'owner_id':actor['id'],'filename':filename,'content_type':mime,'size_bytes':len(raw),'sha256':hashlib.sha256(raw).hexdigest(),'status':'ready','variants':[],'error_code':None,'created_at':stamp,'updated_at':stamp}
try:
s3().put_object(Bucket=BUCKET,Key=ident,Body=raw,ContentType=mime)
except Exception:
fail(503)
db.execute('INSERT INTO attachments VALUES(%s,%s,%s)',(ident,current['id'],Jsonb(doc)))
return JSONResponse(doc,201)
if LAB >= 4 and parts[0] == 'attachments' and len(parts) in (2,3) and method == 'GET':
doc = attachment(db,parts[1],actor)
if len(parts) == 2:
return doc
if parts[2] == 'content':
if request.query_params.get('variant','original') != 'original':
fail(404)
try:
obj = s3().get_object(Bucket=BUCKET,Key=doc['id'])
try:
content = obj['Body'].read(10*1024*1024+1)
finally:
obj['Body'].close()
except Exception:
fail(503)
return Response(content,media_type=doc['content_type'])
fail(404)
+5
View File
@@ -0,0 +1,5 @@
import os
import psycopg
with psycopg.connect(os.environ['DATABASE_URL']) as db:
db.execute(open('migrations/001_init.sql').read())
print('Migration complete')
+77
View File
@@ -0,0 +1,77 @@
name: messenger-lab4
x-api: &api
build: .
environment: &environment
LAB_NUMBER: "4"
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
S3_ENDPOINT: http://s3:8333
S3_ACCESS_KEY: ${S3_ACCESS_KEY}
S3_SECRET_KEY: ${S3_SECRET_KEY}
S3_BUCKET: ${S3_BUCKET}
depends_on:
migrate:
condition: service_completed_successfully
bucket-init:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health/ready', timeout=3)"]
interval: 3s
timeout: 5s
retries: 5
stop_grace_period: 10s
mem_limit: 512m
cpus: 1.0
services:
postgres:
image: postgres:16.8-alpine
environment:
POSTGRES_DB: ${POSTGRES_DB}
POSTGRES_USER: ${POSTGRES_USER}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
interval: 2s
timeout: 3s
retries: 30
migrate:
build: .
environment: *environment
command: ["python", "-m", "app.migrate"]
depends_on:
postgres:
condition: service_healthy
api1:
<<: *api
api2:
<<: *api
lb:
image: haproxy:3.0.10-alpine
ports:
- "127.0.0.1:${PUBLIC_PORT}:8080"
volumes:
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
depends_on:
api1:
condition: service_healthy
api2:
condition: service_healthy
s3:
image: chrislusf/seaweedfs:3.85
working_dir: /data
command: server -dir=/data -ip=s3 -filer -s3 -s3.config=/etc/seaweedfs/s3.json -volume.max=5 -master.volumeSizeLimitMB=100
volumes:
- s3_data:/data
- ./infra/s3.json:/etc/seaweedfs/s3.json:ro
bucket-init:
build: .
environment: *environment
command: ["python", "-m", "app.bucket_init"]
depends_on:
- s3
volumes:
postgres_data:
s3_data:
+30
View File
@@ -0,0 +1,30 @@
Container messenger-lab4-api1-1 Stopping
Container messenger-lab4-api1-1 Stopped
PASS: api1 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 0.826 seconds
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-bucket-init-1 Starting
Container messenger-lab4-bucket-init-1 Started
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-bucket-init-1 Waiting
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-bucket-init-1 Exited
Container messenger-lab4-api1-1 Starting
Container messenger-lab4-api1-1 Started
Container messenger-lab4-api2-1 Stopping
Container messenger-lab4-api2-1 Stopped
PASS: api2 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 1.498 seconds
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-bucket-init-1 Starting
Container messenger-lab4-bucket-init-1 Started
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-bucket-init-1 Waiting
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-bucket-init-1 Exited
Container messenger-lab4-api2-1 Starting
Container messenger-lab4-api2-1 Started
+3
View File
@@ -0,0 +1,3 @@
PASS: 16 concurrent retries return one message
PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected
PASS: unsafe filename, MIME mismatch, corruption and byte limit
+106
View File
@@ -0,0 +1,106 @@
Verification UTC: 2026-11-12T12:19:26.374452+00:00
$ docker compose config --quiet
$ /Library/Developer/CommandLineTools/usr/bin/python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 58 seconds (healthy)
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 58 seconds (healthy)
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 2 minutes 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/smoke.py --base-url http://localhost:8084
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/acceptance_extra.py --base-url http://localhost:8084
PASS: 16 concurrent retries return one message
PASS: unsafe filename, MIME mismatch, corruption and byte limit
Before persistence:
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:18:27.895360419Z
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:18:27.839813628Z
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:17:42.367004218Z
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:17:15.606580678Z
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:17:15.75486297Z
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8084
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
After persistence:
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:19:29.132205003Z
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8084
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 107, "failed_attempts": 6, "first_recovery_seconds": 0.97}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z
$ docker compose ps --all
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Exited (0) 14 seconds ago
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 44 seconds (healthy)
messenger-lab4-bucket-init-1 messenger-lab4-bucket-init "python -m app.bucke…" bucket-init About a minute ago Exited (0) About a minute ago
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 44 seconds 127.0.0.1:8084->8080/tcp
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m app.migra…" migrate About a minute ago Exited (0) About a minute ago
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 44 seconds (healthy) 5432/tcp
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 41 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
$ docker compose up -d api1 api2
Container messenger-lab4-api2-1 Running
Container messenger-lab4-s3-1 Running
Container messenger-lab4-postgres-1 Running
Container messenger-lab4-bucket-init-1 Starting
Container messenger-lab4-postgres-1 Waiting
Container messenger-lab4-bucket-init-1 Started
Container messenger-lab4-postgres-1 Healthy
Container messenger-lab4-migrate-1 Starting
Container messenger-lab4-migrate-1 Started
Container messenger-lab4-bucket-init-1 Waiting
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-bucket-init-1 Waiting
Container messenger-lab4-migrate-1 Waiting
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-bucket-init-1 Exited
Container messenger-lab4-bucket-init-1 Exited
Container messenger-lab4-api1-1 Starting
Container messenger-lab4-migrate-1 Exited
Container messenger-lab4-api1-1 Started
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/storage_failure.py --base-url http://localhost:8084
Container messenger-lab4-s3-1 Stopping
Container messenger-lab4-s3-1 Stopped
PASS: S3 down returns 503 for readiness and upload
Container messenger-lab4-s3-1 Starting
Container messenger-lab4-s3-1 Started
PASS: S3 restored
Checking private bucket from internal network
PASS: anonymous GET of existing S3 object denied: 403
$ docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 2 minutes ago Up 32 seconds (healthy)
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 2 minutes ago Up About a minute (healthy)
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 3 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 3 minutes ago Up About a minute (healthy) 5432/tcp
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 3 minutes ago Up 25 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
PASS: all recorded checks
+26
View File
@@ -0,0 +1,26 @@
global
log stdout format raw local0
maxconn 256
defaults
log global
mode http
timeout connect 1s
timeout client 30s
timeout server 30s
retries 2
option redispatch
resolvers docker
nameserver dns 127.0.0.11:53
resolve_retries 3
timeout resolve 1s
timeout retry 1s
hold valid 2s
frontend public
bind *:8080
default_backend apis
backend apis
balance roundrobin
option httpchk GET /health/ready
http-check expect status 200
server api1 api1:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
server api2 api2:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
+1
View File
@@ -0,0 +1 @@
{"identities":[{"name":"lab-api","credentials":[{"accessKey":"localminio","secretKey":"local-minio-password-only"}],"actions":["Admin","Read","Write","List","Tagging"]}]}
+7
View File
@@ -0,0 +1,7 @@
CREATE TABLE IF NOT EXISTS users(id uuid PRIMARY KEY, username text NOT NULL UNIQUE, password text NOT NULL, doc jsonb NOT NULL);
CREATE TABLE IF NOT EXISTS sessions(token text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
CREATE TABLE IF NOT EXISTS chats(id uuid PRIMARY KEY, doc jsonb NOT NULL);
CREATE TABLE IF NOT EXISTS messages(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, idem_key text NOT NULL, body jsonb NOT NULL, doc jsonb NOT NULL, saved_at timestamptz NOT NULL DEFAULT now());
CREATE INDEX IF NOT EXISTS messages_replay ON messages(sender_id,chat_id,idem_key,saved_at);
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,(doc->>'created_at'),id);
CREATE TABLE IF NOT EXISTS attachments(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, doc jsonb NOT NULL);
+7
View File
@@ -0,0 +1,7 @@
fastapi==0.115.12
uvicorn==0.34.2
psycopg[binary]==3.2.9
argon2-cffi==23.1.0
jsonschema==4.23.0
boto3==1.38.23
Pillow==11.2.1
+4
View File
@@ -0,0 +1,4 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
docker compose restart postgres s3 api1 api2 lb
+15
View File
@@ -0,0 +1,15 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
for service in api1 api2; do
cid=$(docker compose ps -q "$service")
[ -n "$cid" ] || continue
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$cid")
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
docker compose stop -t 2 "$service"
exit 0
fi
done
echo 'Target instance not found' >&2
exit 1
+75
View File
@@ -0,0 +1,75 @@
"""Reproduce acceptance evidence without printing credentials or tokens."""
import datetime
import json
import os
from pathlib import Path
import subprocess
import sys
import time
import urllib.request
os.chdir(Path(__file__).resolve().parents[1])
lab = json.load(open('lab.json'))['number']
base = 'http://localhost:'+('8080' if lab==3 else '8084')
def command(*args):
print('\n$ '+' '.join(args),flush=True)
subprocess.run(args,check=True)
def wait():
for _ in range(90):
try:
with urllib.request.urlopen(base+'/health/ready',timeout=3) as response:
if response.status == 200:
statuses = subprocess.check_output(['docker','compose','ps','--format','json','api1','api2'],text=True)
docs = [json.loads(line) for line in statuses.splitlines() if line.strip()]
if len(docs)==2 and all(d.get('Health')=='healthy' for d in docs):
return
except Exception:
pass
time.sleep(1)
raise RuntimeError('Stand did not become ready')
def state():
ids = subprocess.check_output(['docker','compose','ps','-q'],text=True).split()
command('docker','inspect','--format','{{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}}',*ids)
print('Verification UTC:',datetime.datetime.now(datetime.timezone.utc).isoformat(),flush=True)
command('docker','compose','config','--quiet')
wait()
command(sys.executable,'scripts/check_contract.py')
command('docker','compose','ps')
command(sys.executable,'tests/smoke.py','--base-url',base)
command(sys.executable,'tests/acceptance_extra.py','--base-url',base)
print('\nBefore persistence:',flush=True)
state()
command(sys.executable,'tests/resilience.py','--mode','persistence','--action-script','scripts/restart.sh','--base-url',base)
wait()
print('\nAfter persistence:',flush=True)
state()
command(sys.executable,'tests/resilience.py','--mode','failover','--action-script','scripts/stop-one.sh','--base-url',base)
state()
command('docker','compose','ps','--all')
command('docker','compose','up','-d','api1','api2')
wait()
if lab==4:
command(sys.executable,'tests/attachment_failover.py','--base-url',base)
command(sys.executable,'tests/storage_failure.py','--base-url',base)
wait()
code = '''import os,psycopg,urllib.request,urllib.error
with psycopg.connect(os.environ['DATABASE_URL']) as db:
ident=str(db.execute('SELECT id FROM attachments LIMIT 1').fetchone()[0])
try:
urllib.request.urlopen(os.environ['S3_ENDPOINT']+'/'+os.environ['S3_BUCKET']+'/'+ident,timeout=5)
except urllib.error.HTTPError as e:
assert e.code in (401,403), e.code
print('PASS: anonymous GET of existing S3 object denied:',e.code)
else:
raise AssertionError('Private object publicly accessible')
'''
print('\nChecking private bucket from internal network',flush=True)
subprocess.run(['docker','compose','exec','-T','api1','python','-c',code],check=True)
command('docker','compose','ps')
print('\nPASS: all recorded checks',flush=True)
+45
View File
@@ -0,0 +1,45 @@
"""Additional grade-3 checks: concurrent replay and invalid uploads."""
from concurrent.futures import ThreadPoolExecutor
import uuid
import struct
import zlib
import subprocess
from client import Client, LAB, arguments, check, run
def main():
args = arguments('Extra acceptance checks')
c = Client(args.base_url)
alice,bob,eve,chat = c.bootstrap()
key = uuid.uuid4().hex
def send(_):
return c.message(alice,chat,'Concurrent retry',key=key)['json']
with ThreadPoolExecutor(max_workers=8) as pool:
results = list(pool.map(send,range(16)))
check(all(r==results[0] for r in results),'concurrent replay created different messages')
print('PASS: 16 concurrent retries return one message')
if LAB >= 4:
path = '/api/v1/chats/'+chat['id']+'/attachments'
content = open('tests/fixtures/sample.png','rb').read()
c.call('POST',path+'?filename=../x.png',400,actor=alice,raw=content,headers={'Content-Type':'image/png'})
c.call('POST',path+'?filename=x.jpg',415,actor=alice,raw=content,headers={'Content-Type':'image/jpeg'})
c.call('POST',path+'?filename=x.png',415,actor=alice,raw=b'broken',headers={'Content-Type':'image/png'})
c.call('POST',path+'?filename=x.png',413,actor=alice,raw=b'x'*(10485760+1),headers={'Content-Type':'image/png'})
# A real valid PNG >40 million pixels, highly compressible on the wire.
def chunk(kind, data):
return struct.pack('!I',len(data))+kind+data+struct.pack('!I',zlib.crc32(kind+data)&0xffffffff)
compressor = zlib.compressobj()
compressed = b''.join(compressor.compress(b'\0'*10001) for _ in range(4001))+compressor.flush()
huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',10000,4001,8,0,0,0,0))+chunk(b'IDAT',compressed)+chunk(b'IEND',b'')
c.call('POST',path+'?filename=huge.png',413,actor=alice,raw=huge,headers={'Content-Type':'image/png'})
jpeg = subprocess.check_output(['docker','compose','exec','-T','api1','python','-c',"from PIL import Image; import sys; Image.new('RGB',(8,8),'red').save(sys.stdout.buffer,format='JPEG')"])
uploaded = c.call('POST',path+'?filename=real.jpg',201,actor=alice,raw=jpeg,headers={'Content-Type':'image/jpeg'},schema='Attachment')['json']
downloaded = c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob)
check(downloaded['bytes']==jpeg,'JPEG original changed')
other = c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Another chat','member_ids':[alice['id']]},schema='Chat')['json']
c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,body={'text':'','attachment_ids':[uploaded['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
print('PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected')
print('PASS: unsafe filename, MIME mismatch, corruption and byte limit')
if __name__=='__main__':
run(main)
+53
View File
@@ -0,0 +1,53 @@
"""Stop exactly the API that accepted an upload, for each of the two APIs."""
import hashlib
import os
import subprocess
import time
from client import Client, arguments, check, run
def main():
args = arguments('Upload/download failover on both APIs')
c = Client(args.base_url)
alice,bob,eve,chat = c.bootstrap()
content = open('tests/fixtures/sample.png','rb').read()
path = '/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png'
for service in ('api1','api2'):
cid = subprocess.check_output(['docker','compose','ps','-q',service],text=True).strip()
target = subprocess.check_output(['docker','inspect','--format','{{.Config.Hostname}}',cid],text=True).strip()
for _ in range(20):
uploaded = c.call('POST',path,201,actor=alice,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')
if uploaded['headers']['X-Instance-Id'] == target:
break
else:
raise AssertionError('Target API not observed through LB')
ident = uploaded['json']['id']
c.message(alice,chat,'',attachments=[ident])
started = time.monotonic()
try:
subprocess.run(['scripts/stop-one.sh'],env=dict(os.environ,TARGET_INSTANCE_ID=target),check=True,stdout=subprocess.DEVNULL)
while time.monotonic()-started < 10:
try:
downloaded = c.call('GET','/api/v1/attachments/'+ident+'/content',actor=bob)
except Exception:
time.sleep(.2)
continue
check(downloaded['headers']['X-Instance-Id'] != target,'stopped API still responds')
check(downloaded['bytes']==content,'original changed')
print('PASS:',service,'uploaded; stopped; other API returned SHA-256',hashlib.sha256(content).hexdigest(),'after',round(time.monotonic()-started,3),'seconds',flush=True)
break
else:
raise AssertionError('Download did not recover in 10 seconds')
finally:
subprocess.run(['docker','compose','start',service],check=True)
for _ in range(30):
health = subprocess.check_output(['docker','inspect','--format','{{.State.Health.Status}}',cid],text=True).strip()
if health == 'healthy':
time.sleep(2) # allow HAProxy rise check
break
time.sleep(1)
else:
raise AssertionError('API did not recover')
if __name__=='__main__':
run(main)
+39
View File
@@ -0,0 +1,39 @@
"""Check readiness and upload when S3 is unavailable; always restore S3."""
import subprocess
import time
from client import Client, arguments, run
def main():
args = arguments('Storage failure')
c = Client(args.base_url)
alice,bob,eve,chat = c.bootstrap()
data = open('tests/fixtures/sample.png','rb').read()
# Call an API inside its container because LB correctly removes unready APIs.
code = '''import urllib.request, urllib.error
for path, data, headers in CASES:
try:
r = urllib.request.urlopen(urllib.request.Request('http://localhost:8000'+path,data=data,headers=headers),timeout=10)
except urllib.error.HTTPError as e:
r = e
assert r.code == 503, r.code
print('PASS: S3 down returns 503 for readiness and upload')
'''
cases = [('/health/ready',None,{}),('/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',data,{'Content-Type':'image/png','Authorization':'Bearer '+alice['token']})]
try:
subprocess.run(['docker','compose','stop','-t','2','s3'],check=True)
subprocess.run(['docker','compose','exec','-T','api1','python','-'],input='CASES='+repr(cases)+'\n'+code,text=True,check=True)
finally:
subprocess.run(['docker','compose','start','s3'],check=True)
for _ in range(60):
try:
c.call('GET','/health/ready')
print('PASS: S3 restored')
break
except Exception:
time.sleep(1)
else:
raise AssertionError('S3 did not recover')
if __name__=='__main__':
run(main)
+18
View File
@@ -0,0 +1,18 @@
# Кратко для защиты
1. Запустить стенд по REPORT.md и показать `docker compose ps`.
2. Несколько раз вызвать `/health/ready` с `curl -i`: X-Instance-Id меняется между двумя API.
3. Запустить публичный smoke, затем persistence и failover; показать сохранённые результаты.
4. Объяснить: сессии в PostgreSQL, поэтому смена API не требует входа.
5. Объяснить: Idempotency-Key под общей транзакционной блокировкой не позволяет повторному POST создать дубль.
6. Показать stop-one.sh: он останавливает контейнер по ID реально обслужившей API.
7. После failover восстановить API: `docker compose up -d api1 api2`.
Отказ процесса API не равен отказу узла: при потере единственного хоста весь этот стенд недоступен.
Healthcheck только сообщает состояние. Именно HAProxy выбирает готовый backend.
Basic — кодирование логина и пароля для входа; Bearer — случайный токен действующей серверной сессии.
Для lab4: метаданные в PostgreSQL, байты в SeaweedFS. Локальный volume одной API не годится:
другая API его не увидит. UUID ключа и приватный bucket не заменяют проверку участника чата.
201 допустим после успешной записи файла и метаданных. Если S3 записал файл, а БД не сделала COMMIT,
останется неучтённый объект; автоматическая очистка относится к следующему уровню и здесь не сделана.
+13
View File
@@ -0,0 +1,13 @@
# Текст для описания PR — лабораторная 4
Целевая оценка: 3. Автор: Бахрамов Бахрам, БПИ2303.
Запрос на слияние: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/110
Реализован мессенджер с PostgreSQL, общими сессиями, двумя API за HAProxy и общей транзакционной идемпотентностью отправки сообщений.
Добавлены приватное S3-хранилище SeaweedFS, проверка PNG/JPEG и авторизованный доступ к оригиналам.
Проверки: публичный smoke, concurrent idempotency (16 запросов), persistence с рестартом всех используемых хранилищ, failover через LB. Результаты и состояния контейнеров приложены в evidence/verification.txt.
Дополнительно проверены отказ S3, приватность bucket, сохранение оригинала при остановке каждой загрузившей API, MIME/лимиты/повреждённые изображения и вложение другого чата.
Запуск, решения и ограничения: REPORT.md. Уровни 4/5 не заявлены. Контракт и публичные проверки сохранены.