forked from mtusi2026/mtusi2026lab4
ЛР 4: приватное S3-хранилище и вложения сообщений
This commit is contained in:
+1
-16
@@ -1,20 +1,5 @@
|
||||
.git
|
||||
.github
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
secrets
|
||||
certs
|
||||
volumes
|
||||
data
|
||||
backups
|
||||
*.key
|
||||
*.pem
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
.venv
|
||||
__pycache__
|
||||
node_modules
|
||||
evidence
|
||||
.DS_Store
|
||||
__pycache__
|
||||
|
||||
+7
-19
@@ -1,20 +1,8 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
POSTGRES_DB=messenger
|
||||
POSTGRES_USER=messenger
|
||||
POSTGRES_PASSWORD=local-demo-password-only
|
||||
PUBLIC_PORT=8084
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
API_REPLICAS=2
|
||||
IDEMPOTENCY_TTL_SECONDS=86400
|
||||
S3_ENDPOINT=http://s3:9000
|
||||
S3_REGION=us-east-1
|
||||
S3_BUCKET=messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES=10485760
|
||||
MAX_IMAGE_PIXELS=40000000
|
||||
S3_ACCESS_KEY=localminio
|
||||
S3_SECRET_KEY=local-minio-password-only
|
||||
S3_BUCKET=attachments
|
||||
|
||||
@@ -1,18 +1,34 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Бахрамов Бахрам, БПИ2303.
|
||||
Целевая оценка: **3**. Трек 5 не заявлен.
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Реализованы PostgreSQL, общие действующие сессии, миграции, две API-реплики за HAProxy и транзакционная идемпотентность POST сообщений.
|
||||
Добавлены приватное S3-хранилище SeaweedFS, синхронная загрузка PNG/JPEG с проверкой содержимого и лимитов, метаданные вложений и авторизованный download оригиналов.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Запуск из чистого clone:
|
||||
|
||||
```sh
|
||||
cp .env.example .env
|
||||
docker compose up -d --build
|
||||
# После готовности /health/ready:
|
||||
make check
|
||||
make test BASE_URL=http://localhost:8084
|
||||
python3 scripts/verify.py > evidence/verification.txt 2>&1
|
||||
```
|
||||
|
||||
Проверки прошли: публичный smoke, 16 конкурентных повторов с одним ключом, persistence с рестартом всех используемых хранилищ и failover через LB.
|
||||
Также проверены отказ S3, приватность bucket (анонимный GET → 403), побайтное скачивание после остановки каждой загрузившей API, JPEG, лимиты размера/пикселей, повреждённый файл, подмена MIME и вложение другого чата.
|
||||
|
||||
Подробности: [REPORT.md](REPORT.md), [результаты проверок](evidence/verification.txt).
|
||||
|
||||
Ограничения: один хост, PostgreSQL и LB без репликации; уровни 4 и 5 не заявлены.
|
||||
Автоматическая очистка orphan-объектов S3 не реализована.
|
||||
|
||||
Источники: исходное задание и документация PostgreSQL, HAProxy, Docker Compose, Argon2; ссылки в REPORT.md.
|
||||
|
||||
- [x] Обязательный минимум реализован.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check, smoke, persistence и failover выполнены, реальный вывод приложен.
|
||||
- [x] Локальный .env и реальные credentials не включены в Git; демонстрационные значения явно обозначены.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию запуска решения.
|
||||
|
||||
@@ -48,6 +48,6 @@
|
||||
|
||||
## Что сдавать
|
||||
|
||||
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода и ИИ. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
|
||||
Исходники, Dockerfile, нужные манифесты и конфигурации, миграции, собственные тесты, заполненный `REPORT.md`, сведения об использовании внешнего кода. Уметь объяснить и изменить своё решение на защите обязательно. Приложите команды и текстовые результаты; скриншоты — дополнение, а не единственное доказательство.
|
||||
|
||||
PR должен собираться из чистого clone по инструкции автора. Секреты создаются отдельно; тестовые fixtures и открытые конфигурации хранятся в репозитории. Перенос кода между лабами описан в [CONTRIBUTING.md](CONTRIBUTING.md).
|
||||
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
FROM python:3.12.10-slim
|
||||
WORKDIR /srv
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
COPY app app
|
||||
COPY contracts contracts
|
||||
COPY migrations migrations
|
||||
RUN useradd --uid 10001 --create-home api
|
||||
USER api
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--timeout-graceful-shutdown", "5"]
|
||||
+1
-1
@@ -8,7 +8,7 @@
|
||||
|
||||
1. Выберите GitHub/GitLab и организацию, опубликуйте каждый каталог как отдельный template/skeleton repository, сообщите студентам URL и правила именования PR/MR. Эти материалы не публикуют репозитории автоматически.
|
||||
2. Задайте default branch, защиту исходных материалов и правила приёма. `.github/` уже содержит шаблон PR и CI контракта; в GitLab перенесите эквивалентные настройки, локальные Makefile-команды одинаковы.
|
||||
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода/ИИ и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
|
||||
3. Сообщите, индивидуальная работа или командная, сроки, правила использования стороннего кода и ресурсы демонстрационного стенда. Эти организационные решения намеренно не выдуманы в задании.
|
||||
4. Уточните ограничения площадки (например доступна ли виртуализация/несколько узлов). Для 5 предусмотрено по два трека: один можно выполнить без настоящего multi-node cloud. Универсальный проходной RPS не установлен.
|
||||
|
||||
## Что проверять
|
||||
|
||||
@@ -1,37 +1,134 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
Целевая оценка: **3**. Исследовательский трек не заявлен.
|
||||
Автор: Бахрамов Бахрам, БПИ2303.
|
||||
Ветка: `solution/bpi2303-bakhramov`.
|
||||
Репозиторий: https://gitea.privcloud.tech/bahram/mtusi2026lab4
|
||||
Устройство решения и команды защиты приведены ниже.
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требуются Docker с Compose v2, Python 3.9+ и make на компьютере проверяющего.
|
||||
Все команды выполняются из папки этой лабораторной.
|
||||
|
||||
## Архитектура и решения
|
||||
```sh
|
||||
cp .env.example .env
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build
|
||||
# Дождаться 200 по адресу http://localhost:8084/health/ready
|
||||
curl -i http://localhost:8084/health/ready
|
||||
make check
|
||||
make test BASE_URL=http://localhost:8084
|
||||
python3 tests/acceptance_extra.py --base-url http://localhost:8084
|
||||
make test-persistence BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover BASE_URL=http://localhost:8084 ACTION_SCRIPT=scripts/stop-one.sh
|
||||
# После failover одна API остаётся остановленной. Восстановить её:
|
||||
docker compose up -d api1 api2
|
||||
```
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Порты двух лабораторных различаются, поэтому их можно запускать одновременно.
|
||||
Для обычной остановки: `docker compose down` (volumes сохраняются).
|
||||
Намеренный сброс только учебных данных: `docker compose down -v` (не применять при проверке persistence).
|
||||
Значения .env.example — открытые демонстрационные credentials для локального стенда с синтетическими данными.
|
||||
API и хранилища не публикуют порты. Только HAProxy принимает соединения на 127.0.0.1:8084.
|
||||
|
||||
## Доказательства критериев
|
||||
## Архитектура и реализация
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Клиент → HAProxy → api1 / api2 → PostgreSQL.
|
||||
FastAPI 0.115.12, Uvicorn 0.34.2, Python 3.12.10; HAProxy 3.0.10; PostgreSQL 16.8.
|
||||
Полные версии прямых Python-зависимостей закреплены в requirements.txt, образы — в compose.yaml.
|
||||
Обе API работают с одной PostgreSQL; локальное состояние API не используется для сессий и сообщений.
|
||||
Пароли — Argon2id, случайный Bearer-токен имеет 256 бит энтропии; в БД хранится SHA-256 токена.
|
||||
Сессии имеют абсолютный expires_at, не продлеваются рестартом и отзываются DELETE.
|
||||
Источник истины — PostgreSQL, подтверждённая запись читается из неё через любую реплику.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
Одноразовый сервис migrate выполняет идемпотентный SQL до запуска API. Он не запускается каждой репликой.
|
||||
Схема таблиц находится в migrations/001_init.sql. Пользовательские поля хранятся в JSONB,
|
||||
идентификаторы и связи — также в отдельных колонках с внешними ключами.
|
||||
Миграции здесь только создают начальную схему; обновление несовместимой схемы без остановки не заявляется.
|
||||
|
||||
## Эксперименты и отказы
|
||||
Для сообщения PostgreSQL advisory transaction lock берётся по user+chat+key.
|
||||
После блокировки повторно проверяется существующий результат за последние 24 часа.
|
||||
Одинаковое нормализованное тело возвращает прежний Message и 201, отличающееся — 409.
|
||||
Вставка сообщения и данных для повтора выполняется одной транзакцией.
|
||||
При разрыве до ответа клиент повторяет тот же ключ: committed запись будет возвращена, rollback позволит новую запись.
|
||||
Порядок JSON-ключей и отсутствие attachment_ids вместо [] не меняют сравнение.
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
HAProxy использует round-robin без sticky sessions. Каждый API сообщает hostname контейнера в X-Instance-Id.
|
||||
GET /health/live проверяет процесс; /health/ready проверяет PostgreSQL, а также доступность S3 bucket.
|
||||
Проверка backend идёт раз в 1 секунду; после двух неудач сервер исключается.
|
||||
Connect timeout — 1 секунда, client/server timeout — 30 секунд. Это настройки обнаружения, не гарантия для любых сетевых отказов.
|
||||
Docker DNS повторно разрешается HAProxy. При SIGTERM Uvicorn завершает текущие запросы до 5 секунд;
|
||||
Compose даёт 10 секунд. Лимит каждой API — 512 MiB и 1 CPU.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
Пагинация — keyset по (created_at,id). Cursor содержит scope и последнюю пару; от другого чата не принимается.
|
||||
Это не snapshot: вставка с более ранним временем после уже прочитанного cursor может не попасть в продолжение.
|
||||
Время UTC назначает API; при обычном локальном стенде контейнеры используют общие часы хоста.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
## Проверки и доказательства
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Проверено 12.11.2026 на Docker Desktop (Linux arm64). Все записанные проверки пройдены.
|
||||
В failover наблюдались 2 разные API; за 15 секунд подтверждено 107 новых сообщений,
|
||||
переходных неуспешных попыток — 6; первая успешная запись после воздействия — 0.97 с.
|
||||
Подтверждённые данные и прежняя сессия сохранились. Это результат одного локального запуска, не SLA.
|
||||
Фактические команды и результаты находятся в evidence/verification.txt.
|
||||
Повторить полный набор: `python3 scripts/verify.py > evidence/verification.txt 2>&1`.
|
||||
Публичные contracts/ и tests/smoke.py, tests/resilience.py не изменены.
|
||||
|
||||
| Требование на 3 | Проверка | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| Один LB и две API с общей БД/сессиями | docker compose ps; failover наблюдает разные X-Instance-Id одной сессии | evidence/verification.txt |
|
||||
| Обязательный API и ошибки | make test | evidence/verification.txt |
|
||||
| Конкурентный повтор без дублей | 16 запросов с одним ключом через LB | tests/acceptance_extra.py; evidence/verification.txt |
|
||||
| Остановка выбранной реальной API, восстановление чтения/записи ≤10 секунд | make test-failover, hook сопоставляет X-Instance-Id с hostname и останавливает контейнер | scripts/stop-one.sh; evidence/verification.txt |
|
||||
| Сохранность пользователей, чатов, сообщений и действующих сессий после restart всех хранилищ | make test-persistence; сравнение StartedAt до/после | scripts/restart.sh; evidence/verification.txt |
|
||||
|
||||
## Вложения и S3
|
||||
|
||||
SeaweedFS 3.85 запускается одним S3-сервером в общем Compose. Его master, volume и filer
|
||||
сохраняют данные в s3_data, рабочий каталог — /data. PostgreSQL хранит только метаданные, не байты.
|
||||
Приватный bucket attachments создаётся отдельным bucket-init с повторными попытками до старта API.
|
||||
Анонимной identity в infra/s3.json нет; S3 доступен только внутри Compose-сети, публичной policy нет.
|
||||
Для уровня 3 API использует ту же учебную identity, что bootstrap; отдельные минимальные права не заявляются.
|
||||
Если менять S3 credentials, нужно согласованно изменить .env и infra/s3.json.
|
||||
|
||||
Upload принимает сырые PNG/JPEG. Байты читаются порциями с пределом 10 MiB до декодирования;
|
||||
Pillow проверяет реальный формат, соответствие MIME, целостность и предел 40 млн пикселей.
|
||||
Имя не используется в S3: object key — UUID, назначенный сервером. Slash, backslash и управляющие символы отклоняются.
|
||||
201 ready возвращается после S3 PUT и PostgreSQL COMMIT. Download проверяет участника чата и отдаёт исходные байты через API.
|
||||
attachment_ids валидируются на принадлежность тому же чату; допустимо сообщение без текста с вложением.
|
||||
|
||||
| Требование на 3 | Проверка | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| Побайтный оригинал, SHA-256, attachment_ids, запрет постороннему | make test | evidence/verification.txt |
|
||||
| Upload → остановка загрузившей API → download через вторую, отдельно для api1 и api2 | tests/attachment_failover.py | evidence/attachment_failover.txt |
|
||||
| Сохранность метаданных и оригинала после рестарта PostgreSQL и S3 | make test-persistence | evidence/verification.txt |
|
||||
| Опасное имя, подмена MIME, повреждение, >10 MiB, >40 млн пикселей; настоящий JPEG; вложение другого чата | tests/acceptance_extra.py | evidence/extra_images.txt |
|
||||
| Отказ S3 | tests/storage_failure.py | evidence/verification.txt |
|
||||
| Анонимный S3 GET не возвращает объект | запрос из внутренней сети без подписи | evidence/verification.txt |
|
||||
|
||||
Для обеих API проверено: после остановки принявшей upload реплики другая отдала тот же SHA-256; время — 0,826 с (api1) и 1,498 с (api2). Подробности в evidence/attachment_failover.txt.
|
||||
|
||||
Команда дополнительного сценария: `python3 tests/storage_failure.py --base-url http://localhost:8084`.
|
||||
|
||||
Согласованность: сначала S3 PUT, затем INSERT/COMMIT метаданных. При сбое БД между ними возможен orphan object.
|
||||
Автоматической сверки и очистки нет — это ограничение уровня 3, а не выполненный критерий уровня 4.
|
||||
При отказе S3 ready и upload возвращают 503; HAProxy исключает неготовые API.
|
||||
Повтор upload не идемпотентен и может создать ещё одно вложение.
|
||||
Один файл хранится в памяти до 10 MiB, декодированное изображение — до 40 млн пикселей;
|
||||
потоковая передача и эксперимент на 10 параллельных загрузках не заявлены.
|
||||
|
||||
## Ограничения
|
||||
|
||||
Устойчивость проверяется только при отказе одной API-реплики. LB, PostgreSQL и хост — единичные точки отказа.
|
||||
Бэкапы, репликация БД, rolling update и нагрузочное исследование не реализованы.
|
||||
HTTP предназначен для локальных синтетических данных. Уровни 4 и 5 не заявлены.
|
||||
|
||||
## Источники
|
||||
|
||||
- Исходное задание и неизменённый контракт: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4
|
||||
- PostgreSQL advisory locks: https://www.postgresql.org/docs/16/explicit-locking.html#ADVISORY-LOCKS
|
||||
- HAProxy configuration: https://docs.haproxy.org/3.0/configuration.html
|
||||
- Docker Compose: https://docs.docker.com/compose/
|
||||
- Argon2: https://argon2-cffi.readthedocs.io/
|
||||
- SeaweedFS S3 identity configuration: https://github.com/seaweedfs/seaweedfs/blob/3.85/docker/compose/s3.json
|
||||
|
||||
@@ -0,0 +1,13 @@
|
||||
import time
|
||||
from app.main import s3, BUCKET
|
||||
for attempt in range(60):
|
||||
try:
|
||||
client = s3()
|
||||
if BUCKET not in [b['Name'] for b in client.list_buckets()['Buckets']]:
|
||||
client.create_bucket(Bucket=BUCKET)
|
||||
print('Private bucket ready')
|
||||
break
|
||||
except Exception:
|
||||
if attempt == 59:
|
||||
raise
|
||||
time.sleep(1)
|
||||
+323
@@ -0,0 +1,323 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import io
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import secrets
|
||||
import socket
|
||||
import uuid
|
||||
import warnings
|
||||
from datetime import datetime, timedelta, timezone
|
||||
|
||||
import boto3
|
||||
import psycopg
|
||||
from psycopg.types.json import Jsonb
|
||||
from argon2 import PasswordHasher
|
||||
from fastapi import FastAPI, Request
|
||||
from fastapi.responses import JSONResponse, Response
|
||||
from jsonschema import Draft202012Validator, FormatChecker
|
||||
from PIL import Image
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
|
||||
app = FastAPI(docs_url=None, redoc_url=None, openapi_url=None)
|
||||
INSTANCE = socket.gethostname()
|
||||
LAB = int(os.getenv('LAB_NUMBER', '4'))
|
||||
DSN = os.environ['DATABASE_URL']
|
||||
BUCKET = os.getenv('S3_BUCKET', 'attachments')
|
||||
ph = PasswordHasher()
|
||||
schemas = json.load(open('contracts/openapi.json'))['components']['schemas']
|
||||
Image.MAX_IMAGE_PIXELS = 40_000_000
|
||||
warnings.simplefilter('error', Image.DecompressionBombWarning)
|
||||
|
||||
|
||||
def s3():
|
||||
return boto3.client('s3', endpoint_url=os.environ['S3_ENDPOINT'],
|
||||
aws_access_key_id=os.environ['S3_ACCESS_KEY'],
|
||||
aws_secret_access_key=os.environ['S3_SECRET_KEY'],
|
||||
region_name='us-east-1',
|
||||
config=boto3.session.Config(connect_timeout=2, read_timeout=5, retries={'max_attempts': 0}))
|
||||
|
||||
|
||||
def now():
|
||||
return datetime.now(timezone.utc).isoformat().replace('+00:00', 'Z')
|
||||
|
||||
|
||||
def uid(value):
|
||||
try:
|
||||
return str(uuid.UUID(value))
|
||||
except (ValueError, TypeError, AttributeError):
|
||||
fail(400)
|
||||
|
||||
|
||||
def fail(status):
|
||||
raise APIError(status)
|
||||
|
||||
|
||||
class APIError(Exception):
|
||||
def __init__(self, status):
|
||||
self.status = status
|
||||
|
||||
|
||||
CODES = {400: 'invalid_request', 401: 'unauthorized', 404: 'not_found',
|
||||
409: 'conflict', 413: 'payload_too_large', 415: 'unsupported_media_type',
|
||||
503: 'unavailable', 500: 'internal_error'}
|
||||
|
||||
|
||||
def error(status, request_id, path):
|
||||
code = CODES[status]
|
||||
headers = {}
|
||||
if status == 401:
|
||||
headers['WWW-Authenticate'] = ('Basic realm="messenger", charset="UTF-8"'
|
||||
if path.endswith('/auth/sessions') else 'Bearer realm="messenger"')
|
||||
return JSONResponse({'error': {'code': code, 'message': code, 'request_id': request_id}},
|
||||
status_code=status, headers=headers)
|
||||
|
||||
|
||||
@app.middleware('http')
|
||||
async def headers_and_errors(request, call_next):
|
||||
request_id = secrets.token_hex(16)
|
||||
try:
|
||||
response = await call_next(request)
|
||||
except APIError as exc:
|
||||
response = error(exc.status, request_id, request.url.path)
|
||||
except (psycopg.OperationalError, psycopg.InterfaceError):
|
||||
response = error(503, request_id, request.url.path)
|
||||
except Exception:
|
||||
import logging
|
||||
logging.exception('Request failed')
|
||||
response = error(500, request_id, request.url.path)
|
||||
response.headers['X-Request-Id'] = request_id
|
||||
response.headers['X-Instance-Id'] = INSTANCE
|
||||
return response
|
||||
|
||||
|
||||
def validate(body, name):
|
||||
if not Draft202012Validator(schemas[name], format_checker=FormatChecker()).is_valid(body):
|
||||
fail(400)
|
||||
return body
|
||||
|
||||
|
||||
def user(db, request):
|
||||
auth = request.headers.get('authorization', '')
|
||||
if not auth.startswith('Bearer '):
|
||||
fail(401)
|
||||
token = hashlib.sha256(auth[7:].encode()).hexdigest()
|
||||
row = db.execute('SELECT u.doc FROM sessions s JOIN users u ON u.id=s.user_id WHERE s.token=%s AND s.expires_at>now()', (token,)).fetchone()
|
||||
if not row:
|
||||
fail(401)
|
||||
return row[0]
|
||||
|
||||
|
||||
def chat(db, ident, actor):
|
||||
ident = uid(ident)
|
||||
row = db.execute('SELECT doc FROM chats WHERE id=%s', (ident,)).fetchone()
|
||||
if not row or actor['id'] not in row[0]['member_ids']:
|
||||
fail(404)
|
||||
return row[0]
|
||||
|
||||
|
||||
def attachment(db, ident, actor):
|
||||
row = db.execute('SELECT doc FROM attachments WHERE id=%s', (uid(ident),)).fetchone()
|
||||
if not row:
|
||||
fail(404)
|
||||
chat(db, row[0]['chat_id'], actor)
|
||||
return row[0]
|
||||
|
||||
|
||||
def page(db, request, table, scope, actor):
|
||||
raw = request.query_params.get('limit', '50')
|
||||
if not re.fullmatch('[0-9]+', raw) or not 1 <= int(raw) <= 100:
|
||||
fail(400)
|
||||
limit = int(raw)
|
||||
cursor = request.query_params.get('cursor')
|
||||
after = None
|
||||
if cursor:
|
||||
try:
|
||||
decoded = json.loads(base64.urlsafe_b64decode(cursor.encode()))
|
||||
if len(decoded) != 3 or decoded[0] != scope:
|
||||
fail(400)
|
||||
datetime.fromisoformat(decoded[1].replace('Z', '+00:00'))
|
||||
uid(decoded[2])
|
||||
after = decoded[1:]
|
||||
except Exception:
|
||||
fail(400)
|
||||
if table == 'chats':
|
||||
where, args = "doc->'member_ids' ? %s", [actor['id']]
|
||||
else:
|
||||
where, args = "chat_id=%s", [scope]
|
||||
if after:
|
||||
where += " AND (doc->>'created_at',id)>(%s,%s::uuid)"
|
||||
args += after
|
||||
rows = db.execute(f"SELECT doc FROM {table} WHERE {where} ORDER BY doc->>'created_at',id LIMIT %s", args + [limit+1]).fetchall()
|
||||
items = [r[0] for r in rows[:limit]]
|
||||
next_cursor = None
|
||||
if len(rows) > limit:
|
||||
last = items[-1]
|
||||
next_cursor = base64.urlsafe_b64encode(json.dumps([scope,last['created_at'],last['id']]).encode()).decode()
|
||||
return {'items': items, 'next_cursor': next_cursor}
|
||||
|
||||
|
||||
@app.get('/health/live')
|
||||
def live():
|
||||
return {'status': 'ok'}
|
||||
|
||||
|
||||
@app.get('/health/ready')
|
||||
def ready():
|
||||
with psycopg.connect(DSN, connect_timeout=2) as db:
|
||||
db.execute('SELECT count(*) FROM sessions')
|
||||
if LAB >= 4:
|
||||
try:
|
||||
s3().head_bucket(Bucket=BUCKET)
|
||||
except Exception:
|
||||
fail(503)
|
||||
return {'status': 'ok'}
|
||||
|
||||
|
||||
@app.api_route('/api/v1/{path:path}', methods=['GET', 'POST', 'DELETE'])
|
||||
async def api(request: Request, path: str):
|
||||
# Read bounded chunks before JSON parsing/image decoding.
|
||||
limit = 10*1024*1024 if path.endswith('/attachments') else 65536
|
||||
data = bytearray()
|
||||
async for chunk in request.stream():
|
||||
if len(data)+len(chunk) > limit:
|
||||
fail(413)
|
||||
data.extend(chunk)
|
||||
return await run_in_threadpool(handle, request, path, bytes(data))
|
||||
|
||||
|
||||
def handle(request, path, raw):
|
||||
method = request.method
|
||||
parts = path.split('/')
|
||||
body = None
|
||||
if method == 'POST' and path != 'auth/sessions' and not path.endswith('/attachments'):
|
||||
try:
|
||||
body = json.loads(raw)
|
||||
except (ValueError, UnicodeError):
|
||||
fail(400)
|
||||
with psycopg.connect(DSN) as db:
|
||||
if path == 'users' and method == 'POST':
|
||||
validate(body, 'CreateUser')
|
||||
if not body['display_name'].strip():
|
||||
fail(400)
|
||||
doc = {'id': str(uuid.uuid4()), 'username': body['username'], 'display_name': body['display_name'], 'created_at': now()}
|
||||
hashed = ph.hash(body['password'])
|
||||
if not db.execute('INSERT INTO users(id,username,password,doc) VALUES (%s,%s,%s,%s) ON CONFLICT(username) DO NOTHING RETURNING id', (doc['id'],doc['username'],hashed,Jsonb(doc))).fetchone():
|
||||
fail(409)
|
||||
return JSONResponse(doc, 201)
|
||||
if path == 'auth/sessions' and method == 'POST':
|
||||
try:
|
||||
auth = request.headers.get('authorization', '')
|
||||
if not auth.startswith('Basic ') or raw:
|
||||
fail(401)
|
||||
username, password = base64.b64decode(auth[6:], validate=True).decode().split(':',1)
|
||||
row = db.execute('SELECT password,doc FROM users WHERE username=%s',(username,)).fetchone()
|
||||
if not row:
|
||||
fail(401)
|
||||
ph.verify(row[0],password)
|
||||
except Exception:
|
||||
fail(401)
|
||||
token = secrets.token_urlsafe(32)
|
||||
expiry = datetime.now(timezone.utc)+timedelta(seconds=int(os.getenv('SESSION_TTL_SECONDS','3600')))
|
||||
db.execute('INSERT INTO sessions VALUES(%s,%s,%s)', (hashlib.sha256(token.encode()).hexdigest(),row[1]['id'],expiry))
|
||||
return JSONResponse({'token':token,'token_type':'Bearer','expires_at':expiry.isoformat().replace('+00:00','Z'),'user':row[1]},201)
|
||||
actor = user(db, request)
|
||||
if path == 'users/me' and method == 'GET':
|
||||
return actor
|
||||
if path == 'auth/sessions/current' and method == 'DELETE':
|
||||
db.execute('DELETE FROM sessions WHERE token=%s',(hashlib.sha256(request.headers['authorization'][7:].encode()).hexdigest(),))
|
||||
return Response(status_code=204)
|
||||
if path == 'chats':
|
||||
if method == 'GET':
|
||||
return page(db,request,'chats','chats:'+actor['id'],actor)
|
||||
if method == 'POST':
|
||||
validate(body,'CreateChat')
|
||||
if not body['title'].strip() or actor['id'] not in body['member_ids']:
|
||||
fail(400)
|
||||
for ident in body['member_ids']:
|
||||
if not db.execute('SELECT id FROM users WHERE id=%s',(uid(ident),)).fetchone():
|
||||
fail(400)
|
||||
doc = dict(body,id=str(uuid.uuid4()),created_at=now())
|
||||
db.execute('INSERT INTO chats VALUES(%s,%s)',(doc['id'],Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if parts[0] == 'chats' and len(parts) >= 2:
|
||||
current = chat(db, parts[1], actor)
|
||||
if len(parts) == 2 and method == 'GET':
|
||||
return current
|
||||
if len(parts) == 3 and parts[2] == 'messages':
|
||||
if method == 'GET':
|
||||
return page(db,request,'messages',current['id'],actor)
|
||||
if method == 'POST':
|
||||
validate(body,'CreateMessage')
|
||||
attachments = body.get('attachment_ids',[]) if LAB >= 4 else []
|
||||
if not body['text'].strip() and not attachments:
|
||||
fail(400)
|
||||
key = request.headers.get('idempotency-key','')
|
||||
if not re.fullmatch(r'[A-Za-z0-9._:-]{1,128}',key):
|
||||
fail(400)
|
||||
for ident in attachments:
|
||||
att = attachment(db,ident,actor)
|
||||
if att['chat_id'] != current['id']:
|
||||
fail(404)
|
||||
normalized = {'text':body['text'],'attachment_ids':attachments}
|
||||
# A transaction-scoped shared lock serializes the entire lookup+insert.
|
||||
scope = actor['id']+':'+current['id']+':'+key
|
||||
db.execute('SELECT pg_advisory_xact_lock(hashtextextended(%s,0))',(scope,))
|
||||
old = db.execute('SELECT body,doc FROM messages WHERE sender_id=%s AND chat_id=%s AND idem_key=%s AND saved_at>now()-interval \'24 hours\'',(actor['id'],current['id'],key)).fetchone()
|
||||
if old:
|
||||
if old[0] != normalized:
|
||||
fail(409)
|
||||
return JSONResponse(old[1],201)
|
||||
doc = {'id':str(uuid.uuid4()),'chat_id':current['id'],'sender_id':actor['id'],'text':body['text'],'created_at':now()}
|
||||
if LAB >= 4:
|
||||
doc['attachment_ids'] = attachments
|
||||
db.execute('INSERT INTO messages(id,chat_id,sender_id,idem_key,body,doc) VALUES(%s,%s,%s,%s,%s,%s)',(doc['id'],current['id'],actor['id'],key,Jsonb(normalized),Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if LAB >= 4 and len(parts) == 3 and parts[2] == 'attachments' and method == 'POST':
|
||||
filename = request.query_params.get('filename','')
|
||||
if not 1 <= len(filename) <= 255 or any(c in '/\\' or ord(c)<32 or 127<=ord(c)<=159 for c in filename):
|
||||
fail(400)
|
||||
mime = request.headers.get('content-type','')
|
||||
if mime not in ('image/png','image/jpeg'):
|
||||
fail(415)
|
||||
try:
|
||||
with Image.open(io.BytesIO(raw)) as image:
|
||||
if image.width*image.height > 40_000_000:
|
||||
fail(413)
|
||||
if image.format not in ('PNG','JPEG') or Image.MIME[image.format] != mime:
|
||||
fail(415)
|
||||
image.verify()
|
||||
with Image.open(io.BytesIO(raw)) as image:
|
||||
image.load()
|
||||
except APIError:
|
||||
raise
|
||||
except (Image.DecompressionBombError, Image.DecompressionBombWarning):
|
||||
fail(413)
|
||||
except Exception:
|
||||
fail(415)
|
||||
ident, stamp = str(uuid.uuid4()), now()
|
||||
doc = {'id':ident,'chat_id':current['id'],'owner_id':actor['id'],'filename':filename,'content_type':mime,'size_bytes':len(raw),'sha256':hashlib.sha256(raw).hexdigest(),'status':'ready','variants':[],'error_code':None,'created_at':stamp,'updated_at':stamp}
|
||||
try:
|
||||
s3().put_object(Bucket=BUCKET,Key=ident,Body=raw,ContentType=mime)
|
||||
except Exception:
|
||||
fail(503)
|
||||
db.execute('INSERT INTO attachments VALUES(%s,%s,%s)',(ident,current['id'],Jsonb(doc)))
|
||||
return JSONResponse(doc,201)
|
||||
if LAB >= 4 and parts[0] == 'attachments' and len(parts) in (2,3) and method == 'GET':
|
||||
doc = attachment(db,parts[1],actor)
|
||||
if len(parts) == 2:
|
||||
return doc
|
||||
if parts[2] == 'content':
|
||||
if request.query_params.get('variant','original') != 'original':
|
||||
fail(404)
|
||||
try:
|
||||
obj = s3().get_object(Bucket=BUCKET,Key=doc['id'])
|
||||
try:
|
||||
content = obj['Body'].read(10*1024*1024+1)
|
||||
finally:
|
||||
obj['Body'].close()
|
||||
except Exception:
|
||||
fail(503)
|
||||
return Response(content,media_type=doc['content_type'])
|
||||
fail(404)
|
||||
@@ -0,0 +1,5 @@
|
||||
import os
|
||||
import psycopg
|
||||
with psycopg.connect(os.environ['DATABASE_URL']) as db:
|
||||
db.execute(open('migrations/001_init.sql').read())
|
||||
print('Migration complete')
|
||||
@@ -0,0 +1,77 @@
|
||||
name: messenger-lab4
|
||||
x-api: &api
|
||||
build: .
|
||||
environment: &environment
|
||||
LAB_NUMBER: "4"
|
||||
DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB}
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
S3_ENDPOINT: http://s3:8333
|
||||
S3_ACCESS_KEY: ${S3_ACCESS_KEY}
|
||||
S3_SECRET_KEY: ${S3_SECRET_KEY}
|
||||
S3_BUCKET: ${S3_BUCKET}
|
||||
depends_on:
|
||||
migrate:
|
||||
condition: service_completed_successfully
|
||||
bucket-init:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health/ready', timeout=3)"]
|
||||
interval: 3s
|
||||
timeout: 5s
|
||||
retries: 5
|
||||
stop_grace_period: 10s
|
||||
mem_limit: 512m
|
||||
cpus: 1.0
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.8-alpine
|
||||
environment:
|
||||
POSTGRES_DB: ${POSTGRES_DB}
|
||||
POSTGRES_USER: ${POSTGRES_USER}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD}
|
||||
volumes:
|
||||
- postgres_data:/var/lib/postgresql/data
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U $$POSTGRES_USER -d $$POSTGRES_DB"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
migrate:
|
||||
build: .
|
||||
environment: *environment
|
||||
command: ["python", "-m", "app.migrate"]
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
api1:
|
||||
<<: *api
|
||||
api2:
|
||||
<<: *api
|
||||
lb:
|
||||
image: haproxy:3.0.10-alpine
|
||||
ports:
|
||||
- "127.0.0.1:${PUBLIC_PORT}:8080"
|
||||
volumes:
|
||||
- ./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||||
depends_on:
|
||||
api1:
|
||||
condition: service_healthy
|
||||
api2:
|
||||
condition: service_healthy
|
||||
s3:
|
||||
image: chrislusf/seaweedfs:3.85
|
||||
working_dir: /data
|
||||
command: server -dir=/data -ip=s3 -filer -s3 -s3.config=/etc/seaweedfs/s3.json -volume.max=5 -master.volumeSizeLimitMB=100
|
||||
volumes:
|
||||
- s3_data:/data
|
||||
- ./infra/s3.json:/etc/seaweedfs/s3.json:ro
|
||||
bucket-init:
|
||||
build: .
|
||||
environment: *environment
|
||||
command: ["python", "-m", "app.bucket_init"]
|
||||
depends_on:
|
||||
- s3
|
||||
|
||||
volumes:
|
||||
postgres_data:
|
||||
s3_data:
|
||||
@@ -0,0 +1,30 @@
|
||||
Container messenger-lab4-api1-1 Stopping
|
||||
Container messenger-lab4-api1-1 Stopped
|
||||
PASS: api1 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 0.826 seconds
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-bucket-init-1 Starting
|
||||
Container messenger-lab4-bucket-init-1 Started
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-bucket-init-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-bucket-init-1 Exited
|
||||
Container messenger-lab4-api1-1 Starting
|
||||
Container messenger-lab4-api1-1 Started
|
||||
Container messenger-lab4-api2-1 Stopping
|
||||
Container messenger-lab4-api2-1 Stopped
|
||||
PASS: api2 uploaded; stopped; other API returned SHA-256 99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75 after 1.498 seconds
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-bucket-init-1 Starting
|
||||
Container messenger-lab4-bucket-init-1 Started
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-bucket-init-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-bucket-init-1 Exited
|
||||
Container messenger-lab4-api2-1 Starting
|
||||
Container messenger-lab4-api2-1 Started
|
||||
@@ -0,0 +1,3 @@
|
||||
PASS: 16 concurrent retries return one message
|
||||
PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected
|
||||
PASS: unsafe filename, MIME mismatch, corruption and byte limit
|
||||
@@ -0,0 +1,106 @@
|
||||
Verification UTC: 2026-11-12T12:19:26.374452+00:00
|
||||
|
||||
$ docker compose config --quiet
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
|
||||
$ docker compose ps
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Up 58 seconds (healthy)
|
||||
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 58 seconds (healthy)
|
||||
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp
|
||||
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 2 minutes (healthy) 5432/tcp
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 2 minutes 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/smoke.py --base-url http://localhost:8084
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/acceptance_extra.py --base-url http://localhost:8084
|
||||
PASS: 16 concurrent retries return one message
|
||||
PASS: unsafe filename, MIME mismatch, corruption and byte limit
|
||||
|
||||
Before persistence:
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
|
||||
/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:18:27.895360419Z
|
||||
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:18:27.839813628Z
|
||||
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:17:42.367004218Z
|
||||
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:17:15.606580678Z
|
||||
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:17:15.75486297Z
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8084
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
After persistence:
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} e4b22ae51f15e4edc9bc2b669a272bb81ec10c44450319be3228d268ab0e61f1 a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
|
||||
/messenger-lab4-api1-1 e4b22ae51f15 running 2026-11-12T12:19:29.132205003Z
|
||||
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z
|
||||
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z
|
||||
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z
|
||||
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8084
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 107, "failed_attempts": 6, "first_recovery_seconds": 0.97}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
$ docker inspect --format {{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}} a3f1c79e24f54431b0144943dc493a588da21a5fffe66ac4c7b7df209a0fe868 926e7a36d6e31c48d860cdb12521f941115510e844db765b1e1a9031150682b5 8df997800f38eed9607849365fe514fa224863c3adee448d365ca3d3fd1f5bbc bf630145202fa9a2661558528420c3431505965d7cb16dca1df97ccebf9fee1a
|
||||
/messenger-lab4-api2-1 a3f1c79e24f5 running 2026-11-12T12:19:29.09868117Z
|
||||
/messenger-lab4-lb-1 926e7a36d6e3 running 2026-11-12T12:19:28.885013378Z
|
||||
/messenger-lab4-postgres-1 8df997800f38 running 2026-11-12T12:19:28.911450253Z
|
||||
/messenger-lab4-s3-1 bf630145202f running 2026-11-12T12:19:31.828027171Z
|
||||
|
||||
$ docker compose ps --all
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 About a minute ago Exited (0) 14 seconds ago
|
||||
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 About a minute ago Up 44 seconds (healthy)
|
||||
messenger-lab4-bucket-init-1 messenger-lab4-bucket-init "python -m app.bucke…" bucket-init About a minute ago Exited (0) About a minute ago
|
||||
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 2 minutes ago Up 44 seconds 127.0.0.1:8084->8080/tcp
|
||||
messenger-lab4-migrate-1 messenger-lab4-migrate "python -m app.migra…" migrate About a minute ago Exited (0) About a minute ago
|
||||
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 2 minutes ago Up 44 seconds (healthy) 5432/tcp
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 2 minutes ago Up 41 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
|
||||
$ docker compose up -d api1 api2
|
||||
Container messenger-lab4-api2-1 Running
|
||||
Container messenger-lab4-s3-1 Running
|
||||
Container messenger-lab4-postgres-1 Running
|
||||
Container messenger-lab4-bucket-init-1 Starting
|
||||
Container messenger-lab4-postgres-1 Waiting
|
||||
Container messenger-lab4-bucket-init-1 Started
|
||||
Container messenger-lab4-postgres-1 Healthy
|
||||
Container messenger-lab4-migrate-1 Starting
|
||||
Container messenger-lab4-migrate-1 Started
|
||||
Container messenger-lab4-bucket-init-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-bucket-init-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Waiting
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-bucket-init-1 Exited
|
||||
Container messenger-lab4-bucket-init-1 Exited
|
||||
Container messenger-lab4-api1-1 Starting
|
||||
Container messenger-lab4-migrate-1 Exited
|
||||
Container messenger-lab4-api1-1 Started
|
||||
|
||||
$ /Library/Developer/CommandLineTools/usr/bin/python3 tests/storage_failure.py --base-url http://localhost:8084
|
||||
Container messenger-lab4-s3-1 Stopping
|
||||
Container messenger-lab4-s3-1 Stopped
|
||||
PASS: S3 down returns 503 for readiness and upload
|
||||
Container messenger-lab4-s3-1 Starting
|
||||
Container messenger-lab4-s3-1 Started
|
||||
PASS: S3 restored
|
||||
|
||||
Checking private bucket from internal network
|
||||
PASS: anonymous GET of existing S3 object denied: 403
|
||||
|
||||
$ docker compose ps
|
||||
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||
messenger-lab4-api1-1 messenger-lab4-api1 "uvicorn app.main:ap…" api1 2 minutes ago Up 32 seconds (healthy)
|
||||
messenger-lab4-api2-1 messenger-lab4-api2 "uvicorn app.main:ap…" api2 2 minutes ago Up About a minute (healthy)
|
||||
messenger-lab4-lb-1 haproxy:3.0.10-alpine "docker-entrypoint.s…" lb 3 minutes ago Up About a minute 127.0.0.1:8084->8080/tcp
|
||||
messenger-lab4-postgres-1 postgres:16.8-alpine "docker-entrypoint.s…" postgres 3 minutes ago Up About a minute (healthy) 5432/tcp
|
||||
messenger-lab4-s3-1 chrislusf/seaweedfs:3.85 "/entrypoint.sh serv…" s3 3 minutes ago Up 25 seconds 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
|
||||
|
||||
PASS: all recorded checks
|
||||
@@ -0,0 +1,26 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 256
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
timeout connect 1s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
retries 2
|
||||
option redispatch
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
frontend public
|
||||
bind *:8080
|
||||
default_backend apis
|
||||
backend apis
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
server api1 api1:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
|
||||
server api2 api2:8000 check inter 1s fall 2 rise 1 resolvers docker init-addr libc,none
|
||||
@@ -0,0 +1 @@
|
||||
{"identities":[{"name":"lab-api","credentials":[{"accessKey":"localminio","secretKey":"local-minio-password-only"}],"actions":["Admin","Read","Write","List","Tagging"]}]}
|
||||
@@ -0,0 +1,7 @@
|
||||
CREATE TABLE IF NOT EXISTS users(id uuid PRIMARY KEY, username text NOT NULL UNIQUE, password text NOT NULL, doc jsonb NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS sessions(token text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users, expires_at timestamptz NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS chats(id uuid PRIMARY KEY, doc jsonb NOT NULL);
|
||||
CREATE TABLE IF NOT EXISTS messages(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, sender_id uuid NOT NULL REFERENCES users, idem_key text NOT NULL, body jsonb NOT NULL, doc jsonb NOT NULL, saved_at timestamptz NOT NULL DEFAULT now());
|
||||
CREATE INDEX IF NOT EXISTS messages_replay ON messages(sender_id,chat_id,idem_key,saved_at);
|
||||
CREATE INDEX IF NOT EXISTS messages_page ON messages(chat_id,(doc->>'created_at'),id);
|
||||
CREATE TABLE IF NOT EXISTS attachments(id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats, doc jsonb NOT NULL);
|
||||
@@ -0,0 +1,7 @@
|
||||
fastapi==0.115.12
|
||||
uvicorn==0.34.2
|
||||
psycopg[binary]==3.2.9
|
||||
argon2-cffi==23.1.0
|
||||
jsonschema==4.23.0
|
||||
boto3==1.38.23
|
||||
Pillow==11.2.1
|
||||
Executable
+4
@@ -0,0 +1,4 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose restart postgres s3 api1 api2 lb
|
||||
Executable
+15
@@ -0,0 +1,15 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
|
||||
for service in api1 api2; do
|
||||
cid=$(docker compose ps -q "$service")
|
||||
[ -n "$cid" ] || continue
|
||||
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$cid")
|
||||
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
|
||||
docker compose stop -t 2 "$service"
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
echo 'Target instance not found' >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,75 @@
|
||||
"""Reproduce acceptance evidence without printing credentials or tokens."""
|
||||
import datetime
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
|
||||
os.chdir(Path(__file__).resolve().parents[1])
|
||||
lab = json.load(open('lab.json'))['number']
|
||||
base = 'http://localhost:'+('8080' if lab==3 else '8084')
|
||||
|
||||
def command(*args):
|
||||
print('\n$ '+' '.join(args),flush=True)
|
||||
subprocess.run(args,check=True)
|
||||
|
||||
|
||||
def wait():
|
||||
for _ in range(90):
|
||||
try:
|
||||
with urllib.request.urlopen(base+'/health/ready',timeout=3) as response:
|
||||
if response.status == 200:
|
||||
statuses = subprocess.check_output(['docker','compose','ps','--format','json','api1','api2'],text=True)
|
||||
docs = [json.loads(line) for line in statuses.splitlines() if line.strip()]
|
||||
if len(docs)==2 and all(d.get('Health')=='healthy' for d in docs):
|
||||
return
|
||||
except Exception:
|
||||
pass
|
||||
time.sleep(1)
|
||||
raise RuntimeError('Stand did not become ready')
|
||||
|
||||
|
||||
def state():
|
||||
ids = subprocess.check_output(['docker','compose','ps','-q'],text=True).split()
|
||||
command('docker','inspect','--format','{{.Name}} {{.Config.Hostname}} {{.State.Status}} {{.State.StartedAt}}',*ids)
|
||||
|
||||
print('Verification UTC:',datetime.datetime.now(datetime.timezone.utc).isoformat(),flush=True)
|
||||
command('docker','compose','config','--quiet')
|
||||
wait()
|
||||
command(sys.executable,'scripts/check_contract.py')
|
||||
command('docker','compose','ps')
|
||||
command(sys.executable,'tests/smoke.py','--base-url',base)
|
||||
command(sys.executable,'tests/acceptance_extra.py','--base-url',base)
|
||||
print('\nBefore persistence:',flush=True)
|
||||
state()
|
||||
command(sys.executable,'tests/resilience.py','--mode','persistence','--action-script','scripts/restart.sh','--base-url',base)
|
||||
wait()
|
||||
print('\nAfter persistence:',flush=True)
|
||||
state()
|
||||
command(sys.executable,'tests/resilience.py','--mode','failover','--action-script','scripts/stop-one.sh','--base-url',base)
|
||||
state()
|
||||
command('docker','compose','ps','--all')
|
||||
command('docker','compose','up','-d','api1','api2')
|
||||
wait()
|
||||
if lab==4:
|
||||
command(sys.executable,'tests/attachment_failover.py','--base-url',base)
|
||||
command(sys.executable,'tests/storage_failure.py','--base-url',base)
|
||||
wait()
|
||||
code = '''import os,psycopg,urllib.request,urllib.error
|
||||
with psycopg.connect(os.environ['DATABASE_URL']) as db:
|
||||
ident=str(db.execute('SELECT id FROM attachments LIMIT 1').fetchone()[0])
|
||||
try:
|
||||
urllib.request.urlopen(os.environ['S3_ENDPOINT']+'/'+os.environ['S3_BUCKET']+'/'+ident,timeout=5)
|
||||
except urllib.error.HTTPError as e:
|
||||
assert e.code in (401,403), e.code
|
||||
print('PASS: anonymous GET of existing S3 object denied:',e.code)
|
||||
else:
|
||||
raise AssertionError('Private object publicly accessible')
|
||||
'''
|
||||
print('\nChecking private bucket from internal network',flush=True)
|
||||
subprocess.run(['docker','compose','exec','-T','api1','python','-c',code],check=True)
|
||||
command('docker','compose','ps')
|
||||
print('\nPASS: all recorded checks',flush=True)
|
||||
@@ -0,0 +1,45 @@
|
||||
"""Additional grade-3 checks: concurrent replay and invalid uploads."""
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import uuid
|
||||
import struct
|
||||
import zlib
|
||||
import subprocess
|
||||
from client import Client, LAB, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Extra acceptance checks')
|
||||
c = Client(args.base_url)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
key = uuid.uuid4().hex
|
||||
def send(_):
|
||||
return c.message(alice,chat,'Concurrent retry',key=key)['json']
|
||||
with ThreadPoolExecutor(max_workers=8) as pool:
|
||||
results = list(pool.map(send,range(16)))
|
||||
check(all(r==results[0] for r in results),'concurrent replay created different messages')
|
||||
print('PASS: 16 concurrent retries return one message')
|
||||
if LAB >= 4:
|
||||
path = '/api/v1/chats/'+chat['id']+'/attachments'
|
||||
content = open('tests/fixtures/sample.png','rb').read()
|
||||
c.call('POST',path+'?filename=../x.png',400,actor=alice,raw=content,headers={'Content-Type':'image/png'})
|
||||
c.call('POST',path+'?filename=x.jpg',415,actor=alice,raw=content,headers={'Content-Type':'image/jpeg'})
|
||||
c.call('POST',path+'?filename=x.png',415,actor=alice,raw=b'broken',headers={'Content-Type':'image/png'})
|
||||
c.call('POST',path+'?filename=x.png',413,actor=alice,raw=b'x'*(10485760+1),headers={'Content-Type':'image/png'})
|
||||
# A real valid PNG >40 million pixels, highly compressible on the wire.
|
||||
def chunk(kind, data):
|
||||
return struct.pack('!I',len(data))+kind+data+struct.pack('!I',zlib.crc32(kind+data)&0xffffffff)
|
||||
compressor = zlib.compressobj()
|
||||
compressed = b''.join(compressor.compress(b'\0'*10001) for _ in range(4001))+compressor.flush()
|
||||
huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',10000,4001,8,0,0,0,0))+chunk(b'IDAT',compressed)+chunk(b'IEND',b'')
|
||||
c.call('POST',path+'?filename=huge.png',413,actor=alice,raw=huge,headers={'Content-Type':'image/png'})
|
||||
jpeg = subprocess.check_output(['docker','compose','exec','-T','api1','python','-c',"from PIL import Image; import sys; Image.new('RGB',(8,8),'red').save(sys.stdout.buffer,format='JPEG')"])
|
||||
uploaded = c.call('POST',path+'?filename=real.jpg',201,actor=alice,raw=jpeg,headers={'Content-Type':'image/jpeg'},schema='Attachment')['json']
|
||||
downloaded = c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob)
|
||||
check(downloaded['bytes']==jpeg,'JPEG original changed')
|
||||
other = c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'Another chat','member_ids':[alice['id']]},schema='Chat')['json']
|
||||
c.call('POST','/api/v1/chats/'+other['id']+'/messages',404,actor=alice,body={'text':'','attachment_ids':[uploaded['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
|
||||
print('PASS: real JPEG roundtrip; >40 million pixels rejected; cross-chat attachment rejected')
|
||||
print('PASS: unsafe filename, MIME mismatch, corruption and byte limit')
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,53 @@
|
||||
"""Stop exactly the API that accepted an upload, for each of the two APIs."""
|
||||
import hashlib
|
||||
import os
|
||||
import subprocess
|
||||
import time
|
||||
from client import Client, arguments, check, run
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Upload/download failover on both APIs')
|
||||
c = Client(args.base_url)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
content = open('tests/fixtures/sample.png','rb').read()
|
||||
path = '/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png'
|
||||
for service in ('api1','api2'):
|
||||
cid = subprocess.check_output(['docker','compose','ps','-q',service],text=True).strip()
|
||||
target = subprocess.check_output(['docker','inspect','--format','{{.Config.Hostname}}',cid],text=True).strip()
|
||||
for _ in range(20):
|
||||
uploaded = c.call('POST',path,201,actor=alice,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')
|
||||
if uploaded['headers']['X-Instance-Id'] == target:
|
||||
break
|
||||
else:
|
||||
raise AssertionError('Target API not observed through LB')
|
||||
ident = uploaded['json']['id']
|
||||
c.message(alice,chat,'',attachments=[ident])
|
||||
started = time.monotonic()
|
||||
try:
|
||||
subprocess.run(['scripts/stop-one.sh'],env=dict(os.environ,TARGET_INSTANCE_ID=target),check=True,stdout=subprocess.DEVNULL)
|
||||
while time.monotonic()-started < 10:
|
||||
try:
|
||||
downloaded = c.call('GET','/api/v1/attachments/'+ident+'/content',actor=bob)
|
||||
except Exception:
|
||||
time.sleep(.2)
|
||||
continue
|
||||
check(downloaded['headers']['X-Instance-Id'] != target,'stopped API still responds')
|
||||
check(downloaded['bytes']==content,'original changed')
|
||||
print('PASS:',service,'uploaded; stopped; other API returned SHA-256',hashlib.sha256(content).hexdigest(),'after',round(time.monotonic()-started,3),'seconds',flush=True)
|
||||
break
|
||||
else:
|
||||
raise AssertionError('Download did not recover in 10 seconds')
|
||||
finally:
|
||||
subprocess.run(['docker','compose','start',service],check=True)
|
||||
for _ in range(30):
|
||||
health = subprocess.check_output(['docker','inspect','--format','{{.State.Health.Status}}',cid],text=True).strip()
|
||||
if health == 'healthy':
|
||||
time.sleep(2) # allow HAProxy rise check
|
||||
break
|
||||
time.sleep(1)
|
||||
else:
|
||||
raise AssertionError('API did not recover')
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,39 @@
|
||||
"""Check readiness and upload when S3 is unavailable; always restore S3."""
|
||||
import subprocess
|
||||
import time
|
||||
from client import Client, arguments, run
|
||||
|
||||
|
||||
def main():
|
||||
args = arguments('Storage failure')
|
||||
c = Client(args.base_url)
|
||||
alice,bob,eve,chat = c.bootstrap()
|
||||
data = open('tests/fixtures/sample.png','rb').read()
|
||||
# Call an API inside its container because LB correctly removes unready APIs.
|
||||
code = '''import urllib.request, urllib.error
|
||||
for path, data, headers in CASES:
|
||||
try:
|
||||
r = urllib.request.urlopen(urllib.request.Request('http://localhost:8000'+path,data=data,headers=headers),timeout=10)
|
||||
except urllib.error.HTTPError as e:
|
||||
r = e
|
||||
assert r.code == 503, r.code
|
||||
print('PASS: S3 down returns 503 for readiness and upload')
|
||||
'''
|
||||
cases = [('/health/ready',None,{}),('/api/v1/chats/'+chat['id']+'/attachments?filename=sample.png',data,{'Content-Type':'image/png','Authorization':'Bearer '+alice['token']})]
|
||||
try:
|
||||
subprocess.run(['docker','compose','stop','-t','2','s3'],check=True)
|
||||
subprocess.run(['docker','compose','exec','-T','api1','python','-'],input='CASES='+repr(cases)+'\n'+code,text=True,check=True)
|
||||
finally:
|
||||
subprocess.run(['docker','compose','start','s3'],check=True)
|
||||
for _ in range(60):
|
||||
try:
|
||||
c.call('GET','/health/ready')
|
||||
print('PASS: S3 restored')
|
||||
break
|
||||
except Exception:
|
||||
time.sleep(1)
|
||||
else:
|
||||
raise AssertionError('S3 did not recover')
|
||||
|
||||
if __name__=='__main__':
|
||||
run(main)
|
||||
@@ -0,0 +1,18 @@
|
||||
# Кратко для защиты
|
||||
|
||||
1. Запустить стенд по REPORT.md и показать `docker compose ps`.
|
||||
2. Несколько раз вызвать `/health/ready` с `curl -i`: X-Instance-Id меняется между двумя API.
|
||||
3. Запустить публичный smoke, затем persistence и failover; показать сохранённые результаты.
|
||||
4. Объяснить: сессии в PostgreSQL, поэтому смена API не требует входа.
|
||||
5. Объяснить: Idempotency-Key под общей транзакционной блокировкой не позволяет повторному POST создать дубль.
|
||||
6. Показать stop-one.sh: он останавливает контейнер по ID реально обслужившей API.
|
||||
7. После failover восстановить API: `docker compose up -d api1 api2`.
|
||||
|
||||
Отказ процесса API не равен отказу узла: при потере единственного хоста весь этот стенд недоступен.
|
||||
Healthcheck только сообщает состояние. Именно HAProxy выбирает готовый backend.
|
||||
Basic — кодирование логина и пароля для входа; Bearer — случайный токен действующей серверной сессии.
|
||||
|
||||
Для lab4: метаданные в PostgreSQL, байты в SeaweedFS. Локальный volume одной API не годится:
|
||||
другая API его не увидит. UUID ключа и приватный bucket не заменяют проверку участника чата.
|
||||
201 допустим после успешной записи файла и метаданных. Если S3 записал файл, а БД не сделала COMMIT,
|
||||
останется неучтённый объект; автоматическая очистка относится к следующему уровню и здесь не сделана.
|
||||
@@ -0,0 +1,11 @@
|
||||
# Текст для описания PR — лабораторная 4
|
||||
|
||||
Целевая оценка: 3. Автор: Бахрамов Бахрам, БПИ2303.
|
||||
|
||||
Реализован мессенджер с PostgreSQL, общими сессиями, двумя API за HAProxy и общей транзакционной идемпотентностью отправки сообщений.
|
||||
Добавлены приватное S3-хранилище SeaweedFS, проверка PNG/JPEG и авторизованный доступ к оригиналам.
|
||||
|
||||
Проверки: публичный smoke, concurrent idempotency (16 запросов), persistence с рестартом всех используемых хранилищ, failover через LB. Результаты и состояния контейнеров приложены в evidence/verification.txt.
|
||||
Дополнительно проверены отказ S3, приватность bucket, сохранение оригинала при остановке каждой загрузившей API, MIME/лимиты/повреждённые изображения и вложение другого чата.
|
||||
|
||||
Запуск, решения и ограничения: REPORT.md. Уровни 4/5 не заявлены. Контракт и публичные проверки сохранены.
|
||||
Reference in New Issue
Block a user