forked from mtusi2026/mtusi2026lab4
Compare commits
1
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
6fd4f402aa |
@@ -18,3 +18,10 @@ __pycache__
|
|||||||
node_modules
|
node_modules
|
||||||
evidence
|
evidence
|
||||||
.DS_Store
|
.DS_Store
|
||||||
|
.git
|
||||||
|
.env
|
||||||
|
.venv
|
||||||
|
__pycache__
|
||||||
|
.pytest_cache
|
||||||
|
*.pyc
|
||||||
|
evidence
|
||||||
@@ -18,3 +18,6 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
|
|||||||
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
|
||||||
MAX_UPLOAD_BYTES=10485760
|
MAX_UPLOAD_BYTES=10485760
|
||||||
MAX_IMAGE_PIXELS=40000000
|
MAX_IMAGE_PIXELS=40000000
|
||||||
|
S3_ACCESS_KEY=change-me
|
||||||
|
S3_SECRET_KEY=change-me-too
|
||||||
|
S3_BUCKET=messenger-attachments
|
||||||
@@ -30,3 +30,8 @@ coverage/
|
|||||||
.vscode/
|
.vscode/
|
||||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||||
|
.env
|
||||||
|
.venv/
|
||||||
|
__pycache__/
|
||||||
|
*.pyc
|
||||||
|
evidence/*.tmp
|
||||||
+17
@@ -0,0 +1,17 @@
|
|||||||
|
FROM python:3.12-slim
|
||||||
|
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
COPY requirements.txt .
|
||||||
|
|
||||||
|
RUN pip install --no-cache-dir -r requirements.txt
|
||||||
|
|
||||||
|
COPY src/ ./src/
|
||||||
|
COPY migrations/ ./migrations/
|
||||||
|
|
||||||
|
ENV HOST=0.0.0.0
|
||||||
|
ENV PORT=8080
|
||||||
|
|
||||||
|
EXPOSE 8080
|
||||||
|
|
||||||
|
CMD ["uvicorn", "src.main:app", "--host", "0.0.0.0", "--port", "8080", "--workers", "1"]
|
||||||
@@ -1,37 +1,147 @@
|
|||||||
# Отчёт — лабораторная 4
|
# Отчёт — лабораторная 4
|
||||||
|
|
||||||
- Автор, группа: TODO
|
- **Автор, группа:** Матвиенко, БПИ2304
|
||||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
- **Целевая оценка:** 3
|
||||||
- Commit/PR: TODO после публикации
|
- **Commit/PR:** добавить после публикации
|
||||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
- **Использованные источники, библиотеки и помощь ИИ:** материалы курса, OpenAPI-контракт и публичные тесты; Python 3.12, FastAPI, Uvicorn, psycopg, boto3, Pillow, PostgreSQL 16, RustFS 1.0.3, Nginx 1.29, Docker Compose. Помощь ИИ использовалась при разработке, отладке и оформлении отчёта.
|
||||||
|
|
||||||
## Запуск из чистого clone
|
## Запуск из чистого clone
|
||||||
|
|
||||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
Для запуска необходимы Docker Desktop с Docker Compose, Git и WSL Ubuntu с Python 3 и Make.
|
||||||
|
|
||||||
|
В корне проекта создать `.env` с локальными значениями:
|
||||||
|
|
||||||
|
```dotenv
|
||||||
|
POSTGRES_PASSWORD=<локальный_пароль>
|
||||||
|
SESSION_TTL_SECONDS=3600
|
||||||
|
S3_ACCESS_KEY=<локальный_ключ>
|
||||||
|
S3_SECRET_KEY=<локальный_секрет>
|
||||||
|
S3_BUCKET=messenger-attachments
|
||||||
|
```
|
||||||
|
|
||||||
|
Секреты не должны попадать в Git. Адрес S3 внутри Docker-сети: `http://minio:9000` (сервис `minio` использует RustFS).
|
||||||
|
|
||||||
|
Сборка и запуск:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose up -d --build
|
||||||
|
docker compose ps -a
|
||||||
|
curl http://127.0.0.1:8080/health/ready
|
||||||
|
```
|
||||||
|
|
||||||
|
Сервис `migrate` применяет SQL-миграции до запуска API, а `s3-init` создаёт приватный bucket. Повторная проверка:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose run --rm --no-deps migrate
|
||||||
|
docker compose run --rm s3-init
|
||||||
|
```
|
||||||
|
|
||||||
|
Публичные проверки:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
make test
|
||||||
|
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||||
|
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
После проверок восстановить обе API-реплики:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose up -d --wait api1 api2
|
||||||
|
```
|
||||||
|
|
||||||
|
Безопасная остановка с сохранением данных:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose down
|
||||||
|
```
|
||||||
|
|
||||||
|
Намеренное удаление учебных данных и постоянных томов:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose down -v
|
||||||
|
```
|
||||||
|
|
||||||
## Архитектура и решения
|
## Архитектура и решения
|
||||||
|
|
||||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
**Схема:** клиент → Nginx → API1 / API2 → PostgreSQL + RustFS (S3).
|
||||||
|
|
||||||
|
Единая точка входа — `localhost:8080`. Nginx балансирует запросы между двумя независимыми экземплярами FastAPI. PostgreSQL является источником истины для пользователей, сессий, чатов, сообщений и метаданных вложений. Оригинальные файлы сохраняются в приватном S3-bucket RustFS, а не в PostgreSQL или локальных каталогах API.
|
||||||
|
|
||||||
|
Из lab3 перенесены регистрация, аутентификация, чаты, сообщения, идемпотентность, балансировка и проверка отказа реплики.
|
||||||
|
|
||||||
|
В lab4 добавлены:
|
||||||
|
- Загрузка оригинальных PNG/JPEG и авторизованное скачивание через API.
|
||||||
|
- Проверка MIME по содержимому, контроль размера до 10 MiB и количества пикселей до 40 миллионов.
|
||||||
|
- Проверка имени файла и создание серверного S3 object key.
|
||||||
|
- Таблицы `attachments` и `message_attachments`.
|
||||||
|
- Привязка изображений к сообщениям через `attachment_ids`.
|
||||||
|
- Проверка доступа к чату перед получением метаданных и скачиванием.
|
||||||
|
- Постоянный Docker volume для S3-хранилища.
|
||||||
|
|
||||||
|
Сначала оригинал сохраняется в S3, затем в PostgreSQL фиксируются метаданные со статусом `ready`. При ошибке записи метаданных выполняется попытка удалить S3-объект. Полностью атомарной транзакции между PostgreSQL и S3 нет. Создание сообщения, привязка вложений и запись ключа идемпотентности выполняются в одной транзакции PostgreSQL.
|
||||||
|
|
||||||
|
В `.env.example` используются параметры `POSTGRES_PASSWORD`, `SESSION_TTL_SECONDS`, `S3_ACCESS_KEY`, `S3_SECRET_KEY` и `S3_BUCKET`; внутренний `S3_ENDPOINT` задаётся в Compose.
|
||||||
|
|
||||||
## Доказательства критериев
|
## Доказательства критериев
|
||||||
|
|
||||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
| Критерий | Команда / сценарий | Наблюдаемый результат | Доказательство |
|
||||||
| --- | --- | --- | --- |
|
|---|---|---|---|
|
||||||
| Публичный smoke | make test | TODO | TODO |
|
| Публичный API | `make test` | PASS, включая сценарий вложений | `evidence/smoke.txt` |
|
||||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
| Две API-реплики | Проверка `X-Instance-Id` | Два разных UUID | `evidence/instances.txt` |
|
||||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
| Отказ API-реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS, 121 успешная запись, 0 ошибок | `evidence/failover.txt` |
|
||||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
| Восстановление записи | Failover-сценарий | 0,903 секунды | `evidence/failover.txt` |
|
||||||
|
| Сохранность данных | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS, подтверждённые данные и сессия сохранены | `evidence/persistence.txt` |
|
||||||
|
| PostgreSQL и S3 | `docker compose ps -a` | Хранилища запущены, API-реплики healthy | `evidence/containers.txt` |
|
||||||
|
| SQL-миграции | `docker compose run --rm --no-deps migrate` | Миграции применены | Журнал миграций |
|
||||||
|
| Реальный перезапуск хранилищ | Скрипт `restart.sh`, `docker inspect` | PostgreSQL и RustFS перезапущены | `evidence/restart-after.txt`, журнал действия |
|
||||||
|
|
||||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
Уровень 4 и трек 5 не заявлены.
|
||||||
|
|
||||||
## Эксперименты и отказы
|
## Эксперименты и отказы
|
||||||
|
|
||||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
**Гипотеза:** при остановке одной API-реплики запросы продолжат обрабатываться второй, поскольку метаданные и оригиналы изображений находятся в общих хранилищах. После перезапуска PostgreSQL и RustFS данные должны сохраниться благодаря постоянным Docker volumes.
|
||||||
|
|
||||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
**Среда:** локальный стенд Windows / WSL Ubuntu / Docker Desktop, Python 3.12, PostgreSQL 16, RustFS 1.0.3, две API-реплики, Nginx 1.29.
|
||||||
| --- | --- | --- | --- |
|
|
||||||
| TODO | TODO | TODO | TODO |
|
Публичный smoke-тест завершился успешно:
|
||||||
|
|
||||||
|
```text
|
||||||
|
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||||
|
```
|
||||||
|
|
||||||
|
Результаты failover-теста:
|
||||||
|
|
||||||
|
```text
|
||||||
|
observed_instances_before: 2
|
||||||
|
successful_writes: 121
|
||||||
|
failed_attempts: 0
|
||||||
|
first_recovery_seconds: 0.903
|
||||||
|
PASS: failover preserved confirmed data and existing session.
|
||||||
|
```
|
||||||
|
|
||||||
|
Persistence-тест:
|
||||||
|
|
||||||
|
```text
|
||||||
|
PASS: persistence preserved confirmed data and existing session.
|
||||||
|
```
|
||||||
|
|
||||||
|
| Воздействие | Ожидание | Результат | Восстановление / данные |
|
||||||
|
|---|---|---|---|
|
||||||
|
| Остановка одной API-реплики | Продолжение работы через вторую | PASS, 121 запись, 0 ошибок | 0,903 с, подтверждённые данные сохранены |
|
||||||
|
| Перезапуск PostgreSQL и RustFS | Сохранение данных и сессии | PASS | Потеря подтверждённых данных не выявлена |
|
||||||
|
| Загрузка и чтение PNG/JPEG | Совпадение оригинала и проверка прав доступа | Smoke PASS | Проверка целостности выполнена публичным сценарием |
|
||||||
|
|
||||||
|
После проверок обе API-реплики восстановлены и имеют разные `X-Instance-Id`.
|
||||||
|
|
||||||
|
Публичные тесты не являются полноценным нагрузочным испытанием. Отдельные измерения RPS, p50/p95/p99, CPU/RAM, точного профиля параллелизма и длительности прогрева не проводились.
|
||||||
|
|
||||||
## Ограничения и следующие шаги
|
## Ограничения и следующие шаги
|
||||||
|
|
||||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
Реализация выдерживает отказ одной API-реплики и перезапуск контейнеров с сохранением volumes. PostgreSQL, RustFS и Nginx остаются едиными точками отказа.
|
||||||
|
|
||||||
|
Для хранения оригиналов применяется синхронная загрузка без фоновой обработки и генерации превью. При редком сбое между записью в S3 и фиксацией метаданных возможен временно неиспользуемый объект, поэтому в дальнейшем полезно добавить очистку таких объектов.
|
||||||
|
|
||||||
|
Следующие улучшения: резервирование PostgreSQL и S3, мониторинг, резервное копирование и нагрузочные испытания.
|
||||||
|
|
||||||
|
**Вывод:** реализовано общее S3-хранилище изображений для двух API-реплик. Публичный smoke, persistence и failover пройдены. При отказе реплики выполнена 121 успешная запись без ошибок, восстановление заняло 0,903 секунды.
|
||||||
+105
@@ -0,0 +1,105 @@
|
|||||||
|
|
||||||
|
services:
|
||||||
|
db:
|
||||||
|
image: postgres:16-alpine
|
||||||
|
environment:
|
||||||
|
POSTGRES_DB: messenger
|
||||||
|
POSTGRES_USER: messenger
|
||||||
|
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Set POSTGRES_PASSWORD in .env}
|
||||||
|
volumes:
|
||||||
|
- postgres_data:/var/lib/postgresql/data
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||||||
|
interval: 5s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 20
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
minio:
|
||||||
|
image: rustfs/rustfs:1.0.3
|
||||||
|
command: ["/data"]
|
||||||
|
environment:
|
||||||
|
RUSTFS_ACCESS_KEY: ${S3_ACCESS_KEY:?Set S3_ACCESS_KEY in .env}
|
||||||
|
RUSTFS_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY in .env}
|
||||||
|
RUSTFS_ADDRESS: ":9000"
|
||||||
|
volumes:
|
||||||
|
- minio_data:/data
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
s3-init:
|
||||||
|
build: .
|
||||||
|
command: ["python", "-m", "src.s3_setup"]
|
||||||
|
environment: &s3_env
|
||||||
|
S3_ENDPOINT: http://minio:9000
|
||||||
|
S3_ACCESS_KEY: ${S3_ACCESS_KEY}
|
||||||
|
S3_SECRET_KEY: ${S3_SECRET_KEY}
|
||||||
|
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||||||
|
depends_on:
|
||||||
|
minio:
|
||||||
|
condition: service_started
|
||||||
|
restart: "no"
|
||||||
|
|
||||||
|
migrate:
|
||||||
|
build: .
|
||||||
|
command: ["python", "-m", "src.migrate"]
|
||||||
|
environment:
|
||||||
|
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
|
||||||
|
depends_on:
|
||||||
|
db:
|
||||||
|
condition: service_healthy
|
||||||
|
restart: "no"
|
||||||
|
|
||||||
|
api1:
|
||||||
|
build: .
|
||||||
|
environment:
|
||||||
|
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
|
||||||
|
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||||
|
<<: *s3_env
|
||||||
|
depends_on:
|
||||||
|
migrate:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
s3-init:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=3)"]
|
||||||
|
interval: 5s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 20
|
||||||
|
stop_grace_period: 15s
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
api2:
|
||||||
|
build: .
|
||||||
|
environment:
|
||||||
|
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
|
||||||
|
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||||
|
<<: *s3_env
|
||||||
|
depends_on:
|
||||||
|
migrate:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
s3-init:
|
||||||
|
condition: service_completed_successfully
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=3)"]
|
||||||
|
interval: 5s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 20
|
||||||
|
stop_grace_period: 15s
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
nginx:
|
||||||
|
image: nginx:1.29-alpine
|
||||||
|
ports:
|
||||||
|
- "127.0.0.1:8080:80"
|
||||||
|
volumes:
|
||||||
|
- ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
|
||||||
|
depends_on:
|
||||||
|
api1:
|
||||||
|
condition: service_healthy
|
||||||
|
api2:
|
||||||
|
condition: service_healthy
|
||||||
|
restart: unless-stopped
|
||||||
|
|
||||||
|
volumes:
|
||||||
|
postgres_data:
|
||||||
|
minio_data:
|
||||||
@@ -0,0 +1,8 @@
|
|||||||
|
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
|
||||||
|
mtusi2026lab4-api1-1 mtusi2026lab4-api1 "uvicorn src.main:ap…" api1 8 minutes ago Up 15 seconds (healthy) 8080/tcp
|
||||||
|
mtusi2026lab4-api2-1 mtusi2026lab4-api2 "uvicorn src.main:ap…" api2 8 minutes ago Up 15 seconds (healthy) 8080/tcp
|
||||||
|
mtusi2026lab4-db-1 postgres:16-alpine "docker-entrypoint.s…" db 22 minutes ago Up 22 seconds (healthy) 5432/tcp
|
||||||
|
mtusi2026lab4-migrate-1 mtusi2026lab4-migrate "python -m src.migra…" migrate 4 minutes ago Exited (0) Less than a second ago
|
||||||
|
mtusi2026lab4-minio-1 rustfs/rustfs:1.0.3 "/entrypoint.sh /data" minio 22 minutes ago Up 22 seconds 9000-9001/tcp
|
||||||
|
mtusi2026lab4-nginx-1 nginx:1.29-alpine "/docker-entrypoint.…" nginx 22 minutes ago Up 2 minutes 127.0.0.1:8080->80/tcp
|
||||||
|
mtusi2026lab4-s3-init-1 mtusi2026lab4-s3-init "python -m src.s3_se…" s3-init 8 minutes ago Exited (0) 1 second ago
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
|
||||||
|
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||||
|
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 0.903}
|
||||||
|
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
api1:
|
||||||
|
129285ef-99ed-475b-b17a-89a955089156
|
||||||
|
api2:
|
||||||
|
ff71cea4-7b02-4f29-9931-b67b51594a6c
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
Already applied: 001_initial.sql
|
||||||
|
Already applied: 002_idempotency.sql
|
||||||
|
Already applied: 003_attachments.sql
|
||||||
|
Already applied: 004_allow_empty_message_text.sql
|
||||||
|
Migrations completed
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
|
||||||
|
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||||
|
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
/mtusi2026lab4-api1-1 2026-11-16T20:10:56.252894727Z
|
||||||
|
/mtusi2026lab4-api2-1 2026-11-16T20:10:56.255219312Z
|
||||||
|
/mtusi2026lab4-db-1 2026-11-16T20:10:49.101014076Z
|
||||||
|
/mtusi2026lab4-minio-1 2026-11-16T20:10:49.012555397Z
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
/mtusi2026lab4-api1-1 2026-11-16T20:07:21.532908614Z
|
||||||
|
/mtusi2026lab4-db-1 2026-11-16T20:07:14.361368694Z
|
||||||
|
/mtusi2026lab4-minio-1 2026-11-16T20:07:14.222524846Z
|
||||||
@@ -0,0 +1,4 @@
|
|||||||
|
api1:
|
||||||
|
['messenger-attachments']
|
||||||
|
api2:
|
||||||
|
['messenger-attachments']
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||||
|
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||||
@@ -0,0 +1,74 @@
|
|||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS users (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
username VARCHAR(32) NOT NULL UNIQUE,
|
||||||
|
display_name VARCHAR(100) NOT NULL,
|
||||||
|
password_hash TEXT NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
|
||||||
|
|
||||||
|
CONSTRAINT username_format
|
||||||
|
CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||||
|
CONSTRAINT display_name_length
|
||||||
|
CHECK (char_length(display_name) BETWEEN 1 AND 100),
|
||||||
|
CONSTRAINT display_name_not_blank
|
||||||
|
CHECK (length(btrim(display_name)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS chats (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
title VARCHAR(100) NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
|
||||||
|
|
||||||
|
CONSTRAINT title_not_blank
|
||||||
|
CHECK (length(btrim(title)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS chat_members (
|
||||||
|
chat_id UUID NOT NULL
|
||||||
|
REFERENCES chats(id) ON DELETE CASCADE,
|
||||||
|
user_id UUID NOT NULL
|
||||||
|
REFERENCES users(id),
|
||||||
|
position INTEGER NOT NULL,
|
||||||
|
|
||||||
|
PRIMARY KEY (chat_id, user_id),
|
||||||
|
UNIQUE (chat_id, position)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS messages (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
chat_id UUID NOT NULL
|
||||||
|
REFERENCES chats(id) ON DELETE CASCADE,
|
||||||
|
sender_id UUID NOT NULL
|
||||||
|
REFERENCES users(id),
|
||||||
|
text TEXT NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
|
||||||
|
|
||||||
|
CONSTRAINT message_length
|
||||||
|
CHECK (char_length(text) BETWEEN 1 AND 4000),
|
||||||
|
CONSTRAINT message_not_blank
|
||||||
|
CHECK (length(btrim(text)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS sessions (
|
||||||
|
token_hash CHAR(64) PRIMARY KEY,
|
||||||
|
user_id UUID NOT NULL
|
||||||
|
REFERENCES users(id) ON DELETE CASCADE,
|
||||||
|
expires_at TIMESTAMPTZ NOT NULL,
|
||||||
|
revoked BOOLEAN NOT NULL DEFAULT FALSE,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp()
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_chat_members_user
|
||||||
|
ON chat_members(user_id, chat_id);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_chats_order
|
||||||
|
ON chats(created_at, id);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_messages_history
|
||||||
|
ON messages(chat_id, created_at, id);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_sessions_user
|
||||||
|
ON sessions(user_id);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_sessions_expiry
|
||||||
|
ON sessions(expires_at);
|
||||||
@@ -0,0 +1,14 @@
|
|||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS message_idempotency (
|
||||||
|
user_id UUID NOT NULL REFERENCES users(id),
|
||||||
|
chat_id UUID NOT NULL REFERENCES chats(id),
|
||||||
|
idempotency_key VARCHAR(128) NOT NULL,
|
||||||
|
request_hash CHAR(64) NOT NULL,
|
||||||
|
message_id UUID NOT NULL REFERENCES messages(id),
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
|
||||||
|
|
||||||
|
PRIMARY KEY (user_id, chat_id, idempotency_key)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_idempotency_created
|
||||||
|
ON message_idempotency(created_at);
|
||||||
@@ -0,0 +1,34 @@
|
|||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS attachments (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
chat_id UUID NOT NULL REFERENCES chats(id),
|
||||||
|
uploader_id UUID NOT NULL REFERENCES users(id),
|
||||||
|
filename TEXT NOT NULL,
|
||||||
|
content_type TEXT NOT NULL,
|
||||||
|
size_bytes BIGINT NOT NULL,
|
||||||
|
sha256 CHAR(64) NOT NULL,
|
||||||
|
object_key TEXT NOT NULL UNIQUE,
|
||||||
|
width INTEGER NOT NULL,
|
||||||
|
height INTEGER NOT NULL,
|
||||||
|
status TEXT NOT NULL DEFAULT 'ready',
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW(),
|
||||||
|
|
||||||
|
CONSTRAINT attachment_size_valid
|
||||||
|
CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||||
|
|
||||||
|
CONSTRAINT attachment_dimensions_valid
|
||||||
|
CHECK (width > 0 AND height > 0),
|
||||||
|
|
||||||
|
CONSTRAINT attachment_status_valid
|
||||||
|
CHECK (status IN ('ready', 'failed'))
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX IF NOT EXISTS idx_attachments_chat
|
||||||
|
ON attachments(chat_id);
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||||
|
message_id UUID NOT NULL REFERENCES messages(id),
|
||||||
|
attachment_id UUID NOT NULL REFERENCES attachments(id),
|
||||||
|
|
||||||
|
PRIMARY KEY (message_id, attachment_id)
|
||||||
|
);
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
|
||||||
|
-- Lab4: messages with attachments may have empty text.
|
||||||
|
-- The API checks that a message contains text or attachments.
|
||||||
|
|
||||||
|
ALTER TABLE messages
|
||||||
|
DROP CONSTRAINT IF EXISTS message_length;
|
||||||
|
|
||||||
|
ALTER TABLE messages
|
||||||
|
DROP CONSTRAINT IF EXISTS message_not_blank;
|
||||||
|
|
||||||
|
ALTER TABLE messages
|
||||||
|
ADD CONSTRAINT message_length
|
||||||
|
CHECK (char_length(text) <= 4000);
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
events {
|
||||||
|
worker_connections 1024;
|
||||||
|
}
|
||||||
|
|
||||||
|
http {
|
||||||
|
resolver 127.0.0.11 valid=2s ipv6=off;
|
||||||
|
resolver_timeout 2s;
|
||||||
|
|
||||||
|
upstream messenger_api {
|
||||||
|
zone messenger_api 64k;
|
||||||
|
|
||||||
|
server api1:8080 resolve max_fails=1 fail_timeout=2s;
|
||||||
|
server api2:8080 resolve max_fails=1 fail_timeout=2s;
|
||||||
|
}
|
||||||
|
|
||||||
|
server {
|
||||||
|
client_max_body_size 11m;
|
||||||
|
listen 80;
|
||||||
|
|
||||||
|
location / {
|
||||||
|
proxy_pass http://messenger_api;
|
||||||
|
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
|
||||||
|
proxy_set_header Host $host;
|
||||||
|
proxy_set_header X-Real-IP $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||||
|
|
||||||
|
proxy_connect_timeout 2s;
|
||||||
|
proxy_read_timeout 30s;
|
||||||
|
proxy_send_timeout 30s;
|
||||||
|
|
||||||
|
proxy_next_upstream error timeout http_502 http_503 http_504;
|
||||||
|
proxy_next_upstream_tries 2;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,6 @@
|
|||||||
|
fastapi==0.115.12
|
||||||
|
uvicorn==0.34.2
|
||||||
|
psycopg[binary]==3.2.6
|
||||||
|
argon2-cffi==23.1.0
|
||||||
|
boto3==1.40.70
|
||||||
|
Pillow==11.2.1
|
||||||
@@ -0,0 +1,21 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
|
||||||
|
echo "Stopping API replicas..."
|
||||||
|
docker compose stop api1 api2
|
||||||
|
|
||||||
|
echo "Restarting PostgreSQL and S3..."
|
||||||
|
docker compose restart db minio
|
||||||
|
|
||||||
|
echo "Waiting for PostgreSQL..."
|
||||||
|
docker compose up -d --wait db
|
||||||
|
|
||||||
|
echo "Checking S3 bucket..."
|
||||||
|
docker compose run --rm --no-deps s3-init
|
||||||
|
|
||||||
|
echo "Starting API replicas..."
|
||||||
|
docker compose up -d --wait api1 api2
|
||||||
|
|
||||||
|
echo "Restart complete. Volumes preserved."
|
||||||
@@ -0,0 +1,33 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
cd "$(dirname "$0")/.."
|
||||||
|
|
||||||
|
if [[ -z "${TARGET_INSTANCE_ID:-}" ]]; then
|
||||||
|
echo "TARGET_INSTANCE_ID is not set" >&2
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
for service in api1 api2; do
|
||||||
|
instance_id=$(
|
||||||
|
docker compose exec -T "$service" python -c '
|
||||||
|
import urllib.request
|
||||||
|
|
||||||
|
response = urllib.request.urlopen(
|
||||||
|
"http://127.0.0.1:8080/health/live",
|
||||||
|
timeout=2
|
||||||
|
)
|
||||||
|
|
||||||
|
print(response.headers.get("X-Instance-Id", ""))
|
||||||
|
' 2>/dev/null
|
||||||
|
) || continue
|
||||||
|
|
||||||
|
if [[ "$instance_id" == "$TARGET_INSTANCE_ID" ]]; then
|
||||||
|
echo "Stopping $service"
|
||||||
|
docker compose stop -t 2 "$service"
|
||||||
|
exit 0
|
||||||
|
fi
|
||||||
|
done
|
||||||
|
|
||||||
|
echo "Target API instance not found" >&2
|
||||||
|
exit 1
|
||||||
@@ -0,0 +1,110 @@
|
|||||||
|
|
||||||
|
import io
|
||||||
|
import re
|
||||||
|
import uuid
|
||||||
|
import hashlib
|
||||||
|
|
||||||
|
from PIL import Image, UnidentifiedImageError
|
||||||
|
|
||||||
|
|
||||||
|
MAX_BYTES = 10 * 1024 * 1024
|
||||||
|
MAX_PIXELS = 40_000_000
|
||||||
|
|
||||||
|
|
||||||
|
def valid_filename(filename):
|
||||||
|
if not isinstance(filename, str):
|
||||||
|
return False
|
||||||
|
|
||||||
|
if not 1 <= len(filename) <= 255:
|
||||||
|
return False
|
||||||
|
|
||||||
|
if filename.strip() == "":
|
||||||
|
return False
|
||||||
|
|
||||||
|
if "/" in filename or "\\" in filename:
|
||||||
|
return False
|
||||||
|
|
||||||
|
if any(ord(ch) < 32 or ord(ch) == 127 for ch in filename):
|
||||||
|
return False
|
||||||
|
|
||||||
|
return True
|
||||||
|
|
||||||
|
|
||||||
|
def inspect_image(data, declared_mime):
|
||||||
|
if len(data) > MAX_BYTES:
|
||||||
|
raise ValueError("too_large")
|
||||||
|
|
||||||
|
if not data:
|
||||||
|
raise ValueError("invalid_image")
|
||||||
|
|
||||||
|
if declared_mime not in ("image/png", "image/jpeg"):
|
||||||
|
raise ValueError("invalid_image")
|
||||||
|
|
||||||
|
try:
|
||||||
|
with Image.open(io.BytesIO(data)) as image:
|
||||||
|
image_format = image.format
|
||||||
|
|
||||||
|
width, height = image.size
|
||||||
|
|
||||||
|
if width * height > MAX_PIXELS:
|
||||||
|
raise ValueError("too_many_pixels")
|
||||||
|
|
||||||
|
if image_format not in ("PNG", "JPEG"):
|
||||||
|
raise ValueError("invalid_image")
|
||||||
|
|
||||||
|
actual_mime = (
|
||||||
|
"image/png"
|
||||||
|
if image_format == "PNG"
|
||||||
|
else "image/jpeg"
|
||||||
|
)
|
||||||
|
|
||||||
|
if declared_mime != actual_mime:
|
||||||
|
raise ValueError("invalid_image")
|
||||||
|
|
||||||
|
image.verify()
|
||||||
|
|
||||||
|
except Image.DecompressionBombError:
|
||||||
|
raise ValueError("too_many_pixels")
|
||||||
|
except (
|
||||||
|
UnidentifiedImageError,
|
||||||
|
OSError,
|
||||||
|
SyntaxError,
|
||||||
|
EOFError,
|
||||||
|
):
|
||||||
|
raise ValueError("invalid_image")
|
||||||
|
|
||||||
|
return {
|
||||||
|
"content_type": actual_mime,
|
||||||
|
"width": width,
|
||||||
|
"height": height,
|
||||||
|
"size_bytes": len(data),
|
||||||
|
"sha256": hashlib.sha256(data).hexdigest(),
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
def attachment_json(row):
|
||||||
|
created_at = row["created_at"].astimezone(
|
||||||
|
__import__("datetime").timezone.utc
|
||||||
|
).isoformat(
|
||||||
|
timespec="microseconds"
|
||||||
|
).replace("+00:00", "Z")
|
||||||
|
|
||||||
|
return {
|
||||||
|
"id": str(row["id"]),
|
||||||
|
"chat_id": str(row["chat_id"]),
|
||||||
|
"owner_id": str(row["uploader_id"]),
|
||||||
|
"filename": row["filename"],
|
||||||
|
"content_type": row["content_type"],
|
||||||
|
"size_bytes": row["size_bytes"],
|
||||||
|
"sha256": row["sha256"],
|
||||||
|
"status": row["status"],
|
||||||
|
"variants": [],
|
||||||
|
"error_code": None,
|
||||||
|
"created_at": created_at,
|
||||||
|
"updated_at": created_at,
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def object_key():
|
||||||
|
return f"originals/{uuid.uuid4()}"
|
||||||
+1142
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,53 @@
|
|||||||
|
|
||||||
|
import os
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import psycopg
|
||||||
|
|
||||||
|
|
||||||
|
DATABASE_URL = os.environ["DATABASE_URL"]
|
||||||
|
MIGRATIONS_DIR = Path(__file__).resolve().parent.parent / "migrations"
|
||||||
|
|
||||||
|
|
||||||
|
def run_migrations():
|
||||||
|
with psycopg.connect(DATABASE_URL) as conn:
|
||||||
|
with conn.cursor() as cur:
|
||||||
|
# Prevent simultaneous migration runs.
|
||||||
|
cur.execute("SELECT pg_advisory_xact_lock(2026002)")
|
||||||
|
|
||||||
|
cur.execute("""
|
||||||
|
CREATE TABLE IF NOT EXISTS schema_migrations (
|
||||||
|
version TEXT PRIMARY KEY,
|
||||||
|
applied_at TIMESTAMPTZ NOT NULL
|
||||||
|
DEFAULT clock_timestamp()
|
||||||
|
)
|
||||||
|
""")
|
||||||
|
|
||||||
|
for file in sorted(MIGRATIONS_DIR.glob("*.sql")):
|
||||||
|
cur.execute(
|
||||||
|
"SELECT 1 FROM schema_migrations WHERE version = %s",
|
||||||
|
(file.name,)
|
||||||
|
)
|
||||||
|
|
||||||
|
if cur.fetchone():
|
||||||
|
print(f"Already applied: {file.name}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
sql = file.read_text(encoding="utf-8")
|
||||||
|
|
||||||
|
for statement in sql.split(";"):
|
||||||
|
if statement.strip():
|
||||||
|
cur.execute(statement)
|
||||||
|
|
||||||
|
cur.execute(
|
||||||
|
"INSERT INTO schema_migrations (version) VALUES (%s)",
|
||||||
|
(file.name,)
|
||||||
|
)
|
||||||
|
|
||||||
|
print(f"Applied migration: {file.name}")
|
||||||
|
|
||||||
|
print("Migrations completed")
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
run_migrations()
|
||||||
@@ -0,0 +1,60 @@
|
|||||||
|
|
||||||
|
import os
|
||||||
|
import time
|
||||||
|
|
||||||
|
import boto3
|
||||||
|
from botocore.config import Config
|
||||||
|
from botocore.exceptions import ClientError
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
bucket = os.environ["S3_BUCKET"]
|
||||||
|
|
||||||
|
client = boto3.client(
|
||||||
|
"s3",
|
||||||
|
endpoint_url=os.environ["S3_ENDPOINT"],
|
||||||
|
aws_access_key_id=os.environ["S3_ACCESS_KEY"],
|
||||||
|
aws_secret_access_key=os.environ["S3_SECRET_KEY"],
|
||||||
|
region_name="us-east-1",
|
||||||
|
config=Config(
|
||||||
|
signature_version="s3v4",
|
||||||
|
s3={"addressing_style": "path"},
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
for attempt in range(30):
|
||||||
|
try:
|
||||||
|
client.head_bucket(Bucket=bucket)
|
||||||
|
print(f"Bucket already exists: {bucket}", flush=True)
|
||||||
|
break
|
||||||
|
|
||||||
|
except ClientError as exc:
|
||||||
|
code = exc.response["Error"]["Code"]
|
||||||
|
|
||||||
|
if code in ("404", "NoSuchBucket"):
|
||||||
|
try:
|
||||||
|
client.create_bucket(Bucket=bucket)
|
||||||
|
print(f"Bucket created: {bucket}", flush=True)
|
||||||
|
break
|
||||||
|
except Exception as create_error:
|
||||||
|
print(
|
||||||
|
f"Waiting for S3: {create_error}",
|
||||||
|
flush=True,
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
print(f"Waiting for S3: {exc}", flush=True)
|
||||||
|
|
||||||
|
except Exception as exc:
|
||||||
|
print(f"Waiting for S3: {exc}", flush=True)
|
||||||
|
|
||||||
|
if attempt == 29:
|
||||||
|
raise RuntimeError("Cannot initialize S3 bucket")
|
||||||
|
|
||||||
|
time.sleep(2)
|
||||||
|
|
||||||
|
# No public bucket policy is configured.
|
||||||
|
print(f"Private S3 bucket is ready: {bucket}", flush=True)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
Reference in New Issue
Block a user