Compare commits
2
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
267230ef76 | ||
|
|
d073767e80 |
+11
@@ -0,0 +1,11 @@
|
||||
FROM python:3.12.8-slim-bookworm
|
||||
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080
|
||||
RUN useradd --create-home --uid 10001 appuser
|
||||
WORKDIR /app
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
|
||||
COPY server.py .
|
||||
COPY migrations ./migrations
|
||||
USER appuser
|
||||
EXPOSE 8080
|
||||
CMD ["python","server.py"]
|
||||
+222
@@ -0,0 +1,222 @@
|
||||
# Лабораторная работа № 4
|
||||
## S3-хранилище и вложения
|
||||
|
||||
Выполнила: Гончаревская Екатерина Александровна
|
||||
Группа: БВТ2304
|
||||
Целевая оценка: 3
|
||||
|
||||
---
|
||||
|
||||
# 1. Цель работы
|
||||
|
||||
Разделить метаданные вложений и их бинарное содержимое, добавить возможность отправки изображений в сообщениях и обеспечить доступность вложений при переключении между API-репликами.
|
||||
|
||||
# 2. Постановка задачи
|
||||
|
||||
Необходимо реализовать S3-совместимое хранилище вложений в инфраструктуре мессенджера.
|
||||
|
||||
Основные требования:
|
||||
|
||||
- Метаданные вложений должны храниться в PostgreSQL.
|
||||
- Бинарное содержимое файлов должно храниться в отдельном приватном S3-бакете.
|
||||
- Загрузка вложения должна возвращать статус готовности только после успешного сохранения файла.
|
||||
- Пользователь должен иметь возможность скачать исходный файл без изменения его содержимого.
|
||||
- Вложения должны быть связаны с сообщениями через `attachment_ids`.
|
||||
- Доступ к вложениям должен предоставляться только участникам соответствующего чата.
|
||||
- API должно проверять тип и допустимый размер загружаемых изображений.
|
||||
- Доступ к вложениям должен сохраняться при переключении между API-репликами.
|
||||
- После перезапуска сервисов с сохранением томов загруженные файлы и метаданные должны оставаться доступными.
|
||||
|
||||
# 3. Используемые технологии
|
||||
|
||||
- Python — реализация API.
|
||||
- PostgreSQL — хранение метаданных и связей вложений с сообщениями.
|
||||
- RustFS — S3-совместимое хранилище бинарных файлов.
|
||||
- Valkey — хранение сессий.
|
||||
- HAProxy — распределение запросов между API-репликами.
|
||||
- Docker и Docker Compose — контейнеризация и запуск инфраструктуры.
|
||||
- boto3 — взаимодействие с S3.
|
||||
- Pillow — проверка изображений.
|
||||
- psycopg — работа с PostgreSQL.
|
||||
|
||||
# 4. Архитектура решения
|
||||
|
||||
Схема взаимодействия компонентов:
|
||||
|
||||
Клиент → HAProxy → API-реплики → PostgreSQL и RustFS.
|
||||
|
||||
В инфраструктуре используются две API-реплики, работающие с общей базой данных и общим S3-хранилищем.
|
||||
|
||||
PostgreSQL отвечает за хранение метаданных вложений и связей с сообщениями. Бинарное содержимое размещается в приватном бакете `messenger-attachments`.
|
||||
|
||||
RustFS предоставляет S3-совместимый интерфейс. API обращается к хранилищу по внутреннему адресу Docker-сети.
|
||||
|
||||
HAProxy распределяет входящие запросы между API-репликами. Благодаря общему хранилищу и общей базе данных пользователь может получить ранее загруженное вложение через другую API-реплику.
|
||||
|
||||
Для сохранения данных при перезапуске используются постоянные Docker volumes.
|
||||
|
||||
# 5. Реализация
|
||||
|
||||
## 5.1. Загрузка вложений
|
||||
|
||||
При получении запроса на загрузку API выполняет проверку входных данных и изображения.
|
||||
|
||||
Реализованы следующие ограничения:
|
||||
|
||||
- Максимальный размер файла — 10 МиБ.
|
||||
- Максимальное количество пикселей — 40 миллионов.
|
||||
- Поддерживаемые форматы — PNG и JPEG.
|
||||
- MIME-тип проверяется по содержимому файла.
|
||||
- Проверяется допустимость имени файла.
|
||||
|
||||
После проверки бинарное содержимое сохраняется в S3-хранилище. Метаданные регистрируются в PostgreSQL. Вложение получает статус готовности после успешного сохранения файла.
|
||||
|
||||
## 5.2. Получение вложений
|
||||
|
||||
При запросе на скачивание API проверяет наличие вложения и права доступа пользователя.
|
||||
|
||||
Доступ предоставляется только участникам чата, к которому относится вложение.
|
||||
|
||||
После получения объекта из S3 выполняется проверка целостности данных по контрольной сумме SHA-256.
|
||||
|
||||
## 5.3. Интеграция с сообщениями
|
||||
|
||||
Вложения связываются с сообщениями через идентификаторы `attachment_ids`.
|
||||
|
||||
Это позволяет получать сообщения вместе с информацией о прикреплённых файлах и сохранять связь между сообщениями и вложениями в PostgreSQL.
|
||||
|
||||
## 5.4. Отказоустойчивость и сохранение данных
|
||||
|
||||
Для обеспечения доступности вложений используются две API-реплики, общая база PostgreSQL и общее S3-хранилище.
|
||||
|
||||
При остановке одной API-реплики HAProxy продолжает направлять запросы на доступную реплику.
|
||||
|
||||
Постоянные тома обеспечивают сохранение данных PostgreSQL и RustFS после перезапуска контейнеров.
|
||||
|
||||
# 6. Запуск проекта
|
||||
|
||||
## 6.1. Требования
|
||||
|
||||
Для запуска необходимы:
|
||||
|
||||
- Docker Desktop с поддержкой Docker Compose;
|
||||
- Python 3;
|
||||
- Git;
|
||||
- WSL с Linux для запуска сценариев отказоустойчивости в Windows.
|
||||
|
||||
## 6.2. Подготовка
|
||||
|
||||
Клонировать репозиторий:
|
||||
|
||||
```bash
|
||||
git clone https://gitea.privcloud.tech/Katarhani/mtusi2026lab4.git
|
||||
cd mtusi2026lab4
|
||||
```
|
||||
|
||||
Создать локальные файлы секретов:
|
||||
|
||||
```bash
|
||||
python scripts/init-secrets.py
|
||||
```
|
||||
|
||||
Секреты создаются в каталоге `secrets/`. Их содержимое не должно публиковаться в репозитории.
|
||||
|
||||
Проверить конфигурацию Docker Compose:
|
||||
|
||||
```bash
|
||||
docker compose config --quiet
|
||||
```
|
||||
|
||||
## 6.3. Запуск инфраструктуры
|
||||
|
||||
Собрать образы и запустить сервисы:
|
||||
|
||||
```bash
|
||||
docker compose up --build -d
|
||||
```
|
||||
|
||||
Проверить состояние контейнеров:
|
||||
|
||||
```bash
|
||||
docker compose ps
|
||||
```
|
||||
|
||||
В работающей инфраструктуре должны присутствовать:
|
||||
|
||||
- две API-реплики;
|
||||
- HAProxy;
|
||||
- PostgreSQL;
|
||||
- Valkey;
|
||||
- RustFS.
|
||||
|
||||
## 6.4. Проверка готовности API
|
||||
|
||||
Проверить endpoint готовности:
|
||||
|
||||
```bash
|
||||
curl http://localhost:8080/health/ready
|
||||
```
|
||||
|
||||
Входящие запросы с компьютера направляются через HAProxy на локальный порт 8080.
|
||||
|
||||
# 7. Проверка работоспособности
|
||||
|
||||
## 7.1. Основной сценарий API
|
||||
|
||||
Запустить smoke-тест:
|
||||
|
||||
```bash
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
```
|
||||
|
||||
Тест проверяет основной публичный сценарий работы API.
|
||||
|
||||
## 7.2. Проверка сохранности данных
|
||||
|
||||
Запустить проверку persistence:
|
||||
|
||||
```bash
|
||||
python tests/resilience.py --base-url http://localhost:8080 --mode persistence --action-script scripts/restart.sh
|
||||
```
|
||||
|
||||
Сценарий проверяет сохранение подтверждённых данных и существующей сессии после перезапуска инфраструктуры.
|
||||
|
||||
## 7.3. Проверка отказоустойчивости
|
||||
|
||||
Запустить проверку failover:
|
||||
|
||||
```bash
|
||||
python tests/resilience.py --base-url http://localhost:8080 --mode failover --action-script scripts/stop-one.sh
|
||||
```
|
||||
|
||||
Сценарий проверяет продолжение обработки запросов при остановке одной API-реплики и доступность ранее сохранённых данных через оставшуюся реплику.
|
||||
|
||||
Для запуска сценариев persistence и failover в Windows используется WSL.
|
||||
|
||||
# 8. Остановка проекта
|
||||
|
||||
Для остановки контейнеров без удаления сохранённых данных:
|
||||
|
||||
```bash
|
||||
docker compose down
|
||||
```
|
||||
|
||||
Для полного удаления контейнеров и томов с данными:
|
||||
|
||||
```bash
|
||||
docker compose down -v
|
||||
```
|
||||
|
||||
**Внимание:** команда `docker compose down -v` удаляет постоянные тома, в том числе данные PostgreSQL и S3-хранилища. Использовать её следует только при необходимости полного сброса лабораторного стенда.
|
||||
|
||||
# 9. Результаты
|
||||
|
||||
В ходе выполнения лабораторной работы реализовано S3-совместимое хранение вложений, разделение метаданных и бинарного содержимого, интеграция вложений с сообщениями и работа с несколькими API-репликами.
|
||||
|
||||
Выполнены проверки:
|
||||
|
||||
- основной сценарий API — PASS;
|
||||
- сохранение данных после перезапуска — PASS;
|
||||
- отказоустойчивость при остановке API-реплики — PASS.
|
||||
|
||||
Подробные результаты проведённых проверок и сведения об экспериментах приведены в `REPORT.md`.
|
||||
@@ -1,37 +1,58 @@
|
||||
# Отчёт — лабораторная 4
|
||||
Лабораторная 4
|
||||
Автор, группа: Гончаревская Екатерина Александровна, БВТ2304.
|
||||
Целевая оценка: 3.
|
||||
Выбранный трек 5: не заявлен.
|
||||
Commit основной реализации: d073767.
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Запуск из чистого clone
|
||||
Для запуска необходимы Docker, Docker Compose и Python 3. Для сценариев отказоустойчивости также использовался WSL с Python 3.
|
||||
Получение проекта:
|
||||
git clone https://gitea.privcloud.tech/Katarhani/mtusi2026lab4.git
|
||||
cd mtusi2026lab4
|
||||
Создание локальных секретов:
|
||||
python scripts/init-secrets.py
|
||||
Сборка и запуск:
|
||||
docker compose up --build -d
|
||||
Публичный API доступен через HAProxy по адресу http://localhost:8080 (http://localhost:8080/).
|
||||
Проверка состояния контейнеров:
|
||||
docker compose ps
|
||||
Запуск публичного теста:
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
Остановка проекта:
|
||||
docker compose down
|
||||
Удаление контейнеров и учебных данных вместе с томами:
|
||||
docker compose down -v
|
||||
Секреты создаются локально и не добавляются в Git.
|
||||
Архитектура и решения
|
||||
Реализована система хранения вложений для мессенджера.
|
||||
В проект входят две API-реплики на Python, HAProxy для распределения запросов, PostgreSQL для хранения метаданных и RustFS в качестве S3-совместимого хранилища бинарных файлов. Также используется Valkey.
|
||||
Метаданные вложений хранятся в PostgreSQL, а бинарное содержимое — отдельно в S3-совместимом хранилище. Благодаря этому вложения доступны через разные API-реплики.
|
||||
Добавлены миграции базы данных:
|
||||
001_initial.sql;
|
||||
002_idempotency.sql;
|
||||
003_attachments.sql.
|
||||
Настроены Docker Compose, HAProxy, политика доступа к хранилищу и скрипты для проверки перезапуска и отказоустойчивости.
|
||||
Результаты проверок
|
||||
Публичный smoke-тест запускался командой:
|
||||
python tests/smoke.py --base-url http://localhost:8080
|
||||
Результат: PASS. Публичный сценарий API лабораторной работы выполнен успешно.
|
||||
Проверка сохранения данных после перезапуска запускалась через WSL:
|
||||
python3 tests/resilience.py --base-url http://localhost:8080 --mode persistence --action-script scripts/restart.sh
|
||||
Результат: PASS. Подтверждённые данные и существующая сессия сохранились после перезапуска.
|
||||
Проверка отказоустойчивости запускалась через WSL:
|
||||
python3 tests/resilience.py --base-url http://localhost:8080 --mode failover --action-script scripts/stop-one.sh
|
||||
Результат: PASS. Зафиксировано 116 успешных записей, первое восстановление произошло через 2,336 секунды.
|
||||
Команды make check и make test отдельно не запускались.
|
||||
Эксперименты и отказы
|
||||
В ходе проверки сохранения данных выполнялся перезапуск инфраструктуры с помощью scripts/restart.sh. После перезапуска проверялись ранее подтверждённые данные и существующая сессия. Результат — PASS.
|
||||
В ходе проверки отказоустойчивости с помощью scripts/stop-one.sh останавливалась одна API-реплика. Во время сценария зафиксировано 116 успешных записей. Первое восстановление произошло через 2,336 секунды. Результат — PASS.
|
||||
Отдельные измерения RPS, p50, p95 и p99 не проводились.
|
||||
Ограничения и следующие шаги
|
||||
Проверки выполнялись в локальном Docker-окружении.
|
||||
Результаты не являются полноценным нагрузочным тестированием производительности.
|
||||
Для проверки отказоустойчивости используются отдельные управляющие скрипты.
|
||||
Отдельные файлы с сырыми результатами измерений и подтверждением действий инфраструктурных hooks не подготовлены.
|
||||
Дополнительные уровни сверх целевой оценки 3 не заявляются.
|
||||
Источники и использование ИИ
|
||||
Использованы материалы лабораторной работы и документация Docker Compose, PostgreSQL, HAProxy, Valkey и RustFS.
|
||||
Реализация запускалась и проверялась в локальном окружении.
|
||||
+124
@@ -0,0 +1,124 @@
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16.6-alpine
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL","pg_isready -U messenger -d messenger"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
|
||||
valkey:
|
||||
image: valkey/valkey:8.0.1-alpine
|
||||
restart: unless-stopped
|
||||
command: ["valkey-server","--appendonly","yes","--appendfsync","everysec"]
|
||||
volumes: [valkey_data:/data]
|
||||
healthcheck:
|
||||
test: ["CMD","valkey-cli","ping"]
|
||||
interval: 3s
|
||||
timeout: 3s
|
||||
retries: 20
|
||||
|
||||
rustfs:
|
||||
image: rustfs/rustfs:1.0.4
|
||||
restart: unless-stopped
|
||||
command: ["/data"]
|
||||
environment:
|
||||
RUSTFS_ACCESS_KEY_FILE: /run/secrets/s3_access_key_id
|
||||
RUSTFS_SECRET_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets: [s3_access_key_id,s3_secret_access_key]
|
||||
volumes: [rustfs_data:/data]
|
||||
|
||||
rustfs-init:
|
||||
image: rustfs/rc:v0.1.30
|
||||
restart: "no"
|
||||
depends_on:
|
||||
rustfs:
|
||||
condition: service_started
|
||||
secrets: [s3_access_key_id,s3_secret_access_key]
|
||||
entrypoint: ["/bin/sh","-c"]
|
||||
command:
|
||||
- |
|
||||
rc alias set local http://rustfs:9000 "$$(tr -d '\r\n' < /run/secrets/s3_access_key_id)" "$$(tr -d '\r\n' < /run/secrets/s3_secret_access_key)"
|
||||
until rc bucket list local/ >/dev/null 2>&1; do sleep 2; done
|
||||
rc bucket create local/messenger-attachments || true
|
||||
rc bucket anonymous set private local/messenger-attachments
|
||||
rc bucket anonymous get local/messenger-attachments
|
||||
|
||||
migrate:
|
||||
build: {context: ., dockerfile: Dockerfile}
|
||||
command: ["python","server.py","migrate"]
|
||||
restart: "no"
|
||||
environment:
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
REDIS_URL_FILE: /run/secrets/redis_url
|
||||
S3_ENDPOINT: http://rustfs:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
secrets: [database_url,redis_url,s3_access_key_id,s3_secret_access_key]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
valkey: {condition: service_healthy}
|
||||
rustfs-init: {condition: service_completed_successfully}
|
||||
|
||||
api:
|
||||
build: {context: ., dockerfile: Dockerfile}
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
SESSION_TTL_SECONDS: 3600
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
REDIS_URL_FILE: /run/secrets/redis_url
|
||||
S3_ENDPOINT: http://rustfs:9000
|
||||
S3_BUCKET: messenger-attachments
|
||||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||
MAX_UPLOAD_BYTES: 10485760
|
||||
MAX_IMAGE_PIXELS: 40000000
|
||||
secrets: [database_url,redis_url,s3_access_key_id,s3_secret_access_key]
|
||||
depends_on:
|
||||
migrate: {condition: service_completed_successfully}
|
||||
postgres: {condition: service_healthy}
|
||||
valkey: {condition: service_healthy}
|
||||
rustfs-init: {condition: service_completed_successfully}
|
||||
healthcheck:
|
||||
test: ["CMD","python","-c","import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
|
||||
interval: 2s
|
||||
timeout: 2s
|
||||
retries: 5
|
||||
start_period: 8s
|
||||
stop_grace_period: 10s
|
||||
|
||||
haproxy:
|
||||
image: haproxy:3.1.2-alpine
|
||||
restart: unless-stopped
|
||||
ports: ["127.0.0.1:8080:8080"]
|
||||
volumes: ["./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro"]
|
||||
depends_on:
|
||||
api: {condition: service_healthy}
|
||||
healthcheck:
|
||||
test: ["CMD","haproxy","-c","-f","/usr/local/etc/haproxy/haproxy.cfg"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 3
|
||||
|
||||
secrets:
|
||||
postgres_password: {file: ./secrets/postgres_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
redis_url: {file: ./secrets/redis_url}
|
||||
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||||
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||||
|
||||
volumes:
|
||||
postgres_data:
|
||||
valkey_data:
|
||||
rustfs_data:
|
||||
@@ -0,0 +1,31 @@
|
||||
global
|
||||
log stdout format raw local0
|
||||
maxconn 2048
|
||||
|
||||
defaults
|
||||
log global
|
||||
mode http
|
||||
option httplog
|
||||
timeout connect 2s
|
||||
timeout client 30s
|
||||
timeout server 30s
|
||||
timeout http-request 10s
|
||||
|
||||
resolvers docker
|
||||
nameserver dns 127.0.0.11:53
|
||||
resolve_retries 3
|
||||
timeout resolve 1s
|
||||
timeout retry 1s
|
||||
hold valid 2s
|
||||
hold nx 2s
|
||||
|
||||
frontend public_api
|
||||
bind :8080
|
||||
default_backend api_replicas
|
||||
|
||||
backend api_replicas
|
||||
balance roundrobin
|
||||
option httpchk GET /health/ready
|
||||
http-check expect status 200
|
||||
default-server inter 1s fall 2 rise 1 slowstart 2s
|
||||
server-template api 2 api:8080 check resolvers docker init-addr libc,none
|
||||
@@ -0,0 +1,25 @@
|
||||
{
|
||||
"Version": "2012-10-17",
|
||||
"Statement": [
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:ListBucket"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments"
|
||||
]
|
||||
},
|
||||
{
|
||||
"Effect": "Allow",
|
||||
"Action": [
|
||||
"s3:GetObject",
|
||||
"s3:PutObject",
|
||||
"s3:DeleteObject"
|
||||
],
|
||||
"Resource": [
|
||||
"arn:aws:s3:::messenger-attachments/*"
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,57 @@
|
||||
CREATE TABLE users (
|
||||
id UUID PRIMARY KEY,
|
||||
username VARCHAR(32) NOT NULL UNIQUE,
|
||||
display_name VARCHAR(100) NOT NULL,
|
||||
password_hash TEXT NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
CONSTRAINT users_display_name_nonblank CHECK (length(btrim(display_name)) > 0)
|
||||
);
|
||||
|
||||
CREATE TABLE chats (
|
||||
id UUID PRIMARY KEY,
|
||||
title VARCHAR(100) NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
CONSTRAINT chats_title_nonblank CHECK (length(btrim(title)) > 0)
|
||||
);
|
||||
|
||||
CREATE TABLE chat_members (
|
||||
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
user_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||
position SMALLINT NOT NULL CHECK (position >= 0),
|
||||
PRIMARY KEY (chat_id, user_id),
|
||||
UNIQUE (chat_id, position)
|
||||
);
|
||||
|
||||
CREATE INDEX chat_members_user_chat_idx
|
||||
ON chat_members (user_id, chat_id);
|
||||
|
||||
CREATE INDEX chats_created_id_idx
|
||||
ON chats (created_at, id);
|
||||
|
||||
CREATE TABLE messages (
|
||||
id UUID PRIMARY KEY,
|
||||
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
sender_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||
text VARCHAR(4000) NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
CONSTRAINT messages_text_nonblank CHECK (length(btrim(text)) > 0)
|
||||
);
|
||||
|
||||
CREATE INDEX messages_chat_created_id_idx
|
||||
ON messages (chat_id, created_at, id);
|
||||
|
||||
CREATE TABLE sessions (
|
||||
token_hash CHAR(64) PRIMARY KEY,
|
||||
user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||
expires_at TIMESTAMPTZ NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
revoked_at TIMESTAMPTZ,
|
||||
CONSTRAINT sessions_token_hash_format CHECK (token_hash ~ '^[0-9a-f]{64}$')
|
||||
);
|
||||
|
||||
CREATE INDEX sessions_user_expiry_idx
|
||||
ON sessions (user_id, expires_at);
|
||||
|
||||
CREATE INDEX sessions_expiry_idx
|
||||
ON sessions (expires_at);
|
||||
@@ -0,0 +1,7 @@
|
||||
CREATE TABLE idempotency_keys (
|
||||
scope TEXT PRIMARY KEY,
|
||||
request_hash CHAR(64) NOT NULL,
|
||||
response_json JSONB NOT NULL,
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX idempotency_keys_created_at_idx ON idempotency_keys (created_at);
|
||||
@@ -0,0 +1,22 @@
|
||||
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_nonblank;
|
||||
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids UUID[] NOT NULL DEFAULT ARRAY[]::UUID[];
|
||||
|
||||
CREATE TABLE IF NOT EXISTS attachments (
|
||||
id UUID PRIMARY KEY,
|
||||
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||
owner_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||
filename VARCHAR(255) NOT NULL,
|
||||
content_type VARCHAR(32) NOT NULL CHECK (content_type IN ('image/png','image/jpeg')),
|
||||
size_bytes BIGINT NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||
sha256 CHAR(64) NOT NULL CHECK (sha256 ~ '^[0-9a-f]{64}$'),
|
||||
object_key TEXT NOT NULL UNIQUE,
|
||||
status VARCHAR(16) NOT NULL CHECK (status IN ('ready')),
|
||||
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||
updated_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS attachments_chat_idx ON attachments(chat_id, created_at);
|
||||
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||
message_id UUID NOT NULL REFERENCES messages(id) ON DELETE CASCADE,
|
||||
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE RESTRICT,
|
||||
PRIMARY KEY(message_id, attachment_id)
|
||||
);
|
||||
@@ -0,0 +1,5 @@
|
||||
psycopg[binary,pool]==3.2.4
|
||||
redis==5.2.1
|
||||
argon2-cffi==23.1.0
|
||||
boto3==1.35.90
|
||||
Pillow==11.0.0
|
||||
@@ -0,0 +1,28 @@
|
||||
#!/usr/bin/env python3
|
||||
import argparse, os, secrets
|
||||
from pathlib import Path
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
def main():
|
||||
ap=argparse.ArgumentParser()
|
||||
ap.add_argument('--force',action='store_true')
|
||||
a=ap.parse_args()
|
||||
d=ROOT/'secrets'; d.mkdir(mode=0o700,exist_ok=True)
|
||||
password=secrets.token_hex(24)
|
||||
values={
|
||||
'postgres_password':password+'\n',
|
||||
'database_url':f'postgresql://messenger:{password}@postgres:5432/messenger?connect_timeout=5\n',
|
||||
'redis_url':'redis://valkey:6379/0\n',
|
||||
's3_access_key_id':'messenger'+secrets.token_hex(8)+'\n',
|
||||
's3_secret_access_key':secrets.token_urlsafe(36)+'\n',
|
||||
'minio_root_user':'minioadmin'+secrets.token_hex(4)+'\n',
|
||||
'minio_root_password':secrets.token_urlsafe(32)+'\n'
|
||||
}
|
||||
if not a.force and any((d/n).exists() for n in values):
|
||||
raise SystemExit('Secret files already exist; use --force only to rotate all credentials.')
|
||||
for n,v in values.items():
|
||||
f=d/n; f.write_text(v,encoding='utf-8')
|
||||
try: os.chmod(f,0o600)
|
||||
except OSError: pass
|
||||
print('Local secrets created; values were not printed.')
|
||||
if __name__=='__main__': main()
|
||||
|
||||
@@ -0,0 +1,5 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
ROOT=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd)
|
||||
cd "$ROOT"
|
||||
docker compose restart postgres valkey rustfs api
|
||||
@@ -0,0 +1,5 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
|
||||
case "$TARGET_INSTANCE_ID" in *[!a-fA-F0-9-]*|'') echo "Invalid API instance id" >&2; exit 2;; esac
|
||||
docker stop --time 5 "$TARGET_INSTANCE_ID" >/dev/null
|
||||
Reference in New Issue
Block a user