forked from mtusi2026/mtusi2026lab4
Лабораторная 4 - Гончаревская.Е.А. - БВТ2304 - На 3
This commit is contained in:
+11
@@ -0,0 +1,11 @@
|
|||||||
|
FROM python:3.12.8-slim-bookworm
|
||||||
|
ENV PYTHONDONTWRITEBYTECODE=1 PYTHONUNBUFFERED=1 APP_HOST=0.0.0.0 APP_PORT=8080
|
||||||
|
RUN useradd --create-home --uid 10001 appuser
|
||||||
|
WORKDIR /app
|
||||||
|
COPY requirements.txt .
|
||||||
|
RUN pip install --no-cache-dir --disable-pip-version-check -r requirements.txt
|
||||||
|
COPY server.py .
|
||||||
|
COPY migrations ./migrations
|
||||||
|
USER appuser
|
||||||
|
EXPOSE 8080
|
||||||
|
CMD ["python","server.py"]
|
||||||
+222
@@ -0,0 +1,222 @@
|
|||||||
|
# Лабораторная работа № 4
|
||||||
|
## S3-хранилище и вложения
|
||||||
|
|
||||||
|
Выполнила: Гончаревская Екатерина Александровна
|
||||||
|
Группа: БВТ2304
|
||||||
|
Целевая оценка: 3
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
# 1. Цель работы
|
||||||
|
|
||||||
|
Разделить метаданные вложений и их бинарное содержимое, добавить возможность отправки изображений в сообщениях и обеспечить доступность вложений при переключении между API-репликами.
|
||||||
|
|
||||||
|
# 2. Постановка задачи
|
||||||
|
|
||||||
|
Необходимо реализовать S3-совместимое хранилище вложений в инфраструктуре мессенджера.
|
||||||
|
|
||||||
|
Основные требования:
|
||||||
|
|
||||||
|
- Метаданные вложений должны храниться в PostgreSQL.
|
||||||
|
- Бинарное содержимое файлов должно храниться в отдельном приватном S3-бакете.
|
||||||
|
- Загрузка вложения должна возвращать статус готовности только после успешного сохранения файла.
|
||||||
|
- Пользователь должен иметь возможность скачать исходный файл без изменения его содержимого.
|
||||||
|
- Вложения должны быть связаны с сообщениями через `attachment_ids`.
|
||||||
|
- Доступ к вложениям должен предоставляться только участникам соответствующего чата.
|
||||||
|
- API должно проверять тип и допустимый размер загружаемых изображений.
|
||||||
|
- Доступ к вложениям должен сохраняться при переключении между API-репликами.
|
||||||
|
- После перезапуска сервисов с сохранением томов загруженные файлы и метаданные должны оставаться доступными.
|
||||||
|
|
||||||
|
# 3. Используемые технологии
|
||||||
|
|
||||||
|
- Python — реализация API.
|
||||||
|
- PostgreSQL — хранение метаданных и связей вложений с сообщениями.
|
||||||
|
- RustFS — S3-совместимое хранилище бинарных файлов.
|
||||||
|
- Valkey — хранение сессий.
|
||||||
|
- HAProxy — распределение запросов между API-репликами.
|
||||||
|
- Docker и Docker Compose — контейнеризация и запуск инфраструктуры.
|
||||||
|
- boto3 — взаимодействие с S3.
|
||||||
|
- Pillow — проверка изображений.
|
||||||
|
- psycopg — работа с PostgreSQL.
|
||||||
|
|
||||||
|
# 4. Архитектура решения
|
||||||
|
|
||||||
|
Схема взаимодействия компонентов:
|
||||||
|
|
||||||
|
Клиент → HAProxy → API-реплики → PostgreSQL и RustFS.
|
||||||
|
|
||||||
|
В инфраструктуре используются две API-реплики, работающие с общей базой данных и общим S3-хранилищем.
|
||||||
|
|
||||||
|
PostgreSQL отвечает за хранение метаданных вложений и связей с сообщениями. Бинарное содержимое размещается в приватном бакете `messenger-attachments`.
|
||||||
|
|
||||||
|
RustFS предоставляет S3-совместимый интерфейс. API обращается к хранилищу по внутреннему адресу Docker-сети.
|
||||||
|
|
||||||
|
HAProxy распределяет входящие запросы между API-репликами. Благодаря общему хранилищу и общей базе данных пользователь может получить ранее загруженное вложение через другую API-реплику.
|
||||||
|
|
||||||
|
Для сохранения данных при перезапуске используются постоянные Docker volumes.
|
||||||
|
|
||||||
|
# 5. Реализация
|
||||||
|
|
||||||
|
## 5.1. Загрузка вложений
|
||||||
|
|
||||||
|
При получении запроса на загрузку API выполняет проверку входных данных и изображения.
|
||||||
|
|
||||||
|
Реализованы следующие ограничения:
|
||||||
|
|
||||||
|
- Максимальный размер файла — 10 МиБ.
|
||||||
|
- Максимальное количество пикселей — 40 миллионов.
|
||||||
|
- Поддерживаемые форматы — PNG и JPEG.
|
||||||
|
- MIME-тип проверяется по содержимому файла.
|
||||||
|
- Проверяется допустимость имени файла.
|
||||||
|
|
||||||
|
После проверки бинарное содержимое сохраняется в S3-хранилище. Метаданные регистрируются в PostgreSQL. Вложение получает статус готовности после успешного сохранения файла.
|
||||||
|
|
||||||
|
## 5.2. Получение вложений
|
||||||
|
|
||||||
|
При запросе на скачивание API проверяет наличие вложения и права доступа пользователя.
|
||||||
|
|
||||||
|
Доступ предоставляется только участникам чата, к которому относится вложение.
|
||||||
|
|
||||||
|
После получения объекта из S3 выполняется проверка целостности данных по контрольной сумме SHA-256.
|
||||||
|
|
||||||
|
## 5.3. Интеграция с сообщениями
|
||||||
|
|
||||||
|
Вложения связываются с сообщениями через идентификаторы `attachment_ids`.
|
||||||
|
|
||||||
|
Это позволяет получать сообщения вместе с информацией о прикреплённых файлах и сохранять связь между сообщениями и вложениями в PostgreSQL.
|
||||||
|
|
||||||
|
## 5.4. Отказоустойчивость и сохранение данных
|
||||||
|
|
||||||
|
Для обеспечения доступности вложений используются две API-реплики, общая база PostgreSQL и общее S3-хранилище.
|
||||||
|
|
||||||
|
При остановке одной API-реплики HAProxy продолжает направлять запросы на доступную реплику.
|
||||||
|
|
||||||
|
Постоянные тома обеспечивают сохранение данных PostgreSQL и RustFS после перезапуска контейнеров.
|
||||||
|
|
||||||
|
# 6. Запуск проекта
|
||||||
|
|
||||||
|
## 6.1. Требования
|
||||||
|
|
||||||
|
Для запуска необходимы:
|
||||||
|
|
||||||
|
- Docker Desktop с поддержкой Docker Compose;
|
||||||
|
- Python 3;
|
||||||
|
- Git;
|
||||||
|
- WSL с Linux для запуска сценариев отказоустойчивости в Windows.
|
||||||
|
|
||||||
|
## 6.2. Подготовка
|
||||||
|
|
||||||
|
Клонировать репозиторий:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
git clone https://gitea.privcloud.tech/Katarhani/mtusi2026lab4.git
|
||||||
|
cd mtusi2026lab4
|
||||||
|
```
|
||||||
|
|
||||||
|
Создать локальные файлы секретов:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python scripts/init-secrets.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Секреты создаются в каталоге `secrets/`. Их содержимое не должно публиковаться в репозитории.
|
||||||
|
|
||||||
|
Проверить конфигурацию Docker Compose:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose config --quiet
|
||||||
|
```
|
||||||
|
|
||||||
|
## 6.3. Запуск инфраструктуры
|
||||||
|
|
||||||
|
Собрать образы и запустить сервисы:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose up --build -d
|
||||||
|
```
|
||||||
|
|
||||||
|
Проверить состояние контейнеров:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose ps
|
||||||
|
```
|
||||||
|
|
||||||
|
В работающей инфраструктуре должны присутствовать:
|
||||||
|
|
||||||
|
- две API-реплики;
|
||||||
|
- HAProxy;
|
||||||
|
- PostgreSQL;
|
||||||
|
- Valkey;
|
||||||
|
- RustFS.
|
||||||
|
|
||||||
|
## 6.4. Проверка готовности API
|
||||||
|
|
||||||
|
Проверить endpoint готовности:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl http://localhost:8080/health/ready
|
||||||
|
```
|
||||||
|
|
||||||
|
Входящие запросы с компьютера направляются через HAProxy на локальный порт 8080.
|
||||||
|
|
||||||
|
# 7. Проверка работоспособности
|
||||||
|
|
||||||
|
## 7.1. Основной сценарий API
|
||||||
|
|
||||||
|
Запустить smoke-тест:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python tests/smoke.py --base-url http://localhost:8080
|
||||||
|
```
|
||||||
|
|
||||||
|
Тест проверяет основной публичный сценарий работы API.
|
||||||
|
|
||||||
|
## 7.2. Проверка сохранности данных
|
||||||
|
|
||||||
|
Запустить проверку persistence:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python tests/resilience.py --base-url http://localhost:8080 --mode persistence --action-script scripts/restart.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
Сценарий проверяет сохранение подтверждённых данных и существующей сессии после перезапуска инфраструктуры.
|
||||||
|
|
||||||
|
## 7.3. Проверка отказоустойчивости
|
||||||
|
|
||||||
|
Запустить проверку failover:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python tests/resilience.py --base-url http://localhost:8080 --mode failover --action-script scripts/stop-one.sh
|
||||||
|
```
|
||||||
|
|
||||||
|
Сценарий проверяет продолжение обработки запросов при остановке одной API-реплики и доступность ранее сохранённых данных через оставшуюся реплику.
|
||||||
|
|
||||||
|
Для запуска сценариев persistence и failover в Windows используется WSL.
|
||||||
|
|
||||||
|
# 8. Остановка проекта
|
||||||
|
|
||||||
|
Для остановки контейнеров без удаления сохранённых данных:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose down
|
||||||
|
```
|
||||||
|
|
||||||
|
Для полного удаления контейнеров и томов с данными:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker compose down -v
|
||||||
|
```
|
||||||
|
|
||||||
|
**Внимание:** команда `docker compose down -v` удаляет постоянные тома, в том числе данные PostgreSQL и S3-хранилища. Использовать её следует только при необходимости полного сброса лабораторного стенда.
|
||||||
|
|
||||||
|
# 9. Результаты
|
||||||
|
|
||||||
|
В ходе выполнения лабораторной работы реализовано S3-совместимое хранение вложений, разделение метаданных и бинарного содержимого, интеграция вложений с сообщениями и работа с несколькими API-репликами.
|
||||||
|
|
||||||
|
Выполнены проверки:
|
||||||
|
|
||||||
|
- основной сценарий API — PASS;
|
||||||
|
- сохранение данных после перезапуска — PASS;
|
||||||
|
- отказоустойчивость при остановке API-реплики — PASS.
|
||||||
|
|
||||||
|
Подробные результаты проведённых проверок и сведения об экспериментах приведены в `REPORT.md`.
|
||||||
+124
@@ -0,0 +1,124 @@
|
|||||||
|
|
||||||
|
services:
|
||||||
|
postgres:
|
||||||
|
image: postgres:16.6-alpine
|
||||||
|
restart: unless-stopped
|
||||||
|
environment:
|
||||||
|
POSTGRES_USER: messenger
|
||||||
|
POSTGRES_DB: messenger
|
||||||
|
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||||
|
secrets: [postgres_password]
|
||||||
|
volumes: [postgres_data:/var/lib/postgresql/data]
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD-SHELL","pg_isready -U messenger -d messenger"]
|
||||||
|
interval: 3s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 20
|
||||||
|
|
||||||
|
valkey:
|
||||||
|
image: valkey/valkey:8.0.1-alpine
|
||||||
|
restart: unless-stopped
|
||||||
|
command: ["valkey-server","--appendonly","yes","--appendfsync","everysec"]
|
||||||
|
volumes: [valkey_data:/data]
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD","valkey-cli","ping"]
|
||||||
|
interval: 3s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 20
|
||||||
|
|
||||||
|
rustfs:
|
||||||
|
image: rustfs/rustfs:1.0.4
|
||||||
|
restart: unless-stopped
|
||||||
|
command: ["/data"]
|
||||||
|
environment:
|
||||||
|
RUSTFS_ACCESS_KEY_FILE: /run/secrets/s3_access_key_id
|
||||||
|
RUSTFS_SECRET_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||||
|
secrets: [s3_access_key_id,s3_secret_access_key]
|
||||||
|
volumes: [rustfs_data:/data]
|
||||||
|
|
||||||
|
rustfs-init:
|
||||||
|
image: rustfs/rc:v0.1.30
|
||||||
|
restart: "no"
|
||||||
|
depends_on:
|
||||||
|
rustfs:
|
||||||
|
condition: service_started
|
||||||
|
secrets: [s3_access_key_id,s3_secret_access_key]
|
||||||
|
entrypoint: ["/bin/sh","-c"]
|
||||||
|
command:
|
||||||
|
- |
|
||||||
|
rc alias set local http://rustfs:9000 "$$(tr -d '\r\n' < /run/secrets/s3_access_key_id)" "$$(tr -d '\r\n' < /run/secrets/s3_secret_access_key)"
|
||||||
|
until rc bucket list local/ >/dev/null 2>&1; do sleep 2; done
|
||||||
|
rc bucket create local/messenger-attachments || true
|
||||||
|
rc bucket anonymous set private local/messenger-attachments
|
||||||
|
rc bucket anonymous get local/messenger-attachments
|
||||||
|
|
||||||
|
migrate:
|
||||||
|
build: {context: ., dockerfile: Dockerfile}
|
||||||
|
command: ["python","server.py","migrate"]
|
||||||
|
restart: "no"
|
||||||
|
environment:
|
||||||
|
DATABASE_URL_FILE: /run/secrets/database_url
|
||||||
|
REDIS_URL_FILE: /run/secrets/redis_url
|
||||||
|
S3_ENDPOINT: http://rustfs:9000
|
||||||
|
S3_BUCKET: messenger-attachments
|
||||||
|
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||||
|
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||||
|
secrets: [database_url,redis_url,s3_access_key_id,s3_secret_access_key]
|
||||||
|
depends_on:
|
||||||
|
postgres: {condition: service_healthy}
|
||||||
|
valkey: {condition: service_healthy}
|
||||||
|
rustfs-init: {condition: service_completed_successfully}
|
||||||
|
|
||||||
|
api:
|
||||||
|
build: {context: ., dockerfile: Dockerfile}
|
||||||
|
restart: unless-stopped
|
||||||
|
environment:
|
||||||
|
APP_HOST: 0.0.0.0
|
||||||
|
APP_PORT: 8080
|
||||||
|
SESSION_TTL_SECONDS: 3600
|
||||||
|
DATABASE_URL_FILE: /run/secrets/database_url
|
||||||
|
REDIS_URL_FILE: /run/secrets/redis_url
|
||||||
|
S3_ENDPOINT: http://rustfs:9000
|
||||||
|
S3_BUCKET: messenger-attachments
|
||||||
|
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
|
||||||
|
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
|
||||||
|
MAX_UPLOAD_BYTES: 10485760
|
||||||
|
MAX_IMAGE_PIXELS: 40000000
|
||||||
|
secrets: [database_url,redis_url,s3_access_key_id,s3_secret_access_key]
|
||||||
|
depends_on:
|
||||||
|
migrate: {condition: service_completed_successfully}
|
||||||
|
postgres: {condition: service_healthy}
|
||||||
|
valkey: {condition: service_healthy}
|
||||||
|
rustfs-init: {condition: service_completed_successfully}
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD","python","-c","import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2)"]
|
||||||
|
interval: 2s
|
||||||
|
timeout: 2s
|
||||||
|
retries: 5
|
||||||
|
start_period: 8s
|
||||||
|
stop_grace_period: 10s
|
||||||
|
|
||||||
|
haproxy:
|
||||||
|
image: haproxy:3.1.2-alpine
|
||||||
|
restart: unless-stopped
|
||||||
|
ports: ["127.0.0.1:8080:8080"]
|
||||||
|
volumes: ["./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro"]
|
||||||
|
depends_on:
|
||||||
|
api: {condition: service_healthy}
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD","haproxy","-c","-f","/usr/local/etc/haproxy/haproxy.cfg"]
|
||||||
|
interval: 10s
|
||||||
|
timeout: 3s
|
||||||
|
retries: 3
|
||||||
|
|
||||||
|
secrets:
|
||||||
|
postgres_password: {file: ./secrets/postgres_password}
|
||||||
|
database_url: {file: ./secrets/database_url}
|
||||||
|
redis_url: {file: ./secrets/redis_url}
|
||||||
|
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||||||
|
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||||||
|
|
||||||
|
volumes:
|
||||||
|
postgres_data:
|
||||||
|
valkey_data:
|
||||||
|
rustfs_data:
|
||||||
@@ -0,0 +1,31 @@
|
|||||||
|
global
|
||||||
|
log stdout format raw local0
|
||||||
|
maxconn 2048
|
||||||
|
|
||||||
|
defaults
|
||||||
|
log global
|
||||||
|
mode http
|
||||||
|
option httplog
|
||||||
|
timeout connect 2s
|
||||||
|
timeout client 30s
|
||||||
|
timeout server 30s
|
||||||
|
timeout http-request 10s
|
||||||
|
|
||||||
|
resolvers docker
|
||||||
|
nameserver dns 127.0.0.11:53
|
||||||
|
resolve_retries 3
|
||||||
|
timeout resolve 1s
|
||||||
|
timeout retry 1s
|
||||||
|
hold valid 2s
|
||||||
|
hold nx 2s
|
||||||
|
|
||||||
|
frontend public_api
|
||||||
|
bind :8080
|
||||||
|
default_backend api_replicas
|
||||||
|
|
||||||
|
backend api_replicas
|
||||||
|
balance roundrobin
|
||||||
|
option httpchk GET /health/ready
|
||||||
|
http-check expect status 200
|
||||||
|
default-server inter 1s fall 2 rise 1 slowstart 2s
|
||||||
|
server-template api 2 api:8080 check resolvers docker init-addr libc,none
|
||||||
@@ -0,0 +1,25 @@
|
|||||||
|
{
|
||||||
|
"Version": "2012-10-17",
|
||||||
|
"Statement": [
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:ListBucket"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::messenger-attachments"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Action": [
|
||||||
|
"s3:GetObject",
|
||||||
|
"s3:PutObject",
|
||||||
|
"s3:DeleteObject"
|
||||||
|
],
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::messenger-attachments/*"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -0,0 +1,57 @@
|
|||||||
|
CREATE TABLE users (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
username VARCHAR(32) NOT NULL UNIQUE,
|
||||||
|
display_name VARCHAR(100) NOT NULL,
|
||||||
|
password_hash TEXT NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||||
|
CONSTRAINT users_username_format CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||||
|
CONSTRAINT users_display_name_nonblank CHECK (length(btrim(display_name)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE chats (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
title VARCHAR(100) NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||||
|
CONSTRAINT chats_title_nonblank CHECK (length(btrim(title)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE TABLE chat_members (
|
||||||
|
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||||
|
user_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||||
|
position SMALLINT NOT NULL CHECK (position >= 0),
|
||||||
|
PRIMARY KEY (chat_id, user_id),
|
||||||
|
UNIQUE (chat_id, position)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX chat_members_user_chat_idx
|
||||||
|
ON chat_members (user_id, chat_id);
|
||||||
|
|
||||||
|
CREATE INDEX chats_created_id_idx
|
||||||
|
ON chats (created_at, id);
|
||||||
|
|
||||||
|
CREATE TABLE messages (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||||
|
sender_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||||
|
text VARCHAR(4000) NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||||
|
CONSTRAINT messages_text_nonblank CHECK (length(btrim(text)) > 0)
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX messages_chat_created_id_idx
|
||||||
|
ON messages (chat_id, created_at, id);
|
||||||
|
|
||||||
|
CREATE TABLE sessions (
|
||||||
|
token_hash CHAR(64) PRIMARY KEY,
|
||||||
|
user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,
|
||||||
|
expires_at TIMESTAMPTZ NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||||
|
revoked_at TIMESTAMPTZ,
|
||||||
|
CONSTRAINT sessions_token_hash_format CHECK (token_hash ~ '^[0-9a-f]{64}$')
|
||||||
|
);
|
||||||
|
|
||||||
|
CREATE INDEX sessions_user_expiry_idx
|
||||||
|
ON sessions (user_id, expires_at);
|
||||||
|
|
||||||
|
CREATE INDEX sessions_expiry_idx
|
||||||
|
ON sessions (expires_at);
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
CREATE TABLE idempotency_keys (
|
||||||
|
scope TEXT PRIMARY KEY,
|
||||||
|
request_hash CHAR(64) NOT NULL,
|
||||||
|
response_json JSONB NOT NULL,
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||||
|
);
|
||||||
|
CREATE INDEX idempotency_keys_created_at_idx ON idempotency_keys (created_at);
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
ALTER TABLE messages DROP CONSTRAINT IF EXISTS messages_text_nonblank;
|
||||||
|
ALTER TABLE messages ADD COLUMN IF NOT EXISTS attachment_ids UUID[] NOT NULL DEFAULT ARRAY[]::UUID[];
|
||||||
|
|
||||||
|
CREATE TABLE IF NOT EXISTS attachments (
|
||||||
|
id UUID PRIMARY KEY,
|
||||||
|
chat_id UUID NOT NULL REFERENCES chats(id) ON DELETE CASCADE,
|
||||||
|
owner_id UUID NOT NULL REFERENCES users(id) ON DELETE RESTRICT,
|
||||||
|
filename VARCHAR(255) NOT NULL,
|
||||||
|
content_type VARCHAR(32) NOT NULL CHECK (content_type IN ('image/png','image/jpeg')),
|
||||||
|
size_bytes BIGINT NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
|
||||||
|
sha256 CHAR(64) NOT NULL CHECK (sha256 ~ '^[0-9a-f]{64}$'),
|
||||||
|
object_key TEXT NOT NULL UNIQUE,
|
||||||
|
status VARCHAR(16) NOT NULL CHECK (status IN ('ready')),
|
||||||
|
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
|
||||||
|
updated_at TIMESTAMPTZ NOT NULL DEFAULT now()
|
||||||
|
);
|
||||||
|
CREATE INDEX IF NOT EXISTS attachments_chat_idx ON attachments(chat_id, created_at);
|
||||||
|
CREATE TABLE IF NOT EXISTS message_attachments (
|
||||||
|
message_id UUID NOT NULL REFERENCES messages(id) ON DELETE CASCADE,
|
||||||
|
attachment_id UUID NOT NULL REFERENCES attachments(id) ON DELETE RESTRICT,
|
||||||
|
PRIMARY KEY(message_id, attachment_id)
|
||||||
|
);
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
psycopg[binary,pool]==3.2.4
|
||||||
|
redis==5.2.1
|
||||||
|
argon2-cffi==23.1.0
|
||||||
|
boto3==1.35.90
|
||||||
|
Pillow==11.0.0
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
import argparse, os, secrets
|
||||||
|
from pathlib import Path
|
||||||
|
ROOT=Path(__file__).resolve().parents[1]
|
||||||
|
def main():
|
||||||
|
ap=argparse.ArgumentParser()
|
||||||
|
ap.add_argument('--force',action='store_true')
|
||||||
|
a=ap.parse_args()
|
||||||
|
d=ROOT/'secrets'; d.mkdir(mode=0o700,exist_ok=True)
|
||||||
|
password=secrets.token_hex(24)
|
||||||
|
values={
|
||||||
|
'postgres_password':password+'\n',
|
||||||
|
'database_url':f'postgresql://messenger:{password}@postgres:5432/messenger?connect_timeout=5\n',
|
||||||
|
'redis_url':'redis://valkey:6379/0\n',
|
||||||
|
's3_access_key_id':'messenger'+secrets.token_hex(8)+'\n',
|
||||||
|
's3_secret_access_key':secrets.token_urlsafe(36)+'\n',
|
||||||
|
'minio_root_user':'minioadmin'+secrets.token_hex(4)+'\n',
|
||||||
|
'minio_root_password':secrets.token_urlsafe(32)+'\n'
|
||||||
|
}
|
||||||
|
if not a.force and any((d/n).exists() for n in values):
|
||||||
|
raise SystemExit('Secret files already exist; use --force only to rotate all credentials.')
|
||||||
|
for n,v in values.items():
|
||||||
|
f=d/n; f.write_text(v,encoding='utf-8')
|
||||||
|
try: os.chmod(f,0o600)
|
||||||
|
except OSError: pass
|
||||||
|
print('Local secrets created; values were not printed.')
|
||||||
|
if __name__=='__main__': main()
|
||||||
|
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
ROOT=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd)
|
||||||
|
cd "$ROOT"
|
||||||
|
docker compose restart postgres valkey rustfs api
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
set -eu
|
||||||
|
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
|
||||||
|
case "$TARGET_INSTANCE_ID" in *[!a-fA-F0-9-]*|'') echo "Invalid API instance id" >&2; exit 2;; esac
|
||||||
|
docker stop --time 5 "$TARGET_INSTANCE_ID" >/dev/null
|
||||||
Reference in New Issue
Block a user