Author SHA1 Message Date
allerg1q 6fd4f402aa Implement lab4 S3 attachments and resilience 2026-11-16 23:15:06 +03:00
28 changed files with 1899 additions and 18 deletions
+7
View File
@@ -18,3 +18,10 @@ __pycache__
node_modules node_modules
evidence evidence
.DS_Store .DS_Store
.git
.env
.venv
__pycache__
.pytest_cache
*.pyc
evidence
+3
View File
@@ -18,3 +18,6 @@ S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key
MAX_UPLOAD_BYTES=10485760 MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000 MAX_IMAGE_PIXELS=40000000
S3_ACCESS_KEY=change-me
S3_SECRET_KEY=change-me-too
S3_BUCKET=messenger-attachments
+5
View File
@@ -30,3 +30,8 @@ coverage/
.vscode/ .vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control. # Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner. # Inspect git diff --cached: ignore rules are not a secret scanner.
.env
.venv/
__pycache__/
*.pyc
evidence/*.tmp
+17
View File
@@ -0,0 +1,17 @@
FROM python:3.12-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY src/ ./src/
COPY migrations/ ./migrations/
ENV HOST=0.0.0.0
ENV PORT=8080
EXPOSE 8080
CMD ["uvicorn", "src.main:app", "--host", "0.0.0.0", "--port", "8080", "--workers", "1"]
+128 -18
View File
@@ -1,37 +1,147 @@
# Отчёт — лабораторная 4 # Отчёт — лабораторная 4
- Автор, группа: TODO - **Автор, группа:** Матвиенко, БПИ2304
- Целевая оценка; выбранный трек 5, если нужен: TODO - **Целевая оценка:** 3
- Commit/PR: TODO после публикации - **Commit/PR:** добавить после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO - **Использованные источники, библиотеки и помощь ИИ:** материалы курса, OpenAPI-контракт и публичные тесты; Python 3.12, FastAPI, Uvicorn, psycopg, boto3, Pillow, PostgreSQL 16, RustFS 1.0.3, Nginx 1.29, Docker Compose. Помощь ИИ использовалась при разработке, отладке и оформлении отчёта.
## Запуск из чистого clone ## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. Для запуска необходимы Docker Desktop с Docker Compose, Git и WSL Ubuntu с Python 3 и Make.
В корне проекта создать `.env` с локальными значениями:
```dotenv
POSTGRES_PASSWORD=<локальный_пароль>
SESSION_TTL_SECONDS=3600
S3_ACCESS_KEY=<локальный_ключ>
S3_SECRET_KEY=<локальный_секрет>
S3_BUCKET=messenger-attachments
```
Секреты не должны попадать в Git. Адрес S3 внутри Docker-сети: `http://minio:9000` (сервис `minio` использует RustFS).
Сборка и запуск:
```bash
docker compose up -d --build
docker compose ps -a
curl http://127.0.0.1:8080/health/ready
```
Сервис `migrate` применяет SQL-миграции до запуска API, а `s3-init` создаёт приватный bucket. Повторная проверка:
```bash
docker compose run --rm --no-deps migrate
docker compose run --rm s3-init
```
Публичные проверки:
```bash
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
После проверок восстановить обе API-реплики:
```bash
docker compose up -d --wait api1 api2
```
Безопасная остановка с сохранением данных:
```bash
docker compose down
```
Намеренное удаление учебных данных и постоянных томов:
```bash
docker compose down -v
```
## Архитектура и решения ## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. **Схема:** клиент → Nginx → API1 / API2 → PostgreSQL + RustFS (S3).
Единая точка входа — `localhost:8080`. Nginx балансирует запросы между двумя независимыми экземплярами FastAPI. PostgreSQL является источником истины для пользователей, сессий, чатов, сообщений и метаданных вложений. Оригинальные файлы сохраняются в приватном S3-bucket RustFS, а не в PostgreSQL или локальных каталогах API.
Из lab3 перенесены регистрация, аутентификация, чаты, сообщения, идемпотентность, балансировка и проверка отказа реплики.
В lab4 добавлены:
- Загрузка оригинальных PNG/JPEG и авторизованное скачивание через API.
- Проверка MIME по содержимому, контроль размера до 10 MiB и количества пикселей до 40 миллионов.
- Проверка имени файла и создание серверного S3 object key.
- Таблицы `attachments` и `message_attachments`.
- Привязка изображений к сообщениям через `attachment_ids`.
- Проверка доступа к чату перед получением метаданных и скачиванием.
- Постоянный Docker volume для S3-хранилища.
Сначала оригинал сохраняется в S3, затем в PostgreSQL фиксируются метаданные со статусом `ready`. При ошибке записи метаданных выполняется попытка удалить S3-объект. Полностью атомарной транзакции между PostgreSQL и S3 нет. Создание сообщения, привязка вложений и запись ключа идемпотентности выполняются в одной транзакции PostgreSQL.
В `.env.example` используются параметры `POSTGRES_PASSWORD`, `SESSION_TTL_SECONDS`, `S3_ACCESS_KEY`, `S3_SECRET_KEY` и `S3_BUCKET`; внутренний `S3_ENDPOINT` задаётся в Compose.
## Доказательства критериев ## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | Критерий | Команда / сценарий | Наблюдаемый результат | Доказательство |
| --- | --- | --- | --- | |---|---|---|---|
| Публичный smoke | make test | TODO | TODO | | Публичный API | `make test` | PASS, включая сценарий вложений | `evidence/smoke.txt` |
| Остальные пункты уровня 3 | TODO | TODO | TODO | | Две API-реплики | Проверка `X-Instance-Id` | Два разных UUID | `evidence/instances.txt` |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | | Отказ API-реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` | PASS, 121 успешная запись, 0 ошибок | `evidence/failover.txt` |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO | | Восстановление записи | Failover-сценарий | 0,903 секунды | `evidence/failover.txt` |
| Сохранность данных | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS, подтверждённые данные и сессия сохранены | `evidence/persistence.txt` |
| PostgreSQL и S3 | `docker compose ps -a` | Хранилища запущены, API-реплики healthy | `evidence/containers.txt` |
| SQL-миграции | `docker compose run --rm --no-deps migrate` | Миграции применены | Журнал миграций |
| Реальный перезапуск хранилищ | Скрипт `restart.sh`, `docker inspect` | PostgreSQL и RustFS перезапущены | `evidence/restart-after.txt`, журнал действия |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. Уровень 4 и трек 5 не заявлены.
## Эксперименты и отказы ## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. **Гипотеза:** при остановке одной API-реплики запросы продолжат обрабатываться второй, поскольку метаданные и оригиналы изображений находятся в общих хранилищах. После перезапуска PostgreSQL и RustFS данные должны сохраниться благодаря постоянным Docker volumes.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | **Среда:** локальный стенд Windows / WSL Ubuntu / Docker Desktop, Python 3.12, PostgreSQL 16, RustFS 1.0.3, две API-реплики, Nginx 1.29.
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO | Публичный smoke-тест завершился успешно:
```text
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
```
Результаты failover-теста:
```text
observed_instances_before: 2
successful_writes: 121
failed_attempts: 0
first_recovery_seconds: 0.903
PASS: failover preserved confirmed data and existing session.
```
Persistence-тест:
```text
PASS: persistence preserved confirmed data and existing session.
```
| Воздействие | Ожидание | Результат | Восстановление / данные |
|---|---|---|---|
| Остановка одной API-реплики | Продолжение работы через вторую | PASS, 121 запись, 0 ошибок | 0,903 с, подтверждённые данные сохранены |
| Перезапуск PostgreSQL и RustFS | Сохранение данных и сессии | PASS | Потеря подтверждённых данных не выявлена |
| Загрузка и чтение PNG/JPEG | Совпадение оригинала и проверка прав доступа | Smoke PASS | Проверка целостности выполнена публичным сценарием |
После проверок обе API-реплики восстановлены и имеют разные `X-Instance-Id`.
Публичные тесты не являются полноценным нагрузочным испытанием. Отдельные измерения RPS, p50/p95/p99, CPU/RAM, точного профиля параллелизма и длительности прогрева не проводились.
## Ограничения и следующие шаги ## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. Реализация выдерживает отказ одной API-реплики и перезапуск контейнеров с сохранением volumes. PostgreSQL, RustFS и Nginx остаются едиными точками отказа.
Для хранения оригиналов применяется синхронная загрузка без фоновой обработки и генерации превью. При редком сбое между записью в S3 и фиксацией метаданных возможен временно неиспользуемый объект, поэтому в дальнейшем полезно добавить очистку таких объектов.
Следующие улучшения: резервирование PostgreSQL и S3, мониторинг, резервное копирование и нагрузочные испытания.
**Вывод:** реализовано общее S3-хранилище изображений для двух API-реплик. Публичный smoke, persistence и failover пройдены. При отказе реплики выполнена 121 успешная запись без ошибок, восстановление заняло 0,903 секунды.
+105
View File
@@ -0,0 +1,105 @@
services:
db:
image: postgres:16-alpine
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?Set POSTGRES_PASSWORD in .env}
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 20
restart: unless-stopped
minio:
image: rustfs/rustfs:1.0.3
command: ["/data"]
environment:
RUSTFS_ACCESS_KEY: ${S3_ACCESS_KEY:?Set S3_ACCESS_KEY in .env}
RUSTFS_SECRET_KEY: ${S3_SECRET_KEY:?Set S3_SECRET_KEY in .env}
RUSTFS_ADDRESS: ":9000"
volumes:
- minio_data:/data
restart: unless-stopped
s3-init:
build: .
command: ["python", "-m", "src.s3_setup"]
environment: &s3_env
S3_ENDPOINT: http://minio:9000
S3_ACCESS_KEY: ${S3_ACCESS_KEY}
S3_SECRET_KEY: ${S3_SECRET_KEY}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
depends_on:
minio:
condition: service_started
restart: "no"
migrate:
build: .
command: ["python", "-m", "src.migrate"]
environment:
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
depends_on:
db:
condition: service_healthy
restart: "no"
api1:
build: .
environment:
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
<<: *s3_env
depends_on:
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=3)"]
interval: 5s
timeout: 3s
retries: 20
stop_grace_period: 15s
restart: unless-stopped
api2:
build: .
environment:
DATABASE_URL: postgresql://messenger:${POSTGRES_PASSWORD}@db:5432/messenger
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
<<: *s3_env
depends_on:
migrate:
condition: service_completed_successfully
s3-init:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=3)"]
interval: 5s
timeout: 3s
retries: 20
stop_grace_period: 15s
restart: unless-stopped
nginx:
image: nginx:1.29-alpine
ports:
- "127.0.0.1:8080:80"
volumes:
- ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
depends_on:
api1:
condition: service_healthy
api2:
condition: service_healthy
restart: unless-stopped
volumes:
postgres_data:
minio_data:
+8
View File
@@ -0,0 +1,8 @@
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab4-api1-1 mtusi2026lab4-api1 "uvicorn src.main:ap…" api1 8 minutes ago Up 15 seconds (healthy) 8080/tcp
mtusi2026lab4-api2-1 mtusi2026lab4-api2 "uvicorn src.main:ap…" api2 8 minutes ago Up 15 seconds (healthy) 8080/tcp
mtusi2026lab4-db-1 postgres:16-alpine "docker-entrypoint.s…" db 22 minutes ago Up 22 seconds (healthy) 5432/tcp
mtusi2026lab4-migrate-1 mtusi2026lab4-migrate "python -m src.migra…" migrate 4 minutes ago Exited (0) Less than a second ago
mtusi2026lab4-minio-1 rustfs/rustfs:1.0.3 "/entrypoint.sh /data" minio 22 minutes ago Up 22 seconds 9000-9001/tcp
mtusi2026lab4-nginx-1 nginx:1.29-alpine "/docker-entrypoint.…" nginx 22 minutes ago Up 2 minutes 127.0.0.1:8080->80/tcp
mtusi2026lab4-s3-init-1 mtusi2026lab4-s3-init "python -m src.s3_se…" s3-init 8 minutes ago Exited (0) 1 second ago
+4
View File
@@ -0,0 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 121, "failed_attempts": 0, "first_recovery_seconds": 0.903}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+4
View File
@@ -0,0 +1,4 @@
api1:
129285ef-99ed-475b-b17a-89a955089156
api2:
ff71cea4-7b02-4f29-9931-b67b51594a6c
+5
View File
@@ -0,0 +1,5 @@
Already applied: 001_initial.sql
Already applied: 002_idempotency.sql
Already applied: 003_attachments.sql
Already applied: 004_allow_empty_message_text.sql
Migrations completed
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+4
View File
@@ -0,0 +1,4 @@
/mtusi2026lab4-api1-1 2026-11-16T20:10:56.252894727Z
/mtusi2026lab4-api2-1 2026-11-16T20:10:56.255219312Z
/mtusi2026lab4-db-1 2026-11-16T20:10:49.101014076Z
/mtusi2026lab4-minio-1 2026-11-16T20:10:49.012555397Z
+3
View File
@@ -0,0 +1,3 @@
/mtusi2026lab4-api1-1 2026-11-16T20:07:21.532908614Z
/mtusi2026lab4-db-1 2026-11-16T20:07:14.361368694Z
/mtusi2026lab4-minio-1 2026-11-16T20:07:14.222524846Z
+4
View File
@@ -0,0 +1,4 @@
api1:
['messenger-attachments']
api2:
['messenger-attachments']
+2
View File
@@ -0,0 +1,2 @@
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+74
View File
@@ -0,0 +1,74 @@
CREATE TABLE IF NOT EXISTS users (
id UUID PRIMARY KEY,
username VARCHAR(32) NOT NULL UNIQUE,
display_name VARCHAR(100) NOT NULL,
password_hash TEXT NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT username_format
CHECK (username ~ '^[a-z0-9_]{3,32}$'),
CONSTRAINT display_name_length
CHECK (char_length(display_name) BETWEEN 1 AND 100),
CONSTRAINT display_name_not_blank
CHECK (length(btrim(display_name)) > 0)
);
CREATE TABLE IF NOT EXISTS chats (
id UUID PRIMARY KEY,
title VARCHAR(100) NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT title_not_blank
CHECK (length(btrim(title)) > 0)
);
CREATE TABLE IF NOT EXISTS chat_members (
chat_id UUID NOT NULL
REFERENCES chats(id) ON DELETE CASCADE,
user_id UUID NOT NULL
REFERENCES users(id),
position INTEGER NOT NULL,
PRIMARY KEY (chat_id, user_id),
UNIQUE (chat_id, position)
);
CREATE TABLE IF NOT EXISTS messages (
id UUID PRIMARY KEY,
chat_id UUID NOT NULL
REFERENCES chats(id) ON DELETE CASCADE,
sender_id UUID NOT NULL
REFERENCES users(id),
text TEXT NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
CONSTRAINT message_length
CHECK (char_length(text) BETWEEN 1 AND 4000),
CONSTRAINT message_not_blank
CHECK (length(btrim(text)) > 0)
);
CREATE TABLE IF NOT EXISTS sessions (
token_hash CHAR(64) PRIMARY KEY,
user_id UUID NOT NULL
REFERENCES users(id) ON DELETE CASCADE,
expires_at TIMESTAMPTZ NOT NULL,
revoked BOOLEAN NOT NULL DEFAULT FALSE,
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp()
);
CREATE INDEX IF NOT EXISTS idx_chat_members_user
ON chat_members(user_id, chat_id);
CREATE INDEX IF NOT EXISTS idx_chats_order
ON chats(created_at, id);
CREATE INDEX IF NOT EXISTS idx_messages_history
ON messages(chat_id, created_at, id);
CREATE INDEX IF NOT EXISTS idx_sessions_user
ON sessions(user_id);
CREATE INDEX IF NOT EXISTS idx_sessions_expiry
ON sessions(expires_at);
+14
View File
@@ -0,0 +1,14 @@
CREATE TABLE IF NOT EXISTS message_idempotency (
user_id UUID NOT NULL REFERENCES users(id),
chat_id UUID NOT NULL REFERENCES chats(id),
idempotency_key VARCHAR(128) NOT NULL,
request_hash CHAR(64) NOT NULL,
message_id UUID NOT NULL REFERENCES messages(id),
created_at TIMESTAMPTZ NOT NULL DEFAULT clock_timestamp(),
PRIMARY KEY (user_id, chat_id, idempotency_key)
);
CREATE INDEX IF NOT EXISTS idx_idempotency_created
ON message_idempotency(created_at);
+34
View File
@@ -0,0 +1,34 @@
CREATE TABLE IF NOT EXISTS attachments (
id UUID PRIMARY KEY,
chat_id UUID NOT NULL REFERENCES chats(id),
uploader_id UUID NOT NULL REFERENCES users(id),
filename TEXT NOT NULL,
content_type TEXT NOT NULL,
size_bytes BIGINT NOT NULL,
sha256 CHAR(64) NOT NULL,
object_key TEXT NOT NULL UNIQUE,
width INTEGER NOT NULL,
height INTEGER NOT NULL,
status TEXT NOT NULL DEFAULT 'ready',
created_at TIMESTAMPTZ NOT NULL DEFAULT NOW(),
CONSTRAINT attachment_size_valid
CHECK (size_bytes BETWEEN 1 AND 10485760),
CONSTRAINT attachment_dimensions_valid
CHECK (width > 0 AND height > 0),
CONSTRAINT attachment_status_valid
CHECK (status IN ('ready', 'failed'))
);
CREATE INDEX IF NOT EXISTS idx_attachments_chat
ON attachments(chat_id);
CREATE TABLE IF NOT EXISTS message_attachments (
message_id UUID NOT NULL REFERENCES messages(id),
attachment_id UUID NOT NULL REFERENCES attachments(id),
PRIMARY KEY (message_id, attachment_id)
);
@@ -0,0 +1,13 @@
-- Lab4: messages with attachments may have empty text.
-- The API checks that a message contains text or attachments.
ALTER TABLE messages
DROP CONSTRAINT IF EXISTS message_length;
ALTER TABLE messages
DROP CONSTRAINT IF EXISTS message_not_blank;
ALTER TABLE messages
ADD CONSTRAINT message_length
CHECK (char_length(text) <= 4000);
+37
View File
@@ -0,0 +1,37 @@
events {
worker_connections 1024;
}
http {
resolver 127.0.0.11 valid=2s ipv6=off;
resolver_timeout 2s;
upstream messenger_api {
zone messenger_api 64k;
server api1:8080 resolve max_fails=1 fail_timeout=2s;
server api2:8080 resolve max_fails=1 fail_timeout=2s;
}
server {
client_max_body_size 11m;
listen 80;
location / {
proxy_pass http://messenger_api;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 2s;
proxy_read_timeout 30s;
proxy_send_timeout 30s;
proxy_next_upstream error timeout http_502 http_503 http_504;
proxy_next_upstream_tries 2;
}
}
}
+6
View File
@@ -0,0 +1,6 @@
fastapi==0.115.12
uvicorn==0.34.2
psycopg[binary]==3.2.6
argon2-cffi==23.1.0
boto3==1.40.70
Pillow==11.2.1
+21
View File
@@ -0,0 +1,21 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
echo "Stopping API replicas..."
docker compose stop api1 api2
echo "Restarting PostgreSQL and S3..."
docker compose restart db minio
echo "Waiting for PostgreSQL..."
docker compose up -d --wait db
echo "Checking S3 bucket..."
docker compose run --rm --no-deps s3-init
echo "Starting API replicas..."
docker compose up -d --wait api1 api2
echo "Restart complete. Volumes preserved."
+33
View File
@@ -0,0 +1,33 @@
#!/usr/bin/env bash
set -euo pipefail
cd "$(dirname "$0")/.."
if [[ -z "${TARGET_INSTANCE_ID:-}" ]]; then
echo "TARGET_INSTANCE_ID is not set" >&2
exit 1
fi
for service in api1 api2; do
instance_id=$(
docker compose exec -T "$service" python -c '
import urllib.request
response = urllib.request.urlopen(
"http://127.0.0.1:8080/health/live",
timeout=2
)
print(response.headers.get("X-Instance-Id", ""))
' 2>/dev/null
) || continue
if [[ "$instance_id" == "$TARGET_INSTANCE_ID" ]]; then
echo "Stopping $service"
docker compose stop -t 2 "$service"
exit 0
fi
done
echo "Target API instance not found" >&2
exit 1
View File
+110
View File
@@ -0,0 +1,110 @@
import io
import re
import uuid
import hashlib
from PIL import Image, UnidentifiedImageError
MAX_BYTES = 10 * 1024 * 1024
MAX_PIXELS = 40_000_000
def valid_filename(filename):
if not isinstance(filename, str):
return False
if not 1 <= len(filename) <= 255:
return False
if filename.strip() == "":
return False
if "/" in filename or "\\" in filename:
return False
if any(ord(ch) < 32 or ord(ch) == 127 for ch in filename):
return False
return True
def inspect_image(data, declared_mime):
if len(data) > MAX_BYTES:
raise ValueError("too_large")
if not data:
raise ValueError("invalid_image")
if declared_mime not in ("image/png", "image/jpeg"):
raise ValueError("invalid_image")
try:
with Image.open(io.BytesIO(data)) as image:
image_format = image.format
width, height = image.size
if width * height > MAX_PIXELS:
raise ValueError("too_many_pixels")
if image_format not in ("PNG", "JPEG"):
raise ValueError("invalid_image")
actual_mime = (
"image/png"
if image_format == "PNG"
else "image/jpeg"
)
if declared_mime != actual_mime:
raise ValueError("invalid_image")
image.verify()
except Image.DecompressionBombError:
raise ValueError("too_many_pixels")
except (
UnidentifiedImageError,
OSError,
SyntaxError,
EOFError,
):
raise ValueError("invalid_image")
return {
"content_type": actual_mime,
"width": width,
"height": height,
"size_bytes": len(data),
"sha256": hashlib.sha256(data).hexdigest(),
}
def attachment_json(row):
created_at = row["created_at"].astimezone(
__import__("datetime").timezone.utc
).isoformat(
timespec="microseconds"
).replace("+00:00", "Z")
return {
"id": str(row["id"]),
"chat_id": str(row["chat_id"]),
"owner_id": str(row["uploader_id"]),
"filename": row["filename"],
"content_type": row["content_type"],
"size_bytes": row["size_bytes"],
"sha256": row["sha256"],
"status": row["status"],
"variants": [],
"error_code": None,
"created_at": created_at,
"updated_at": created_at,
}
def object_key():
return f"originals/{uuid.uuid4()}"
+1142
View File
File diff suppressed because it is too large Load Diff
+53
View File
@@ -0,0 +1,53 @@
import os
from pathlib import Path
import psycopg
DATABASE_URL = os.environ["DATABASE_URL"]
MIGRATIONS_DIR = Path(__file__).resolve().parent.parent / "migrations"
def run_migrations():
with psycopg.connect(DATABASE_URL) as conn:
with conn.cursor() as cur:
# Prevent simultaneous migration runs.
cur.execute("SELECT pg_advisory_xact_lock(2026002)")
cur.execute("""
CREATE TABLE IF NOT EXISTS schema_migrations (
version TEXT PRIMARY KEY,
applied_at TIMESTAMPTZ NOT NULL
DEFAULT clock_timestamp()
)
""")
for file in sorted(MIGRATIONS_DIR.glob("*.sql")):
cur.execute(
"SELECT 1 FROM schema_migrations WHERE version = %s",
(file.name,)
)
if cur.fetchone():
print(f"Already applied: {file.name}")
continue
sql = file.read_text(encoding="utf-8")
for statement in sql.split(";"):
if statement.strip():
cur.execute(statement)
cur.execute(
"INSERT INTO schema_migrations (version) VALUES (%s)",
(file.name,)
)
print(f"Applied migration: {file.name}")
print("Migrations completed")
if __name__ == "__main__":
run_migrations()
+60
View File
@@ -0,0 +1,60 @@
import os
import time
import boto3
from botocore.config import Config
from botocore.exceptions import ClientError
def main():
bucket = os.environ["S3_BUCKET"]
client = boto3.client(
"s3",
endpoint_url=os.environ["S3_ENDPOINT"],
aws_access_key_id=os.environ["S3_ACCESS_KEY"],
aws_secret_access_key=os.environ["S3_SECRET_KEY"],
region_name="us-east-1",
config=Config(
signature_version="s3v4",
s3={"addressing_style": "path"},
),
)
for attempt in range(30):
try:
client.head_bucket(Bucket=bucket)
print(f"Bucket already exists: {bucket}", flush=True)
break
except ClientError as exc:
code = exc.response["Error"]["Code"]
if code in ("404", "NoSuchBucket"):
try:
client.create_bucket(Bucket=bucket)
print(f"Bucket created: {bucket}", flush=True)
break
except Exception as create_error:
print(
f"Waiting for S3: {create_error}",
flush=True,
)
else:
print(f"Waiting for S3: {exc}", flush=True)
except Exception as exc:
print(f"Waiting for S3: {exc}", flush=True)
if attempt == 29:
raise RuntimeError("Cannot initialize S3 bucket")
time.sleep(2)
# No public bucket policy is configured.
print(f"Private S3 bucket is ready: {bucket}", flush=True)
if __name__ == "__main__":
main()