diff --git a/.dockerignore b/.dockerignore index bc16e55..22269a6 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,19 @@ __pycache__ node_modules evidence .DS_Store +# в образ идут только requirements.txt, src/ и migrations/ +tests +student-tests +contracts +examples +scripts +infra +*.md +Makefile +Dockerfile* +compose*.yaml +lab.json +requirements-dev.txt +.gitignore +.idea +.vscode diff --git a/.env.example b/.env.example index 714c807..44cc7c5 100644 --- a/.env.example +++ b/.env.example @@ -7,5 +7,18 @@ SESSION_TTL_SECONDS=3600 # Choose credentials locally. File paths contain no secret values. DATABASE_URL_FILE=/run/secrets/database_url # Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres +SESSION_STORE=redis CACHE_URL_FILE=/run/secrets/cache_url +# info / debug / warning +LOG_LEVEL=info +# Сколько секунд после SIGTERM ждать незавершённые запросы (не больше 10). +SHUTDOWN_TIMEOUT=8 +# Пул соединений с PostgreSQL и таймауты в секундах. +DB_POOL_MIN_SIZE=2 +DB_POOL_MAX_SIZE=10 +DB_POOL_TIMEOUT=3 +DB_CONNECT_TIMEOUT=3 +DB_STATEMENT_TIMEOUT=5 +# Пул соединений с Redis и таймаут операций в секундах. +CACHE_POOL_MAX_SIZE=20 +CACHE_TIMEOUT=2 diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 0000000..84e4ca1 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,34 @@ +FROM python:3.13.16-slim-bookworm + +ENV PYTHONDONTWRITEBYTECODE=1 \ + PYTHONUNBUFFERED=1 \ + PIP_NO_CACHE_DIR=1 \ + PIP_DISABLE_PIP_VERSION_CHECK=1 + +WORKDIR /app + +# сначала зависимости: слой переиспользуется, пока не меняется requirements.txt +COPY requirements.txt . +RUN pip install -r requirements.txt + +RUN groupadd --system --gid 10001 app \ + && useradd --system --uid 10001 --gid app --no-create-home --shell /usr/sbin/nologin app + +COPY src/ . +COPY migrations/ migrations/ + +USER 10001:10001 + +ENV APP_HOST=0.0.0.0 \ + APP_PORT=8080 \ + APP_ENV=lab + +EXPOSE 8080 + +HEALTHCHECK --interval=10s --timeout=5s --start-period=10s --retries=3 \ + CMD ["python", "healthcheck.py"] + +STOPSIGNAL SIGTERM + +# exec-форма: python запускается как PID 1 и сам получает SIGTERM +CMD ["python", "main.py"] diff --git a/Makefile b/Makefile index 9ecb223..4ec646c 100644 --- a/Makefile +++ b/Makefile @@ -2,9 +2,10 @@ PYTHON ?= python3 BASE_URL ?= http://localhost:8080 CA_FILE ?= ACTION_SCRIPT ?= +COMPOSE = docker compose --env-file .env TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",) -.PHONY: help check validate test load test-persistence +.PHONY: help check validate test load test-persistence env up down clean student-test test-failures explain help: @echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes" @@ -24,3 +25,27 @@ load: test-persistence: @test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2) $(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS) + +env: + ./scripts/init-env.sh + +up: env + $(COMPOSE) up -d --build + BASE_URL="$(BASE_URL)" ./scripts/wait-ready.sh + +down: + $(COMPOSE) --profile test down + +# удаляет контейнеры вместе с данными PostgreSQL и Redis +clean: + $(COMPOSE) --profile test down -v + +student-test: + BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests -v + +# останавливает и запускает redis/postgres, поднимает второй API на порту 8081 +test-failures: + BASE_URL="$(BASE_URL)" $(PYTHON) -m unittest discover -s student-tests/failures -v + +explain: + ./scripts/explain_history.sh diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 0000000..4dbaa7a --- /dev/null +++ b/compose.yaml @@ -0,0 +1,125 @@ +name: mtusi-messenger-lab2 + +# Настройки и секреты берутся из .env (создаёт scripts/init-env.sh, в Git не попадает). +# Секреты доходят до контейнеров только файлами в /run/secrets, в переменных окружения контейнеров их нет. + +x-app: &app + build: . + image: mtusi-messenger:lab2 + +x-app-env: &app-env + APP_HOST: 0.0.0.0 + APP_PORT: "8080" + APP_ENV: ${APP_ENV:-lab} + LOG_LEVEL: ${LOG_LEVEL:-info} + SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-8} + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + SESSION_STORE: ${SESSION_STORE:-redis} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + DB_POOL_MIN_SIZE: ${DB_POOL_MIN_SIZE:-2} + DB_POOL_MAX_SIZE: ${DB_POOL_MAX_SIZE:-10} + DB_POOL_TIMEOUT: ${DB_POOL_TIMEOUT:-3} + DB_CONNECT_TIMEOUT: ${DB_CONNECT_TIMEOUT:-3} + DB_STATEMENT_TIMEOUT: ${DB_STATEMENT_TIMEOUT:-5} + CACHE_POOL_MAX_SIZE: ${CACHE_POOL_MAX_SIZE:-20} + CACHE_TIMEOUT: ${CACHE_TIMEOUT:-2} + +services: + postgres: + image: postgres:17.11-alpine + environment: + POSTGRES_USER: messenger + POSTGRES_DB: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password + secrets: + - postgres_password + volumes: + - pgdata:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 10 + restart: unless-stopped + + redis: + image: redis:7.4.11-alpine + # сессии хранятся только здесь, поэтому включён AOF с fsync на каждую запись; + # запуск через docker-entrypoint.sh, чтобы процесс работал от пользователя redis, а не от root + command: + - sh + - -c + - exec docker-entrypoint.sh redis-server --appendonly yes --appendfsync always --requirepass "$$(cat /run/secrets/redis_password)" + secrets: + - redis_password + volumes: + - redisdata:/data + healthcheck: + test: ["CMD-SHELL", "redis-cli --no-auth-warning -a \"$$(cat /run/secrets/redis_password)\" ping | grep -q PONG"] + interval: 5s + timeout: 3s + retries: 10 + restart: unless-stopped + + migrate: + <<: *app + command: ["python", "migrate.py"] + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + depends_on: + postgres: + condition: service_healthy + healthcheck: + disable: true + restart: "no" + + api: + <<: *app + environment: *app-env + secrets: + - database_url + - cache_url + ports: + - "127.0.0.1:8080:8080" + depends_on: + migrate: + condition: service_completed_successfully + redis: + condition: service_healthy + restart: unless-stopped + + # тот же сервер с TTL сессии 2 секунды, нужен только тесту истечения: + # docker compose --profile test up -d api-short-ttl + api-short-ttl: + <<: *app + profiles: ["test"] + environment: + <<: *app-env + SESSION_TTL_SECONDS: "2" + secrets: + - database_url + - cache_url + ports: + - "127.0.0.1:8081:8080" + depends_on: + migrate: + condition: service_completed_successfully + redis: + condition: service_healthy + +volumes: + pgdata: + redisdata: + +secrets: + postgres_password: + environment: POSTGRES_PASSWORD + redis_password: + environment: REDIS_PASSWORD + database_url: + environment: DATABASE_URL + cache_url: + environment: CACHE_URL diff --git a/scripts/init-env.sh b/scripts/init-env.sh new file mode 100755 index 0000000..a9cd440 --- /dev/null +++ b/scripts/init-env.sh @@ -0,0 +1,25 @@ +#!/bin/sh +# Создаёт .env из .env.example и дописывает в него случайные пароли. Файл .env исключён из Git. +set -eu +cd "$(dirname "$0")/.." + +[ -f .env ] || cp .env.example .env + +if grep -q '^POSTGRES_PASSWORD=' .env; then + # пароль PostgreSQL задаётся один раз при создании volume, новый пароль к старым данным не подойдёт + echo ".env уже содержит пароли, ничего не меняю" + exit 0 +fi + +postgres_password=$(openssl rand -hex 24) +redis_password=$(openssl rand -hex 24) +cat >> .env <&2 +exit 1