forked from mtusi2026/mtusi2026lab5
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
39 lines
2.0 KiB
Docker
39 lines
2.0 KiB
Docker
# Lab5: мессенджер на Python + PostgreSQL + S3 + RabbitMQ. Один образ для API-реплик, relay,
|
|
# worker, janitor, ops-CLI и job-ов migrate (схема), s3-init (bucket).
|
|
FROM python:3.12.7-slim@sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d
|
|
|
|
# MALLOC_ARENA_MAX=2: glibc не заводит арену на каждый поток ThreadingHTTPServer —
|
|
# освобождённые буферы upload возвращаются в общий пул, RSS не растёт с числом потоков.
|
|
ENV PYTHONDONTWRITEBYTECODE=1 \
|
|
PYTHONUNBUFFERED=1 \
|
|
MALLOC_ARENA_MAX=2 \
|
|
APP_HOST=0.0.0.0 \
|
|
APP_PORT=8080
|
|
|
|
WORKDIR /app
|
|
|
|
# Сначала зависимости (закреплённые версии) — слой кэшируется, пока не изменится requirements.txt.
|
|
COPY requirements.txt /app/
|
|
RUN pip install --no-cache-dir -r requirements.txt
|
|
|
|
COPY src/ /app/src/
|
|
COPY migrations/ /app/migrations/
|
|
# Временные файлы upload (безымянные O_TMPFILE): каталог в writable-слое контейнера.
|
|
# Рабочие файлы worker (staging-копия и результаты одного задания, удаляются после него).
|
|
RUN mkdir -p /tmp/uploads /tmp/work && chmod 1777 /tmp/uploads /tmp/work
|
|
ENV UPLOAD_TMP_DIR=/tmp/uploads
|
|
|
|
# Метка версии сборки (rolling update: scripts/rolling-update.sh собирает с новым значением).
|
|
ARG APP_VERSION=1
|
|
ENV APP_VERSION=${APP_VERSION}
|
|
|
|
RUN useradd --no-create-home --uid 10001 app
|
|
USER app
|
|
|
|
EXPOSE 8080
|
|
# Python-процесс — PID 1 (exec-форма), сам обрабатывает SIGTERM (graceful shutdown).
|
|
STOPSIGNAL SIGTERM
|
|
HEALTHCHECK --interval=5s --timeout=2s --start-period=10s --retries=2 \
|
|
CMD ["python", "-c", "import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2).status == 200 else 1)"]
|
|
CMD ["python", "/app/src/server.py"]
|