chore: port lab 4 solution into the lab 5 skeleton

Source: mtusi2026lab4-safronov, solution/bvt2301-safronov, 2546deb.
Contracts, public tests and evidence of lab 4 are not carried over.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-31 03:09:12 +03:00
co-authored by Claude Opus 5.5
parent 276dbdad8a
commit 04f859282d
479 changed files with 106103 additions and 24 deletions
+72
View File
@@ -0,0 +1,72 @@
# Стенд в CI: docker-compose.yml + этот файл (COMPOSE_FILE job
# application, .github/workflows/application.yml). Раннер Gitea
# (act_runner) запускает job в контейнере рядом со стендом, на том же
# Docker. Файлы рабочего каталога есть только в контейнере job, а bind
# mount ищет их на хосте раннера; порты на 127.0.0.1 хоста из job не
# видны и на общем хосте заняли бы чужие. Поэтому отличия от рабочего
# стенда только такие:
# - конфиги — configs из переменных окружения (их выставляет
# .github/ci/stand-env.sh): compose копирует содержимое в контейнер при
# создании, пути на хосте не нужно;
# - портов на хосте нет: job подключается к сети стенда и ходит на
# haproxy по имени;
# - образ API — с тегом прогона: тег mtusi-messenger:lab5 на общем хосте
# раннера может собрать и чужой job.
# Остальное — сервисы, лимиты, volumes, секреты по сервисам — как в
# рабочем стенде. Нужен Compose ≥ 2.24 (!reset).
services:
postgres:
ports: !reset []
valkey:
ports: !reset []
volumes: !reset []
configs:
- source: valkey_conf
target: /usr/local/etc/valkey/valkey.conf
s3:
ports: !reset []
s3-bootstrap:
volumes: !reset []
configs:
- source: s3_bootstrap
target: /opt/s3/bootstrap.sh
migrate:
image: &ci-image mtusi-messenger:${CI_IMAGE_TAG:?CI_IMAGE_TAG is not set}
volumes: !reset []
configs: &config-toml
- source: config_toml
target: /app/config.toml
api:
image: *ci-image
volumes: !reset []
configs: *config-toml
cleaner:
image: *ci-image
volumes: !reset []
configs: *config-toml
haproxy:
ports: !reset []
volumes: !reset []
configs:
- source: haproxy_cfg
target: /usr/local/etc/haproxy/haproxy.cfg
# файлы по умолчанию 0444 и root: непривилегированные пользователи
# контейнеров читают, но не меняют — как read_only у bind mount
configs:
config_toml:
environment: CI_CONFIG_TOML
valkey_conf:
environment: CI_VALKEY_CONF
s3_bootstrap:
environment: CI_S3_BOOTSTRAP
haproxy_cfg:
environment: CI_HAPROXY_CFG
+38
View File
@@ -0,0 +1,38 @@
# Окружение шага job application (.github/workflows/application.yml),
# подключается через «.» из корня репозитория после make env_setup.
# Содержимое конфигов — в переменные для configs override
# .github/ci/compose.yml. $(cat …) срезает перевод строки в конце файла,
# поэтому он возвращается: копия побайтно равна файлу, а HAProxy без него
# конфиг не принимает («Missing LF on last line»). Значения не печатаются.
nl='
'
CI_CONFIG_TOML="$(cat config.toml)$nl"
CI_VALKEY_CONF="$(cat infra/valkey/valkey.conf)$nl"
CI_S3_BOOTSTRAP="$(cat infra/s3/bootstrap.sh)$nl"
CI_HAPROXY_CFG="$(cat infra/haproxy/haproxy.cfg)$nl"
export CI_CONFIG_TOML CI_VALKEY_CONF CI_S3_BOOTSTRAP CI_HAPROXY_CFG
# готовность стенда через LB: /health/ready отвечает 200 от API_REPLICAS
# (из .env, по умолчанию 2) разных реплик — X-Instance-Id. Срок 60 с:
# make replicas ждёт healthy контейнеров, а слот LB включается ещё через
# rise проверок
wait_replicas() {
want=$(sed -n 's/^API_REPLICAS=//p' .env)
want=${want:-2}
seen=""
deadline=$(($(date +%s) + 60))
while [ "$(date +%s)" -lt "$deadline" ]; do
reply=$(curl -s -o /dev/null -w '%{http_code} %header{x-instance-id}' \
"$BASE_URL/health/ready" || true)
case "$reply" in
"200 "?*) seen=$(printf '%s\n%s\n' "$seen" "${reply#200 }" | sort -u | grep .) ;;
esac
if [ "$(printf '%s\n' "$seen" | grep -c .)" -ge "$want" ]; then
echo "LB ready: $(printf '%s ' $seen)"
return 0
fi
sleep 0.5
done
echo "LB: $(printf '%s\n' "$seen" | grep -c .) of $want replicas ready in 60 s" >&2
return 1
}
+139
View File
@@ -0,0 +1,139 @@
# Job приложения (CONTRIBUTING.md, «CI»): сборка образа, стенд и его
# готовность через LB, make check и make test, затем проверки, которым
# хватает сети стенда: приватность bucket для анонима, make validate,
# собственные тесты, сохранность после рестарта и отказ реплики. Workflow
# skeleton contracts.yml проверяет только контракт и не меняется.
# Раннер Gitea (act_runner) запускает job в контейнере на том же Docker,
# что и стенд: конфиги и порты — override .github/ci/compose.yml, к LB job
# ходит по сети стенда. Секретов CI не получает: пароли и ключи — случайные
# из make env_setup и живут только в прогоне. pull_request_target не
# используется (CONTRIBUTING.md). Нет make s3_check, test_isolated и
# failure_checks: им нужны порты на хосте; их результат — evidence/.
name: Application
on: [push, pull_request, workflow_dispatch]
permissions:
contents: read
# прогоны репозитория по очереди и без отмены: отменённый посреди прогона
# job оставил бы стенд на общем хосте раннера, а уборка хвостов не должна
# задеть стенд соседнего прогона
concurrency:
group: application-${{ github.repository }}
cancel-in-progress: false
jobs:
application:
runs-on: ubuntu-latest
timeout-minutes: 40
env:
# свой проект, volumes и образ у каждого прогона
COMPOSE_PROJECT_NAME: mtusi-lab5-safronov-ci-${{ github.run_id }}
COMPOSE_FILE: docker-compose.yml:.github/ci/compose.yml
CI_IMAGE_TAG: safronov-ci-${{ github.run_id }}
# LB по имени сервиса в сети стенда, порт — APP__PORT из .env.example
BASE_URL: http://haproxy:8080
steps:
- name: Checkout
# ровно commit прогона; репозиторий публичный, токен не нужен.
# Адрес Gitea — литералом: github.server_url здесь внутренний
# http://gitea:3000, и контейнер job его не резолвит
run: |
git init -q .
git remote add origin "https://gitea.privcloud.tech/${{ github.repository }}.git"
git fetch -q --depth=1 origin "${{ github.sha }}"
git checkout -q --detach FETCH_HEAD
git log --oneline -1
- name: Runner
run: |
docker info --format 'docker {{.ServerVersion}}, {{.OSType}}/{{.Architecture}}, {{.NCPU}} CPU, {{.MemTotal}} B'
docker compose version
python3 -V
- name: Remove stands of interrupted runs
# только проекты этого workflow: прогон, прерванный без уборки
# (сбой раннера), оставил бы их на хосте
run: |
for p in $(docker ps -a --format '{{.Label "com.docker.compose.project"}}' | grep '^mtusi-lab5-safronov-ci-' | sort -u || true); do
echo "remove leftover stand $p"
docker ps -aq --filter "label=com.docker.compose.project=$p" | xargs -r docker rm -f >/dev/null
docker volume ls -q --filter "label=com.docker.compose.project=$p" | xargs -r docker volume rm >/dev/null
docker network ls -q --filter "label=com.docker.compose.project=$p" | xargs -r docker network rm >/dev/null || true
done
- name: Build and start the stand
run: |
make env_setup
. .github/ci/stand-env.sh
docker compose config --quiet
make run_docker
make replicas
docker network connect "${COMPOSE_PROJECT_NAME}_default" "$HOSTNAME"
wait_replicas
docker compose ps -a --format 'table {{.Service}}\t{{.Status}}'
- name: make check and make test
run: |
make check
make test
- name: Bucket is closed to anonymous requests
# без подписи: список bucket и объектов — 403. Полная проверка
# приватности — make s3_check (evidence/s3/privacy.md)
run: |
s3="http://s3:$(sed -n 's/^S3_PORT=//p' .env)"
bucket=$(sed -n 's/^S3__BUCKET=//p' .env)
for url in "$s3/" "$s3/$bucket" "$s3/$bucket?list-type=2"; do
code=$(curl -s -o /dev/null -w '%{http_code}' "$url")
echo "anonymous GET $url -> $code"
test "$code" = 403
done
- name: Install uv
# та же версия, что в Dockerfile
run: |
python3 -m venv "$RUNNER_TEMP/uv"
"$RUNNER_TEMP/uv/bin/pip" install -q uv==0.12.17
echo "$RUNNER_TEMP/uv/bin" >> "$GITHUB_PATH"
- name: make validate
# полная проверка OpenAPI и примеров, как в contracts.yml skeleton:
# на этом раннере он не доходит до проверок — actions/checkout
# берёт внутренний адрес Gitea (http://gitea:3000)
run: |
uv sync -q
make validate PYTHON=.venv/bin/python
- name: make student_test
# через LB: тесты реплик выполняются, проверки отказов — нет
run: make student_test
- name: make test-persistence
run: |
. .github/ci/stand-env.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
wait_replicas
- name: make test-failover, stop and kill
# остановленную реплику возвращает make replicas (те же ID)
run: |
. .github/ci/stand-env.sh
log="$RUNNER_TEMP/stop-one.log"
STOP_ONE_LOG="$log" make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make replicas
wait_replicas
STOP_ONE_LOG="$log" STOP_MODE=kill make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make replicas
wait_replicas
cat "$log"
- name: Stand logs
if: failure()
run: |
if [ -f .env ]; then docker compose ps -a; docker compose logs --no-color --tail=200; fi
- name: Remove the stand
if: always()
run: |
docker network disconnect "${COMPOSE_PROJECT_NAME}_default" "$HOSTNAME" 2>/dev/null || true
if [ -f .env ]; then docker compose down -v --remove-orphans; fi
docker image rm "mtusi-messenger:$CI_IMAGE_TAG" >/dev/null 2>&1 || true