chore: port lab 4 solution into the lab 5 skeleton
Source: mtusi2026lab4-safronov, solution/bvt2301-safronov, 2546deb. Contracts, public tests and evidence of lab 4 are not carried over. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,72 @@
|
||||
# Стенд в CI: docker-compose.yml + этот файл (COMPOSE_FILE job
|
||||
# application, .github/workflows/application.yml). Раннер Gitea
|
||||
# (act_runner) запускает job в контейнере рядом со стендом, на том же
|
||||
# Docker. Файлы рабочего каталога есть только в контейнере job, а bind
|
||||
# mount ищет их на хосте раннера; порты на 127.0.0.1 хоста из job не
|
||||
# видны и на общем хосте заняли бы чужие. Поэтому отличия от рабочего
|
||||
# стенда только такие:
|
||||
# - конфиги — configs из переменных окружения (их выставляет
|
||||
# .github/ci/stand-env.sh): compose копирует содержимое в контейнер при
|
||||
# создании, пути на хосте не нужно;
|
||||
# - портов на хосте нет: job подключается к сети стенда и ходит на
|
||||
# haproxy по имени;
|
||||
# - образ API — с тегом прогона: тег mtusi-messenger:lab5 на общем хосте
|
||||
# раннера может собрать и чужой job.
|
||||
# Остальное — сервисы, лимиты, volumes, секреты по сервисам — как в
|
||||
# рабочем стенде. Нужен Compose ≥ 2.24 (!reset).
|
||||
|
||||
services:
|
||||
postgres:
|
||||
ports: !reset []
|
||||
|
||||
valkey:
|
||||
ports: !reset []
|
||||
volumes: !reset []
|
||||
configs:
|
||||
- source: valkey_conf
|
||||
target: /usr/local/etc/valkey/valkey.conf
|
||||
|
||||
s3:
|
||||
ports: !reset []
|
||||
|
||||
s3-bootstrap:
|
||||
volumes: !reset []
|
||||
configs:
|
||||
- source: s3_bootstrap
|
||||
target: /opt/s3/bootstrap.sh
|
||||
|
||||
migrate:
|
||||
image: &ci-image mtusi-messenger:${CI_IMAGE_TAG:?CI_IMAGE_TAG is not set}
|
||||
volumes: !reset []
|
||||
configs: &config-toml
|
||||
- source: config_toml
|
||||
target: /app/config.toml
|
||||
|
||||
api:
|
||||
image: *ci-image
|
||||
volumes: !reset []
|
||||
configs: *config-toml
|
||||
|
||||
cleaner:
|
||||
image: *ci-image
|
||||
volumes: !reset []
|
||||
configs: *config-toml
|
||||
|
||||
haproxy:
|
||||
ports: !reset []
|
||||
volumes: !reset []
|
||||
configs:
|
||||
- source: haproxy_cfg
|
||||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||||
|
||||
# файлы по умолчанию 0444 и root: непривилегированные пользователи
|
||||
# контейнеров читают, но не меняют — как read_only у bind mount
|
||||
configs:
|
||||
config_toml:
|
||||
environment: CI_CONFIG_TOML
|
||||
valkey_conf:
|
||||
environment: CI_VALKEY_CONF
|
||||
s3_bootstrap:
|
||||
environment: CI_S3_BOOTSTRAP
|
||||
haproxy_cfg:
|
||||
environment: CI_HAPROXY_CFG
|
||||
@@ -0,0 +1,38 @@
|
||||
# Окружение шага job application (.github/workflows/application.yml),
|
||||
# подключается через «.» из корня репозитория после make env_setup.
|
||||
# Содержимое конфигов — в переменные для configs override
|
||||
# .github/ci/compose.yml. $(cat …) срезает перевод строки в конце файла,
|
||||
# поэтому он возвращается: копия побайтно равна файлу, а HAProxy без него
|
||||
# конфиг не принимает («Missing LF on last line»). Значения не печатаются.
|
||||
nl='
|
||||
'
|
||||
CI_CONFIG_TOML="$(cat config.toml)$nl"
|
||||
CI_VALKEY_CONF="$(cat infra/valkey/valkey.conf)$nl"
|
||||
CI_S3_BOOTSTRAP="$(cat infra/s3/bootstrap.sh)$nl"
|
||||
CI_HAPROXY_CFG="$(cat infra/haproxy/haproxy.cfg)$nl"
|
||||
export CI_CONFIG_TOML CI_VALKEY_CONF CI_S3_BOOTSTRAP CI_HAPROXY_CFG
|
||||
|
||||
# готовность стенда через LB: /health/ready отвечает 200 от API_REPLICAS
|
||||
# (из .env, по умолчанию 2) разных реплик — X-Instance-Id. Срок 60 с:
|
||||
# make replicas ждёт healthy контейнеров, а слот LB включается ещё через
|
||||
# rise проверок
|
||||
wait_replicas() {
|
||||
want=$(sed -n 's/^API_REPLICAS=//p' .env)
|
||||
want=${want:-2}
|
||||
seen=""
|
||||
deadline=$(($(date +%s) + 60))
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
reply=$(curl -s -o /dev/null -w '%{http_code} %header{x-instance-id}' \
|
||||
"$BASE_URL/health/ready" || true)
|
||||
case "$reply" in
|
||||
"200 "?*) seen=$(printf '%s\n%s\n' "$seen" "${reply#200 }" | sort -u | grep .) ;;
|
||||
esac
|
||||
if [ "$(printf '%s\n' "$seen" | grep -c .)" -ge "$want" ]; then
|
||||
echo "LB ready: $(printf '%s ' $seen)"
|
||||
return 0
|
||||
fi
|
||||
sleep 0.5
|
||||
done
|
||||
echo "LB: $(printf '%s\n' "$seen" | grep -c .) of $want replicas ready in 60 s" >&2
|
||||
return 1
|
||||
}
|
||||
@@ -0,0 +1,139 @@
|
||||
# Job приложения (CONTRIBUTING.md, «CI»): сборка образа, стенд и его
|
||||
# готовность через LB, make check и make test, затем проверки, которым
|
||||
# хватает сети стенда: приватность bucket для анонима, make validate,
|
||||
# собственные тесты, сохранность после рестарта и отказ реплики. Workflow
|
||||
# skeleton contracts.yml проверяет только контракт и не меняется.
|
||||
# Раннер Gitea (act_runner) запускает job в контейнере на том же Docker,
|
||||
# что и стенд: конфиги и порты — override .github/ci/compose.yml, к LB job
|
||||
# ходит по сети стенда. Секретов CI не получает: пароли и ключи — случайные
|
||||
# из make env_setup и живут только в прогоне. pull_request_target не
|
||||
# используется (CONTRIBUTING.md). Нет make s3_check, test_isolated и
|
||||
# failure_checks: им нужны порты на хосте; их результат — evidence/.
|
||||
name: Application
|
||||
on: [push, pull_request, workflow_dispatch]
|
||||
permissions:
|
||||
contents: read
|
||||
# прогоны репозитория по очереди и без отмены: отменённый посреди прогона
|
||||
# job оставил бы стенд на общем хосте раннера, а уборка хвостов не должна
|
||||
# задеть стенд соседнего прогона
|
||||
concurrency:
|
||||
group: application-${{ github.repository }}
|
||||
cancel-in-progress: false
|
||||
|
||||
jobs:
|
||||
application:
|
||||
runs-on: ubuntu-latest
|
||||
timeout-minutes: 40
|
||||
env:
|
||||
# свой проект, volumes и образ у каждого прогона
|
||||
COMPOSE_PROJECT_NAME: mtusi-lab5-safronov-ci-${{ github.run_id }}
|
||||
COMPOSE_FILE: docker-compose.yml:.github/ci/compose.yml
|
||||
CI_IMAGE_TAG: safronov-ci-${{ github.run_id }}
|
||||
# LB по имени сервиса в сети стенда, порт — APP__PORT из .env.example
|
||||
BASE_URL: http://haproxy:8080
|
||||
steps:
|
||||
- name: Checkout
|
||||
# ровно commit прогона; репозиторий публичный, токен не нужен.
|
||||
# Адрес Gitea — литералом: github.server_url здесь внутренний
|
||||
# http://gitea:3000, и контейнер job его не резолвит
|
||||
run: |
|
||||
git init -q .
|
||||
git remote add origin "https://gitea.privcloud.tech/${{ github.repository }}.git"
|
||||
git fetch -q --depth=1 origin "${{ github.sha }}"
|
||||
git checkout -q --detach FETCH_HEAD
|
||||
git log --oneline -1
|
||||
|
||||
- name: Runner
|
||||
run: |
|
||||
docker info --format 'docker {{.ServerVersion}}, {{.OSType}}/{{.Architecture}}, {{.NCPU}} CPU, {{.MemTotal}} B'
|
||||
docker compose version
|
||||
python3 -V
|
||||
|
||||
- name: Remove stands of interrupted runs
|
||||
# только проекты этого workflow: прогон, прерванный без уборки
|
||||
# (сбой раннера), оставил бы их на хосте
|
||||
run: |
|
||||
for p in $(docker ps -a --format '{{.Label "com.docker.compose.project"}}' | grep '^mtusi-lab5-safronov-ci-' | sort -u || true); do
|
||||
echo "remove leftover stand $p"
|
||||
docker ps -aq --filter "label=com.docker.compose.project=$p" | xargs -r docker rm -f >/dev/null
|
||||
docker volume ls -q --filter "label=com.docker.compose.project=$p" | xargs -r docker volume rm >/dev/null
|
||||
docker network ls -q --filter "label=com.docker.compose.project=$p" | xargs -r docker network rm >/dev/null || true
|
||||
done
|
||||
|
||||
- name: Build and start the stand
|
||||
run: |
|
||||
make env_setup
|
||||
. .github/ci/stand-env.sh
|
||||
docker compose config --quiet
|
||||
make run_docker
|
||||
make replicas
|
||||
docker network connect "${COMPOSE_PROJECT_NAME}_default" "$HOSTNAME"
|
||||
wait_replicas
|
||||
docker compose ps -a --format 'table {{.Service}}\t{{.Status}}'
|
||||
|
||||
- name: make check and make test
|
||||
run: |
|
||||
make check
|
||||
make test
|
||||
|
||||
- name: Bucket is closed to anonymous requests
|
||||
# без подписи: список bucket и объектов — 403. Полная проверка
|
||||
# приватности — make s3_check (evidence/s3/privacy.md)
|
||||
run: |
|
||||
s3="http://s3:$(sed -n 's/^S3_PORT=//p' .env)"
|
||||
bucket=$(sed -n 's/^S3__BUCKET=//p' .env)
|
||||
for url in "$s3/" "$s3/$bucket" "$s3/$bucket?list-type=2"; do
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' "$url")
|
||||
echo "anonymous GET $url -> $code"
|
||||
test "$code" = 403
|
||||
done
|
||||
|
||||
- name: Install uv
|
||||
# та же версия, что в Dockerfile
|
||||
run: |
|
||||
python3 -m venv "$RUNNER_TEMP/uv"
|
||||
"$RUNNER_TEMP/uv/bin/pip" install -q uv==0.12.17
|
||||
echo "$RUNNER_TEMP/uv/bin" >> "$GITHUB_PATH"
|
||||
|
||||
- name: make validate
|
||||
# полная проверка OpenAPI и примеров, как в contracts.yml skeleton:
|
||||
# на этом раннере он не доходит до проверок — actions/checkout
|
||||
# берёт внутренний адрес Gitea (http://gitea:3000)
|
||||
run: |
|
||||
uv sync -q
|
||||
make validate PYTHON=.venv/bin/python
|
||||
|
||||
- name: make student_test
|
||||
# через LB: тесты реплик выполняются, проверки отказов — нет
|
||||
run: make student_test
|
||||
|
||||
- name: make test-persistence
|
||||
run: |
|
||||
. .github/ci/stand-env.sh
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
wait_replicas
|
||||
|
||||
- name: make test-failover, stop and kill
|
||||
# остановленную реплику возвращает make replicas (те же ID)
|
||||
run: |
|
||||
. .github/ci/stand-env.sh
|
||||
log="$RUNNER_TEMP/stop-one.log"
|
||||
STOP_ONE_LOG="$log" make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make replicas
|
||||
wait_replicas
|
||||
STOP_ONE_LOG="$log" STOP_MODE=kill make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make replicas
|
||||
wait_replicas
|
||||
cat "$log"
|
||||
|
||||
- name: Stand logs
|
||||
if: failure()
|
||||
run: |
|
||||
if [ -f .env ]; then docker compose ps -a; docker compose logs --no-color --tail=200; fi
|
||||
|
||||
- name: Remove the stand
|
||||
if: always()
|
||||
run: |
|
||||
docker network disconnect "${COMPOSE_PROJECT_NAME}_default" "$HOSTNAME" 2>/dev/null || true
|
||||
if [ -f .env ]; then docker compose down -v --remove-orphans; fi
|
||||
docker image rm "mtusi-messenger:$CI_IMAGE_TAG" >/dev/null 2>&1 || true
|
||||
Reference in New Issue
Block a user