Files
mtusi2026lab2/student-tests
OlegRood 834876c938 ЛР 2: закрыть уровень 4
Завершить PostgreSQL, Redis-сессии, миграции, таймауты и диагностику. Зафиксировать собственные тесты и доказательства финального прогона: 43 PASS, 0 FAIL, 0 SKIP; 768 HTTP-запросов без ошибок. Добавить официальный отчёт с запуском, архитектурой, SQL-планами и ограничениями. PR отложен до завершения уровня 5.
2026-10-28 13:30:26 +03:00
..

Собственные проверки лабораторной 1

Требования берутся из корневого README и contracts/README.md. Публичные assertions не ослабляются. Все пользователи, чаты и тексты синтетические.

Уже запущенный API

python3 student-tests/level4.py --base-url http://localhost:8080

Одна команда запускает 17 сценариев: пять обязательных негативных/пагинационных сценариев уровня 4, отправку 100 сообщений от 10 клиентов и дополнительные условия базового контракта: Content-Type, поля JSON, формат 404, limit/cursor, привязку cursor, список чатов и Unicode-границы. HTTP-клиент и проверка схем переиспользованы из публичного tests/client.py; сами сценарии отдельные. Exit 0 означает успех всех сценариев, exit 1 — хотя бы один FAIL.

Дополнительная проверка после замечаний от 03.10.2026 включена в ту же команду: точный регистр имён полей всех трёх POST endpoint, неизвестные поля, повреждённые UTF-8 bytes, обязательные поля, null, неверные типы, второй JSON/мусор после тела и границы строк/участников. Валидные Unicode, символ �, корректная surrogate-пара и экранированное каноническое имя поля должны сохраняться. В актуальной версии на Go 1.27.1 используется encoding/json/v2 с json.RejectUnknownMembers(true): ошибки декодирования возвращают 400. Выполнено 162/162 обязательных проверок. Подробный результат можно получить отдельно:

python3 student-tests/validation_edges.py --base-url http://localhost:8080 \
  --output evidence/validation-edges.json

--include-observations дополнительно фиксирует дубликаты JSON-ключей и непарные \uD800/\uDC00. Контракт не задаёт для них отдельную политику; эти наблюдения не входят в PASS/FAIL обязательных проверок. Текущая реализация отклоняет все девять наблюдений с 400. Исторические 13/13 PASS не подтверждают новые сценарии. Проверка создаёт только синтетические данные и требует запущенный API.

Изолированный контейнер и результаты

python3 student-tests/container_level4.py --build \
  --image highload-lab1-audit:local --output evidence/level4.json

Нужны Docker, make и Python 3.9+. Скрипт собирает образ из временной копии текущих отслеживаемых файлов, создаёт контейнер с 1 CPU / 128 MiB, публикует свободный порт только на 127.0.0.1, запускает make check, make test и собственные HTTP-тесты. Затем проверяет конфигурацию порта, UID, отсутствие Go в runtime, healthcheck, сброс памяти после рестарта, SIGTERM с завершением активного запроса и отказом новым запросам, логи без тестовых маркеров сообщений.

После завершения собственные контейнеры удаляются; другие контейнеры не изменяются. Образ остаётся для воспроизведения. --build можно опустить для проверки уже собранного образа. Полный JSON сохраняется по --output; рядом при сборке создаётся файл *-build.txt. В результатах записываются версия Docker, аппаратные сведения, лимиты, image ID, базовый HEAD и fingerprint исходников. Если рабочее дерево не закоммичено, это явно отмечается.

Сборка копии текущих отслеживаемых файлов не подтверждает содержимое опубликованного commit. Новые исходники и тесты нужно включить в сдаваемую версию проекта самостоятельно. Команда создаёт данные только внутри своего контейнера; после удаления они теряются.

Оценка 5, трек 1: корректность после изменения

Нужны Docker с Linux cgroup v2, Go 1.27.1+ и Python 3.9+; поддерживаются macOS/Linux. Дополнительные библиотеки не требуются. track1_load.go — отдельный HTTP-клиент без импортов приложения; track1.py собирает его во временном каталоге, управляет контейнерами и сохраняет результаты. Исходники приложения, обязательный контракт и публичные тесты не изменяются.

python3 student-tests/track1.py check --build \
  --image highload-lab1-track1:check --output evidence/track1-check.json

Команда запускает make check, make test, собственные HTTP-проверки уровня 4 и следующие проверки истории:

  • 203 исходных сообщения от 10 клиентов; полный обход с limit=1,7,50,100.
  • Порядок (created_at, id) с сохранением наносекунд; уникальность ID и полное совпадение сообщений с ответами POST.
  • Изменение limit с 3 на 79 при продолжении, последняя неполная страница и завершение cursor.
  • Пустая история, 404 для постороннего пользователя, 400 для cursor другого чата.
  • Ещё 100 записей от 10 клиентов одновременно с тремя обходами истории. После завершения — ровно 303 уникальных сообщения без потерь и изменения содержимого.

Проверка не требует snapshot между страницами. Во время конкурентного обхода проверяются порядок, отсутствие повторов и сохранность исходной истории; после остановки записи проверяются все подтверждённые сообщения. Скачок системных часов назад в сценарий не включён.

Оценка 5, трек 1: матрица нагрузки

До изменения реализации:

python3 student-tests/track1.py run --build \
  --image highload-lab1-track1:before --label before \
  --output evidence/track1-before.json

После одного изменения реализации:

python3 student-tests/track1.py run --build \
  --image highload-lab1-track1:after --label after \
  --output evidence/track1-after.json

python3 student-tests/track1.py compare \
  --before evidence/track1-before.json --after evidence/track1-after.json \
  --output evidence/track1-comparison.json

Параметры по умолчанию: истории 100 / 1 000 / 10 000 сообщений, конкуренция 1 / 5 / 10, три повтора каждого сочетания, прогрев 5 с и измерение 30 с. Каждый профиль получает отдельный свежий контейнер с 1 CPU, 128 MiB RAM, без дополнительного swap. Размер синтетического ASCII-текста — 128 байт, страница — 50 элементов. GET чередует первую, среднюю и последнюю полную страницу; cursor получается от сервера и не конструируется клиентом. Подготовка данных и полные проверки истории не входят в измеряемую фазу.

Сохраняются JSON и CSV: успешные RPS, число/доля ошибок, p50/p95/p99 успешных запросов, CPU клиента, CPU контейнера, RSS процесса и память cgroup, временные ресурсные отсчёты, размеры истории, image ID, fingerprint исходников/генератора, параметры и результаты предварительных проверок. RSS читается из /proc/1/status; CPU — по разности usage_usec cgroup v2. Память cgroup включает cache и не подменяет RSS. Отсчёты ресурсов берутся каждые 0,5 с; пик означает максимум наблюдённых отсчётов, а не точный максимум.

Для короткого исходного эксперимента используются параметры --duration 10 --warmup 2 --repeats 1. Они также должны быть указаны при сравнительном запуске. Для окончательного исследования рекомендуется стандартный профиль с тремя повторами. Сравнение проверяет совпадение методики, ресурсов, стенда и версии генератора; выводит медиану и min/max по повторам. Один и тот же image ID до/после отклоняется как отсутствие подтверждённого изменения приложения.

Дополнительный сценарий --workloads read,mixed добавляет нагрузку с записью каждого двадцатого запроса. Он позволяет проверить задержки POST при чтении истории; история растёт во время прогрева и измерения, начальный и конечный размеры фиксируются. Это отдельный профиль, его нельзя сравнивать с чистым чтением как с одинаковой нагрузкой.

Выход 0 означает корректность сценариев и сбор измерений; он не подтверждает оценку 5 или улучшение. Ошибки HTTP/таймауты учитываются в метриках отдельно; нарушения содержимого/порядка, OOM, остановка процесса и ошибки сбора ресурсов делают запуск неуспешным. Подтверждённые сообщения проверяются после нагрузки. В mixed-профиле отдельно учитываются записи, которые могли сохраниться без полученного подтверждения; retry отсутствует.

Генератор работает в closed loop с HTTP/1.1 keep-alive: каждый клиент ожидает завершения своего запроса. Есть coordinated omission; задержки включают чтение JSON и клиентскую проверку данных. Клиент и Docker работают на одном компьютере, сбор ресурсов расходует часть CPU контейнера. Поэтому результаты характеризуют указанный стенд и профиль, а не абсолютный предел сервера. Для сохранения исходных результатов уже существующий output не перезаписывается; используйте новые имена файлов и разные теги before/after. Созданные контейнеры удаляются; образы остаются. Коммитов, staging и push сценарий не выполняет.

Повторное сравнение на Go 1.27.1 от 03.10.2026

Обе версии используют Go 1.27.1, JSON v2 и один генератор. Для «до» сценарий track1_baseline.py создаёт временный локальный clone, копирует текущие файлы и заменяет только ../internal/repository/message.go версией из commit 9de1152204e649c733d442255467dd81e1f16c59. Подготовка записана в baseline_preparation итогового JSON. Рабочая копия проекта не изменяется; commit, staging и push не выполняются.

Команды выполненного короткого эксперимента:

python3 student-tests/track1_baseline.py \
  --image highload-lab1-go127:before \
  --output evidence/track1-before-go127-2026-10-03.json

python3 student-tests/track1.py run --build \
  --image highload-lab1-go127:after --label after-go127 \
  --histories 100,1000,10000 --concurrency 1,5,10 \
  --duration 10 --warmup 2 --repeats 1 \
  --output evidence/track1-after-go127-2026-10-03.json

python3 student-tests/track1.py compare \
  --before evidence/track1-before-go127-2026-10-03.json \
  --after evidence/track1-after-go127-2026-10-03.json \
  --output evidence/track1-comparison-go127-2026-10-03.json

Для повторения выбирайте новые output-файлы. Параметры track1_baseline.py фиксированы: истории 100/1000/10000, конкуренция 1/5/10, прогрев 2 с, измерение 10 с, один повтор; вариант «после» должен использовать те же значения. Более длительный профиль выполняется отдельно на обеих версиях по методике выше.

До, после, сравнение. Результаты и ограничения приведены в REPORT.md.

Термин no retries в выводе Go означает отсутствие повторов в цикле генератора. Стандартный net/http.Transport может безопасно восстановить запрос после некоторых ошибок ранее использованного соединения, в частности GET. Такие сетевые попытки отдельно не считаются: измеряются HTTP-вызовы клиента и их полное время.

Историческое сравнение от 01.10.2026

До, после, сравнение, контейнерная проверка относятся к прежней версии Go и прежнему набору HTTP-проверок. Они сохранены для истории и не подтверждают исправление замечаний к JSON. Не сравнивайте эти измерения с Go 1.27.1 как эксперимент с одним изменением.

Для воспроизведения прежней исходной версии нужны её сохранённый образ highload-lab1-track1:before-20261001 без --build либо отдельная копия commit 9de1152. Текущая рабочая копия включает миграцию на Go 1.27.1 и отличается от обоих образов от 01.10.2026.

Проверка в CI

GitFlic

Конфигурация для платформы сдачи — gitflic-ci.yaml. Конвейер допускает push, событие merge request и ручной запуск из веб-интерфейса. Для автоматического MR-конвейера нужно также включить «Запуск конвейера слияния» в настройках проекта. Справочник YAML, запуск конвейеров.

Задачи выполняются последовательно; ошибка любой задачи завершает конвейер с ошибкой:

  1. contracts: отдельное временное Python-окружение, установка requirements-dev.txt, make check validate. Окружение удаляется; вывод сохраняется в build/gitflic-ci/contracts.txt.
  2. application: сборка уникального Docker-образа, container_level4.py --build и track1.py check для этого же образа. Проверяются публичный API, собственные сценарии уровня 4, 100 сообщений от 10 клиентов, конфигурация порта, UID/runtime, healthcheck, перезапуск, SIGTERM, логи и целостность истории при конкурентных записях. Полная нагрузочная матрица до/после остаётся отдельным экспериментом на указанном в отчёте стенде.

JSON, CSV и лог сборки находятся в build/gitflic-ci/application-<UUID>/. Новое имя для каждого запуска предотвращает конфликт тегов и перезапись результатов трека 1. Задачи сохраняют уже созданные артефакты и при ошибке (when: always); срок хранения — 30 дней. Тестовые контейнеры удаляют сценарии, а образ задачи удаляет shell trap с сохранением исходного exit code. build/ уже исключён из Git; итоговые материалы для сдачи сохраняются отдельно в evidence/. Пароли приложения и доступ к реестру для этих задач не требуются.

Требования к runner

Обе задачи используют тег lab1-shell. Нужен отдельный runner типа Shell, которому доступны Python 3.9+ с venv/pip, Git, make, Go 1.27.1+ и локальный Docker Engine с Linux cgroup v2. На Linux узел runner и опубликованные порты Docker должны находиться в одной сетевой среде: тесты используют 127.0.0.1. Обычный Docker executor с сокетом внешнего Docker-host для этой конфигурации не подходит. Runner выделяется этому проекту; общий Docker-host других проектов не используется согласно CONTRIBUTING.md.

Пользователь подтвердил 02.10.2026, что runner пока не подключён. На публичном gitflic.ru регистрация собственного runner выполняется на уровне компании; регистрация непосредственно в настройках личного проекта доступна только в self-hosted версиях. Требуется runner, доступный проекту в соответствующем контуре компании/учебного CI. Если у личного fork такого доступа нет, сначала согласуется с преподавателем размещение fork в компании или предоставление подходящего runner. Настройка компании и перенос проекта автоматически не выполняются. Регистрация Shell runner, область регистрации агентов.

Подключение и первый запуск

  1. Установить на отдельном Linux-узле совместимую версию GitFlic Runner по официальной инструкции; для Shell нужны также helper.jar и исполняемый helper.sh. Установить инструменты из списка выше. Проверить их доступность от пользователя, запускающего агент:

    sudo -u gitflic-runner python3 --version
    sudo -u gitflic-runner go version
    sudo -u gitflic-runner git --version
    sudo -u gitflic-runner make --version
    sudo -u gitflic-runner docker info --format '{{.CgroupVersion}}'
    

    Последняя команда должна вернуть 2. Пользователь runner должен иметь доступ к Docker Engine на этом же узле.

  2. В настройках компании открыть «Агенты CI/CD», получить Registration URL и token. Следующие команды выполнить в Bash на узле runner, из каталога с установленным runner.jar. Token вводится локально и не записывается в репозиторий:

    cd /opt/gitflic-runner
    read -r -p "Registration URL: " lab1_runner_url
    read -r -s -p "Registration token: " lab1_runner_token
    printf '\n'
    sudo -u gitflic-runner java -jar runner.jar register \
      --url "$lab1_runner_url" --registration-token "$lab1_runner_token" \
      --name lab1-shell --tags lab1-shell
    unset lab1_runner_token
    
  3. В созданном файле config/application.properties указать runner.executor=shell, рабочий каталог и каталог helper согласно инструкции установки. Запустить агент через установленный service или, для первого запуска:

    sudo -u gitflic-runner java -jar runner.jar start --config=config/application.properties
    

    В интерфейсе GitFlic проверить, что агент активен, имеет тег lab1-shell, доступен проекту и принимает задачи ветки solution/BPI2304-remez.

  4. В настройках CI/CD проекта указать путь gitflic-ci.yaml. Для MR включить «Запуск конвейера слияния». Опубликовать конфигурацию и документы в своей ветке. Настройки CI/CD.

  5. Открыть «CI/CD → Конвейеры → Создать конвейер», выбрать solution/BPI2304-remez. Ожидаемый результат: обе задачи успешны; level4.json и track1.json содержат status: PASS. Скачать артефакты и сохранить ссылку на фактический конвейер для отчёта. Последующие push запускают тот же конвейер автоматически.

Точные scripts обеих задач GitFlic CI локально прошли 02.10.2026: сводка. YAML и синтаксис shell проверены; это не подтверждает регистрацию runner или удалённый запуск GitFlic.

GitHub

При размещении проекта на GitHub сохраняется альтернативный .github/workflows/application.yml: сборка и контейнерные проверки с JSON/логом как artifact lab1-application-checks. Точная команда локально прошла 02.10.2026: результат, лог. Этот workflow автоматически не выполняется на GitFlic.