Реализовать lab3 в общем Helm-релизе с Traefik, TLS и HPA
This commit is contained in:
@@ -20,3 +20,8 @@ USER_WRITE_SLOTS=4
|
||||
USER_AUTH_RATE=20
|
||||
USER_AUTH_SLOTS=2
|
||||
LOG_LEVEL=info
|
||||
|
||||
# Lab3: common 32-byte base64 secret for every replica; generate with openssl rand -base64 32.
|
||||
CURSOR_SIGNING_KEY=
|
||||
# Stable pod name supplied by the Downward API; local processes use a random alias if omitted.
|
||||
INSTANCE_ID=
|
||||
|
||||
@@ -42,7 +42,7 @@ jobs:
|
||||
with:
|
||||
version: v2.12.2
|
||||
- run: make coverage
|
||||
- run: make test-faults
|
||||
- run: scripts/test-faults.sh
|
||||
- uses: actions/upload-artifact@v4
|
||||
if: always()
|
||||
with:
|
||||
|
||||
+8
-37
@@ -1,44 +1,15 @@
|
||||
# Архитектура лабораторной 2
|
||||
# Архитектура лабораторной 3
|
||||
|
||||
Статус: реализовано, проверено локально и развёрнуто в Kubernetes dev / highload-applications. Требования: [SPEC](docs/SPEC.md), фактический статус: [PLAN](docs/PLAN.md).
|
||||
Fiber/Fx/Zap, HTTP models → DTO → service → store. PostgreSQL — источник истины для данных, сессий и результатов идемпотентных записей. Valkey хранит профильный кэш и распределённые лимиты. Ключ подписи cursor общий, хранится в Secret.
|
||||
|
||||
Сохраняются Fiber v2, Fx, Zap и транспортный реестр fielderr. Composition root связывает интерфейсы с реализациями. Controller декодирует HTTP и преобразует DTO, service валидирует значения и доступ, PostgreSQL store исполняет SQL и транзакции. Парольная криптография и кеширование имеют собственные интерфейсы потребителей.
|
||||
Повтор сообщения сначала заново проходит аутентификацию, авторизацию и валидацию. Store блокирует строку чата, проверяет запись идемпотентности, затем в одной транзакции создаёт сообщение и результат. Ключ ограничен парой пользователь/чат (метод POST и endpoint сообщений фиксированы). Изменение body даёт конфликт; неуспешная транзакция не сохраняет результат. После 24 часов ключ допускает новую запись. Изоляция чатов предотвращает общий последовательный bottleneck всех записей.
|
||||
|
||||
## Схема и транзакции
|
||||
Миграции выполняются командой `server migrate` в отдельном Kubernetes Job. API при старте проверяет версию схемы. Изменения схемы аддитивны. Job и API создаются одним Helm release; до завершения миграции новая API-реплика не готова, Kubernetes повторяет её запуск. При обновлении старая готовая реплика сохраняется благодаря maxUnavailable=0.
|
||||
|
||||
`users`: UUID PK, username UNIQUE, display_name, password_hash, created_at. `chats`: UUID PK, title, created_at. `chat_members`: составной PK(chat_id,user_id), FK на users/chats. `messages`: UUID PK, chat_id/sender_id FK, text, created_at; индекс (chat_id,created_at,id). `sessions`: hash токена PK, user_id FK, expires_at. Создание чата и всех участников — одна транзакция; ограничение username обеспечивается БД, включая гонки. Вставки сообщений сериализуются на строке чата для монотонного времени в пределах чата. Чтение истории использует keyset и LIMIT, без OFFSET.
|
||||
Образы хранятся в Timeweb Cloud Registry и закреплены digest. Локальный токен передаётся Docker через stdin; `make init` создаёт переносимый imagePullSecret вне Helm release и обновляет его при смене токена. Пароль PostgreSQL и ключ cursor при повторной инициализации сохраняются.
|
||||
|
||||
PostgreSQL хранит источник истины. Кэш неизменяемых профилей пользователей допускает безопасное восстановление из БД; сессия проверяется по PostgreSQL при каждом запросе, поэтому logout не зависит от успешной инвалидации кэша. TTL ограничивает срок хранения профиля. История не кэшируется.
|
||||
Traefik Ingress hl.agapov.space направляет запросы в Service api и отслеживает EndpointSlice без sticky sessions. Readiness проверяется каждые 2 секунды, timeout 2 секунды, исключение после двух ошибок. PreStop 3 секунды, shutdown timeout 5 секунд, terminationGracePeriodSeconds=20. TLS выдаёт letsencrypt-prod. Kubernetes управляет EndpointSlice, Deployment, rolling update и HPA. HPA использует CPU из metrics-server и не зависит от Grafana. Метрики HTTP имеют ограниченный набор route/method/status labels без user/chat/request ID.
|
||||
|
||||
## Admission и шарды
|
||||
Один namespace `highload-applications`; существующий release lab2 обновляется на реализацию lab3. Имена api/postgres/valkey, три шарда, PVC и пароль БД сохраняются. Один LB, PostgreSQL и координатор Valkey остаются точками отказа; трек отказа узла не заявляется.
|
||||
|
||||
Клиентское кольцо consistent hashing с виртуальными узлами распределяет пользовательские ключи и кэш между 2–3 самостоятельными Valkey. Это не Redis Cluster с его 16384 hash slots. Глобальный координатор лимитов имеет стабильный адрес и не перемещается при расширении кольца. Группы auth/read/write имеют независимые бюджеты. Слоты ограничивают одновременную работу, rate ограничивает частоту; lease освобождается при завершении и истекает после аварии. Недоступность limiter закрывает admission с ограниченной ошибкой.
|
||||
|
||||
Topology изменяется через остановку admission и drain активных lease; после выдержки полного окна rate новое кольцо безопасно включается. Кэш прогревается по требованию: обязательные данные не перемещаются и не теряются. Это демонстрация шардирования, не высокая доступность: отказ единственного PostgreSQL или глобального координатора останавливает обязательный путь.
|
||||
|
||||
## Go и зависимости
|
||||
|
||||
Указатели на данные конфигурации, nullable значения и конкретные внутренние объекты инфраструктурного адаптера допустимы. Интерфейсы вводятся на границах поведения, прежде всего service/store/admission, а не для каждого поля. Все функции многострочные и документированы; HTTP-коды принадлежат transport.
|
||||
|
||||
|
||||
## Результат аудита зависимостей
|
||||
|
||||
Controller получает `service.Service`, `service.Authentication`, `admission.Distributed` и собственный интерфейс `Readiness`. Прямая зависимость от `*admission.Limiter` заменена. Business service получает `store.Interface`, `service.CursorCodec` и `service.ProfileCache`; authentication получает `service.Accounts` и `service.Passwords`. PostgreSQL/Valkey связываются только в `cmd/server`.
|
||||
|
||||
Конкретные указатели `*fiber.App`, `*zap.Logger`, `*fielderr.Registry`, `*pgxpool.Pool`, `*redis.Client` остаются внутри соответствующих инфраструктурных адаптеров. Они не пересекают business service boundary. Nullable cursor и указатели на секции конфигурации являются представлением данных, интерфейсы им не требуются.
|
||||
|
||||
Memory store и локальный limiter сохранены для независимых тестовых fixtures. Production Fx graph использует только PostgreSQL и Valkey. Публичная регистрация проходит через authentication и KDF. `UsersCreate` базового service остаётся операцией профильных fixtures; HTTP route не вызывает её напрямую.
|
||||
|
||||
Основные SQL-запросы используют `pgx.StrictNamedArgs`; статические migration DDL не содержат значений пользователя и выполняются без параметров. Миграция embedded, не зависит от рабочего каталога контейнера. Все чтения rows закрываются и проверяют `rows.Err()`.
|
||||
|
||||
Фактические проверки и эксплуатационные ограничения, включая process-local cursor key, приведены в [REPORT](REPORT.md). Указанные Go conventions проверяются formatter/lint и AST-тестом направления импортов; они не заменяют анализ ответственности компонентов.
|
||||
|
||||
## Классификация ошибок
|
||||
|
||||
PostgreSQL нормализует сетевые ошибки, разрыв соединения, deadline и SQLSTATE недоступности в `store.ErrUnavailable`, сохраняя исходную причину для `errors.Is`. `service.ErrUnavailable` — alias этой общей категории интерфейса хранилища; controller не импортирует драйвер или store. Это сохраняет классификацию и на пути проверки сессии, и в бизнес-операциях. HTTP-слой возвращает фиксированный 503/unavailable без деталей. Неизвестные ошибки SQL остаются 500; ограничения уникальности и отсутствие записи сохраняют прежнее отображение.
|
||||
|
||||
## Развёртывание
|
||||
|
||||
[Helm chart](charts/messenger) — единственный источник ресурсов стенда. Values задают образ, API-конфигурацию, ресурсы и число шардов. Изменение конфигурации меняет checksum pod template и вызывает rollout API. Namespace изолирует лабораторную; имена StatefulSet и PVC стабильны. Credentials создаются отдельно и передаются по именам Secret, без записи паролей в Helm values.
|
||||
|
||||
Смена кольца выполняется командой `make reshard` через Helm upgrade с остановленным API и ожиданием 31 секунды. Runtime topology guard защищает от несовпадающих колец; chart дополнительно запрещает изменение topology при работающем API. Подробности и порядок переноса существующих ресурсов: [ADR-0002](docs/decisions/0002-helm.md).
|
||||
Источники: [HPA](https://kubernetes.io/docs/concepts/workloads/autoscaling/horizontal-pod-autoscale/), [metrics-server](https://github.com/kubernetes-sigs/metrics-server), [PostgreSQL locking](https://www.postgresql.org/docs/17/explicit-locking.html).
|
||||
|
||||
@@ -1,13 +1,13 @@
|
||||
PYTHON ?= python3
|
||||
BASE_URL ?= http://localhost:8080
|
||||
BASE_URL ?= https://hl.agapov.space
|
||||
CA_FILE ?=
|
||||
ACTION_SCRIPT ?=
|
||||
TLS_ARGS = $(if $(CA_FILE),--ca-file "$(CA_FILE)",)
|
||||
|
||||
.PHONY: help check validate test load test-persistence
|
||||
.PHONY: help check validate test load test-persistence test-failover
|
||||
|
||||
help:
|
||||
@echo "init/deploy/port-forward: Helm stand; chart-check: Helm lint; reshard SHARDS=2|3; test/test-persistence: API; coverage: Go; research: SQL; check/validate: contract"
|
||||
@echo "check: offline structure; validate: full OpenAPI (requirements-dev.txt); test: running API; load: synthetic writes"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -25,6 +25,10 @@ test-persistence:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable restart hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode persistence --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
test-failover:
|
||||
@test -n "$(ACTION_SCRIPT)" || (echo "Set ACTION_SCRIPT to your implemented executable stop-one hook"; exit 2)
|
||||
$(PYTHON) tests/resilience.py --mode failover --action-script "$(ACTION_SCRIPT)" --base-url "$(BASE_URL)" $(TLS_ARGS)
|
||||
|
||||
GO ?= go
|
||||
.PHONY: build test-student coverage vet lint fmt research
|
||||
build:
|
||||
@@ -40,10 +44,10 @@ lint:
|
||||
fmt:
|
||||
golangci-lint fmt
|
||||
research:
|
||||
scripts/research.sh
|
||||
scripts/experiment.sh
|
||||
|
||||
REGISTRY ?= asisti.registry.twcstorage.ru
|
||||
IMAGE := $(REGISTRY)/mtusi2026lab2
|
||||
IMAGE := $(REGISTRY)/mtusi2026lab3
|
||||
IMAGE_TAG ?= dev-$(shell date -u +%Y%m%d%H%M%S)
|
||||
PLATFORM ?= linux/amd64
|
||||
REGISTRY_USER ?= token
|
||||
@@ -67,7 +71,7 @@ chart-check:
|
||||
helm lint $(CHART) -f "$(VALUES)"
|
||||
helm template "$(RELEASE)" $(CHART) -n "$(NAMESPACE)" -f "$(VALUES)" > /dev/null
|
||||
deploy:
|
||||
helm upgrade --install "$(RELEASE)" $(CHART) $(HELM_ARGS) --create-namespace -f "$(VALUES)" $(if $(IMAGE_DIGEST),--set-string image.digest=$(IMAGE_DIGEST),) --wait --timeout 180s
|
||||
helm upgrade --install "$(RELEASE)" $(CHART) $(HELM_ARGS) --create-namespace -f "$(VALUES)" $(if $(IMAGE_DIGEST),--set-string image.digest=$(IMAGE_DIGEST),) --wait --wait-for-jobs --timeout 240s
|
||||
reload:
|
||||
kubectl --context "$(KUBE_CONTEXT)" -n "$(NAMESPACE)" rollout restart deployment/api
|
||||
kubectl --context "$(KUBE_CONTEXT)" -n "$(NAMESPACE)" rollout status deployment/api --timeout=180s
|
||||
@@ -78,6 +82,11 @@ ready:
|
||||
reshard:
|
||||
SHARDS="$(SHARDS)" scripts/scale-shards.sh
|
||||
|
||||
.PHONY: test-faults
|
||||
test-faults:
|
||||
scripts/test-faults.sh
|
||||
.PHONY: metrics-install test-idempotency load-cluster
|
||||
metrics-install:
|
||||
kubectl --context "$(KUBE_CONTEXT)" apply -k infra/metrics-server
|
||||
kubectl --context "$(KUBE_CONTEXT)" -n "$(NAMESPACE)" rollout status deployment/metrics-server --timeout=180s
|
||||
test-idempotency:
|
||||
RUN="idempotency-$$(date -u +%Y%m%d%H%M%S)" LOAD_SCRIPT=idempotency.js scripts/run-load.sh
|
||||
load-cluster:
|
||||
scripts/run-load.sh
|
||||
|
||||
@@ -1,3 +1,53 @@
|
||||
# Базовое состояние
|
||||
# Лабораторная 3
|
||||
|
||||
Перенесена собственная реализация lab2 из коммита 8173f70. Контракт и публичные проверки lab3 сохранены. Требования lab3 на этом этапе ещё не реализованы.
|
||||
Агапов Владислав, БПИ2303. База: текущая lab2 (8173f70), отдельный базовый коммит lab3 a57cbcf. Требования и статус: [SPEC](docs/SPEC.md), [PLAN](docs/PLAN.md).
|
||||
|
||||
## Запуск
|
||||
|
||||
Основной стенд: Kubernetes dev, namespace highload-applications, существующий release lab2. Публичная точка входа: https://hl.agapov.space через установленный Traefik. TLS: cert-manager ClusterIssuer letsencrypt-prod. PostgreSQL и три Valkey сохраняют прежние PVC. Новый release lab3 не требуется.
|
||||
|
||||
Нужны Helm, kubectl, Docker buildx, jq, OpenSSL, curl. Для проверки: Go 1.26.1+, golangci-lint; Python 3 используется только публичными тестами преподавателя. В кластере нужны Traefik, cert-manager, default StorageClass и metrics-server. Образы PostgreSQL 17.6-alpine, Valkey 8.1.3-alpine, k6 1.3.0 закреплены в chart.
|
||||
|
||||
```sh
|
||||
make init
|
||||
make chart-check
|
||||
make deploy
|
||||
make ready
|
||||
make test
|
||||
make test-idempotency
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
```
|
||||
|
||||
make init читает ~/.secrets/twc-registry-token, обновляет registry-pull и сохраняет пароль messenger-secrets. При отсутствии добавляет общий cursor-key. При bootstrap создаёт пароль БД. Chart описывает API, PostgreSQL, Valkey, миграции, HPA, NetworkPolicy и Ingress.
|
||||
|
||||
```sh
|
||||
make build-push
|
||||
make deploy IMAGE_DIGEST="$(jq -r '."containerimage.digest"' evidence/image-build.json)"
|
||||
```
|
||||
|
||||
Для повторяемого запуска новой версии записать digest в charts/messenger/values.yaml. Не удалять PVC и не создавать параллельный release для обновления.
|
||||
|
||||
## Поведение
|
||||
|
||||
Две и более взаимозаменяемые API-реплики, X-Instance-Id равен имени pod. Общие сессии PostgreSQL и ключ cursor позволяют переключать реплики без повторного входа. POST сообщения требует Idempotency-Key; повтор возвращает исходное сообщение, другой текст — 409. Запись и ключ фиксируются атомарно. Миграции выполняет отдельный Job, API проверяет схему. Отказ БД возвращает 503 без раскрытия внутренних деталей.
|
||||
|
||||
[Архитектура](ARCHITECTURE.md) описывает readiness, graceful shutdown и HPA. Подготовлены [scrape](infra/monitoring/prometheus-scrape.yaml) и [dashboard](infra/monitoring/grafana-dashboard.json); импорт в Grafana не заявляется.
|
||||
|
||||
## Проверки
|
||||
|
||||
Актуальные результаты обновления release сохраняются в evidence/shared-*. Старые файлы без этого префикса, кроме заново полученного coverage, относятся к прежнему экспериментальному стенду и не доказывают текущую конфигурацию.
|
||||
|
||||
make coverage выполняется с изолированными PostgreSQL/Valkey (переменные в CI): race, интеграционные проверки, реальный процесс, SIGTERM и порог 90% на каждый файл. scripts/test-faults.sh создаёт одноразовые Docker-зависимости, останавливает и замораживает БД/Valkey, проверяет 503 и отсутствие анонимного доступа.
|
||||
|
||||
## Исследование и ограничения
|
||||
|
||||
Трек 5.1: scripts/experiment.sh сравнивает 1/2/4 API при фиксированном суммарном бюджете 1000m CPU / 512Mi и растущем бюджете по 250m / 128Mi на реплику. HPA временно отключается и восстанавливается. Профиль: 16 пользователей, 32 VU, 5 с прогрева, 30 с измерения; запись, чтение и повтор ключа. Сохраняются raw k6 и ресурсы. Полный трек требует матрицы, анализа насыщения и подтверждённого улучшения; наличие сценария не заменяет измерения.
|
||||
|
||||
Задание перечисляет Compose/Swarm; принятие Kubernetes как замены преподавателем не подтверждено. PostgreSQL и Valkey не реплицированы: потеря узла с локальным диском не покрывается. Оценка не заявляется как полученная.
|
||||
|
||||
Источники: README, COURSE, contracts этого репозитория; собственная lab2. Codex использован для реализации, проверки и документации.
|
||||
|
||||
Свежий прогон 16.10.2026: Go test/vet/lint прошли; race/integration/coverage — 59 файлов, минимум 90%. Публичный HTTPS smoke прошёл. Первый failover: 48 записей, 0 неудачных попыток, восстановление 0.801 с. Повторный запуск получил внешний connection/TLS timeout до остановки pod; сохранён отдельно, не считается PASS.
|
||||
|
||||
Конкурентная идемпотентность через HTTPS: 8 VU / 32 операции, 34/34 checks, ровно одно сообщение, другой body — конфликт. В процессе были 5 транзиентных неуспешных HTTP из 41; повторы выполнялись с исходным ключом. Полный рестарт API/PostgreSQL/Valkey прошёл: исходная сессия и сообщение сохранились, PVC неизменны. Реальные stop/pause PostgreSQL и Valkey на одноразовом стенде прошли: 503, отсутствие анонимного доступа, восстановление прежней сессии и сообщения.
|
||||
|
||||
@@ -2,5 +2,5 @@ apiVersion: v2
|
||||
name: messenger
|
||||
description: Учебный мессенджер с PostgreSQL и шардированным Valkey
|
||||
version: 0.1.0
|
||||
appVersion: lab2
|
||||
appVersion: lab3
|
||||
type: application
|
||||
|
||||
@@ -14,13 +14,16 @@ data:
|
||||
apiVersion: v1
|
||||
kind: Service
|
||||
metadata:
|
||||
labels:
|
||||
app: api
|
||||
name: api
|
||||
namespace: {{ .Release.Namespace }}
|
||||
spec:
|
||||
selector:
|
||||
app: api
|
||||
ports:
|
||||
- port: 8080
|
||||
- name: http
|
||||
port: 8080
|
||||
targetPort: 8080
|
||||
---
|
||||
apiVersion: apps/v1
|
||||
@@ -29,7 +32,13 @@ metadata:
|
||||
name: api
|
||||
namespace: {{ .Release.Namespace }}
|
||||
spec:
|
||||
{{- if not .Values.autoscaling.enabled }}
|
||||
replicas: {{ .Values.api.replicas }}
|
||||
{{- end }}
|
||||
strategy:
|
||||
rollingUpdate:
|
||||
maxUnavailable: 0
|
||||
maxSurge: 1
|
||||
selector:
|
||||
matchLabels:
|
||||
app: api
|
||||
@@ -42,7 +51,14 @@ spec:
|
||||
spec:
|
||||
imagePullSecrets:
|
||||
- name: {{ .Values.imagePullSecret }}
|
||||
terminationGracePeriodSeconds: 10
|
||||
terminationGracePeriodSeconds: 20
|
||||
topologySpreadConstraints:
|
||||
- maxSkew: 1
|
||||
topologyKey: kubernetes.io/hostname
|
||||
whenUnsatisfiable: ScheduleAnyway
|
||||
labelSelector:
|
||||
matchLabels:
|
||||
app: api
|
||||
securityContext:
|
||||
runAsNonRoot: true
|
||||
runAsUser: 65532
|
||||
@@ -58,6 +74,15 @@ spec:
|
||||
- configMapRef:
|
||||
name: messenger-config
|
||||
env:
|
||||
- name: INSTANCE_ID
|
||||
valueFrom:
|
||||
fieldRef:
|
||||
fieldPath: metadata.name
|
||||
- name: CURSOR_SIGNING_KEY
|
||||
valueFrom:
|
||||
secretKeyRef:
|
||||
name: {{ .Values.databaseSecret }}
|
||||
key: cursor-key
|
||||
- name: DATABASE_URL
|
||||
valueFrom:
|
||||
secretKeyRef:
|
||||
@@ -65,6 +90,10 @@ spec:
|
||||
key: database-url
|
||||
resources:
|
||||
{{- toYaml .Values.api.resources | nindent 12 }}
|
||||
lifecycle:
|
||||
preStop:
|
||||
sleep:
|
||||
seconds: 3
|
||||
startupProbe:
|
||||
httpGet:
|
||||
path: /health/ready
|
||||
@@ -72,6 +101,8 @@ spec:
|
||||
periodSeconds: 2
|
||||
failureThreshold: 30
|
||||
readinessProbe:
|
||||
timeoutSeconds: 2
|
||||
failureThreshold: 2
|
||||
httpGet:
|
||||
path: /health/ready
|
||||
port: 8080
|
||||
|
||||
@@ -0,0 +1,33 @@
|
||||
{{- if .Values.autoscaling.enabled }}
|
||||
apiVersion: autoscaling/v2
|
||||
kind: HorizontalPodAutoscaler
|
||||
metadata:
|
||||
name: api
|
||||
spec:
|
||||
scaleTargetRef:
|
||||
apiVersion: apps/v1
|
||||
kind: Deployment
|
||||
name: api
|
||||
minReplicas: {{ .Values.autoscaling.minReplicas }}
|
||||
maxReplicas: {{ .Values.autoscaling.maxReplicas }}
|
||||
metrics:
|
||||
- type: Resource
|
||||
resource:
|
||||
name: cpu
|
||||
target:
|
||||
type: Utilization
|
||||
averageUtilization: {{ .Values.autoscaling.cpuPercent }}
|
||||
behavior:
|
||||
scaleUp:
|
||||
stabilizationWindowSeconds: 15
|
||||
policies:
|
||||
- type: Pods
|
||||
value: 1
|
||||
periodSeconds: 30
|
||||
scaleDown:
|
||||
stabilizationWindowSeconds: 120
|
||||
policies:
|
||||
- type: Pods
|
||||
value: 1
|
||||
periodSeconds: 60
|
||||
{{- end }}
|
||||
@@ -0,0 +1,23 @@
|
||||
apiVersion: networking.k8s.io/v1
|
||||
kind: Ingress
|
||||
metadata:
|
||||
name: messenger
|
||||
annotations:
|
||||
cert-manager.io/cluster-issuer: {{ .Values.ingress.clusterIssuer | quote }}
|
||||
spec:
|
||||
ingressClassName: {{ .Values.ingress.className }}
|
||||
tls:
|
||||
- hosts:
|
||||
- {{ .Values.ingress.host | quote }}
|
||||
secretName: messenger-tls
|
||||
rules:
|
||||
- host: {{ .Values.ingress.host | quote }}
|
||||
http:
|
||||
paths:
|
||||
- path: /
|
||||
pathType: Prefix
|
||||
backend:
|
||||
service:
|
||||
name: api
|
||||
port:
|
||||
number: 8080
|
||||
@@ -0,0 +1,37 @@
|
||||
{{- if .Values.load.enabled }}
|
||||
apiVersion: batch/v1
|
||||
kind: Job
|
||||
metadata:
|
||||
name: load-{{ .Values.load.run }}
|
||||
spec:
|
||||
backoffLimit: 0
|
||||
activeDeadlineSeconds: 300
|
||||
ttlSecondsAfterFinished: 86400
|
||||
template:
|
||||
metadata:
|
||||
labels:
|
||||
app: load
|
||||
spec:
|
||||
restartPolicy: Never
|
||||
containers:
|
||||
- name: k6
|
||||
image: grafana/k6:1.3.0
|
||||
args: [run, --quiet, /scripts/{{ .Values.load.script }}]
|
||||
env:
|
||||
- name: BASE_URL
|
||||
value: "https://{{ .Values.ingress.host }}"
|
||||
- name: DURATION
|
||||
value: {{ .Values.load.duration | quote }}
|
||||
- name: VUS
|
||||
value: {{ .Values.load.vus | quote }}
|
||||
resources:
|
||||
requests: {cpu: 250m, memory: 128Mi}
|
||||
limits: {cpu: '2', memory: 256Mi}
|
||||
volumeMounts:
|
||||
- name: scripts
|
||||
mountPath: /scripts
|
||||
volumes:
|
||||
- name: scripts
|
||||
configMap:
|
||||
name: load-scripts
|
||||
{{- end }}
|
||||
@@ -0,0 +1,32 @@
|
||||
apiVersion: batch/v1
|
||||
kind: Job
|
||||
metadata:
|
||||
name: migrate-{{ .Release.Revision }}
|
||||
spec:
|
||||
activeDeadlineSeconds: 180
|
||||
backoffLimit: 3
|
||||
ttlSecondsAfterFinished: 86400
|
||||
template:
|
||||
metadata:
|
||||
labels:
|
||||
app: migrate
|
||||
spec:
|
||||
restartPolicy: OnFailure
|
||||
imagePullSecrets:
|
||||
- name: {{ .Values.imagePullSecret }}
|
||||
containers:
|
||||
- name: migrate
|
||||
image: "{{ .Values.image.repository }}@{{ .Values.image.digest }}"
|
||||
args: [migrate]
|
||||
envFrom:
|
||||
- configMapRef:
|
||||
name: messenger-config
|
||||
env:
|
||||
- name: DATABASE_URL
|
||||
valueFrom:
|
||||
secretKeyRef:
|
||||
name: {{ .Values.databaseSecret }}
|
||||
key: database-url
|
||||
resources:
|
||||
requests: {cpu: 50m, memory: 32Mi}
|
||||
limits: {cpu: 500m, memory: 128Mi}
|
||||
@@ -0,0 +1,19 @@
|
||||
{{- if .Values.monitoring.serviceMonitor }}
|
||||
apiVersion: monitoring.coreos.com/v1
|
||||
kind: ServiceMonitor
|
||||
metadata:
|
||||
name: api
|
||||
labels:
|
||||
app: api
|
||||
spec:
|
||||
namespaceSelector:
|
||||
matchNames: [{{ .Release.Namespace }}]
|
||||
selector:
|
||||
matchLabels:
|
||||
app: api
|
||||
endpoints:
|
||||
- port: http
|
||||
path: /metrics
|
||||
interval: 15s
|
||||
scrapeTimeout: 3s
|
||||
{{- end }}
|
||||
@@ -20,3 +20,35 @@ spec:
|
||||
port: 5432
|
||||
- protocol: TCP
|
||||
port: 6379
|
||||
- from:
|
||||
- podSelector:
|
||||
matchLabels:
|
||||
app: migrate
|
||||
ports:
|
||||
- protocol: TCP
|
||||
port: 5432
|
||||
---
|
||||
apiVersion: networking.k8s.io/v1
|
||||
kind: NetworkPolicy
|
||||
metadata:
|
||||
name: private-api
|
||||
spec:
|
||||
podSelector:
|
||||
matchLabels:
|
||||
app: api
|
||||
policyTypes: [Ingress]
|
||||
ingress:
|
||||
- from:
|
||||
- namespaceSelector:
|
||||
matchLabels:
|
||||
kubernetes.io/metadata.name: traefik
|
||||
ports:
|
||||
- protocol: TCP
|
||||
port: 8080
|
||||
- from:
|
||||
- namespaceSelector:
|
||||
matchLabels:
|
||||
kubernetes.io/metadata.name: monitoring
|
||||
ports:
|
||||
- protocol: TCP
|
||||
port: 8080
|
||||
|
||||
@@ -1,19 +1,19 @@
|
||||
# Ресурсы lab2 в общем namespace. Секреты создаются через make init.
|
||||
# Existing lab2 release; shared persistent stores and credentials.
|
||||
image:
|
||||
repository: asisti.registry.twcstorage.ru/mtusi2026lab2
|
||||
digest: sha256:3f19c9feb306a88044cc46b25d99592d48f04c21eba477d59676486277b2956c
|
||||
repository: asisti.registry.twcstorage.ru/mtusi2026lab3
|
||||
digest: sha256:a73799010550ab2008b984ed9d0bfa8dfdd9bb963cb948bc91713748b24c3889
|
||||
imagePullSecret: registry-pull
|
||||
databaseSecret: messenger-secrets
|
||||
api:
|
||||
replicas: 1
|
||||
replicas: 2
|
||||
resources:
|
||||
requests: {cpu: 250m, memory: 128Mi}
|
||||
limits: {cpu: '1', memory: 256Mi}
|
||||
env:
|
||||
SESSION_TTL_SECONDS: '3600'
|
||||
DEPENDENCY_TIMEOUT_MS: '1000'
|
||||
DEPENDENCY_TIMEOUT_MS: '2000'
|
||||
DEPENDENCY_POOL_SIZE: '8'
|
||||
REQUEST_TIMEOUT_SECONDS: '3'
|
||||
REQUEST_TIMEOUT_SECONDS: '4'
|
||||
SHUTDOWN_TIMEOUT_SECONDS: '5'
|
||||
GOMEMLIMIT: 160MiB
|
||||
postgres:
|
||||
@@ -32,3 +32,22 @@ valkey:
|
||||
limits: {cpu: 500m, memory: 128Mi}
|
||||
# Пустое значение использует default StorageClass. Задать до первой установки.
|
||||
storageClass: ''
|
||||
|
||||
autoscaling:
|
||||
enabled: true
|
||||
minReplicas: 2
|
||||
maxReplicas: 4
|
||||
cpuPercent: 60
|
||||
monitoring:
|
||||
serviceMonitor: false
|
||||
load:
|
||||
enabled: false
|
||||
run: manual
|
||||
script: scaling.js
|
||||
duration: 30
|
||||
vus: 32
|
||||
|
||||
ingress:
|
||||
host: hl.agapov.space
|
||||
className: traefik
|
||||
clusterIssuer: letsencrypt-prod
|
||||
|
||||
+6
-1
@@ -43,7 +43,7 @@ func CreateApp() fx.Option {
|
||||
fx.Annotate(databaseStore, fx.As(new(store.Interface))),
|
||||
fx.Annotate(databaseAccounts, fx.As(new(service.Accounts))),
|
||||
fx.Annotate(profileCache, fx.As(new(service.ProfileCache))),
|
||||
fx.Annotate(cursor.New, fx.As(new(service.CursorCodec))),
|
||||
fx.Annotate(newCursor, fx.As(new(service.CursorCodec))),
|
||||
fx.Annotate(production.NewCached, fx.As(new(service.Service))),
|
||||
fx.Annotate(fiberctrl.New, fx.As(new(controller.Controller))),
|
||||
),
|
||||
@@ -95,3 +95,8 @@ func databaseAccounts(database *postgres.Store) service.Accounts {
|
||||
func profileCache(client *valkey.Client) service.ProfileCache {
|
||||
return client
|
||||
}
|
||||
|
||||
// newCursor binds the shared signing secret at the composition root.
|
||||
func newCursor(cfg *config.Persistence) (*cursor.Codec, error) {
|
||||
return cursor.NewShared(cfg.CursorKey)
|
||||
}
|
||||
|
||||
@@ -101,4 +101,8 @@ func requirePersistence(t *testing.T) {
|
||||
if os.Getenv("DATABASE_URL") == "" || os.Getenv("VALKEY_SHARDS") == "" {
|
||||
t.Skip("DATABASE_URL and VALKEY_SHARDS are required for real application lifecycle tests")
|
||||
}
|
||||
t.Setenv("CURSOR_SIGNING_KEY", "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=")
|
||||
if err := migrate(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
+23
-1
@@ -1,7 +1,12 @@
|
||||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"time"
|
||||
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/config"
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store/postgres"
|
||||
|
||||
"go.uber.org/fx"
|
||||
)
|
||||
@@ -12,8 +17,25 @@ func run(args []string) error {
|
||||
fx.New(CreateApp()).Run()
|
||||
return nil
|
||||
}
|
||||
if len(args) == 1 && args[0] == "migrate" {
|
||||
return migrate()
|
||||
}
|
||||
if len(args) == 1 && args[0] == "healthcheck" {
|
||||
return healthcheck()
|
||||
}
|
||||
return fmt.Errorf("usage: server [healthcheck]")
|
||||
return fmt.Errorf("usage: server [healthcheck|migrate]")
|
||||
}
|
||||
|
||||
// migrate applies versioned DDL once from an operator job, independently of the API.
|
||||
func migrate() error {
|
||||
cfg, err := config.NewPersistence()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
database, err := postgres.New(postgres.Options{URL: cfg.DatabaseURL, MaxConnections: 1, Timeout: 30 * time.Second})
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
defer database.Close()
|
||||
return database.Start(context.Background())
|
||||
}
|
||||
|
||||
@@ -37,7 +37,7 @@ func newDatabase(lifecycle fx.Lifecycle, cfg *config.Persistence) (*postgres.Sto
|
||||
return nil, err
|
||||
}
|
||||
lifecycle.Append(fx.Hook{
|
||||
OnStart: database.Start,
|
||||
OnStart: database.CheckSchema,
|
||||
OnStop: func(context.Context) error {
|
||||
database.Close()
|
||||
return nil
|
||||
|
||||
@@ -46,3 +46,21 @@ func TestReadinessStopsAtUnavailableDatabase(t *testing.T) {
|
||||
t.Fatal("closed database reported ready")
|
||||
}
|
||||
}
|
||||
|
||||
// TestMigrationCommandRejectsMissingConfiguration fails before opening a database.
|
||||
func TestMigrationCommandRejectsMissingConfiguration(t *testing.T) {
|
||||
t.Setenv("DATABASE_URL", "")
|
||||
t.Setenv("VALKEY_SHARDS", "shard0=localhost:6379")
|
||||
if err := run([]string{"migrate"}); err == nil {
|
||||
t.Fatal("missing database configuration accepted")
|
||||
}
|
||||
}
|
||||
|
||||
// TestMigrationCommandRejectsMalformedDatabaseURL fails without logging credentials.
|
||||
func TestMigrationCommandRejectsMalformedDatabaseURL(t *testing.T) {
|
||||
t.Setenv("DATABASE_URL", "://invalid")
|
||||
t.Setenv("VALKEY_SHARDS", "shard0=localhost:6379")
|
||||
if err := run([]string{"migrate"}); err == nil {
|
||||
t.Fatal("malformed database configuration accepted")
|
||||
}
|
||||
}
|
||||
|
||||
+13
-78
@@ -1,89 +1,24 @@
|
||||
# План защиты лабораторной 2 — 9 минут 30 секунд
|
||||
# Шпаргалка для защиты lab3
|
||||
|
||||
Резерв до лимита 10 минут — 30 секунд. Рабочий каталог — корень репозитория lab2. Демонстрация относится к PostgreSQL, сессиям, Valkey и SQL-исследованию; HPA и балансировка lab3 сюда не входят.
|
||||
Стенд: https://hl.agapov.space. Запрос проходит через Traefik Ingress, Service api, одну из API-реплик, общие PostgreSQL и Valkey. Обновлён существующий Helm release lab2, namespace highload-applications.
|
||||
|
||||
## Подготовить до защиты
|
||||
Главное отличие lab3: API взаимозаменяемы. Сессия находится в PostgreSQL, ключ подписи cursor общий. X-Instance-Id показывает pod, обслуживший запрос. Sticky sessions не нужны.
|
||||
|
||||
- Открыть REPORT.md, ARCHITECTURE.md, этот план и два терминала.
|
||||
- Выполнить `make chart-check`, `make test-faults`; сборка Docker и остановки зависимостей не должны съедать время защиты.
|
||||
- Открыть сохранённые `evidence/fault-regression.txt`, `evidence/sql-research-domain.json`, `evidence/sql-research-helm.txt`. Это реальные предыдущие измерения с датами, а не результаты сегодняшнего стенда.
|
||||
- В первом терминале запустить `make port-forward` (localhost:8080); во втором — `make ready` и `make test`.
|
||||
- Если 8080 занят, использовать `LOCAL_PORT=18082 make port-forward`, а в проверках `BASE_URL=http://localhost:18082`.
|
||||
- Для воспроизведения SQL-исследования заранее выполнить `make research`: отдельный временный Docker PostgreSQL, не база dev. На защите показывать готовые планы и результаты.
|
||||
Клиент передаёт Idempotency-Key при отправке сообщения. Область ключа — пользователь и чат, срок 24 часа. Транзакция блокирует строку чата и записывает сообщение вместе с результатом операции. Повтор после timeout возвращает исходное сообщение; другой текст с тем же ключом даёт 409. Поэтому потерянный HTTP-ответ не приводит к дублю.
|
||||
|
||||
## 0:00–0:45 — задача и результат
|
||||
Миграции выполняются отдельной командой server migrate в Job с advisory lock. API только проверяет версию. Миграция аддитивна, старые реплики продолжают работать при обновлении.
|
||||
|
||||
«Перенесён мессенджер из памяти в PostgreSQL. Подтверждённые сообщения и сессии переживают рестарт. Valkey используется для кэша профилей и распределённых ограничений. Цель — уровни 3 и 4 и трек “План запроса и восстановление”.»
|
||||
|
||||
```sh
|
||||
helm list --kube-context dev -n highload-applications
|
||||
kubectl --context dev -n highload-applications get pods -l 'app in (api,postgres,valkey)'
|
||||
```
|
||||
|
||||
Показать API, PostgreSQL, три Valkey. Kubernetes — выбранный способ развёртывания; формальное принятие замены Compose/Swarm преподавателем учитывается отдельно.
|
||||
|
||||
## 0:45–1:45 — архитектура и авторизация
|
||||
|
||||
Показать ARCHITECTURE.md и коротко объяснить:
|
||||
|
||||
- Fiber controller принимает HTTP; service проверяет правила и доступ; store выполняет SQL. Реализации связываются через Fx, между слоями — интерфейсы.
|
||||
- Пароль хранится как Argon2id hash. Basic применяется при входе, затем используется случайный opaque Bearer token.
|
||||
- В PostgreSQL хранится digest токена и абсолютный срок действия. Сессия проверяется в источнике истины на каждом запросе, поэтому logout действует сразу.
|
||||
- Valkey кэширует профиль, но не подменяет проверку сессии. Отказ зависимости не открывает анонимный доступ.
|
||||
|
||||
## 1:45–3:00 — работа API
|
||||
Readiness проверяет PostgreSQL и все Valkey. Kubernetes исключает неготовый endpoint; Traefik обновляет backend. PreStop ждёт 3 секунды, затем SIGTERM даёт приложению до 5 секунд на завершение запросов. Лимит pod termination — 20 секунд. Отказ процесса API не равен отказу узла с БД.
|
||||
|
||||
HPA смотрит CPU через metrics-server: минимум 2, максимум 4, целевая утилизация 60% от requests. Grafana нужна для визуализации, а не для работы HPA.
|
||||
|
||||
Показать команды:
|
||||
```sh
|
||||
kubectl --context dev -n highload-applications get pods,hpa,ingress,certificate
|
||||
make test
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
```
|
||||
|
||||
Пояснить, что публичный smoke проверяет цепочку регистрации, входа, чатов и сообщений, авторизацию и пагинацию. Не выводить реальные токены. Пока работает тест, показать schema/migration и ограничения FK/unique.
|
||||
Первый успешный failover: 48 записей, 0 ошибок, восстановление 0.801 секунды, сессия и сообщения сохранены. Актуальные другие результаты находятся в evidence/shared-*; не выдавать повтор с сетевым timeout за успешный.
|
||||
|
||||
## 3:00–4:30 — сохранность после рестарта
|
||||
|
||||
```sh
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
```
|
||||
|
||||
«Тест создаёт сообщение и сессию, перезапускает API, PostgreSQL и Valkey через явно заданный hook. PVC не удаляются. Затем прежний токен читает прежнее подтверждённое сообщение без нового логина.»
|
||||
|
||||
Дождаться PASS. Если инфраструктура задерживает рестарт, не выдавать сохранённый лог за текущий PASS: показать прошлый результат с его датой и продолжить по плану.
|
||||
|
||||
## 4:30–5:45 — реальные отказы зависимостей
|
||||
|
||||
```sh
|
||||
rg 'PASS:' evidence/fault-regression.txt
|
||||
```
|
||||
|
||||
«Команда воспроизведения — make test-faults. Отдельные Docker-контейнеры PostgreSQL и Valkey по очереди останавливаются и замораживаются. Во всех четырёх сценариях запрос истории с действующим токеном получает 503 unavailable. Проверяются readiness=503, liveness=200, отсутствие доступа без токена и по поддельной идентичности, затем восстановление с прежней сессией.»
|
||||
|
||||
Уточнить исправление ревью: сетевые ошибки PostgreSQL классифицируются в store; неизвестная SQL-ошибка остаётся безопасным 500. В измеренном прогоне отказ отвечал за 0.002–0.508 с при timeout зависимости 500 мс. На dev для демонстрации ничего дополнительно останавливать не требуется.
|
||||
|
||||
## 5:45–7:45 — исследовательский трек на 5
|
||||
|
||||
Гипотеза: индекс `(chat_id, created_at, id)` ускоряет позднюю страницу истории, поскольку соответствует фильтру, курсору и порядку сортировки.
|
||||
|
||||
```sh
|
||||
jq '[.variants[] | {name, read_ms:[.select_plans[][0]["Execution Time"]]}]' evidence/sql-research-domain.json
|
||||
rg 'PASS: restore' evidence/sql-research-helm.txt
|
||||
```
|
||||
|
||||
Объяснить метод: 100 000 синтетических сообщений, распределение 90/9/1% по чатам; сравнение индекса по chat_id с составным индексом; три повтора чтения и вставки 1000 строк с rollback; EXPLAIN ANALYZE BUFFERS.
|
||||
|
||||
Результат исторического прогона 2026-10-07: чтение 7.646–8.604 мс против 0.055–0.136 мс. Показать в плане исчезновение лишней сортировки и уменьшение объёма обработки. Это эффект конкретного запроса и набора данных, не обещание такого ускорения всего API. По вставке диапазоны перекрываются: измеренного устойчивого штрафа не доказано.
|
||||
|
||||
Backup/restore: логический dump восстановлен в новую БД, совпали 100 000 строк и checksum; приведены выборочные записи. Это не HA и не PITR.
|
||||
|
||||
## 7:45–8:45 — дополнительные лимиты и шарды
|
||||
|
||||
«В Valkey Lua атомарно проверяет rate и слоты одновременных запросов. Есть глобальный бюджет, группы auth/read/write и бюджет пользователя. 429 — превышение частоты, 503 — занятые слоты или недоступность обязательного backend.»
|
||||
|
||||
«Пользовательские ключи распределяются consistent hashing с виртуальными узлами. Это три самостоятельных Valkey и клиентская маршрутизация, не Redis Cluster. Глобальные лимиты согласуются на shard0. Изменение кольца выполняется через остановку и drain API; глобальная координация остаётся точкой отказа.»
|
||||
|
||||
Не запускать reshard в десятиминутной защите: команда намеренно ждёт истечения lease и вызывает простой. Показать `make reshard SHARDS=2` как документированный способ, а измерения — в REPORT.
|
||||
|
||||
## 8:45–9:30 — проверки и ограничения
|
||||
|
||||
Показать `evidence/fault-coverage-per-file.json`: каждый из 57 исполняемых Go-файлов имеет ≥90% statements. Упомянуть race, реальные PostgreSQL/Valkey integration, lint/vet и отдельный fault-сценарий в CI; запуск удалённого runner не подтверждён локальными проверками.
|
||||
|
||||
Ограничения: PostgreSQL и координатор Valkey не реплицированы; hostpath PVC зависят от узла; cursor key lab2 локален процессу, старый cursor после рестарта может стать недействительным; исторические измерения отделены от свежих проверок. Оценку определяет преподаватель.
|
||||
Ограничения: PostgreSQL и Valkey не реплицированы, hostpath PVC зависит от узла. Полный исследовательский трек на 5 ещё требует матрицы 1/2/4, доказанного насыщения и улучшения; один HPA его не заменяет. Kubernetes вместо Compose/Swarm требует принятия преподавателем.
|
||||
|
||||
+9
-21
@@ -1,23 +1,11 @@
|
||||
# План лабораторной 2
|
||||
# План лабораторной 3
|
||||
|
||||
| Задача | Требования | Результат и проверка | Статус |
|
||||
| --- | --- | --- | --- |
|
||||
| L2-T01 | L2-REQ-01,08 | Выборочный перенос, новая аутентификация; [smoke](../evidence/smoke.txt) | Выполнено локально |
|
||||
| L2-T02 | L2-REQ-01,04,05 | PostgreSQL, миграции, rollback, гонки, keyset; [race/integration](../evidence/go-tests-coverage.txt) | Выполнено |
|
||||
| L2-T03 | L2-REQ-02,03 | Argon2id, сессии, TTL/отзыв, профильный кэш; [fault tests](../evidence/dependencies.json) | Выполнено локально |
|
||||
| L2-T04 | L2-REQ-06,07 | Группы и user/global budgets, Lua/lease, consistent hashing; unit/integration; [ring](../evidence/hashring.txt) | Выполнено; [расширение 2→3](../evidence/k8s-scale-shards.txt) и smoke прошли |
|
||||
| L2-T05 | L2-REQ-09 | Helm install/upgrade/restart/reshard, PVC, локальный Docker [persistence](../evidence/persistence.txt) | Выполнено в dev / highload-applications; [smoke/persistence](../evidence/k8s-persistence-three-shards.txt); принятие преподавателем учитывается отдельно |
|
||||
| L2-T06 | L2-REQ-05,10 | 100 000 сообщений, планы/вставки, backup/restore; [raw results](../evidence/sql-research-domain.json) | Выполнено локально |
|
||||
| L2-T07 | L2-REQ-08 | DIP-аудит, fmt/lint/vet/race; [порог каждого файла](../evidence/coverage-per-file.json); CI workflow | Локально выполнено; удалённый CI не запускался |
|
||||
| L2-T09 | L2-REQ-11 | Registry build/push, digest deployment, namespaced pull-secret | Выполнено; [build metadata](../evidence/image-build.json) |
|
||||
| L2-T08 | Все | [REPORT](../REPORT.md), evidence и инструкция Helm | Выполнено; [итоговый Kubernetes snapshot](../evidence/k8s-deployment.json) |
|
||||
| L2-T10 | L2-REQ-09,11,12 | Helm chart, values, adoption без потери данных, upgrade, reshard 3→2→3; [проверка](../evidence/helm-deployment.txt) | Выполнено в dev |
|
||||
| L2-T11 | L2-REQ-08,10,12 | [Покрытие shell/awk](../evidence/helm-coverage-per-file.json), [SQL-эксперимент](../evidence/sql-research-helm.txt), сокращённый REPORT; собственные Python-скрипты удалены | Выполнено |
|
||||
| Требования | Работа | Статус |
|
||||
| --- | --- | --- |
|
||||
| L3-01–04 | База lab2, идемпотентность, cursor, отдельная миграция | Реализовано; базовый коммит a57cbcf опубликован |
|
||||
| L3-05–07,10 | Release lab2, Traefik hl.agapov.space, TLS, HPA | Применено; две реплики готовы, сертификат Ready; evidence/shared-state.txt |
|
||||
| L3-09 | Go test/vet/lint, race/integration/coverage | test/vet/lint и race/integration/coverage прошли: 59 файлов, минимум 90% |
|
||||
| L3-01,02,05 | Smoke, concurrent retry, failover, persistence, rolling update | Актуальные результаты в evidence/shared-* |
|
||||
| L3-08 | Матрица, насыщение, подтверждённое улучшение | Полный трек не завершён |
|
||||
|
||||
Обязательные contracts и публичные tests сохранены. Lab1 и соседние реализации не изменялись. Контейнерный образ опубликован; решение находится в main и PR №52 (Агапов Владислав, БПИ2303). Результат защиты не зафиксирован. Код, локальные измерения, кластерная проверка и принятие работы учитываются отдельно.
|
||||
|
||||
| Задача | Требования | Результат и проверка | Статус |
|
||||
| --- | --- | --- | --- |
|
||||
| L2-T12 | L2-REQ-13 | Перенесены 182 файла; module/imports обновлены; build, vet, race, lint, chart-check и неизменность публичных материалов проверены; [результаты](../evidence/gitea-transfer-tests.txt) | Перенос проверен; main опубликован, PR №52 открыт; без redeploy |
|
||||
| L2-T13 | L2-REQ-03,04 | Классификация PostgreSQL, unit-регрессии, make test-faults: stop/pause обоих backend, запрет анонимного доступа, recovery; evidence/fault-regression.txt; race/coverage ≥90% по каждому файлу | Выполнено локально |
|
||||
| L2-T14 | L2-REQ-09,11 | Переустановка lab2 в dev из Timeweb; PVC и данные сохранены, smoke/persistence PASS; docs/DEFENSE.md | Выполнено; evidence/timeweb-* |
|
||||
Проверки: shared-smoke PASS, shared-failover-1 PASS, shared-persistence PASS, shared-dependency-faults PASS. Concurrent retry: 34/34 checks, один Message через две реплики. Два повторных внешних failover-прогона завершились timeout до action; последовательная остановка каждой исходной реплики ещё не подтверждена.
|
||||
|
||||
+15
-45
@@ -1,48 +1,18 @@
|
||||
# Спецификация лабораторной 2
|
||||
# Спецификация лабораторной 3
|
||||
|
||||
Версия 4, локальная реализация и развёртывание в Kubernetes dev проверены. Цель: весь уровень 3 и 4, один исследовательский трек уровня 5; дополнительно распределённый admission и демонстрация шардирования.
|
||||
Цель: уровни 3 и 4, полный трек 5.1 «Цена масштабирования». Основа — собственное решение lab2, контракт lab3 сохранён. Основной способ развёртывания — Kubernetes по требованию проекта; формальное принятие замены Compose/Swarm преподавателем не подтверждено.
|
||||
|
||||
Нормативные источники: [задание](../README.md), [курс](../COURSE.md), [контракт](../contracts/README.md), [OpenAPI](../contracts/openapi.json), [правила сдачи](../CONTRIBUTING.md). Обязательные контракты и публичные проверки сохраняются.
|
||||
| ID | Требование и приёмка |
|
||||
| --- | --- |
|
||||
| L3-01 | Две и более API-реплики за LB; единая сессия, стабильный X-Instance-Id на всех ответах; smoke через LB |
|
||||
| L3-02 | Идемпотентность сообщения на 24 часа: user/chat/key, валидный ASCII 1–128, 201 того же Message, 409 при другом body; конкурентные повторы и rollback в настоящей PostgreSQL |
|
||||
| L3-03 | Общий ключ cursor, сессии и limiter; пагинация и повтор работают при смене реплики |
|
||||
| L3-04 | Миграции отдельной командой/Job с advisory lock; API только проверяет версию схемы; повтор миграций безопасен |
|
||||
| L3-05 | Readiness, SIGTERM/drain, LB health checks; остановка каждой реплики, восстановление <=10 секунд; rolling update под нагрузкой; сохранность после полного рестарта |
|
||||
| L3-06 | Helm в dev / highload-applications, существующий release lab2; имена api/postgres/valkey и PVC сохраняются; Traefik Ingress hl.agapov.space, TLS letsencrypt-prod; CPU/RAM requests/limits, закрытые API-порты |
|
||||
| L3-07 | HPA autoscaling/v2 по CPU metrics-server, min 2/max 4, стабилизация; /metrics и готовые настройки Prometheus/Grafana без установки Grafana |
|
||||
| L3-08 | Трек 5.1: 1/2/4 реплики при фиксированном общем CPU/RAM и растущих ресурсах, одинаковый профиль, raw RPS/errors/latency/resource data, графики, измеренный предел и подтверждённое улучшение |
|
||||
| L3-09 | Go conventions, DIP, gofmt/lint/vet/race, >=90% statements в каждом исполняемом файле, CI |
|
||||
| L3-10 | Timeweb Cloud Registry: токен из локального файла, Docker login через stdin, Kubernetes imagePullSecret; секреты не попадают в Git или Helm values; образ фиксируется digest |
|
||||
|
||||
| ID | Требование | Критерий приёмки |
|
||||
| --- | --- | --- |
|
||||
| L2-REQ-01 | Перенести бизнес-возможности lab1, хранить пользователей, чаты, участников и сообщения в PostgreSQL | Публичный smoke; уникальность username; FK; атомарное создание чата; миграции с нуля и повторно |
|
||||
| L2-REQ-02 | Пароль 12–128 Unicode code points, библиотечный KDF; Basic только при входе; случайная opaque Bearer-сессия | Неверный пароль, UTF-8, expiry, logout, игнорирование X-User-Id, WWW-Authenticate |
|
||||
| L2-REQ-03 | PostgreSQL — источник истины для сессий; Redis/Valkey — осмысленный кэш | Сохранность после полного рестарта; TTL не продлевается; отзыв виден сразу; отказ кэша не предоставляет доступ |
|
||||
| L2-REQ-04 | Ограниченные pool и timeout; ошибки зависимостей не раскрывают секреты | Изолированные проверки отказа PostgreSQL и Valkey; readiness |
|
||||
| L2-REQ-05 | Keyset pagination, индекс истории, read-after-write | EXPLAIN ANALYZE BUFFERS на ≥10 000 сообщений; отсутствие повторов неизменной истории |
|
||||
| L2-REQ-06 | Redis/Valkey admission: глобальные и пользовательские лимиты, группы auth/read/write | Конкурентные запросы не превышают лимит; освобождение lease и TTL при аварии; отказ хранилища закрывает admission |
|
||||
| L2-REQ-07 | 2–3 шарда и клиентское consistent hashing | При добавлении третьего узла перемещается только часть ключей; сохранение лимитов при смене topology; явное описание SPOF |
|
||||
| L2-REQ-08 | Проверить DIP и соглашения Go | Controller→service interface; service→store/client interfaces; gofmt, vet, lint, race; ≥90% statements в каждом исполняемом Go-файле, порог CI |
|
||||
| L2-REQ-09 | Воспроизводимый стенд и restart hook | Bootstrap из отдельного clone, сохранённые volumes, публичный persistence |
|
||||
| L2-REQ-10 | Полный исследовательский трек | Трек 2: ≥100 000 сообщений, ≥2 варианта запросов/индексов, стоимость записи, backup/restore и сверка; проверен в изолированном PostgreSQL |
|
||||
|
||||
## Инварианты
|
||||
|
||||
Авторизация остаётся в service. Store получает проверенные UUID и обеспечивает транзакции и ограничения. Сессии хранят hash токена; парольный hash никогда не попадает в HTTP User. Кэш не является основанием обойти проверку действительности сессии. Чужой чат возвращает 404. История читается из PostgreSQL для read-after-write.
|
||||
|
||||
Глобальный лимит требует общего координатора: распределение пользовательских ключей по шардам само по себе не даёт атомарного общего лимита. Изменение topology выполняется управляемо; нельзя потерять активные счётчики и предоставить новый burst.
|
||||
|
||||
## Открытые вопросы
|
||||
|
||||
- Основной реализованный стенд — Kubernetes dev; формальное принятие преподавателем отдельно не подтверждено. Второй путь оркестрации не реализуется.
|
||||
- Исследовательский трек 2 реализован; результаты и ограничения приведены в REPORT.
|
||||
- Git-публикация и принятие преподавателем не выполнены; commit/push/PR не выполняются без поручения.
|
||||
|
||||
## Развёртывание в dev
|
||||
|
||||
L2-REQ-11: использовать существующий Yandex Container Registry `cr.yandex/crpv8disueqk68pv29jg`, отдельный image `mtusi2026lab2`, контекст `dev` и namespace `highload-applications`. Локальный service-account key читается из `~/key.json`, не копируется в Git и не выводится. Deployment закрепляется по опубликованному digest из build metadata; tag обозначает время сборки. Проверки: pull, rollout, smoke, полный persistence, расширение 2→3 shard и повторный smoke. Применение в dev разрешено; принятие Kubernetes преподавателем учитывается отдельно.
|
||||
|
||||
## Упрощение стенда
|
||||
|
||||
L2-REQ-12: единственный источник Kubernetes-ресурсов — Helm chart. Values задают образ, ресурсы и 2–3 шарда; одна лабораторная размещается в одном namespace. Повторный upgrade сохраняет PVC, секреты и данные. Изменение кольца требует остановки API и истечения lease. Python остаётся только в публичных проверках задания; собственная обвязка заменяется стандартными Helm/Docker/kubectl, shell, SQL и awk. REPORT содержит однозначные команды запуска, фактические проверки и ограничения. Приёмка: helm lint/template, adoption текущего стенда без замены PVC, повторный upgrade, smoke/persistence, проверка новых команд покрытия и SQL-эксперимента.
|
||||
|
||||
## Перенос в Gitea
|
||||
|
||||
L2-REQ-13: решение размещается в репозитории `ssh://git@gitea.privcloud.tech:2222/vlad_marlo/mtusi2026lab2.git`. Имя Go-модуля и внутренние imports соответствуют новому хосту. Задание, contracts и публичные tests нового репозитория сохраняются. Секреты, runtime-данные и история исходного `.git` не переносятся. Проверки: сборка, unit/race, vet, chart lint и неизменность публичных материалов. Измерения от 2026-10-07 остаются историческими и не подменяют проверки переноса.
|
||||
|
||||
## Классификация отказов зависимостей
|
||||
|
||||
Уточнение L2-REQ-04: потеря соединения, timeout и недоступность PostgreSQL возвращают HTTP 503 / `unavailable`, включая проверку действительной сессии. Ошибки SQL/неизвестные ошибки сохраняют безопасный 500. Воспроизводимый `make test-faults` создаёт изолированные Docker-зависимости, останавливает PostgreSQL и Valkey по очереди, проверяет историю с прежним токеном, отсутствие анонимного доступа, readiness/liveness и восстановление. Пользовательский кластер и данные не затрагиваются.
|
||||
|
||||
Уточнение L2-REQ-11 от 2026-10-16: основной registry — `asisti.registry.twcstorage.ru`, локальный токен — `~/.secrets/twc-registry-token`. Helm использует `registry-pull` и опубликованный digest исправления 87e1e5d. Переустановка lab2 в dev сохраняет существующие PVC и Secret БД; соседние releases не изменяются.
|
||||
Вне объёма: HA PostgreSQL и Valkey, отказ чужих узлов, развёртывание Grafana, реализация lab4+. Секреты не хранятся в Git. Эксперименты затрагивают учебный release lab2, обновлённый реализацией lab3. HPA отключается на время контролируемого сравнения реплик; после эксперимента возвращается.
|
||||
|
||||
@@ -0,0 +1,75 @@
|
||||
{"threshold_per_file":90,"files":[
|
||||
{"file":"internal/service/cursor.go","statements":0,"covered":0,"percent":null,"sha256":"cba6026849467d3662994d59983dd0d6a5ffbe9d934ff539115fd2669b89013f"},
|
||||
{"file":"cmd/server/app.go","statements":9,"covered":9,"percent":100.00000000,"sha256":"447460bce6ad010ecc4f191873cad6980f6d7c2a7665eed756d85d40aa0fad70"},
|
||||
{"file":"internal/service/production/members.go","statements":19,"covered":19,"percent":100.00000000,"sha256":"578da47ba2567a4fc44de3e087b2e60a6da17e0585ca6215187d5aa5783bfdc7"},
|
||||
{"file":"internal/service/production/errors.go","statements":5,"covered":5,"percent":100.00000000,"sha256":"723b0824177b313746dd02fcc9809403b75be128d98520dd69b8fc7cb0244b72"},
|
||||
{"file":"internal/controller/interface.go","statements":0,"covered":0,"percent":null,"sha256":"24b6b06d6fab919cd2130697b44fd0d358265184dca0ca8362e0b4fcc2ae5a68"},
|
||||
{"file":"internal/service/interface.go","statements":0,"covered":0,"percent":null,"sha256":"1012793cc519112340ee14dac945597da411d5b9f78ce5da6a25dd73ea72d8f6"},
|
||||
{"file":"internal/admission/limiter.go","statements":16,"covered":16,"percent":100.00000000,"sha256":"a373c9539167a4b7c35d45334d35ffd4e9d124c1740c88c12094fededd9643b4"},
|
||||
{"file":"internal/service/production/service.go","statements":10,"covered":10,"percent":100.00000000,"sha256":"7b24930b8fd7342b0373d687bb775163c332e6620ccc893516f865c433b59056"},
|
||||
{"file":"internal/hashring/ring.go","statements":21,"covered":20,"percent":95.23809524,"sha256":"e205901cec2e66011ec764b70879b0eb0d28a78c4dea8913a9fb30c2d778fa8c"},
|
||||
{"file":"internal/cursor/codec.go","statements":39,"covered":37,"percent":94.87179487,"sha256":"678e197744fb2fc4b51715f51593b98761125bbaddbe4cb1b7032bd6b173ef04"},
|
||||
{"file":"internal/controller/http/fiber/headers.go","statements":0,"covered":0,"percent":null,"sha256":"d32a9a01a8b391f4d986e14947a25a0504f4363335ea1524df05e0dd8e9e61bd"},
|
||||
{"file":"internal/store/memory/capacity.go","statements":7,"covered":7,"percent":100.00000000,"sha256":"4dbced908f9d1e802ece79d2a436cbbaa2bff807a19a5fc4bc658eb3f361a5e7"},
|
||||
{"file":"cmd/server/persistence.go","statements":18,"covered":18,"percent":100.00000000,"sha256":"a9bfa3bcc68d1b045ec21c193118bb209dfd7bdcbee3cbd28efc5573dc6db3c8"},
|
||||
{"file":"internal/service/errors.go","statements":0,"covered":0,"percent":null,"sha256":"f7fd9ca5335f9119d5ed1714c39c3d19e840528a0248fda5d08f60a10d2060ac"},
|
||||
{"file":"cmd/server/main.go","statements":3,"covered":3,"percent":100.00000000,"sha256":"c22d8cdf4ce31fde29945e967d3f025e280a7dc4d2022329d51be972d2a0f495"},
|
||||
{"file":"internal/controller/http/fiber/routes.go","statements":60,"covered":60,"percent":100.00000000,"sha256":"455d0b2a3fe2f7de947d499e99e660360395338a87d9225b5f8ac525862434fe"},
|
||||
{"file":"internal/controller/http/fiber/health.go","statements":7,"covered":7,"percent":100.00000000,"sha256":"813db79a23f6b093ccc510444c883b53f7f98e7d26c927441089f57c73fea12d"},
|
||||
{"file":"internal/config/controller.go","statements":25,"covered":24,"percent":96.00000000,"sha256":"c2736f1438746ff293197e002e4352a316987fee9c1307c3cc4190120971098c"},
|
||||
{"file":"internal/controller/http/fiber/metrics.go","statements":20,"covered":18,"percent":90.00000000,"sha256":"54db82201697bdfcc65712afe61b650f8f0885fc65222dc4cc6d1c3bb07d82dd"},
|
||||
{"file":"internal/config/memory.go","statements":11,"covered":11,"percent":100.00000000,"sha256":"86cdf9e90b576f4484946bfd9605333fc52077f38d3a39c5d71ddca4cdeecda0"},
|
||||
{"file":"internal/service/production/creation.go","statements":19,"covered":19,"percent":100.00000000,"sha256":"766f920addddaccdec25fae78728af56a825ab8c57eae29cc8839d85ab5a648f"},
|
||||
{"file":"internal/controller/http/fiber/configure.go","statements":7,"covered":7,"percent":100.00000000,"sha256":"be356cf26c228958d51f5bafa4305d7325e81ab01065575acbc9b2d7a6ddd4bd"},
|
||||
{"file":"internal/service/production/pages.go","statements":17,"covered":16,"percent":94.11764706,"sha256":"d4db6f0ad1caabc66f8bbb365e56cc84930047b640619bbe5f4e58fce0644877"},
|
||||
{"file":"internal/service/authentication/service.go","statements":48,"covered":47,"percent":97.91666667,"sha256":"8300ff37fbce6ce2985375e8c42c6d1793017b36cec8f27b0c0dc80ef2671b85"},
|
||||
{"file":"internal/password/password.go","statements":18,"covered":17,"percent":94.44444444,"sha256":"fe2df6990331573bbf0202ebc81c58263a7c16a29b713eefa0f0e852e4ee4a76"},
|
||||
{"file":"internal/controller/http/fiber/lifecycle.go","statements":24,"covered":22,"percent":91.66666667,"sha256":"f39cf7a0049a2ed39d6cc1fcc66b44656d9d6120914d0e973b032e12f3d0de08"},
|
||||
{"file":"cmd/server/logger.go","statements":10,"covered":9,"percent":90.00000000,"sha256":"93cd37b8e2ec1e6088b82f348a59e6862951f8462df4cd5448562489b05dce1f"},
|
||||
{"file":"internal/valkey/client.go","statements":35,"covered":34,"percent":97.14285714,"sha256":"67f32fa5bda94388c0a5fef87e93680a77a513de3a3b7522a38659acde088357"},
|
||||
{"file":"internal/strictjson/decode.go","statements":37,"covered":36,"percent":97.29729730,"sha256":"ef9bfaf3bd684fded87c92a15b3e5c706a794caf04cc4ef711c4185e9c7fb12a"},
|
||||
{"file":"internal/store/memory/messages.go","statements":19,"covered":18,"percent":94.73684211,"sha256":"36328ae3809af4fd0d10f4ab892e32c4643ad0c6b062aa9924ffd9e51c767500"},
|
||||
{"file":"internal/service/production/messages.go","statements":18,"covered":18,"percent":100.00000000,"sha256":"f25725720d7035a688ae4c5aaad34c6e78f3336fd927469570dc8a9a262608cd"},
|
||||
{"file":"internal/service/production/pagination.go","statements":21,"covered":21,"percent":100.00000000,"sha256":"eac2861f1743b692f7a6910949dad933d52db9b0211f3422dce09b3c7de49a49"},
|
||||
{"file":"internal/store/postgres/idempotency.go","statements":21,"covered":19,"percent":90.47619048,"sha256":"24d463067d1b51eaad5f7b21013be2ab836dea78f7314469779e2336cf57cb9c"},
|
||||
{"file":"internal/store/postgres/chats.go","statements":26,"covered":24,"percent":92.30769231,"sha256":"f191cc4d00d13a1e9c46323d545f3310ac2e7d23bb93d76060e282d1fbd220f3"},
|
||||
{"file":"internal/service/production/validation.go","statements":13,"covered":13,"percent":100.00000000,"sha256":"33970978507498dbba8e599ac20f7139a10f82705f86a7e058e668742ebefba2"},
|
||||
{"file":"internal/service/production/chats.go","statements":22,"covered":22,"percent":100.00000000,"sha256":"a6fce9188c52032fbc035bb08fc06c23b59fabf1534dc0a26205de72609ffbb6"},
|
||||
{"file":"internal/config/config.go","statements":17,"covered":17,"percent":100.00000000,"sha256":"8cb675a0bef8b1645071e4cb85b79a467620e99b375db5d8d3e16a54b4c5b5fa"},
|
||||
{"file":"cmd/server/commands.go","statements":16,"covered":16,"percent":100.00000000,"sha256":"2631df45b82c7cf99626ae6fe6c5b05ef18254b487d034ad98af26792e569bc8"},
|
||||
{"file":"internal/config/environment.go","statements":14,"covered":14,"percent":100.00000000,"sha256":"027761b059b76898a84318ec1a8b43158d8bafd6e0b15b52efbe902b4d8c5ea3"},
|
||||
{"file":"internal/valkey/cache.go","statements":19,"covered":18,"percent":94.73684211,"sha256":"25d3a4a4b47fbfedb5c9b31541f8818c7cee46407ba58d1068bdcd4590e72f12"},
|
||||
{"file":"internal/service/auth.go","statements":0,"covered":0,"percent":null,"sha256":"a6b0eb6d5759bf87bb2737ae07c9c916c749a107e6acb3542b63461363eb892f"},
|
||||
{"file":"internal/valkey/admission.go","statements":45,"covered":45,"percent":100.00000000,"sha256":"d2a4a93a0cffaadb18e94292f67a20e1d5113654e2f5ad55dae5d0009d74f4bb"},
|
||||
{"file":"internal/controller/http/fiber/auth.go","statements":29,"covered":29,"percent":100.00000000,"sha256":"8a7687d7ee133290f2bbead47796830caad1439990b60e940b625fede74a6837"},
|
||||
{"file":"cmd/server/healthcheck.go","statements":19,"covered":18,"percent":94.73684211,"sha256":"c62b7a6897b300e25fdcfd6650cd256f008207146f1a45c00d77f0db1ab01575"},
|
||||
{"file":"internal/store/memory/ordering.go","statements":6,"covered":6,"percent":100.00000000,"sha256":"93ce30f07bb6f056c9a355831b0e0ae7ec5a2cb0fa817bddeb17727c96edb491"},
|
||||
{"file":"internal/service/cache.go","statements":0,"covered":0,"percent":null,"sha256":"70bcf36246dc5cff0e3a726f20859dbab85d346dc35664c9f4ae125c23d8bfc9"},
|
||||
{"file":"internal/store/memory/chats.go","statements":31,"covered":31,"percent":100.00000000,"sha256":"9404b9576e041ad1d6fa4d297245c5224b7cc6f70272b7c99e9d531e7450519a"},
|
||||
{"file":"internal/controller/http/fiber/decode.go","statements":6,"covered":6,"percent":100.00000000,"sha256":"b02e9a9118e9ad0458ae98e79d6bc4d9a65f885bc4f6734a5a84d0cd9fa954f1"},
|
||||
{"file":"internal/controller/http/fiber/controller.go","statements":13,"covered":13,"percent":100.00000000,"sha256":"e6cba36cd5cb84e0f9b5dd2f1607704d3556f12c6a9cc92caa515e6d146338a3"},
|
||||
{"file":"internal/controller/http/fiber/public_errors.go","statements":13,"covered":12,"percent":92.30769231,"sha256":"18e1bbaa5ac64311e208c23ca3eca3fc543b48f5187b22313735b7df83603ce3"},
|
||||
{"file":"internal/controller/http/fiber/handlers.go","statements":37,"covered":36,"percent":97.29729730,"sha256":"0bdd0cfe8578e0e163cfe8945c57615b91d1990770a4d46a03c88c94996a0083"},
|
||||
{"file":"internal/store/postgres/sessions.go","statements":13,"covered":13,"percent":100.00000000,"sha256":"889a63b51b29012f4ae5499d1c0577fe29f2f2959b05629f8e123715cfc1f75f"},
|
||||
{"file":"internal/admission/distributed.go","statements":0,"covered":0,"percent":null,"sha256":"41ef40897886c0878cbfe52f6716bdcb8433fb7eaddcfff298e1d54c55db423d"},
|
||||
{"file":"internal/store/interface.go","statements":0,"covered":0,"percent":null,"sha256":"15ada2fcbbb06ce210e1978b0c2aa4316e9786c6b0252ceec80e169ae08c0fe9"},
|
||||
{"file":"internal/controller/http/fiber/middleware.go","statements":39,"covered":38,"percent":97.43589744,"sha256":"af6796f95b1e89cb053d2440b803d66d1a722280b8c46dc1a99a99fa92ac824a"},
|
||||
{"file":"internal/config/logger.go","statements":7,"covered":7,"percent":100.00000000,"sha256":"3a69e20a00fa2ed816f344a990e9e0ef0077e1607d4207858b4b00e4ff5d1988"},
|
||||
{"file":"internal/controller/http/fiber/errors.go","statements":28,"covered":28,"percent":100.00000000,"sha256":"08358be6beb258bf493def317d98597997fe059afc1fa24594dd1dfd540ac253"},
|
||||
{"file":"internal/controller/http/fiber/error_codes.go","statements":0,"covered":0,"percent":null,"sha256":"3351a019c43d0360ee0fd68afabb5200422d065ae7bd908b1c0a5c02a0c1ad41"},
|
||||
{"file":"internal/store/postgres/store.go","statements":61,"covered":56,"percent":91.80327869,"sha256":"f50dbf2409c511f3b4b3cc72555a80e621e1ca1e4e314112ead35e1a34623de1"},
|
||||
{"file":"internal/store/postgres/users.go","statements":21,"covered":20,"percent":95.23809524,"sha256":"8c77a2ebc8e7cdf4bcaad173feb413fcfe2691e50bc61b0e70a5e8748f167ce6"},
|
||||
{"file":"internal/service/production/users.go","statements":19,"covered":19,"percent":100.00000000,"sha256":"b61747c3e5d7bee523ba82817a6a450e7f978fda4df10b8870d53a01bc4742d9"},
|
||||
{"file":"internal/model/http/models.go","statements":0,"covered":0,"percent":null,"sha256":"8c183b065bc3ab4cad20570eab79f334ca75a3309186fdf832fb1aa598894465"},
|
||||
{"file":"internal/model/dto/models.go","statements":0,"covered":0,"percent":null,"sha256":"23c3b9cf3de49c015a0eac85e19fb287ffdd3133de16035f74db34ec9a6df220"},
|
||||
{"file":"internal/config/persistence.go","statements":15,"covered":15,"percent":100.00000000,"sha256":"28c61d23db4ca2ef7ed952451f465318865076d2393eaa94ff5d7bb339c4c06b"},
|
||||
{"file":"internal/store/postgres/messages.go","statements":29,"covered":27,"percent":93.10344828,"sha256":"114f7f6dd12feb80e709e704a83f59d8c7f33fbd62e3a137f53219fa5f03d046"},
|
||||
{"file":"internal/model/dto/session.go","statements":0,"covered":0,"percent":null,"sha256":"896a694b0c217240343077d4287f4a6e447338c38571abbebcb3d16a519137fb"},
|
||||
{"file":"internal/controller/http/fiber/dependencies.go","statements":0,"covered":0,"percent":null,"sha256":"6ee07f110bdb29d8d2191ab8889ba60474b33a5b225739875c8a57d8434be15d"},
|
||||
{"file":"internal/store/memory/store.go","statements":3,"covered":3,"percent":100.00000000,"sha256":"973e451d35a79af4614a8727439bfdf5c72b55e03d904b59cb3f39ce0edcb83b"},
|
||||
{"file":"internal/service/production/access.go","statements":27,"covered":27,"percent":100.00000000,"sha256":"260f7c77bdbcb1913ebd487e531aa6bb1621d10cd1c4cad91ab34d11cd4fec16"},
|
||||
{"file":"internal/controller/fx.go","statements":1,"covered":1,"percent":100.00000000,"sha256":"af72da25fea9811c13a50c8133e9e8b35e070c5295069c40c0ae89cdc0aff19a"},
|
||||
{"file":"internal/store/memory/users.go","statements":22,"covered":21,"percent":95.45454545,"sha256":"494a5c8dda4d6a158bc3629f735c12cef36abfb19353d65380e0e4696de9284a"},
|
||||
{"file":"internal/controller/http/fiber/mapping.go","statements":19,"covered":19,"percent":100.00000000,"sha256":"cd79419f940868066dffbcc3cd8a024d4e0c9113785f89d7a3f2d6ff57223597"},
|
||||
{"file":"internal/controller/http/fiber/error_registry.go","statements":2,"covered":2,"percent":100.00000000,"sha256":"9d5da8d98ece2706e324cb2deca915e0811b6ad98f7aaac5805ca0f3cc0a1f9a"}
|
||||
],"passed":true}
|
||||
@@ -0,0 +1,95 @@
|
||||
GO="go" scripts/coverage.sh
|
||||
warning: GOCOVERDIR not set, no coverage data emitted
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/cmd/server 1.948s coverage: 32.4% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/admission (cached) coverage: 1.3% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/config 1.115s coverage: 7.0% of statements in ./...
|
||||
gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/controller coverage: 0.0% of statements
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/controller/http/fiber 1.559s coverage: 53.8% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/cursor (cached) coverage: 3.1% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/hashring (cached) coverage: 1.7% of statements in ./...
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/dto [no test files]
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/http [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/password (cached) coverage: 1.4% of statements in ./...
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service/authentication (cached) coverage: 4.5% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service/production (cached) coverage: 18.1% of statements in ./...
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store/memory (cached) coverage: 7.7% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store/postgres 1.959s coverage: 13.3% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/strictjson (cached) coverage: 3.0% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/valkey 1.246s coverage: 9.7% of statements in ./...
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/student-tests 1.207s coverage: 0.0% of statements in ./...
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
N/A internal/service/cursor.go
|
||||
100.00% cmd/server/app.go
|
||||
100.00% internal/service/production/members.go
|
||||
100.00% internal/service/production/errors.go
|
||||
N/A internal/controller/interface.go
|
||||
N/A internal/service/interface.go
|
||||
100.00% internal/admission/limiter.go
|
||||
100.00% internal/service/production/service.go
|
||||
95.24% internal/hashring/ring.go
|
||||
94.87% internal/cursor/codec.go
|
||||
N/A internal/controller/http/fiber/headers.go
|
||||
100.00% internal/store/memory/capacity.go
|
||||
100.00% cmd/server/persistence.go
|
||||
N/A internal/service/errors.go
|
||||
100.00% cmd/server/main.go
|
||||
100.00% internal/controller/http/fiber/routes.go
|
||||
100.00% internal/controller/http/fiber/health.go
|
||||
96.00% internal/config/controller.go
|
||||
90.00% internal/controller/http/fiber/metrics.go
|
||||
100.00% internal/config/memory.go
|
||||
100.00% internal/service/production/creation.go
|
||||
100.00% internal/controller/http/fiber/configure.go
|
||||
94.12% internal/service/production/pages.go
|
||||
97.92% internal/service/authentication/service.go
|
||||
94.44% internal/password/password.go
|
||||
91.67% internal/controller/http/fiber/lifecycle.go
|
||||
90.00% cmd/server/logger.go
|
||||
97.14% internal/valkey/client.go
|
||||
97.30% internal/strictjson/decode.go
|
||||
94.74% internal/store/memory/messages.go
|
||||
100.00% internal/service/production/messages.go
|
||||
100.00% internal/service/production/pagination.go
|
||||
90.48% internal/store/postgres/idempotency.go
|
||||
92.31% internal/store/postgres/chats.go
|
||||
100.00% internal/service/production/validation.go
|
||||
100.00% internal/service/production/chats.go
|
||||
100.00% internal/config/config.go
|
||||
100.00% cmd/server/commands.go
|
||||
100.00% internal/config/environment.go
|
||||
94.74% internal/valkey/cache.go
|
||||
N/A internal/service/auth.go
|
||||
100.00% internal/valkey/admission.go
|
||||
100.00% internal/controller/http/fiber/auth.go
|
||||
94.74% cmd/server/healthcheck.go
|
||||
100.00% internal/store/memory/ordering.go
|
||||
N/A internal/service/cache.go
|
||||
100.00% internal/store/memory/chats.go
|
||||
100.00% internal/controller/http/fiber/decode.go
|
||||
100.00% internal/controller/http/fiber/controller.go
|
||||
92.31% internal/controller/http/fiber/public_errors.go
|
||||
97.30% internal/controller/http/fiber/handlers.go
|
||||
100.00% internal/store/postgres/sessions.go
|
||||
N/A internal/admission/distributed.go
|
||||
N/A internal/store/interface.go
|
||||
97.44% internal/controller/http/fiber/middleware.go
|
||||
100.00% internal/config/logger.go
|
||||
100.00% internal/controller/http/fiber/errors.go
|
||||
N/A internal/controller/http/fiber/error_codes.go
|
||||
91.80% internal/store/postgres/store.go
|
||||
95.24% internal/store/postgres/users.go
|
||||
100.00% internal/service/production/users.go
|
||||
N/A internal/model/http/models.go
|
||||
N/A internal/model/dto/models.go
|
||||
100.00% internal/config/persistence.go
|
||||
93.10% internal/store/postgres/messages.go
|
||||
N/A internal/model/dto/session.go
|
||||
N/A internal/controller/http/fiber/dependencies.go
|
||||
100.00% internal/store/memory/store.go
|
||||
100.00% internal/service/production/access.go
|
||||
100.00% internal/controller/fx.go
|
||||
95.45% internal/store/memory/users.go
|
||||
100.00% internal/controller/http/fiber/mapping.go
|
||||
100.00% internal/controller/http/fiber/error_registry.go
|
||||
@@ -0,0 +1 @@
|
||||
2026-10-16T08:46:57Z target=api-647dcfd499-fwtds
|
||||
@@ -0,0 +1,68 @@
|
||||
time="2026-10-16T08:47:26Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-6lh86, status=201" source=console
|
||||
time="2026-10-16T08:47:27Z" level=info msg="instance=api-647dcfd499-vrnnv, status=201" source=console
|
||||
|
||||
|
||||
█ THRESHOLDS
|
||||
|
||||
checks
|
||||
✓ 'rate==1' rate=100.00%
|
||||
|
||||
|
||||
█ TOTAL RESULTS
|
||||
|
||||
checks_total.......: 34 19.886583/s
|
||||
checks_succeeded...: 100.00% 34 out of 34
|
||||
checks_failed......: 0.00% 0 out of 34
|
||||
|
||||
✓ concurrent retry succeeds
|
||||
✓ exactly one stored message
|
||||
✓ different body conflicts
|
||||
|
||||
HTTP
|
||||
http_req_duration..............: avg=49.18ms min=16.29ms med=45.78ms max=119.2ms p(90)=68.32ms p(95)=103.99ms
|
||||
{ expected_response:true }...: avg=52.33ms min=22.83ms med=46.25ms max=119.2ms p(90)=75.9ms p(95)=107.41ms
|
||||
http_req_failed................: 12.19% 5 out of 41
|
||||
http_reqs......................: 41 23.980879/s
|
||||
|
||||
EXECUTION
|
||||
iteration_duration.............: avg=72.16ms min=30.32ms med=50.96ms max=220.71ms p(90)=144.08ms p(95)=171.58ms
|
||||
iterations.....................: 32 18.716784/s
|
||||
vus............................: 0 min=0 max=0
|
||||
vus_max........................: 8 min=8 max=8
|
||||
|
||||
NETWORK
|
||||
data_received..................: 61 kB 35 kB/s
|
||||
data_sent......................: 11 kB 6.2 kB/s
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,20 @@
|
||||
UTC 2026-10-16T08:47:24Z
|
||||
NAME CPU(cores) MEMORY(bytes)
|
||||
api-647dcfd499-6lh86 18m 59Mi
|
||||
api-647dcfd499-vrnnv 10m 23Mi
|
||||
postgres-0 15m 27Mi
|
||||
valkey-0 18m 3Mi
|
||||
valkey-1 5m 3Mi
|
||||
valkey-2 7m 3Mi
|
||||
active|||1
|
||||
idle|Client|ClientRead|3
|
||||
UTC 2026-10-16T08:47:30Z
|
||||
NAME CPU(cores) MEMORY(bytes)
|
||||
api-647dcfd499-6lh86 9m 59Mi
|
||||
api-647dcfd499-vrnnv 3m 23Mi
|
||||
postgres-0 5m 27Mi
|
||||
valkey-0 12m 3Mi
|
||||
valkey-1 5m 3Mi
|
||||
valkey-2 6m 3Mi
|
||||
active|||1
|
||||
idle|Client|ClientRead|6
|
||||
@@ -0,0 +1,7 @@
|
||||
NAME UID
|
||||
api-647dcfd499-ksc82 91cdb519-3f11-4824-ba5e-3013a0a4e27e
|
||||
api-647dcfd499-tz465 baec4045-bd34-44d2-88ac-3789f92a7be8
|
||||
postgres-0 03c4f32c-b0b0-46af-bf8b-4466a7ffeddf
|
||||
valkey-0 bd0c9b06-7b2b-409c-9210-47fe4a5a4716
|
||||
valkey-1 899391b6-0120-489e-b766-38a00b500f68
|
||||
valkey-2 bf1f5110-6de8-46b4-9ffe-98f554df8fc5
|
||||
@@ -0,0 +1,7 @@
|
||||
NAME UID
|
||||
api-647dcfd499-6lh86 7b711baf-e2ba-4b23-93eb-07ca8f7db918
|
||||
api-647dcfd499-vrnnv ce8f8307-4d12-4e03-8354-157e262c4e48
|
||||
postgres-0 1f6ebfb6-7a2a-43b7-a61b-c887f5b2e235
|
||||
valkey-0 d0d2a5ac-4fad-47e9-ab50-5169d09ecec5
|
||||
valkey-1 fbd7523d-2088-4c52-b455-72b92910ef06
|
||||
valkey-2 a6681afc-3adb-4f40-8842-d32b5a7a583b
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1,28 @@
|
||||
UTC 2026-10-16T08:49:24Z
|
||||
a57cbcf3292d91164abc24ed101e9712a93b835d
|
||||
f191cc4d00d13a1e9c46323d545f3310ac2e7d23bb93d76060e282d1fbd220f3 internal/store/postgres/chats.go
|
||||
a8fa0da216b564121068bb44ee0f6e1daa7aa64ba54c301d0888db00f57596da internal/store/postgres/errors_test.go
|
||||
24d463067d1b51eaad5f7b21013be2ab836dea78f7314469779e2336cf57cb9c internal/store/postgres/idempotency.go
|
||||
30578fb46580b52acbb449615463f2f761571ff8cc86702b69f3fbd5af951b97 internal/store/postgres/idempotency_test.go
|
||||
114f7f6dd12feb80e709e704a83f59d8c7f33fbd62e3a137f53219fa5f03d046 internal/store/postgres/messages.go
|
||||
889a63b51b29012f4ae5499d1c0577fe29f2f2959b05629f8e123715cfc1f75f internal/store/postgres/sessions.go
|
||||
f50dbf2409c511f3b4b3cc72555a80e621e1ca1e4e314112ead35e1a34623de1 internal/store/postgres/store.go
|
||||
9bc4948a301a171c2dbf57264a9aee27bfc543536b93a7c540b359ed7721816e internal/store/postgres/store_test.go
|
||||
8c77a2ebc8e7cdf4bcaad173feb413fcfe2691e50bc61b0e70a5e8748f167ce6 internal/store/postgres/users.go
|
||||
f7fd9ca5335f9119d5ed1714c39c3d19e840528a0248fda5d08f60a10d2060ac internal/service/errors.go
|
||||
15ada2fcbbb06ce210e1978b0c2aa4316e9786c6b0252ceec80e169ae08c0fe9 internal/store/interface.go
|
||||
18e1bbaa5ac64311e208c23ca3eca3fc543b48f5187b22313735b7df83603ce3 internal/controller/http/fiber/public_errors.go
|
||||
0570f1d2ed6082580c5a7a6133477d6eac47baf76781250d496669bab86e8cf6 scripts/test-faults.sh
|
||||
PASS: postgres stop authenticated history => 503 unavailable (0.001602s)
|
||||
PASS: postgres stop rejects anonymous/spoofed/malformed/unknown identity; liveness=200 readiness=503
|
||||
PASS: postgres stop recovery preserves the original session and message
|
||||
PASS: postgres pause authenticated history => 503 unavailable (0.508766s)
|
||||
PASS: postgres pause rejects anonymous/spoofed/malformed/unknown identity; liveness=200 readiness=503
|
||||
PASS: postgres pause recovery preserves the original session and message
|
||||
PASS: valkey stop authenticated history => 503 unavailable (0.502885s)
|
||||
PASS: valkey stop rejects anonymous/spoofed/malformed/unknown identity; liveness=200 readiness=503
|
||||
PASS: valkey stop recovery preserves the original session and message
|
||||
PASS: valkey pause authenticated history => 503 unavailable (0.508144s)
|
||||
PASS: valkey pause rejects anonymous/spoofed/malformed/unknown identity; liveness=200 readiness=503
|
||||
PASS: valkey pause recovery preserves the original session and message
|
||||
PASS: real dependency fault scenarios completed
|
||||
@@ -0,0 +1,8 @@
|
||||
Release "lab2" has been upgraded. Happy Helming!
|
||||
NAME: lab2
|
||||
LAST DEPLOYED: Fri Oct 16 11:44:51 2026
|
||||
NAMESPACE: highload-applications
|
||||
STATUS: deployed
|
||||
REVISION: 2
|
||||
DESCRIPTION: Upgrade complete
|
||||
TEST SUITE: None
|
||||
@@ -0,0 +1,4 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://hl.agapov.space"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 48, "failed_attempts": 0, "first_recovery_seconds": 0.801}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://hl.agapov.space"
|
||||
FAIL: GET /api/v1/users/me: connection/TLS failure (TimeoutError)
|
||||
make: *** [test-failover] Error 1
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "https://hl.agapov.space"
|
||||
FAIL: GET /api/v1/users/me: connection/TLS failure (TimeoutError)
|
||||
make: *** [test-failover] Error 1
|
||||
@@ -0,0 +1,19 @@
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/cmd/server 0.429s
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/admission (cached)
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/config (cached)
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/controller [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/controller/http/fiber 0.389s
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/cursor (cached)
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/hashring (cached)
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/dto [no test files]
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/http [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/password (cached)
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service/authentication 0.283s
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/service/production 0.292s
|
||||
? gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store [no test files]
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store/memory (cached)
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store/postgres 0.331s
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/strictjson (cached)
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/valkey (cached)
|
||||
ok gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/student-tests 0.299s
|
||||
@@ -0,0 +1,6 @@
|
||||
helm lint charts/messenger -f "charts/messenger/values.yaml"
|
||||
==> Linting charts/messenger
|
||||
[INFO] Chart.yaml: icon is recommended
|
||||
|
||||
1 chart(s) linted, 0 chart(s) failed
|
||||
helm template "lab2" charts/messenger -n "highload-applications" -f "charts/messenger/values.yaml" > /dev/null
|
||||
@@ -0,0 +1,3 @@
|
||||
RUN="idempotency-$(date -u +%Y%m%d%H%M%S)" LOAD_SCRIPT=idempotency.js scripts/run-load.sh
|
||||
configmap/load-scripts created
|
||||
job.batch/load-idempotency-20261016084724 created
|
||||
@@ -0,0 +1,69 @@
|
||||
#0 building with "asisti-builder" instance using docker-container driver
|
||||
|
||||
#1 [internal] load build definition from Dockerfile
|
||||
#1 transferring dockerfile: 583B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load metadata for docker.io/library/golang:1.26.1-alpine3.23
|
||||
#2 DONE 2.4s
|
||||
|
||||
#3 [internal] load .dockerignore
|
||||
#3 transferring context: 145B done
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [build 1/7] FROM docker.io/library/golang:1.26.1-alpine3.23@sha256:2389ebfa5b7f43eeafbd6be0c3700cc46690ef842ad962f6c5bd6be49ed82039
|
||||
#4 resolve docker.io/library/golang:1.26.1-alpine3.23@sha256:2389ebfa5b7f43eeafbd6be0c3700cc46690ef842ad962f6c5bd6be49ed82039 done
|
||||
#4 DONE 0.0s
|
||||
|
||||
#5 [internal] load build context
|
||||
#5 transferring context: 327.16kB 0.0s done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [build 2/7] WORKDIR /src
|
||||
#6 CACHED
|
||||
|
||||
#7 [build 3/7] COPY go.mod go.sum ./
|
||||
#7 CACHED
|
||||
|
||||
#8 [build 4/7] RUN go mod download
|
||||
#8 CACHED
|
||||
|
||||
#9 [build 5/7] COPY cmd/ ./cmd/
|
||||
#9 CACHED
|
||||
|
||||
#10 [build 6/7] COPY internal/ ./internal/
|
||||
#10 DONE 0.1s
|
||||
|
||||
#11 [build 7/7] RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/server ./cmd/server
|
||||
#11 DONE 60.5s
|
||||
|
||||
#12 [runtime 1/1] COPY --from=build /out/server /server
|
||||
#12 DONE 0.1s
|
||||
|
||||
#13 exporting to image
|
||||
#13 exporting layers
|
||||
#13 exporting layers 0.8s done
|
||||
#13 exporting manifest sha256:797eb64e6c596d1b0be84484b7e304ae93907134dad5d29b6946ef0a331647e4
|
||||
#13 exporting manifest sha256:797eb64e6c596d1b0be84484b7e304ae93907134dad5d29b6946ef0a331647e4 done
|
||||
#13 exporting config sha256:a3db374ae207a2072c13c15e4d1510d8d512c5b52e451b0cb965a326c75683fe 0.0s done
|
||||
#13 exporting attestation manifest sha256:71b5c81e64cd4b587a4a90a68fc94403d32e6358a5d6c29de0c3f932478bf32b 0.0s done
|
||||
#13 exporting manifest list sha256:a73799010550ab2008b984ed9d0bfa8dfdd9bb963cb948bc91713748b24c3889 done
|
||||
#13 DONE 0.9s
|
||||
|
||||
#13 exporting to image
|
||||
#13 pushing layers
|
||||
#13 ...
|
||||
|
||||
#14 [auth] mtusi2026lab3:pull,push token for asisti.registry.twcstorage.ru
|
||||
#14 DONE 0.0s
|
||||
|
||||
#13 exporting to image
|
||||
#13 pushing layers 3.0s done
|
||||
#13 pushing manifest for asisti.registry.twcstorage.ru/mtusi2026lab3:shared-release-20261016@sha256:a73799010550ab2008b984ed9d0bfa8dfdd9bb963cb948bc91713748b24c3889
|
||||
#13 pushing manifest for asisti.registry.twcstorage.ru/mtusi2026lab3:shared-release-20261016@sha256:a73799010550ab2008b984ed9d0bfa8dfdd9bb963cb948bc91713748b24c3889 1.2s done
|
||||
#13 DONE 5.2s
|
||||
|
||||
#15 resolving provenance for metadata file
|
||||
#15 DONE 0.0s
|
||||
|
||||
View build details: docker-desktop://dashboard/build/asisti-builder/asisti-builder0/sewpq07wbv5yc2egvuscmyjuk
|
||||
@@ -0,0 +1,3 @@
|
||||
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "https://hl.agapov.space"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,8 @@
|
||||
NAME UID
|
||||
data-lab3-postgres-0 feec6037-1856-4548-a23c-e756d7465c6a
|
||||
data-lab3-valkey-0 220d6ffd-beeb-4330-b96d-35bf741ff4d5
|
||||
data-lab3-valkey-1 b54ff66a-7edd-43c7-b622-88cf3ca7c4a1
|
||||
data-postgres-0 b592cc47-82be-4635-afa4-d65e3246e82a
|
||||
data-valkey-0 fafeeae5-f6f6-487d-ba50-15d50f9678c7
|
||||
data-valkey-1 a39c3e41-fae2-4096-b83f-807aada803e9
|
||||
data-valkey-2 ad5c9d15-ae01-409e-ad11-7f7f7b42e7fe
|
||||
@@ -0,0 +1,8 @@
|
||||
NAME UID
|
||||
data-lab3-postgres-0 feec6037-1856-4548-a23c-e756d7465c6a
|
||||
data-lab3-valkey-0 220d6ffd-beeb-4330-b96d-35bf741ff4d5
|
||||
data-lab3-valkey-1 b54ff66a-7edd-43c7-b622-88cf3ca7c4a1
|
||||
data-postgres-0 b592cc47-82be-4635-afa4-d65e3246e82a
|
||||
data-valkey-0 fafeeae5-f6f6-487d-ba50-15d50f9678c7
|
||||
data-valkey-1 a39c3e41-fae2-4096-b83f-807aada803e9
|
||||
data-valkey-2 ad5c9d15-ae01-409e-ad11-7f7f7b42e7fe
|
||||
@@ -0,0 +1 @@
|
||||
{"status":"ok"}
|
||||
@@ -0,0 +1,2 @@
|
||||
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
|
||||
lab2 highload-applications 2 2026-10-16 11:44:51.753981 +0300 MSK deployed messenger-0.1.0 lab3
|
||||
@@ -0,0 +1,2 @@
|
||||
configmap/load-scripts configured
|
||||
job.batch/load-rolling-20261016 created
|
||||
@@ -0,0 +1 @@
|
||||
deployment "api" successfully rolled out
|
||||
@@ -0,0 +1,2 @@
|
||||
python3 tests/smoke.py --base-url "https://hl.agapov.space"
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,19 @@
|
||||
447460bce6ad010ecc4f191873cad6980f6d7c2a7665eed756d85d40aa0fad70 cmd/server/app.go
|
||||
11113c1772bb6d76c8be9f06415ec431404479ac52e3c950cf851d3beffbef49 cmd/server/app_test.go
|
||||
2631df45b82c7cf99626ae6fe6c5b05ef18254b487d034ad98af26792e569bc8 cmd/server/commands.go
|
||||
c62b7a6897b300e25fdcfd6650cd256f008207146f1a45c00d77f0db1ab01575 cmd/server/healthcheck.go
|
||||
dd07b30c1e4c7b25253be83f1e9dea3c12829ca071176529b6772fd4564057eb cmd/server/healthcheck_test.go
|
||||
93cd37b8e2ec1e6088b82f348a59e6862951f8462df4cd5448562489b05dce1f cmd/server/logger.go
|
||||
c22d8cdf4ce31fde29945e967d3f025e280a7dc4d2022329d51be972d2a0f495 cmd/server/main.go
|
||||
a9bfa3bcc68d1b045ec21c193118bb209dfd7bdcbee3cbd28efc5573dc6db3c8 cmd/server/persistence.go
|
||||
b337101e2112a1710509d1dc24f8f4b558983a2dcc0719ee001605a2232524cd cmd/server/persistence_test.go
|
||||
f191cc4d00d13a1e9c46323d545f3310ac2e7d23bb93d76060e282d1fbd220f3 internal/store/postgres/chats.go
|
||||
a8fa0da216b564121068bb44ee0f6e1daa7aa64ba54c301d0888db00f57596da internal/store/postgres/errors_test.go
|
||||
24d463067d1b51eaad5f7b21013be2ab836dea78f7314469779e2336cf57cb9c internal/store/postgres/idempotency.go
|
||||
30578fb46580b52acbb449615463f2f761571ff8cc86702b69f3fbd5af951b97 internal/store/postgres/idempotency_test.go
|
||||
114f7f6dd12feb80e709e704a83f59d8c7f33fbd62e3a137f53219fa5f03d046 internal/store/postgres/messages.go
|
||||
889a63b51b29012f4ae5499d1c0577fe29f2f2959b05629f8e123715cfc1f75f internal/store/postgres/sessions.go
|
||||
f50dbf2409c511f3b4b3cc72555a80e621e1ca1e4e314112ead35e1a34623de1 internal/store/postgres/store.go
|
||||
9bc4948a301a171c2dbf57264a9aee27bfc543536b93a7c540b359ed7721816e internal/store/postgres/store_test.go
|
||||
8c77a2ebc8e7cdf4bcaad173feb413fcfe2691e50bc61b0e70a5e8748f167ce6 internal/store/postgres/users.go
|
||||
f9cb55f2ea75799e6bf438aef7c7cd760b33d997ef75888feda2e6358622d5e9 charts/messenger/values.yaml
|
||||
@@ -0,0 +1,20 @@
|
||||
NAME READY STATUS RESTARTS AGE
|
||||
pod/api-56cdb6bc9b-fkkmp 1/1 Running 0 27s
|
||||
pod/api-56cdb6bc9b-rsrlb 1/1 Running 0 30s
|
||||
pod/load-idempotency-20261016084724-ph422 0/1 Completed 0 3m43s
|
||||
pod/load-rolling-20261016-fznwl 0/1 Completed 0 53s
|
||||
pod/metrics-server-db8d46c89-92mbs 1/1 Running 0 18h
|
||||
pod/migrate-2-c56fc 0/1 Completed 0 6m13s
|
||||
pod/postgres-0 1/1 Running 0 108s
|
||||
pod/valkey-0 1/1 Running 0 102s
|
||||
pod/valkey-1 1/1 Running 0 105s
|
||||
pod/valkey-2 1/1 Running 0 108s
|
||||
|
||||
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
|
||||
horizontalpodautoscaler.autoscaling/api Deployment/api cpu: <unknown>/60% 2 4 2 6m13s
|
||||
|
||||
NAME CLASS HOSTS ADDRESS PORTS AGE
|
||||
ingress.networking.k8s.io/messenger traefik hl.agapov.space 80, 443 6m13s
|
||||
|
||||
NAME READY SECRET AGE
|
||||
certificate.cert-manager.io/messenger-tls True messenger-tls 6m13s
|
||||
@@ -0,0 +1,2 @@
|
||||
go vet ./...: PASS
|
||||
golangci-lint run ./...: 0 issues
|
||||
@@ -6,6 +6,7 @@ require (
|
||||
github.com/gofiber/fiber/v2 v2.52.12
|
||||
github.com/google/uuid v1.6.0
|
||||
github.com/jackc/pgx/v5 v5.9.1
|
||||
github.com/prometheus/client_golang v1.23.2
|
||||
github.com/redis/go-redis/v9 v9.17.2
|
||||
github.com/valyala/fasthttp v1.51.0
|
||||
go.lab260.ru/fielderr v0.0.0-20260609150058-2f9540b99e41
|
||||
@@ -16,21 +17,28 @@ require (
|
||||
|
||||
require (
|
||||
github.com/andybalholm/brotli v1.1.0 // indirect
|
||||
github.com/beorn7/perks v1.0.1 // indirect
|
||||
github.com/cespare/xxhash/v2 v2.3.0 // indirect
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
|
||||
github.com/jackc/pgpassfile v1.0.0 // indirect
|
||||
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
|
||||
github.com/jackc/puddle/v2 v2.2.2 // indirect
|
||||
github.com/klauspost/compress v1.17.9 // indirect
|
||||
github.com/klauspost/compress v1.18.0 // indirect
|
||||
github.com/mattn/go-colorable v0.1.13 // indirect
|
||||
github.com/mattn/go-isatty v0.0.20 // indirect
|
||||
github.com/mattn/go-runewidth v0.0.16 // indirect
|
||||
github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822 // indirect
|
||||
github.com/prometheus/client_model v0.6.2 // indirect
|
||||
github.com/prometheus/common v0.66.1 // indirect
|
||||
github.com/prometheus/procfs v0.16.1 // indirect
|
||||
github.com/rivo/uniseg v0.2.0 // indirect
|
||||
github.com/valyala/bytebufferpool v1.0.0 // indirect
|
||||
github.com/valyala/tcplisten v1.0.0 // indirect
|
||||
go.uber.org/dig v1.19.0 // indirect
|
||||
go.uber.org/multierr v1.10.0 // indirect
|
||||
go.yaml.in/yaml/v2 v2.4.2 // indirect
|
||||
golang.org/x/sync v0.20.0 // indirect
|
||||
golang.org/x/sys v0.42.0 // indirect
|
||||
golang.org/x/text v0.35.0 // indirect
|
||||
google.golang.org/protobuf v1.36.8 // indirect
|
||||
)
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
github.com/andybalholm/brotli v1.1.0 h1:eLKJA0d02Lf0mVpIDgYnqXcUn0GqVmEFny3VuID1U3M=
|
||||
github.com/andybalholm/brotli v1.1.0/go.mod h1:sms7XGricyQI9K10gOSf56VKKWS4oLer58Q+mhRPtnY=
|
||||
github.com/beorn7/perks v1.0.1 h1:VlbKKnNfV8bJzeqoa4cOKqO6bYr3WgKZxO8Z16+hsOM=
|
||||
github.com/beorn7/perks v1.0.1/go.mod h1:G2ZrVWU2WbWT9wwq4/hrbKbnv/1ERSJQ0ibhJ6rlkpw=
|
||||
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
|
||||
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
|
||||
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
|
||||
@@ -13,6 +15,8 @@ github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/r
|
||||
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
|
||||
github.com/gofiber/fiber/v2 v2.52.12 h1:0LdToKclcPOj8PktUdIKo9BUohjjwfnQl42Dhw8/WUw=
|
||||
github.com/gofiber/fiber/v2 v2.52.12/go.mod h1:YEcBbO/FB+5M1IZNBP9FO3J9281zgPAreiI1oqg8nDw=
|
||||
github.com/google/go-cmp v0.7.0 h1:wk8382ETsv4JYUZwIsn6YpYiWiBsYLSJiTsyBybVuN8=
|
||||
github.com/google/go-cmp v0.7.0/go.mod h1:pXiqmnSA92OHEEa9HXL2W4E7lf9JzCmGVUdgjX3N/iU=
|
||||
github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0=
|
||||
github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
|
||||
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
|
||||
@@ -23,8 +27,14 @@ github.com/jackc/pgx/v5 v5.9.1 h1:uwrxJXBnx76nyISkhr33kQLlUqjv7et7b9FjCen/tdc=
|
||||
github.com/jackc/pgx/v5 v5.9.1/go.mod h1:mal1tBGAFfLHvZzaYh77YS/eC6IX9OWbRV1QIIM0Jn4=
|
||||
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
|
||||
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
|
||||
github.com/klauspost/compress v1.17.9 h1:6KIumPrER1LHsvBVuDa0r5xaG0Es51mhhB9BQB2qeMA=
|
||||
github.com/klauspost/compress v1.17.9/go.mod h1:Di0epgTjJY877eYKx5yC51cX2A2Vl2ibi7bDH9ttBbw=
|
||||
github.com/klauspost/compress v1.18.0 h1:c/Cqfb0r+Yi+JtIEq73FWXVkRonBlf0CRNYc8Zttxdo=
|
||||
github.com/klauspost/compress v1.18.0/go.mod h1:2Pp+KzxcywXVXMr50+X0Q/Lsb43OQHYWRCY2AiWywWQ=
|
||||
github.com/kr/pretty v0.3.1 h1:flRD4NNwYAUpkphVc1HcthR4KEIFJ65n8Mw5qdRn3LE=
|
||||
github.com/kr/pretty v0.3.1/go.mod h1:hoEshYVHaxMs3cyo3Yncou5ZscifuDolrwPKZanG3xk=
|
||||
github.com/kr/text v0.2.0 h1:5Nx0Ya0ZqY2ygV366QzturHI13Jq95ApcVaJBhpS+AY=
|
||||
github.com/kr/text v0.2.0/go.mod h1:eLer722TekiGuMkidMxC/pM04lWEeraHUUmBw8l2grE=
|
||||
github.com/kylelemons/godebug v1.1.0 h1:RPNrshWIDI6G2gRW9EHilWtl7Z6Sb1BR0xunSBf0SNc=
|
||||
github.com/kylelemons/godebug v1.1.0/go.mod h1:9/0rRGxNHcop5bhtWyNeEfOS8JIWk580+fNqagV/RAw=
|
||||
github.com/mattn/go-colorable v0.1.13 h1:fFA4WZxdEF4tXPZVKMLwD8oUnCTTo08duU7wxecdEvA=
|
||||
github.com/mattn/go-colorable v0.1.13/go.mod h1:7S9/ev0klgBDR4GtXTXX8a3vIGJpMovkB8vQcUbaXHg=
|
||||
github.com/mattn/go-isatty v0.0.16/go.mod h1:kYGgaQfpe5nmfYZH+SKPsOc2e4SrIfOl2e/yFXSvRLM=
|
||||
@@ -32,12 +42,24 @@ github.com/mattn/go-isatty v0.0.20 h1:xfD0iDuEKnDkl03q4limB+vH+GxLEtL/jb4xVJSWWE
|
||||
github.com/mattn/go-isatty v0.0.20/go.mod h1:W+V8PltTTMOvKvAeJH7IuucS94S2C6jfK/D7dTCTo3Y=
|
||||
github.com/mattn/go-runewidth v0.0.16 h1:E5ScNMtiwvlvB5paMFdw9p4kSQzbXFikJ5SQO6TULQc=
|
||||
github.com/mattn/go-runewidth v0.0.16/go.mod h1:Jdepj2loyihRzMpdS35Xk/zdY8IAYHsh153qUoGf23w=
|
||||
github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822 h1:C3w9PqII01/Oq1c1nUAm88MOHcQC9l5mIlSMApZMrHA=
|
||||
github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822/go.mod h1:+n7T8mK8HuQTcFwEeznm/DIxMOiR9yIdICNftLE1DvQ=
|
||||
github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
|
||||
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
|
||||
github.com/prometheus/client_golang v1.23.2 h1:Je96obch5RDVy3FDMndoUsjAhG5Edi49h0RJWRi/o0o=
|
||||
github.com/prometheus/client_golang v1.23.2/go.mod h1:Tb1a6LWHB3/SPIzCoaDXI4I8UHKeFTEQ1YCr+0Gyqmg=
|
||||
github.com/prometheus/client_model v0.6.2 h1:oBsgwpGs7iVziMvrGhE53c/GrLUsZdHnqNwqPLxwZyk=
|
||||
github.com/prometheus/client_model v0.6.2/go.mod h1:y3m2F6Gdpfy6Ut/GBsUqTWZqCUvMVzSfMLjcu6wAwpE=
|
||||
github.com/prometheus/common v0.66.1 h1:h5E0h5/Y8niHc5DlaLlWLArTQI7tMrsfQjHV+d9ZoGs=
|
||||
github.com/prometheus/common v0.66.1/go.mod h1:gcaUsgf3KfRSwHY4dIMXLPV0K/Wg1oZ8+SbZk/HH/dA=
|
||||
github.com/prometheus/procfs v0.16.1 h1:hZ15bTNuirocR6u0JZ6BAHHmwS1p8B4P6MRqxtzMyRg=
|
||||
github.com/prometheus/procfs v0.16.1/go.mod h1:teAbpZRB1iIAJYREa1LsoWUXykVXA1KlTmWl8x/U+Is=
|
||||
github.com/redis/go-redis/v9 v9.17.2 h1:P2EGsA4qVIM3Pp+aPocCJ7DguDHhqrXNhVcEp4ViluI=
|
||||
github.com/redis/go-redis/v9 v9.17.2/go.mod h1:u410H11HMLoB+TP67dz8rL9s6QW2j76l0//kSOd3370=
|
||||
github.com/rivo/uniseg v0.2.0 h1:S1pD9weZBuJdFmowNwbpi7BJ8TNftyUImj/0WQi72jY=
|
||||
github.com/rivo/uniseg v0.2.0/go.mod h1:J6wj4VEh+S6ZtnVlnTBMWIodfgj8LQOQFoIToxlJtxc=
|
||||
github.com/rogpeppe/go-internal v1.10.0 h1:TMyTOH3F/DB16zRVcYyreMH6GnZZrwQVAoYjRBZyWFQ=
|
||||
github.com/rogpeppe/go-internal v1.10.0/go.mod h1:UQnix2H7Ngw/k4C5ijL5+65zddjncjaFoBhdsK/akog=
|
||||
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
|
||||
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
|
||||
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
|
||||
@@ -61,6 +83,8 @@ go.uber.org/multierr v1.10.0 h1:S0h4aNzvfcFsC3dRF1jLoaov7oRaKqRGC/pUEJ2yvPQ=
|
||||
go.uber.org/multierr v1.10.0/go.mod h1:20+QtiLqy0Nd6FdQB9TLXag12DsQkrbs3htMFfDN80Y=
|
||||
go.uber.org/zap v1.27.1 h1:08RqriUEv8+ArZRYSTXy1LeBScaMpVSTBhCeaZYfMYc=
|
||||
go.uber.org/zap v1.27.1/go.mod h1:GB2qFLM7cTU87MWRP2mPIjqfIDnGu+VIO4V/SdhGo2E=
|
||||
go.yaml.in/yaml/v2 v2.4.2 h1:DzmwEr2rDGHl7lsFgAHxmNz/1NlQ7xLIrlN2h5d1eGI=
|
||||
go.yaml.in/yaml/v2 v2.4.2/go.mod h1:081UH+NErpNdqlCXm3TtEran0rJZGxAYx9hb/ELlsPU=
|
||||
golang.org/x/crypto v0.49.0 h1:+Ng2ULVvLHnJ/ZFEq4KdcDd/cfjrrjjNSXNzxg0Y4U4=
|
||||
golang.org/x/crypto v0.49.0/go.mod h1:ErX4dUh2UM+CFYiXZRTcMpEcN8b/1gxEuv3nODoYtCA=
|
||||
golang.org/x/sync v0.20.0 h1:e0PTpb7pjO8GAtTs2dQ6jYa5BWYlMuX047Dco/pItO4=
|
||||
@@ -71,7 +95,11 @@ golang.org/x/sys v0.42.0 h1:omrd2nAlyT5ESRdCLYdm3+fMfNFE/+Rf4bDIQImRJeo=
|
||||
golang.org/x/sys v0.42.0/go.mod h1:4GL1E5IUh+htKOUEOaiffhrAeqysfVGipDYzABqnCmw=
|
||||
golang.org/x/text v0.35.0 h1:JOVx6vVDFokkpaq1AEptVzLTpDe9KGpj5tR4/X+ybL8=
|
||||
golang.org/x/text v0.35.0/go.mod h1:khi/HExzZJ2pGnjenulevKNX1W67CUy0AsXcNubPGCA=
|
||||
google.golang.org/protobuf v1.36.8 h1:xHScyCOEuuwZEc6UtSOvPbAT4zRh0xcNRYekJwfqyMc=
|
||||
google.golang.org/protobuf v1.36.8/go.mod h1:fuxRtAxBytpl4zzqUh6/eyUujkJdNiuEkXntxiD/uRU=
|
||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||
gopkg.in/check.v1 v1.0.0-20201130134442-10cb98267c6c h1:Hei/4ADfdWqJk1ZMxUNpqntNwaWcugrBjAiHlqqRiVk=
|
||||
gopkg.in/check.v1 v1.0.0-20201130134442-10cb98267c6c/go.mod h1:JHkPIbrfpd72SG/EVd6muEfDQjcINNoR0C8j2r3qZ4Q=
|
||||
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||
|
||||
@@ -0,0 +1,203 @@
|
||||
# Source: metrics-server v0.8.1/components.yaml; workload namespace adapted to highload-applications.
|
||||
apiVersion: v1
|
||||
kind: ServiceAccount
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
---
|
||||
apiVersion: rbac.authorization.k8s.io/v1
|
||||
kind: ClusterRole
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
rbac.authorization.k8s.io/aggregate-to-admin: "true"
|
||||
rbac.authorization.k8s.io/aggregate-to-edit: "true"
|
||||
rbac.authorization.k8s.io/aggregate-to-view: "true"
|
||||
name: system:aggregated-metrics-reader
|
||||
rules:
|
||||
- apiGroups:
|
||||
- metrics.k8s.io
|
||||
resources:
|
||||
- pods
|
||||
- nodes
|
||||
verbs:
|
||||
- get
|
||||
- list
|
||||
- watch
|
||||
---
|
||||
apiVersion: rbac.authorization.k8s.io/v1
|
||||
kind: ClusterRole
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: system:metrics-server
|
||||
rules:
|
||||
- apiGroups:
|
||||
- ""
|
||||
resources:
|
||||
- nodes/metrics
|
||||
verbs:
|
||||
- get
|
||||
- apiGroups:
|
||||
- ""
|
||||
resources:
|
||||
- pods
|
||||
- nodes
|
||||
verbs:
|
||||
- get
|
||||
- list
|
||||
- watch
|
||||
---
|
||||
apiVersion: rbac.authorization.k8s.io/v1
|
||||
kind: RoleBinding
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: metrics-server-auth-reader
|
||||
namespace: kube-system
|
||||
roleRef:
|
||||
apiGroup: rbac.authorization.k8s.io
|
||||
kind: Role
|
||||
name: extension-apiserver-authentication-reader
|
||||
subjects:
|
||||
- kind: ServiceAccount
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
---
|
||||
apiVersion: rbac.authorization.k8s.io/v1
|
||||
kind: ClusterRoleBinding
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: metrics-server:system:auth-delegator
|
||||
roleRef:
|
||||
apiGroup: rbac.authorization.k8s.io
|
||||
kind: ClusterRole
|
||||
name: system:auth-delegator
|
||||
subjects:
|
||||
- kind: ServiceAccount
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
---
|
||||
apiVersion: rbac.authorization.k8s.io/v1
|
||||
kind: ClusterRoleBinding
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: system:metrics-server
|
||||
roleRef:
|
||||
apiGroup: rbac.authorization.k8s.io
|
||||
kind: ClusterRole
|
||||
name: system:metrics-server
|
||||
subjects:
|
||||
- kind: ServiceAccount
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
---
|
||||
apiVersion: v1
|
||||
kind: Service
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
spec:
|
||||
ports:
|
||||
- appProtocol: https
|
||||
name: https
|
||||
port: 443
|
||||
protocol: TCP
|
||||
targetPort: https
|
||||
selector:
|
||||
k8s-app: metrics-server
|
||||
---
|
||||
apiVersion: apps/v1
|
||||
kind: Deployment
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
spec:
|
||||
selector:
|
||||
matchLabels:
|
||||
k8s-app: metrics-server
|
||||
strategy:
|
||||
rollingUpdate:
|
||||
maxUnavailable: 0
|
||||
template:
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
spec:
|
||||
containers:
|
||||
- args:
|
||||
- --cert-dir=/tmp
|
||||
- --secure-port=10250
|
||||
- --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
|
||||
- --kubelet-use-node-status-port
|
||||
- --metric-resolution=15s
|
||||
image: registry.k8s.io/metrics-server/metrics-server:v0.8.1
|
||||
imagePullPolicy: IfNotPresent
|
||||
livenessProbe:
|
||||
failureThreshold: 3
|
||||
httpGet:
|
||||
path: /livez
|
||||
port: https
|
||||
scheme: HTTPS
|
||||
periodSeconds: 10
|
||||
name: metrics-server
|
||||
ports:
|
||||
- containerPort: 10250
|
||||
name: https
|
||||
protocol: TCP
|
||||
readinessProbe:
|
||||
failureThreshold: 3
|
||||
httpGet:
|
||||
path: /readyz
|
||||
port: https
|
||||
scheme: HTTPS
|
||||
initialDelaySeconds: 20
|
||||
periodSeconds: 10
|
||||
resources:
|
||||
requests:
|
||||
cpu: 100m
|
||||
memory: 200Mi
|
||||
securityContext:
|
||||
allowPrivilegeEscalation: false
|
||||
capabilities:
|
||||
drop:
|
||||
- ALL
|
||||
readOnlyRootFilesystem: true
|
||||
runAsNonRoot: true
|
||||
runAsUser: 1000
|
||||
seccompProfile:
|
||||
type: RuntimeDefault
|
||||
volumeMounts:
|
||||
- mountPath: /tmp
|
||||
name: tmp-dir
|
||||
nodeSelector:
|
||||
kubernetes.io/os: linux
|
||||
priorityClassName: system-cluster-critical
|
||||
serviceAccountName: metrics-server
|
||||
volumes:
|
||||
- emptyDir: {}
|
||||
name: tmp-dir
|
||||
---
|
||||
apiVersion: apiregistration.k8s.io/v1
|
||||
kind: APIService
|
||||
metadata:
|
||||
labels:
|
||||
k8s-app: metrics-server
|
||||
name: v1beta1.metrics.k8s.io
|
||||
spec:
|
||||
group: metrics.k8s.io
|
||||
groupPriorityMinimum: 100
|
||||
insecureSkipTLSVerify: true
|
||||
service:
|
||||
name: metrics-server
|
||||
namespace: highload-applications
|
||||
version: v1beta1
|
||||
versionPriority: 100
|
||||
@@ -0,0 +1,12 @@
|
||||
apiVersion: kustomize.config.k8s.io/v1beta1
|
||||
kind: Kustomization
|
||||
resources:
|
||||
- components.yaml
|
||||
patches:
|
||||
- target:
|
||||
kind: Deployment
|
||||
name: metrics-server
|
||||
patch: |-
|
||||
- op: add
|
||||
path: /spec/template/spec/containers/0/args/-
|
||||
value: --kubelet-certificate-authority=/var/run/secrets/kubernetes.io/serviceaccount/ca.crt
|
||||
@@ -0,0 +1,106 @@
|
||||
{
|
||||
"title": "Lab 3 — API scaling",
|
||||
"uid": "highload-lab3",
|
||||
"schemaVersion": 39,
|
||||
"version": 1,
|
||||
"refresh": "15s",
|
||||
"time": {
|
||||
"from": "now-30m",
|
||||
"to": "now"
|
||||
},
|
||||
"__inputs": [
|
||||
{
|
||||
"name": "DS_PROMETHEUS",
|
||||
"label": "Prometheus",
|
||||
"type": "datasource",
|
||||
"pluginId": "prometheus",
|
||||
"pluginName": "Prometheus"
|
||||
}
|
||||
],
|
||||
"panels": [
|
||||
{
|
||||
"id": 1,
|
||||
"type": "timeseries",
|
||||
"title": "HTTP requests/s",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "${DS_PROMETHEUS}"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 0,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum(rate(messenger_http_requests_total[2m])) by (status_class)"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 2,
|
||||
"type": "timeseries",
|
||||
"title": "Latency p95, seconds",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "${DS_PROMETHEUS}"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 0,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "histogram_quantile(0.95, sum(rate(messenger_http_duration_seconds_bucket[2m])) by (le))"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 3,
|
||||
"type": "timeseries",
|
||||
"title": "In-flight requests",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "${DS_PROMETHEUS}"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 0,
|
||||
"y": 8,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "sum(messenger_http_in_flight) by (pod)"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"id": 4,
|
||||
"type": "timeseries",
|
||||
"title": "API replicas",
|
||||
"datasource": {
|
||||
"type": "prometheus",
|
||||
"uid": "${DS_PROMETHEUS}"
|
||||
},
|
||||
"gridPos": {
|
||||
"x": 12,
|
||||
"y": 8,
|
||||
"w": 12,
|
||||
"h": 8
|
||||
},
|
||||
"targets": [
|
||||
{
|
||||
"refId": "A",
|
||||
"expr": "kube_deployment_status_replicas_available{namespace=\"highload-applications\",deployment=\"api\"}"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,19 @@
|
||||
# Add this job to an existing Prometheus in namespace monitoring.
|
||||
# Its service account needs Kubernetes service/endpoints/pod discovery permissions.
|
||||
scrape_configs:
|
||||
- job_name: api
|
||||
scrape_interval: 15s
|
||||
scrape_timeout: 3s
|
||||
kubernetes_sd_configs:
|
||||
- role: endpoints
|
||||
namespaces:
|
||||
names: [highload-applications]
|
||||
relabel_configs:
|
||||
- source_labels: [__meta_kubernetes_service_name]
|
||||
regex: api
|
||||
action: keep
|
||||
- source_labels: [__meta_kubernetes_endpoint_port_name]
|
||||
regex: http
|
||||
action: keep
|
||||
- source_labels: [__meta_kubernetes_pod_name]
|
||||
target_label: pod
|
||||
@@ -16,6 +16,8 @@ const (
|
||||
|
||||
// Controller contains settings owned exclusively by the HTTP transport.
|
||||
type Controller struct {
|
||||
// InstanceID identifies this API process to the load balancer diagnostics.
|
||||
InstanceID string
|
||||
// Host is the IP address on which the listener binds.
|
||||
Host string
|
||||
// Port is the TCP port, in the range 1..65535.
|
||||
@@ -85,6 +87,7 @@ func defaultController() *Controller {
|
||||
|
||||
// loadEnvironment applies environment overrides to this configuration section.
|
||||
func (cfg *Controller) loadEnvironment() error {
|
||||
cfg.InstanceID = os.Getenv("INSTANCE_ID")
|
||||
if host, exists := os.LookupEnv("APP_HOST"); exists {
|
||||
cfg.Host = host
|
||||
}
|
||||
|
||||
@@ -8,6 +8,8 @@ import (
|
||||
|
||||
// Persistence contains database, cache and session settings.
|
||||
type Persistence struct {
|
||||
// CursorKey is the shared base64 signing key supplied through a secret.
|
||||
CursorKey string
|
||||
// DatabaseURL identifies the PostgreSQL database.
|
||||
DatabaseURL string
|
||||
// Shards maps stable identities to Valkey addresses.
|
||||
@@ -25,6 +27,7 @@ type Persistence struct {
|
||||
// NewPersistence loads dependency settings separately from HTTP configuration.
|
||||
func NewPersistence() (*Persistence, error) {
|
||||
cfg := &Persistence{
|
||||
CursorKey: os.Getenv("CURSOR_SIGNING_KEY"),
|
||||
DatabaseURL: os.Getenv("DATABASE_URL"),
|
||||
Coordinator: os.Getenv("VALKEY_COORDINATOR"),
|
||||
Shards: make(map[string]string),
|
||||
|
||||
@@ -6,6 +6,7 @@ import (
|
||||
"sync/atomic"
|
||||
|
||||
"github.com/gofiber/fiber/v2"
|
||||
"github.com/google/uuid"
|
||||
"go.lab260.ru/fielderr"
|
||||
"go.uber.org/zap"
|
||||
|
||||
@@ -19,6 +20,7 @@ import (
|
||||
// Its configuration is copied at construction and must not change during serving.
|
||||
// Fx manages its listener through Start and Stop.
|
||||
type Controller struct {
|
||||
metrics *httpMetrics
|
||||
log *zap.Logger
|
||||
cfg config.Controller
|
||||
service service.Service
|
||||
@@ -28,6 +30,7 @@ type Controller struct {
|
||||
auth service.Authentication
|
||||
readiness Readiness
|
||||
stopping atomic.Bool
|
||||
instanceID string
|
||||
serveDone chan error
|
||||
}
|
||||
|
||||
@@ -43,6 +46,7 @@ func New(log *zap.Logger, cfg *config.Controller, svc service.Service, registry
|
||||
return nil, fmt.Errorf("HTTP logger, service, error registry and admission limiter are required")
|
||||
}
|
||||
ctrl := &Controller{
|
||||
metrics: newHTTPMetrics(),
|
||||
log: log.Named("controller.http.fiber"),
|
||||
cfg: *cfg,
|
||||
service: svc,
|
||||
@@ -52,6 +56,10 @@ func New(log *zap.Logger, cfg *config.Controller, svc service.Service, registry
|
||||
readiness: readiness,
|
||||
serveDone: make(chan error, 1),
|
||||
}
|
||||
ctrl.instanceID = cfg.InstanceID
|
||||
if ctrl.instanceID == "" {
|
||||
ctrl.instanceID = uuid.NewString()
|
||||
}
|
||||
ctrl.configure()
|
||||
return ctrl, nil
|
||||
}
|
||||
|
||||
@@ -66,6 +66,7 @@ func testController(t *testing.T, change func(*config.Config)) *Controller {
|
||||
// request sends a raw test request and decodes its response.
|
||||
func request(ctrl *Controller, method, path, actor string, body []byte) (int, map[string]any, error) {
|
||||
req := httptest.NewRequest(method, path, bytes.NewReader(body))
|
||||
req.Header.Set("Idempotency-Key", uuid.NewString())
|
||||
if body != nil {
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
}
|
||||
|
||||
@@ -76,9 +76,10 @@ func (ctrl *Controller) HandleMessagesCreate(ctx *fiber.Ctx) error {
|
||||
return err
|
||||
}
|
||||
message, err := ctrl.service.MessagesCreate(ctx.UserContext(), dto.MessagesCreateRequestDTO{
|
||||
UserID: identity(ctx),
|
||||
ChatID: ctx.Params("chat_id"),
|
||||
Text: request.Text,
|
||||
IdempotencyKey: ctx.Get("Idempotency-Key"),
|
||||
UserID: identity(ctx),
|
||||
ChatID: ctx.Params("chat_id"),
|
||||
Text: request.Text,
|
||||
})
|
||||
if err != nil {
|
||||
return err
|
||||
|
||||
@@ -0,0 +1,61 @@
|
||||
package fiber
|
||||
|
||||
import (
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
"github.com/gofiber/fiber/v2"
|
||||
"github.com/gofiber/fiber/v2/middleware/adaptor"
|
||||
"github.com/prometheus/client_golang/prometheus"
|
||||
"github.com/prometheus/client_golang/prometheus/promhttp"
|
||||
)
|
||||
|
||||
// httpMetrics owns a per-server registry with bounded labels and no user identifiers.
|
||||
type httpMetrics struct {
|
||||
registry *prometheus.Registry
|
||||
requests *prometheus.CounterVec
|
||||
duration *prometheus.HistogramVec
|
||||
active prometheus.Gauge
|
||||
}
|
||||
|
||||
// newHTTPMetrics creates independent collectors so multiple test servers do not share state.
|
||||
func newHTTPMetrics() *httpMetrics {
|
||||
metrics := &httpMetrics{
|
||||
registry: prometheus.NewRegistry(),
|
||||
requests: prometheus.NewCounterVec(prometheus.CounterOpts{Name: "messenger_http_requests_total", Help: "Completed requests by route, method and status class."}, []string{"route", "method", "status_class"}),
|
||||
duration: prometheus.NewHistogramVec(prometheus.HistogramOpts{Name: "messenger_http_duration_seconds", Help: "Completed request latency.", Buckets: prometheus.DefBuckets}, []string{"route", "method"}),
|
||||
active: prometheus.NewGauge(prometheus.GaugeOpts{Name: "messenger_http_in_flight", Help: "Currently executing HTTP requests."}),
|
||||
}
|
||||
metrics.registry.MustRegister(metrics.requests, metrics.duration, metrics.active)
|
||||
return metrics
|
||||
}
|
||||
|
||||
// observe records bounded route patterns, methods and status classes after error handling.
|
||||
func (m *httpMetrics) observe(ctx *fiber.Ctx, elapsed time.Duration) {
|
||||
route := "unmatched"
|
||||
if ctx.Route() != nil && ctx.Route().Path != "/" {
|
||||
route = ctx.Route().Path
|
||||
}
|
||||
method := ctx.Method()
|
||||
switch method {
|
||||
case http.MethodGet, http.MethodPost, http.MethodDelete, http.MethodHead, http.MethodOptions:
|
||||
default:
|
||||
method = "other"
|
||||
}
|
||||
status := "5xx"
|
||||
switch ctx.Response().StatusCode() / 100 {
|
||||
case 2:
|
||||
status = "2xx"
|
||||
case 3:
|
||||
status = "3xx"
|
||||
case 4:
|
||||
status = "4xx"
|
||||
}
|
||||
m.requests.WithLabelValues(route, method, status).Inc()
|
||||
m.duration.WithLabelValues(route, method).Observe(elapsed.Seconds())
|
||||
}
|
||||
|
||||
// handleMetrics exposes this process's Prometheus registry without external backend calls.
|
||||
func (ctrl *Controller) handleMetrics(ctx *fiber.Ctx) error {
|
||||
return adaptor.HTTPHandler(promhttp.HandlerFor(ctrl.metrics.registry, promhttp.HandlerOpts{}))(ctx)
|
||||
}
|
||||
@@ -0,0 +1,73 @@
|
||||
package fiber
|
||||
|
||||
import (
|
||||
"io"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// TestMetricsEndpoint exposes completed requests without token or user labels.
|
||||
func TestMetricsEndpoint(t *testing.T) {
|
||||
ctrl := testController(t, nil)
|
||||
call(t, ctrl, http.MethodGet, "/health/live", "", nil, http.StatusOK)
|
||||
resp, err := ctrl.server.Test(httptest.NewRequest(http.MethodGet, "/metrics", nil))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer func() {
|
||||
_ = resp.Body.Close()
|
||||
}()
|
||||
body, err := io.ReadAll(resp.Body)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if resp.StatusCode != http.StatusOK || !strings.Contains(string(body), "messenger_http_requests_total") || !strings.Contains(string(body), "messenger_http_duration_seconds_bucket") {
|
||||
t.Fatalf("invalid metrics response: status %d", resp.StatusCode)
|
||||
}
|
||||
if resp.Header.Get("X-Instance-Id") == "" {
|
||||
t.Fatal("metrics response lacks instance ID")
|
||||
}
|
||||
}
|
||||
|
||||
// TestInstanceIdentityRemainsStable verifies errors and successes identify the same process.
|
||||
func TestInstanceIdentityRemainsStable(t *testing.T) {
|
||||
ctrl := testController(t, nil)
|
||||
var instance string
|
||||
for _, path := range []string{"/health/live", "/unknown"} {
|
||||
resp, err := ctrl.server.Test(httptest.NewRequest(http.MethodGet, path, nil))
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if instance == "" {
|
||||
instance = resp.Header.Get("X-Instance-Id")
|
||||
}
|
||||
if instance == "" || resp.Header.Get("X-Instance-Id") != instance {
|
||||
t.Fatal("unstable instance identity")
|
||||
}
|
||||
if err := resp.Body.Close(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestMissingIdempotencyHeader rejects an otherwise valid authenticated write.
|
||||
func TestMissingIdempotencyHeader(t *testing.T) {
|
||||
ctrl := testController(t, nil)
|
||||
caller := user(t, ctrl)
|
||||
room := chat(t, ctrl, caller)
|
||||
req := httptest.NewRequest(http.MethodPost, "/api/v1/chats/"+room+"/messages", strings.NewReader(`{"text":"valid"}`))
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
req.Header.Set("Authorization", "Bearer "+caller)
|
||||
resp, err := ctrl.server.Test(req)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
defer func() {
|
||||
_ = resp.Body.Close()
|
||||
}()
|
||||
if resp.StatusCode != http.StatusBadRequest {
|
||||
t.Fatalf("missing key accepted: %d", resp.StatusCode)
|
||||
}
|
||||
}
|
||||
@@ -16,12 +16,18 @@ import (
|
||||
// request assigns a request identifier, handles errors and logs the completed request.
|
||||
func (ctrl *Controller) request(ctx *fiber.Ctx) error {
|
||||
ctx.Set(headerRequestID, uuid.NewString())
|
||||
ctx.Set("X-Instance-Id", ctrl.instanceID)
|
||||
started := time.Now()
|
||||
ctrl.metrics.active.Inc()
|
||||
defer ctrl.metrics.active.Dec()
|
||||
err := ctx.Next()
|
||||
if err != nil {
|
||||
err = ctrl.handleErr(ctx, err)
|
||||
}
|
||||
ctrl.logRequest(ctx, time.Since(started))
|
||||
if ctx.Path() != "/metrics" {
|
||||
ctrl.metrics.observe(ctx, time.Since(started))
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
|
||||
@@ -2,6 +2,7 @@ package fiber
|
||||
|
||||
// initRoutes registers health endpoints and authenticated application routes.
|
||||
func (ctrl *Controller) initRoutes() {
|
||||
ctrl.server.Get("/metrics", ctrl.handleMetrics)
|
||||
ctrl.server.Get("/health/live", ctrl.handleLive)
|
||||
ctrl.server.Get("/health/ready", ctrl.handleReady)
|
||||
ctrl.server.Use(ctrl.admit)
|
||||
|
||||
@@ -106,3 +106,14 @@ func decodeCursorPosition(payload []byte, resource string) (Position, error) {
|
||||
}
|
||||
return Position{CreatedAt: cursor.Time, ID: cursor.ID}, nil
|
||||
}
|
||||
|
||||
// NewShared creates a codec from the common 256-bit key provisioned to every replica.
|
||||
func NewShared(encoded string) (*Codec, error) {
|
||||
key, err := base64.StdEncoding.DecodeString(encoded)
|
||||
if err != nil || len(key) != cursorSigningKeyBytes {
|
||||
return nil, fmt.Errorf("CURSOR_SIGNING_KEY must encode exactly 32 bytes as base64")
|
||||
}
|
||||
codec := &Codec{}
|
||||
copy(codec.key[:], key)
|
||||
return codec, nil
|
||||
}
|
||||
|
||||
@@ -177,3 +177,36 @@ func encodeFixture(t *testing.T, codec *Codec, resource string) string {
|
||||
}
|
||||
return token
|
||||
}
|
||||
|
||||
// TestSharedCodec verifies a second process can verify the first process's cursor.
|
||||
func TestSharedCodec(t *testing.T) {
|
||||
key := base64.StdEncoding.EncodeToString(make([]byte, 32))
|
||||
first, err := NewShared(key)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
second, err := NewShared(key)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
position := Position{CreatedAt: time.Now().UTC(), ID: uuid.New()}
|
||||
encoded, err := first.Encode("chat", position)
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
result, err := second.Decode(encoded, "chat")
|
||||
if err != nil || result != position {
|
||||
t.Fatalf("cross-replica cursor: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestSharedCodecRejectsInvalidKey requires a full 256-bit decoded secret.
|
||||
func TestSharedCodecRejectsInvalidKey(t *testing.T) {
|
||||
for _, key := range []string{"", "broken!", base64.StdEncoding.EncodeToString([]byte("short"))} {
|
||||
t.Run(key, func(t *testing.T) {
|
||||
if _, err := NewShared(key); err == nil {
|
||||
t.Fatal("invalid key accepted")
|
||||
}
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
@@ -33,6 +33,8 @@ type ChatDTO struct {
|
||||
|
||||
// MessageDTO is an immutable message stored in a chat.
|
||||
type MessageDTO struct {
|
||||
// IdempotencyKey identifies a validated retry within the sender and chat scope.
|
||||
IdempotencyKey string
|
||||
// ID is the server-generated message identifier.
|
||||
ID uuid.UUID
|
||||
// ChatID identifies the owning chat.
|
||||
@@ -65,6 +67,8 @@ type ChatsCreateRequestDTO struct {
|
||||
|
||||
// MessagesCreateRequestDTO carries untrusted message creation input.
|
||||
type MessagesCreateRequestDTO struct {
|
||||
// IdempotencyKey identifies a validated retry within the sender and chat scope.
|
||||
IdempotencyKey string
|
||||
// UserID is the authenticated caller identifier, never a supplied sender field.
|
||||
UserID string
|
||||
// ChatID is the raw chat UUID from the route.
|
||||
|
||||
@@ -37,13 +37,28 @@ func prepareChat(request dto.ChatsCreateRequestDTO, caller uuid.UUID) (dto.ChatD
|
||||
|
||||
// prepareMessage validates text and creates a record for the authorized sender and chat.
|
||||
func prepareMessage(request dto.MessagesCreateRequestDTO, sender, chatID uuid.UUID) (dto.MessageDTO, error) {
|
||||
if !validText(request.Text, maxMessageRunes) {
|
||||
if !validText(request.Text, maxMessageRunes) || !validIdempotencyKey(request.IdempotencyKey) {
|
||||
return dto.MessageDTO{}, service.ErrInvalid
|
||||
}
|
||||
return dto.MessageDTO{
|
||||
ID: uuid.New(),
|
||||
ChatID: chatID,
|
||||
SenderID: sender,
|
||||
Text: request.Text,
|
||||
ID: uuid.New(),
|
||||
ChatID: chatID,
|
||||
SenderID: sender,
|
||||
Text: request.Text,
|
||||
IdempotencyKey: request.IdempotencyKey,
|
||||
}, nil
|
||||
}
|
||||
|
||||
// validIdempotencyKey accepts only the bounded ASCII alphabet from the contract.
|
||||
func validIdempotencyKey(key string) bool {
|
||||
if len(key) < 1 || len(key) > 128 {
|
||||
return false
|
||||
}
|
||||
for _, c := range key {
|
||||
if c >= 'a' && c <= 'z' || c >= 'A' && c <= 'Z' || c >= '0' && c <= '9' || c == '.' || c == '_' || c == ':' || c == '-' {
|
||||
continue
|
||||
}
|
||||
return false
|
||||
}
|
||||
return true
|
||||
}
|
||||
|
||||
@@ -29,7 +29,7 @@ func TestService_MessagesCreate(t *testing.T) {
|
||||
return input, nil
|
||||
}
|
||||
svc := newStubService(t, repo)
|
||||
input := dto.MessagesCreateRequestDTO{UserID: actor.String(), ChatID: chat.ID.String(), Text: " Original 👋 "}
|
||||
input := dto.MessagesCreateRequestDTO{IdempotencyKey: "fixture-key", UserID: actor.String(), ChatID: chat.ID.String(), Text: " Original 👋 "}
|
||||
|
||||
// Act.
|
||||
got, err := svc.MessagesCreate(t.Context(), input)
|
||||
@@ -53,7 +53,7 @@ func TestService_MessagesCreate(t *testing.T) {
|
||||
chat := dto.ChatDTO{ID: uuid.New(), MemberIDs: []uuid.UUID{uuid.New()}}
|
||||
allowChatAccess(repo, actor, chat)
|
||||
svc := newStubService(t, repo)
|
||||
input := dto.MessagesCreateRequestDTO{UserID: actor.String(), ChatID: chat.ID.String(), Text: "Valid text"}
|
||||
input := dto.MessagesCreateRequestDTO{IdempotencyKey: "fixture-key", UserID: actor.String(), ChatID: chat.ID.String(), Text: "Valid text"}
|
||||
|
||||
// Act.
|
||||
got, err := svc.MessagesCreate(t.Context(), input)
|
||||
@@ -67,7 +67,7 @@ func TestService_MessagesCreate(t *testing.T) {
|
||||
t.Run("Negative: malformed identity skips storage", func(t *testing.T) {
|
||||
// Arrange.
|
||||
svc := newStubService(t, newStoreStub(t))
|
||||
input := dto.MessagesCreateRequestDTO{UserID: "invalid", ChatID: uuid.NewString(), Text: "text"}
|
||||
input := dto.MessagesCreateRequestDTO{IdempotencyKey: "fixture-key", UserID: "invalid", ChatID: uuid.NewString(), Text: "text"}
|
||||
|
||||
// Act.
|
||||
got, err := svc.MessagesCreate(t.Context(), input)
|
||||
@@ -97,7 +97,7 @@ func TestService_MessagesCreate_InvalidText(t *testing.T) {
|
||||
chat := dto.ChatDTO{ID: uuid.New(), MemberIDs: []uuid.UUID{actor}}
|
||||
allowChatAccess(repo, actor, chat)
|
||||
svc := newStubService(t, repo)
|
||||
input := dto.MessagesCreateRequestDTO{UserID: actor.String(), ChatID: chat.ID.String(), Text: tc.text}
|
||||
input := dto.MessagesCreateRequestDTO{IdempotencyKey: "fixture-key", UserID: actor.String(), ChatID: chat.ID.String(), Text: tc.text}
|
||||
|
||||
// Act.
|
||||
got, err := svc.MessagesCreate(t.Context(), input)
|
||||
@@ -133,7 +133,7 @@ func TestService_MessagesCreate_StoreErrors(t *testing.T) {
|
||||
return dto.MessageDTO{}, tc.cause
|
||||
}
|
||||
svc := newStubService(t, repo)
|
||||
input := dto.MessagesCreateRequestDTO{UserID: actor.String(), ChatID: chat.ID.String(), Text: "Valid text"}
|
||||
input := dto.MessagesCreateRequestDTO{IdempotencyKey: "fixture-key", UserID: actor.String(), ChatID: chat.ID.String(), Text: "Valid text"}
|
||||
|
||||
// Act.
|
||||
got, err := svc.MessagesCreate(t.Context(), input)
|
||||
@@ -145,3 +145,25 @@ func TestService_MessagesCreate_StoreErrors(t *testing.T) {
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
// TestIdempotencyKeyValidation checks the exact contract alphabet and length independently.
|
||||
func TestIdempotencyKeyValidation(t *testing.T) {
|
||||
for _, test := range []struct {
|
||||
name string
|
||||
key string
|
||||
want bool
|
||||
}{
|
||||
{name: "missing", key: "", want: false},
|
||||
{name: "allowed alphabet", key: "aZ09._:-", want: true},
|
||||
{name: "space", key: "a b", want: false},
|
||||
{name: "unicode", key: "ключ", want: false},
|
||||
{name: "maximum", key: strings.Repeat("a", 128), want: true},
|
||||
{name: "too long", key: strings.Repeat("a", 129), want: false},
|
||||
} {
|
||||
t.Run(test.name, func(t *testing.T) {
|
||||
if got := validIdempotencyKey(test.key); got != test.want {
|
||||
t.Fatalf("valid=%v want=%v", got, test.want)
|
||||
}
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,51 @@
|
||||
package postgres
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
|
||||
"github.com/jackc/pgx/v5"
|
||||
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/dto"
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store"
|
||||
)
|
||||
|
||||
// replayMessage serializes one chat and returns an unexpired original response.
|
||||
func replayMessage(ctx context.Context, tx pgx.Tx, message dto.MessageDTO) (dto.MessageDTO, bool, error) {
|
||||
var locked string
|
||||
if err := tx.QueryRow(ctx, "SELECT id FROM chats WHERE id=@chat FOR UPDATE", pgx.StrictNamedArgs{"chat": message.ChatID}).Scan(&locked); err != nil {
|
||||
return dto.MessageDTO{}, false, err
|
||||
}
|
||||
if message.IdempotencyKey == "" {
|
||||
return dto.MessageDTO{}, false, nil
|
||||
}
|
||||
args := pgx.StrictNamedArgs{"user": message.SenderID, "chat": message.ChatID, "key": message.IdempotencyKey}
|
||||
if _, err := tx.Exec(ctx, `DELETE FROM message_idempotency WHERE user_id=@user AND chat_id=@chat AND key=@key AND expires_at<=clock_timestamp()`, args); err != nil {
|
||||
return dto.MessageDTO{}, false, err
|
||||
}
|
||||
var original dto.MessageDTO
|
||||
err := tx.QueryRow(ctx, `SELECT m.id,m.chat_id,m.sender_id,m.text,m.created_at FROM message_idempotency i JOIN messages m ON m.id=i.message_id
|
||||
WHERE i.user_id=@user AND i.chat_id=@chat AND i.key=@key`, args).Scan(&original.ID, &original.ChatID, &original.SenderID, &original.Text, &original.CreatedAt)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return dto.MessageDTO{}, false, nil
|
||||
}
|
||||
if err != nil {
|
||||
return dto.MessageDTO{}, false, err
|
||||
}
|
||||
if original.Text != message.Text {
|
||||
return dto.MessageDTO{}, false, store.ErrConflict
|
||||
}
|
||||
return original, true, nil
|
||||
}
|
||||
|
||||
// rememberMessage stores the result in the same transaction as the message insert.
|
||||
func rememberMessage(ctx context.Context, tx pgx.Tx, message dto.MessageDTO) error {
|
||||
if message.IdempotencyKey == "" {
|
||||
return nil
|
||||
}
|
||||
_, err := tx.Exec(ctx, `INSERT INTO message_idempotency(user_id,chat_id,key,message_id,expires_at)
|
||||
VALUES(@user,@chat,@key,@id,clock_timestamp()+interval '24 hours')`, pgx.StrictNamedArgs{
|
||||
"user": message.SenderID, "chat": message.ChatID, "key": message.IdempotencyKey, "id": message.ID,
|
||||
})
|
||||
return err
|
||||
}
|
||||
@@ -0,0 +1,139 @@
|
||||
package postgres
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"sync"
|
||||
"testing"
|
||||
|
||||
"github.com/google/uuid"
|
||||
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/model/dto"
|
||||
"gitea.privcloud.tech/vlad_marlo/mtusi2026lab3/internal/store"
|
||||
)
|
||||
|
||||
// TestMessageRetryRace verifies concurrent attempts commit exactly one message and replay its response.
|
||||
func TestMessageRetryRace(t *testing.T) {
|
||||
s := testStore(t)
|
||||
user := fixtureUser(t, s)
|
||||
chat := fixtureChat(t, s, user)
|
||||
var wg sync.WaitGroup
|
||||
outcomes := make(chan dto.MessageDTO, 12)
|
||||
failures := make(chan error, 12)
|
||||
for range 12 {
|
||||
wg.Go(func() {
|
||||
message, err := s.CreateMessage(t.Context(), dto.MessageDTO{ID: uuid.New(), ChatID: chat.ID, SenderID: user.ID, Text: "same", IdempotencyKey: "retry"})
|
||||
if err != nil {
|
||||
failures <- err
|
||||
return
|
||||
}
|
||||
outcomes <- message
|
||||
})
|
||||
}
|
||||
wg.Wait()
|
||||
close(failures)
|
||||
close(outcomes)
|
||||
for err := range failures {
|
||||
t.Error(err)
|
||||
}
|
||||
var original dto.MessageDTO
|
||||
for m := range outcomes {
|
||||
if original.ID == uuid.Nil {
|
||||
original = m
|
||||
}
|
||||
if m.ID != original.ID || m.Text != original.Text || !m.CreatedAt.Equal(original.CreatedAt) {
|
||||
t.Fatal("retry returned a different result")
|
||||
}
|
||||
}
|
||||
messages, err := s.Messages(t.Context(), chat.ID, dto.PositionDTO{}, 100)
|
||||
if err != nil || len(messages) != 1 {
|
||||
t.Fatalf("messages=%d error=%v", len(messages), err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestMessageRetryConflict rejects a different body without publishing a second message.
|
||||
func TestMessageRetryConflict(t *testing.T) {
|
||||
s := testStore(t)
|
||||
user := fixtureUser(t, s)
|
||||
chat := fixtureChat(t, s, user)
|
||||
message := dto.MessageDTO{ID: uuid.New(), ChatID: chat.ID, SenderID: user.ID, Text: "first", IdempotencyKey: "retry"}
|
||||
if _, err := s.CreateMessage(t.Context(), message); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
message.ID = uuid.New()
|
||||
message.Text = "different"
|
||||
if _, err := s.CreateMessage(t.Context(), message); !errors.Is(err, store.ErrConflict) {
|
||||
t.Fatalf("expected conflict: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestMessageRetryExpiry permits reuse after the original retention window ends.
|
||||
func TestMessageRetryExpiry(t *testing.T) {
|
||||
s := testStore(t)
|
||||
user := fixtureUser(t, s)
|
||||
chat := fixtureChat(t, s, user)
|
||||
message := dto.MessageDTO{ID: uuid.New(), ChatID: chat.ID, SenderID: user.ID, Text: "first", IdempotencyKey: "retry"}
|
||||
if _, err := s.CreateMessage(t.Context(), message); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := s.pool.Exec(t.Context(), "UPDATE message_idempotency SET expires_at=clock_timestamp()-interval '1 second'"); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
message.ID = uuid.New()
|
||||
message.Text = "new"
|
||||
if result, err := s.CreateMessage(t.Context(), message); err != nil || result.ID != message.ID {
|
||||
t.Fatalf("expired result reused: %v", err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestMessageRetryRollback proves failed inserts leave no poisoned idempotency result.
|
||||
func TestMessageRetryRollback(t *testing.T) {
|
||||
s := testStore(t)
|
||||
user := fixtureUser(t, s)
|
||||
chat := fixtureChat(t, s, user)
|
||||
message := dto.MessageDTO{ID: uuid.New(), ChatID: chat.ID, SenderID: uuid.New(), Text: "first", IdempotencyKey: "retry"}
|
||||
if _, err := s.CreateMessage(t.Context(), message); err == nil {
|
||||
t.Fatal("missing sender accepted")
|
||||
}
|
||||
var count int
|
||||
if err := s.pool.QueryRow(t.Context(), "SELECT count(*) FROM message_idempotency").Scan(&count); err != nil || count != 0 {
|
||||
t.Fatalf("failed write stored a result: %d %v", count, err)
|
||||
}
|
||||
message.SenderID = user.ID
|
||||
if _, err := s.CreateMessage(t.Context(), message); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
|
||||
// TestSchemaCheck verifies API schema checks neither create nor upgrade tables.
|
||||
func TestSchemaCheck(t *testing.T) {
|
||||
s := testStore(t)
|
||||
if err := s.CheckSchema(t.Context()); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if _, err := s.pool.Exec(t.Context(), "DELETE FROM schema_migrations WHERE version=2"); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if err := s.CheckSchema(t.Context()); err == nil {
|
||||
t.Fatal("outdated schema accepted")
|
||||
}
|
||||
s.Close()
|
||||
if err := s.CheckSchema(t.Context()); err == nil {
|
||||
t.Fatal("closed connection accepted")
|
||||
}
|
||||
}
|
||||
|
||||
// TestIdempotencyMigrationFailureRollsBackVersion keeps an unsuccessful DDL change out of migration history.
|
||||
func TestIdempotencyMigrationFailureRollsBackVersion(t *testing.T) {
|
||||
s := testStore(t)
|
||||
if _, err := s.pool.Exec(t.Context(), "DELETE FROM schema_migrations WHERE version=2"); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
// The existing table deliberately conflicts with the pending migration.
|
||||
if err := s.Start(t.Context()); err == nil {
|
||||
t.Fatal("conflicting DDL reported success")
|
||||
}
|
||||
var applied bool
|
||||
if err := s.pool.QueryRow(t.Context(), "SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version=2)").Scan(&applied); err != nil || applied {
|
||||
t.Fatalf("failed migration marked applied: %v", err)
|
||||
}
|
||||
}
|
||||
@@ -14,14 +14,25 @@ func (s *Store) CreateMessage(ctx context.Context, message dto.MessageDTO) (dto.
|
||||
ctx, cancel := context.WithTimeout(ctx, s.timeout)
|
||||
defer cancel()
|
||||
err := pgx.BeginFunc(ctx, s.pool, func(tx pgx.Tx) error {
|
||||
original, found, err := replayMessage(ctx, tx, message)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if found {
|
||||
message = original
|
||||
return nil
|
||||
}
|
||||
if err := tx.QueryRow(ctx, `UPDATE chats SET last_message_at=GREATEST(clock_timestamp(),last_message_at+interval '1 microsecond')
|
||||
WHERE id=@chat RETURNING last_message_at`, pgx.StrictNamedArgs{"chat": message.ChatID}).Scan(&message.CreatedAt); err != nil {
|
||||
return err
|
||||
}
|
||||
_, err := tx.Exec(ctx, `INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES(@id,@chat,@sender,@text,@time)`, pgx.StrictNamedArgs{
|
||||
_, err = tx.Exec(ctx, `INSERT INTO messages(id,chat_id,sender_id,text,created_at) VALUES(@id,@chat,@sender,@text,@time)`, pgx.StrictNamedArgs{
|
||||
"id": message.ID, "chat": message.ChatID, "sender": message.SenderID, "text": message.Text, "time": message.CreatedAt,
|
||||
})
|
||||
return err
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return rememberMessage(ctx, tx, message)
|
||||
})
|
||||
return message, normalize(err)
|
||||
}
|
||||
|
||||
@@ -0,0 +1,9 @@
|
||||
CREATE TABLE message_idempotency (
|
||||
user_id uuid NOT NULL REFERENCES users(id),
|
||||
chat_id uuid NOT NULL REFERENCES chats(id),
|
||||
key text NOT NULL,
|
||||
message_id uuid NOT NULL REFERENCES messages(id),
|
||||
expires_at timestamptz NOT NULL,
|
||||
PRIMARY KEY (user_id,chat_id,key)
|
||||
);
|
||||
CREATE INDEX message_idempotency_expiry ON message_idempotency(expires_at);
|
||||
@@ -22,6 +22,9 @@ import (
|
||||
//go:embed migrations/001_initial.sql
|
||||
var initialMigration string
|
||||
|
||||
//go:embed migrations/002_idempotency.sql
|
||||
var idempotencyMigration string
|
||||
|
||||
const migrationLockID = 202602
|
||||
|
||||
// Options bounds database resource use.
|
||||
@@ -79,14 +82,24 @@ func (s *Store) Start(ctx context.Context) error {
|
||||
if err := tx.QueryRow(ctx, "SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version=1)").Scan(&exists); err != nil {
|
||||
return err
|
||||
}
|
||||
if !exists {
|
||||
if _, err := tx.Exec(ctx, initialMigration); err != nil {
|
||||
return err
|
||||
}
|
||||
if _, err := tx.Exec(ctx, "INSERT INTO schema_migrations(version) VALUES(1)"); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
if err := tx.QueryRow(ctx, "SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version=2)").Scan(&exists); err != nil {
|
||||
return err
|
||||
}
|
||||
if exists {
|
||||
return nil
|
||||
}
|
||||
|
||||
if _, err := tx.Exec(ctx, initialMigration); err != nil {
|
||||
if _, err := tx.Exec(ctx, idempotencyMigration); err != nil {
|
||||
return err
|
||||
}
|
||||
_, err := tx.Exec(ctx, "INSERT INTO schema_migrations(version) VALUES(1)")
|
||||
_, err := tx.Exec(ctx, "INSERT INTO schema_migrations(version) VALUES(2)")
|
||||
return err
|
||||
})
|
||||
}
|
||||
@@ -125,3 +138,17 @@ func normalize(err error) error {
|
||||
}
|
||||
return err
|
||||
}
|
||||
|
||||
// CheckSchema verifies readiness without allowing API replicas to run DDL.
|
||||
func (s *Store) CheckSchema(ctx context.Context) error {
|
||||
ctx, cancel := context.WithTimeout(ctx, s.timeout)
|
||||
defer cancel()
|
||||
var version int
|
||||
if err := s.pool.QueryRow(ctx, "SELECT COALESCE(max(version),0) FROM schema_migrations").Scan(&version); err != nil {
|
||||
return err
|
||||
}
|
||||
if version != 2 {
|
||||
return fmt.Errorf("database schema version %d; run server migrate", version)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
@@ -7,6 +7,7 @@ GO=${GO:-go}
|
||||
: "${TEST_DATABASE_URL:?Use an isolated test database}" "${TEST_VALKEY_ADDRESS:?Use a test shard}"
|
||||
export APP_PORT=${COVERAGE_PORT:-18080}
|
||||
export LOG_LEVEL=error
|
||||
export CURSOR_SIGNING_KEY=AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=
|
||||
server_pid=
|
||||
watchdog_pid=
|
||||
mkdir -p coverage
|
||||
@@ -22,6 +23,7 @@ trap 'exit 130' INT
|
||||
trap 'exit 143' TERM
|
||||
mkdir "$run_dir/process"
|
||||
"$GO" build -race -cover -covermode=atomic -coverpkg=./... -o "$run_dir/server" ./cmd/server
|
||||
"$run_dir/server" migrate
|
||||
"$GO" test -race -coverpkg=./... -coverprofile="$run_dir/unit.out" ./...
|
||||
export GOCOVERDIR="$run_dir/process"
|
||||
if "$run_dir/server" unknown >"$run_dir/server-invalid.log" 2>&1; then
|
||||
@@ -40,6 +42,7 @@ for attempt in $(seq 1 60); do
|
||||
done
|
||||
$ready || { cat "$run_dir/server.log"; exit 1; }
|
||||
"$run_dir/server" healthcheck
|
||||
"$run_dir/server" migrate
|
||||
"${PYTHON:-python3}" tests/smoke.py --base-url "http://localhost:$APP_PORT"
|
||||
kill -TERM "$server_pid"
|
||||
# Bound the real-process shutdown check; a forced kill makes wait fail.
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
# Compare controlled replica/resource budgets, then restore the normal HPA configuration.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${KUBE_CONTEXT:=dev}" "${NAMESPACE:=highload-applications}" "${RELEASE:=lab3}"
|
||||
: "${KUBE_CONTEXT:=dev}" "${NAMESPACE:=highload-applications}" "${RELEASE:=lab2}"
|
||||
: "${DURATION:=30}" "${VUS:=32}"
|
||||
run_id=$(date -u +%Y%m%d%H%M%S)
|
||||
export KUBE_CONTEXT NAMESPACE DURATION VUS
|
||||
|
||||
@@ -12,8 +12,16 @@ kubectl --context "$KUBE_CONTEXT" create namespace "$NAMESPACE" --dry-run=client
|
||||
if ! kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get secret messenger-secrets >/dev/null 2>&1; then
|
||||
openssl rand -hex 32 | tr -d '\n' > "$work/postgres-password"
|
||||
printf 'postgres://messenger:%s@postgres:5432/messenger?sslmode=disable' "$(cat "$work/postgres-password")" > "$work/database-url"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" create secret generic messenger-secrets --from-file="$work/postgres-password" --from-file="$work/database-url"
|
||||
openssl rand -base64 32 | tr -d '\n' > "$work/cursor-key"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" create secret generic messenger-secrets --from-file="$work/postgres-password" --from-file="$work/database-url" --from-file="$work/cursor-key"
|
||||
fi
|
||||
# Add the shared cursor key to an existing lab2 secret without replacing database credentials.
|
||||
if ! kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get secret messenger-secrets -o json | jq -e '.data["cursor-key"] | length > 0' >/dev/null; then
|
||||
openssl rand -base64 32 | tr -d '\n' > "$work/cursor-key"
|
||||
jq -n --rawfile key "$work/cursor-key" '{stringData:{"cursor-key":$key}}' > "$work/patch.json"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" patch secret messenger-secrets --type merge --patch-file "$work/patch.json"
|
||||
fi
|
||||
# Build a portable Docker config; macOS credential-helper references cannot be used by kubelet.
|
||||
jq -n --arg registry "$REGISTRY" --arg user "$REGISTRY_USER" --rawfile token "$REGISTRY_TOKEN_FILE" \
|
||||
'{auths:{($registry):{auth:(($user+":"+($token | sub("[\\r\\n]+$"; "")))|@base64)}}}' > "$work/config.json"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" create secret generic registry-pull \
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
# Reconnect the loopback tunnel after the API pod is replaced during restart tests.
|
||||
set -eu
|
||||
: "${KUBE_CONTEXT:=dev}" "${NAMESPACE:=highload-applications}"
|
||||
LOCAL_PORT=${LOCAL_PORT:-8080}
|
||||
LOCAL_PORT=${LOCAL_PORT:-8083}
|
||||
child=
|
||||
cleanup() {
|
||||
if [ -n "$child" ]; then
|
||||
@@ -13,7 +13,7 @@ cleanup() {
|
||||
}
|
||||
trap cleanup INT TERM
|
||||
while :; do
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" port-forward service/api "$LOCAL_PORT:8080" --address 127.0.0.1 &
|
||||
kubectl --context "$KUBE_CONTEXT" -n traefik port-forward service/traefik "$LOCAL_PORT:80" --address 127.0.0.1 &
|
||||
child=$!
|
||||
wait "$child" || true
|
||||
child=
|
||||
|
||||
@@ -3,6 +3,8 @@
|
||||
set -eu
|
||||
: "${KUBE_CONTEXT:=dev}" "${NAMESPACE:=highload-applications}"
|
||||
replicas=$(kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get deployment api -o jsonpath='{.spec.replicas}')
|
||||
mkdir -p evidence
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get pods -l 'app in (api,postgres,valkey)' -o custom-columns=NAME:.metadata.name,UID:.metadata.uid > evidence/restart-before.txt
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" scale deployment/api --replicas=0
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" wait --for=delete pod -l app=api --timeout=60s
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" rollout restart statefulset/postgres statefulset/valkey
|
||||
@@ -10,3 +12,4 @@ kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" rollout status statefulset/pos
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" rollout status statefulset/valkey --timeout=120s
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" scale deployment/api --replicas="$replicas"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" rollout status deployment/api --timeout=120s
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get pods -l 'app in (api,postgres,valkey)' -o custom-columns=NAME:.metadata.name,UID:.metadata.uid > evidence/restart-after.txt
|
||||
|
||||
+6
-6
@@ -13,26 +13,26 @@ cleanup() {
|
||||
rm -f "$manifest"
|
||||
}
|
||||
trap cleanup EXIT
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" create configmap lab3-load-scripts --from-file=student-tests/load/ --dry-run=client -o yaml | kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" apply -f -
|
||||
helm template lab3 charts/messenger -n "$NAMESPACE" -s templates/load.yaml --set load.enabled=true --set-string "load.run=$RUN" --set-string "load.script=$LOAD_SCRIPT" --set "load.duration=$DURATION" --set "load.vus=$VUS" > "$manifest"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" create configmap load-scripts --from-file=student-tests/load/ --dry-run=client -o yaml | kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" apply -f -
|
||||
helm template lab2 charts/messenger -n "$NAMESPACE" -s templates/load.yaml --set load.enabled=true --set-string "load.run=$RUN" --set-string "load.script=$LOAD_SCRIPT" --set "load.duration=$DURATION" --set "load.vus=$VUS" > "$manifest"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" apply -f "$manifest"
|
||||
(
|
||||
while :; do
|
||||
date -u '+UTC %Y-%m-%dT%H:%M:%SZ'
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" top pods -l 'app in (lab3-api,lab3-lb,lab3-postgres,lab3-valkey,lab3-load)' || true
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" exec lab3-postgres-0 -- psql -U messenger -d messenger -Atc "SELECT state,wait_event_type,wait_event,count(*) FROM pg_stat_activity WHERE datname='messenger' GROUP BY state,wait_event_type,wait_event" || true
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" top pods -l 'app in (api,lb,postgres,valkey,load)' || true
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" exec postgres-0 -- psql -U messenger -d messenger -Atc "SELECT state,wait_event_type,wait_event,count(*) FROM pg_stat_activity WHERE datname='messenger' GROUP BY state,wait_event_type,wait_event" || true
|
||||
sleep 5
|
||||
done
|
||||
) > "evidence/resources-$RUN.txt" 2>&1 &
|
||||
sampler=$!
|
||||
complete=false
|
||||
for attempt in $(seq 1 140); do
|
||||
state=$(kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get "job/lab3-load-$RUN" -o json)
|
||||
state=$(kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get "job/load-$RUN" -o json)
|
||||
if printf '%s' "$state" | jq -e '.status.succeeded > 0' >/dev/null; then complete=true; break; fi
|
||||
if printf '%s' "$state" | jq -e '.status.failed > 0' >/dev/null; then break; fi
|
||||
sleep 2
|
||||
done
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" logs "job/lab3-load-$RUN" > "evidence/load-$RUN.txt"
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" logs "job/load-$RUN" > "evidence/load-$RUN.txt"
|
||||
$complete || { echo "Load failed; inspect evidence/load-$RUN.txt" >&2; exit 1; }
|
||||
if [ "$LOAD_SCRIPT" = scaling.js ]; then
|
||||
jq -R 'fromjson? | select(has("profile"))' "evidence/load-$RUN.txt" > "evidence/load-$RUN.json"
|
||||
|
||||
@@ -6,12 +6,12 @@ cd "$(dirname "$0")/.."
|
||||
: "${SHARDS:?Set SHARDS=2 or SHARDS=3}"
|
||||
case "$SHARDS" in 2|3) ;; *) echo 'SHARDS must be 2 or 3' >&2; exit 2 ;; esac
|
||||
# Keep the desired replica count explicit so an interrupted run can resume from zero.
|
||||
: "${API_REPLICAS:=1}"
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set api.replicas=0 --wait --timeout 180s
|
||||
: "${API_REPLICAS:=2}"
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set autoscaling.enabled=false --set api.replicas=0 --wait --timeout 180s
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" wait --for=delete pod -l app=api --timeout=60s
|
||||
# Maximum lease is 30 seconds; the rate window is one second.
|
||||
sleep 31
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set api.replicas=0 --set "valkey.shards=$SHARDS" --wait --timeout 180s
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set autoscaling.enabled=false --set api.replicas=0 --set "valkey.shards=$SHARDS" --wait --timeout 180s
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" exec valkey-0 -- valkey-cli DEL admission:topology
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set "api.replicas=$API_REPLICAS" --wait --timeout 180s
|
||||
helm upgrade "$RELEASE" charts/messenger --kube-context "$KUBE_CONTEXT" -n "$NAMESPACE" --reuse-values --set autoscaling.enabled=true --set "api.replicas=$API_REPLICAS" --wait --timeout 180s
|
||||
printf 'Ring updated. Set valkey.shards=%s in your values file before the next make deploy.\n' "$SHARDS"
|
||||
|
||||
+2
-2
@@ -2,9 +2,9 @@
|
||||
# Terminate the exact observed API pod; its replacement receives a different instance ID.
|
||||
set -eu
|
||||
: "${KUBE_CONTEXT:=dev}" "${NAMESPACE:=highload-applications}" "${TARGET_INSTANCE_ID:?Expected API pod name}"
|
||||
case "$TARGET_INSTANCE_ID" in lab3-api-*) ;; *) echo 'Target is not a lab3 API pod' >&2; exit 2 ;; esac
|
||||
case "$TARGET_INSTANCE_ID" in api-*) ;; *) echo 'Target is not a lab3 API pod' >&2; exit 2 ;; esac
|
||||
label=$(kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" get pod "$TARGET_INSTANCE_ID" -o jsonpath='{.metadata.labels.app}')
|
||||
test "$label" = lab3-api
|
||||
test "$label" = api
|
||||
mkdir -p evidence
|
||||
printf '%s target=%s\n' "$(date -u '+%Y-%m-%dT%H:%M:%SZ')" "$TARGET_INSTANCE_ID" >> evidence/failover-targets.txt
|
||||
kubectl --context "$KUBE_CONTEXT" -n "$NAMESPACE" delete pod "$TARGET_INSTANCE_ID" --wait=false
|
||||
|
||||
@@ -4,7 +4,7 @@ set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
umask 077
|
||||
work=$(mktemp -d)
|
||||
name="lab2-fault-$(basename "$work" | tr '[:upper:].' '[:lower:]-')"
|
||||
name="lab3-fault-$(basename "$work" | tr '[:upper:].' '[:lower:]-')"
|
||||
containers=
|
||||
cleanup() {
|
||||
for container in $containers; do
|
||||
@@ -32,10 +32,11 @@ for attempt in $(seq 1 60); do
|
||||
if docker exec "$pg" pg_isready -U postgres >/dev/null 2>&1; then break; fi
|
||||
sleep 1
|
||||
done
|
||||
docker run --rm --network "$name" -e DATABASE_URL=postgres://postgres:synthetic-fault-password@postgres:5432/messenger?sslmode=disable -e VALKEY_SHARDS=shard0=valkey:6379 -e CURSOR_SIGNING_KEY=AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA= "$name" migrate
|
||||
api=$(docker run -d --network "$name" -p 127.0.0.1::8080 \
|
||||
-e DATABASE_URL=postgres://postgres:synthetic-fault-password@postgres:5432/messenger?sslmode=disable \
|
||||
-e VALKEY_SHARDS=shard0=valkey:6379 -e VALKEY_COORDINATOR=shard0 \
|
||||
-e DEPENDENCY_TIMEOUT_MS=500 -e LOG_LEVEL=error "$name")
|
||||
-e CURSOR_SIGNING_KEY=AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA= -e DEPENDENCY_TIMEOUT_MS=500 -e LOG_LEVEL=error "$name")
|
||||
containers="$containers $api"
|
||||
base="http://$(docker port "$api" 8080/tcp)"
|
||||
: > "$work/anonymous"
|
||||
@@ -80,7 +81,7 @@ printf 'header = "Authorization: Bearer AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
|
||||
request POST /api/v1/chats 201 bearer --data "{\"title\":\"Synthetic fault chat\",\"member_ids\":[\"$user\"]}"
|
||||
chat=$(jq -er .id "$work/response")
|
||||
history="/api/v1/chats/$chat/messages"
|
||||
request POST "$history" 201 bearer --data '{"text":"confirmed before outage"}'
|
||||
request POST "$history" 201 bearer -H "Idempotency-Key: fault-message" --data '{"text":"confirmed before outage"}'
|
||||
cp "$work/response" "$work/message"
|
||||
request GET "$history" 200 bearer
|
||||
for dependency in "$pg" "$cache"; do
|
||||
|
||||
+4
-10
@@ -1,13 +1,7 @@
|
||||
# Собственные проверки
|
||||
# Проверки лабораторной 3
|
||||
|
||||
Go-тесты расположены рядом с кодом. `quality_test.go` проверяет документацию объявлений и направление импортов. PostgreSQL-тесты используют реальные запросы и изолированные схемы; Valkey-тесты проверяют атомарные бюджеты, группы, cache hit/miss и topology mismatch.
|
||||
Go-тесты рядом с кодом проверяют контракт, авторизацию, идемпотентность, SQL-транзакции, shared cursor, admission, lifecycle и метрики. PostgreSQL/Valkey integration требуют изолированных зависимостей; `make coverage` запускает race и настоящий процесс и проверяет 90% statements каждого исполняемого файла.
|
||||
|
||||
Для unit tests: `make test-student`. Для всех интеграционных проверок задать переменные из [REPORT](../REPORT.md). `make coverage` запускает race detector и настоящий инструментированный процесс, проверяет публичный HTTP smoke и SIGTERM, затем применяет порог ≥90% statements отдельно к каждому Go-файлу.
|
||||
`load/scaling.js` — одинаковый профиль k6 для сравнения реплик: 16 пользователей/чатов, 32 VU, запись + чтение, каждый десятый повтор возвращает прежний результат. Публикуются реальные success/error/latency metrics; bootstrap не содержит пользовательских данных. `load/idempotency.js` проверяет общий ключ через разные API, ровно одно сообщение и конфликт body. `load/hpa.js` нагружает Argon2id для проверки реальной реакции HPA по CPU. Все пользователи синтетические, токены не выводятся.
|
||||
|
||||
Тестовые controller fixtures заменяют только Authentication/Admission/Readiness: fixture Bearer равен UUID для изоляции бизнес-сценариев. Production Authentication всегда использует случайный токен и PostgreSQL; это отдельно проверяют unit tests authentication и настоящие HTTP smoke/expiry/persistence. Fixture токены не являются доступным режимом приложения.
|
||||
|
||||
`make research` запускает SQL из `research.sql` и `plans.sql` в новом временном контейнере, с ограничениями 1 CPU и 512 MiB. Исследуемые запросы находятся непосредственно в SQL, shell отвечает только за запуск PostgreSQL и dump/restore.
|
||||
|
||||
`make test-faults` — воспроизводимый HTTP-сценарий реальных отказов PostgreSQL и Valkey. Нужны Docker, curl, jq, rg, OpenSSL и shasum. Скрипт собирает текущий код в локальный образ, создаёт отдельную Docker-сеть и временные контейнеры. Каждый backend по очереди останавливается и приостанавливается (`stop`/`pause`). Проверяются 503/unavailable с действительным токеном, ограничение ожидания 3 секундами при timeout зависимости 500 мс, readiness=503, liveness=200, отсутствие доступа без токена, по X-User-Id, с повреждённым и неизвестным Bearer. После каждого восстановления прежняя сессия читает подтверждённое сообщение без повторного входа. Секреты находятся только во временных файлах; вывод не содержит токенов или тел сообщений. Ресурсы удаляются через trap, dev-кластер не используется.
|
||||
|
||||
Свежий результат: [fault-regression.txt](../evidence/fault-regression.txt). Старые проверки в [dependencies.json](../evidence/dependencies.json) остаются историческими измерениями; текущий сценарий не зависит от удалённой Python-обвязки. TTL отдельно проверяется Go-тестами.
|
||||
`make research` сравнивает 1/2/4 реплики при фиксированном суммарном бюджете 1 CPU/512 MiB, затем при фиксированном бюджете одной реплики 250m/128 MiB. Во время измерений HPA выключен. Raw k6 summary и выборки CPU/RAM/PG wait events сохраняются в evidence. После эксперимента обычные Helm values восстанавливаются.
|
||||
|
||||
@@ -0,0 +1,18 @@
|
||||
import http from 'k6/http';
|
||||
import encoding from 'k6/encoding';
|
||||
import { check, sleep } from 'k6';
|
||||
export const options = { vus: 2, duration: '90s', thresholds: { checks: ['rate>0.95'] } };
|
||||
const base = __ENV.BASE_URL || 'https://hl.agapov.space';
|
||||
export function setup() {
|
||||
const username = `hpa_${Date.now()}`;
|
||||
const password = 'synthetic-autoscaling-password';
|
||||
const response = http.post(`${base}/api/v1/users`, JSON.stringify({ username, display_name: 'HPA CPU test', password }), { headers: { 'Content-Type': 'application/json' } });
|
||||
if (response.status !== 201) throw new Error(`registration: ${response.status}`);
|
||||
return { authorization: `Basic ${encoding.b64encode(`${username}:${password}`)}` };
|
||||
}
|
||||
export default function (data) {
|
||||
const response = http.post(`${base}/api/v1/auth/sessions`, null, { headers: { Authorization: data.authorization } });
|
||||
check(response, { 'authenticated login': r => r.status === 201 });
|
||||
// Keep one account below its 20 requests/s auth budget.
|
||||
sleep(0.1);
|
||||
}
|
||||
@@ -0,0 +1,34 @@
|
||||
import http from 'k6/http';
|
||||
import encoding from 'k6/encoding';
|
||||
import { check, sleep } from 'k6';
|
||||
export const options = { vus: 8, iterations: 32, thresholds: { checks: ['rate==1'] } };
|
||||
const base = __ENV.BASE_URL || 'https://hl.agapov.space';
|
||||
export function setup() {
|
||||
const username = `idem_${Date.now()}`;
|
||||
const password = 'synthetic-idempotency-password';
|
||||
const registered = http.post(`${base}/api/v1/users`, JSON.stringify({ username, display_name: 'Idempotency', password }), { headers: { 'Content-Type': 'application/json' } });
|
||||
if (registered.status !== 201) throw new Error(`registration ${registered.status}`);
|
||||
const session = http.post(`${base}/api/v1/auth/sessions`, null, { headers: { Authorization: `Basic ${encoding.b64encode(`${username}:${password}`)}` } });
|
||||
if (session.status !== 201) throw new Error(`login ${session.status}`);
|
||||
const headers = { Authorization: `Bearer ${session.json().token}`, 'Content-Type': 'application/json', 'Idempotency-Key': 'shared-key' };
|
||||
const chat = http.post(`${base}/api/v1/chats`, JSON.stringify({ title: 'Retry race', member_ids: [registered.json().id] }), { headers });
|
||||
if (chat.status !== 201) throw new Error(`chat ${chat.status}`);
|
||||
return { headers, path: `${base}/api/v1/chats/${chat.json().id}/messages` };
|
||||
}
|
||||
export default function (data) {
|
||||
// Eight writers share four user slots. Retry admission failures with the same key/body.
|
||||
let response;
|
||||
for (let attempt = 0; attempt < 20; attempt++) {
|
||||
response = http.post(data.path, JSON.stringify({ text: 'one logical message' }), { headers: data.headers });
|
||||
if (response.status !== 503 && response.status !== 429) break;
|
||||
sleep(0.1);
|
||||
}
|
||||
check(response, { 'concurrent retry succeeds': r => r.status === 201 });
|
||||
console.log(`instance=${response.headers['X-Instance-Id']}, status=${response.status}`);
|
||||
}
|
||||
export function teardown(data) {
|
||||
const history = http.get(`${data.path}?limit=100`, { headers: data.headers });
|
||||
check(history, { 'exactly one stored message': r => r.status === 200 && r.json().items.length === 1 });
|
||||
const conflict = http.post(data.path, JSON.stringify({ text: 'different message' }), { headers: data.headers });
|
||||
check(conflict, { 'different body conflicts': r => r.status === 409 });
|
||||
}
|
||||
@@ -0,0 +1,62 @@
|
||||
import http from 'k6/http';
|
||||
import encoding from 'k6/encoding';
|
||||
import execution from 'k6/execution';
|
||||
import { check } from 'k6';
|
||||
import { Counter, Trend } from 'k6/metrics';
|
||||
|
||||
const base = __ENV.BASE_URL || 'https://hl.agapov.space';
|
||||
const seconds = Number(__ENV.DURATION || 30);
|
||||
const users = Number(__ENV.USERS || 16);
|
||||
const writes = new Counter('confirmed_messages');
|
||||
const attempts = new Counter('attempted_messages');
|
||||
const failures = new Counter('application_errors');
|
||||
const latency = new Trend('message_latency_ms', true);
|
||||
export const options = {
|
||||
scenarios: {
|
||||
warmup: { executor: 'constant-vus', vus: 4, duration: '5s' },
|
||||
measured: { executor: 'constant-vus', vus: Number(__ENV.VUS || 32), duration: `${seconds}s`, startTime: '5s' },
|
||||
},
|
||||
setupTimeout: '120s',
|
||||
summaryTrendStats: ['avg', 'p(50)', 'p(95)', 'p(99)', 'max'],
|
||||
};
|
||||
|
||||
export function setup() {
|
||||
const actors = [];
|
||||
const prefix = `bench_${Date.now()}`;
|
||||
for (let i = 0; i < users; i++) {
|
||||
const username = `${prefix}_${i}`;
|
||||
const password = 'synthetic-benchmark-password';
|
||||
let response = http.post(`${base}/api/v1/users`, JSON.stringify({ username, display_name: 'Synthetic', password }), { headers: { 'Content-Type': 'application/json' }, tags: { phase: 'setup' } });
|
||||
if (response.status !== 201) throw new Error(`registration: ${response.status}`);
|
||||
const user = response.json();
|
||||
response = http.post(`${base}/api/v1/auth/sessions`, null, { headers: { Authorization: `Basic ${encoding.b64encode(`${username}:${password}`)}` }, tags: { phase: 'setup' } });
|
||||
if (response.status !== 201) throw new Error(`login: ${response.status}`);
|
||||
const token = response.json().token;
|
||||
response = http.post(`${base}/api/v1/chats`, JSON.stringify({ title: 'Synthetic benchmark', member_ids: [user.id] }), { headers: { Authorization: `Bearer ${token}`, 'Content-Type': 'application/json' }, tags: { phase: 'setup' } });
|
||||
if (response.status !== 201) throw new Error(`chat: ${response.status}`);
|
||||
actors.push({ token, chat: response.json().id });
|
||||
}
|
||||
return actors;
|
||||
}
|
||||
|
||||
export default function (actors) {
|
||||
const measured = execution.scenario.name === 'measured';
|
||||
const actor = actors[(__VU - 1) % actors.length];
|
||||
const headers = { Authorization: `Bearer ${actor.token}`, 'Content-Type': 'application/json', 'Idempotency-Key': `${execution.scenario.name}:${__VU}:${__ITER}` };
|
||||
const path = `${base}/api/v1/chats/${actor.chat}/messages`;
|
||||
const payload = JSON.stringify({ text: `synthetic message ${__VU}:${__ITER}` });
|
||||
const response = http.post(path, payload, { headers, tags: { phase: 'load' } });
|
||||
if (measured) { latency.add(response.timings.duration); attempts.add(1); }
|
||||
if (check(response, { 'message confirmed': r => r.status === 201 })) { if (measured) writes.add(1); }
|
||||
else if (measured) failures.add(1, { status: String(response.status) });
|
||||
if (response.status === 201 && __ITER % 10 === 0) {
|
||||
const repeated = http.post(path, payload, { headers, tags: { phase: 'load' } });
|
||||
if (!check(repeated, { 'retry returns original': r => r.status === 201 && r.json().id === response.json().id })) { if (measured) failures.add(1, { status: String(repeated.status) }); }
|
||||
}
|
||||
const read = http.get(`${path}?limit=10`, { headers, tags: { phase: 'load' } });
|
||||
if (!check(read, { 'history readable': r => r.status === 200 })) { if (measured) failures.add(1, { status: String(read.status) }); }
|
||||
}
|
||||
|
||||
export function handleSummary(data) {
|
||||
return { stdout: JSON.stringify({ profile: { vus: Number(__ENV.VUS || 32), seconds, warmup_seconds: 5, users }, summary: data }) + '\n' };
|
||||
}
|
||||
Reference in New Issue
Block a user