Author SHA1 Message Date
Roflyan 1052d6be41 Обновить REPORT.md 2026-10-30 21:01:12 +03:00
Roflyan ab5fc9a17e Обновить REPORT.md 2026-10-30 20:56:57 +03:00
R0flyan a0de6968e3 ЛР4: MinIO, вложения и reconciler на оценку 5 2026-10-30 20:52:21 +03:00
85 changed files with 6425 additions and 48 deletions
+15 -20
View File
@@ -1,20 +1,15 @@
.git
.github
.env
.env.*
!.env.example
secrets
certs
volumes
data
backups
*.key
*.pem
*.p12
*.pfx
*.jks
.venv
__pycache__
node_modules
evidence
.DS_Store
**
!go.mod
!go.sum
!*.go
!migrations/
!migrations/*.sql
!Dockerfile
!cmd/
!cmd/load/
!cmd/load/*.go
!requirements-dev.txt
!Dockerfile.minio
!infra/
!infra/s3-health.go
+5
View File
@@ -0,0 +1,5 @@
*.sh text eol=lf
*.py text eol=lf
*.go text eol=lf
*.sql text eol=lf
Dockerfile* text eol=lf
+73 -14
View File
@@ -1,18 +1,77 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
**Заголовок PR:** ЛР 4 — БВТ2303 — Ситосенко — на 5
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
- **Автор / группа:** Ситосенко / БВТ2303
- **Целевая оценка:** 5
- **Трек 5:** трек 2 — согласованность PostgreSQL и S3.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
### Что реализовано и что перенесено
Добавлены синхронная загрузка PNG/JPEG в приватный MinIO и авторизованное скачивание оригиналов. Метаданные хранятся в PostgreSQL; после остановки загрузившей API-реплики другой участник скачивает тот же файл через другую реплику с прежней сессией.
- Из собственной HLAlab3 перенесены Go API, миграции, PostgreSQL, долговечные общие сессии Valkey, Argon2id, HAProxy с двумя API-репликами, keyset pagination и идемпотентная отправка сообщений.
- Сообщения поддерживают до 10 уникальных `attachment_ids` своего чата. Обычный текстовый POST остаётся валидным; отсутствие `attachment_ids` равнозначно `[]`. Параллельные повторы с одним ключом создают одно сообщение.
- Upload проверяет MIME по содержимому, целостность изображения, filename, лимиты 10 MiB и 40 млн пикселей. SHA-256 вычисляется при чтении; 201 ready возвращается после S3 PUT и COMMIT метаданных. Download возвращает исходные bytes через API без redirect.
- На API разрешены пять загрузок и одно декодирование одновременно; временные файлы ограничены tmpfs 64 MiB. Настроены таймауты, лимиты CPU/RAM, non-root/read-only API, `cap_drop=ALL` и `no-new-privileges`.
- Bootstrap bucket и отдельной ограниченной S3-учётной записи идемпотентен. MinIO backend изолирован в internal-сети; доступ проходит через закрытый listener HAProxy с фильтрами опасных запросов. Консоль и внутренние сервисы не публикуются на хосте.
- Реализован reconciler с read-only dry-run, применением исправлений и безопасным grace period. Под общей с upload блокировкой он повторно проверяет БД и S3 перед удалением старых orphan. Missing-метаданные и ссылки сообщений сохраняются; восстановленный оригинал проверяется по размеру и SHA-256. Сервис `cleanup` выполняет сверку периодически.
Обязательный контракт, публичные тесты и README задания сохранены. Собственные проверки расположены в `student-tests/`.
### Команды запуска из чистого clone
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и Go. Toolchain Go 1.27.3 закреплён в `go.mod`; версии образов и исходников MinIO/mc закреплены в Dockerfile/Compose. Команды выполняются из корня клона:
```powershell
python -X utf8 scripts/bootstrap.py
python -X utf8 scripts/manage.py start
python -X utf8 scripts/verify.py
```
Bootstrap создаёт локальные `.env` и `secrets/`, сохраняя уже существующие значения. `start` собирает образы, выполняет миграции и S3 bootstrap, запускает стенд и ожидает готовности. Точка входа: `http://127.0.0.1:8080`.
```powershell
# Состояние реальных контейнеров и хранилищ:
python -X utf8 scripts/manage.py status
# Dry-run сверки, без изменения данных:
docker compose exec -T api /messenger reconcile
# Остановка с сохранением данных:
docker compose down
```
Пошаговая ручная проверка регистрации, upload/download, SHA-256, ACL, persistence и failover: [MANUAL.md](../MANUAL.md).
### Результаты проверок и отчёт
Окончательный прогон завершён: **24/24 проверки успешны**, `complete=true`, `protected_unchanged=true` в [verification.json](../evidence/verification.json).
- Пройдены структурная проверка, полная OpenAPI-валидация, Go unit-тесты, собственные тесты, `go vet` и `go test -race`. Проверки `make check` и `make test` выполнены эквивалентными командами Python; реальный вывод сохранён в `evidence/contract.txt` и `evidence/smoke.txt`.
- `govulncheck` приложения не выявил уязвимостей в вызываемом коде. Это не утверждение об отсутствии всех уязвимостей у стороннего MinIO.
- Публичные persistence и два failover-сценария сохранили подтверждённые данные, оригинал и прежние сессии. Время восстановления записи: **2,339 и 2,312 с**.
- Проверены повреждённые изображения, превышение bytes/pixels, подмена MIME, опасные имена, чужие вложения и привязка файла другого чата. Проверены private bucket, ограниченные S3-права, повторный bootstrap, отказ S3 и прерванное тело загрузки.
- Для PNG размером 207 687 и 7 466 790 bytes одновременно запущены по 10 запросов: **10/10 успешных загрузок в каждом профиле, 503 — 0**. Суммы индивидуальных kernel memory peaks двух API: **155,77 и 291,10 MiB**; это верхняя оценка общего пика, включая startup.
- В треке 2 воспроизведены ошибка БД после PUT и потеря объекта S3. Проверены dry-run без изменений, безопасный apply, повтор без новых изменений, защита fresh/used и восстановление по checksum. Стоимость обхода измерена тремя повторами для двух размеров набора объектов.
Гипотеза, методика, измерения и ограничения: [REPORT.md](../REPORT.md). Сводка результатов: [RESULTS.md](../evidence/RESULTS.md). Raw summaries: [upload-memory.json](../evidence/upload-memory.json), [research.json](../evidence/research.json), [failures.json](../evidence/failures.json).
- Исправлен сбой ожидания двух готовых API после пересоздания в memory-сценарии на Windows: собственные клиенты/verifier используют IPv4 loopback по умолчанию; явный `BASE_URL` сохранён. Добавлены пять регрессионных проверок, оба профиля 10/10 и полный прогон повторены.
### Ограничения / известные ошибки
- Один Docker-host, LB, PostgreSQL, Valkey и MinIO остаются точками отказа. Сохранение volumes не заменяет резервное копирование; reconciler не восстанавливает потерянные bytes без внешней копии. HTTP используется только на локальном стенде с синтетическими данными.
- MinIO Community архивирован. Применены сетевая изоляция и фильтрация unsigned-trailer uploads, служебных путей, S3 Select и replication headers. Область защиты и оставшиеся ограничения описаны в REPORT.md; production-безопасность всего стороннего сервера не заявляется.
- Для данного WSL2-host включён `GODEBUG=madvdontneed=0`: он уменьшил стоимость повторного выделения памяти без ослабления Argon2id, но может дольше удерживать RSS. Окончательный memory-эксперимент выполнен с этой настройкой. Измерения одного host не являются универсальными SLA или пределом производительности.
### Источники и использование ИИ
Использованы требования README/COURSE/contracts текущей лабораторной, собственная реализация HLAlab3, официальные исходники и документация MinIO/mc, MinIO Go SDK и Go runtime/image. ИИ использован для реализации, анализа требований и безопасности, подготовки тестов и документации. Заявленные результаты подтверждаются сохранёнными журналами и воспроизводимыми командами.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены; неизменность проверена по SHA-256.
- [x] Проверки `make check` и `make test` выполнены эквивалентными командами Python; приложен реальный вывод.
- [x] Сценарии отказов/безопасности уровней 3 и 4 и выбранного трека 5 воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит токенов.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно этого решения.
+3
View File
@@ -30,3 +30,6 @@ coverage/
.vscode/
# Keep small, sanitized evidence summaries in evidence/ under version control.
# Inspect git diff --cached: ignore rules are not a secret scanner.
# Local diagnostic binaries
.diagnostics/
+15
View File
@@ -0,0 +1,15 @@
FROM golang:1.27.3-bookworm@sha256:d9b6a1beb9474adc2a1ce842573639b44b2a0dd49b6669f51d3821baf9ec37c9 AS build
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY *.go ./
COPY migrations ./migrations
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /messenger .
FROM scratch AS runtime
COPY --from=build /messenger /messenger
USER 65532:65532
ENV APP_HOST=0.0.0.0 APP_PORT=8080 GOMEMLIMIT=256MiB
EXPOSE 8080
HEALTHCHECK --interval=5s --timeout=3s --start-period=10s --retries=3 CMD ["/messenger","healthcheck"]
STOPSIGNAL SIGTERM
ENTRYPOINT ["/messenger"]
+15
View File
@@ -0,0 +1,15 @@
# Build official sources: upstream registry images are no longer public.
FROM golang:1.27.3-bookworm@sha256:d9b6a1beb9474adc2a1ce842573639b44b2a0dd49b6669f51d3821baf9ec37c9 AS build
ENV GOTOOLCHAIN=local CGO_ENABLED=0
RUN go install -p 4 github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
RUN go install -p 4 github.com/minio/mc@v0.0.0-20250813083541-7394ce0dd2a8
COPY infra/s3-health.go /health.go
RUN go build -trimpath -o /healthcheck /health.go
FROM alpine:3.23.3@sha256:25109184c71bdad752c8312a8623239686a9a2071e8825f20acb8f2198c3f659 AS tools
COPY --from=build /go/bin/mc /usr/bin/mc
ENTRYPOINT ["/usr/bin/mc"]
FROM scratch AS server
COPY --from=build /go/bin/minio /usr/bin/minio
COPY --from=build /healthcheck /healthcheck
COPY --from=build /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/ca-certificates.crt
ENTRYPOINT ["/usr/bin/minio"]
+12
View File
@@ -0,0 +1,12 @@
# Optional Linux tools for Windows hosts; contains no application secrets.
FROM docker:29.3.0-cli@sha256:067c301efe497cd5d174d468b7b3422a485ae4aca8f7ec1ffd4655c9fa383af2 AS cli
FROM golang:1.27.3-bookworm@sha256:d9b6a1beb9474adc2a1ce842573639b44b2a0dd49b6669f51d3821baf9ec37c9
COPY --from=cli /usr/local/bin/docker /usr/local/bin/docker
COPY --from=cli /usr/local/libexec/docker/cli-plugins/docker-compose /usr/local/libexec/docker/cli-plugins/docker-compose
ENV PYTHONUTF8=1 PYTHONUNBUFFERED=1 GOTELEMETRY=off
RUN apt-get update && apt-get install -y --no-install-recommends python3 python3-venv make && rm -rf /var/lib/apt/lists/*
RUN python3 -m venv /opt/test-env
ENV PATH=/opt/test-env/bin:$PATH
COPY requirements-dev.txt /tmp/requirements-dev.txt
RUN pip install --no-cache-dir -r /tmp/requirements-dev.txt
WORKDIR /workspace
+254
View File
@@ -0,0 +1,254 @@
# Ручная проверка lab4 в PowerShell
Все пользователи и файлы в этих командах синтетические. Нужны Docker Desktop с Linux containers, Python 3.9+ и Go 1.27.3. Команды выполняются из `C:\Users\maxsi\lab4\mtusi2026lab4-fork`.
## 1. Запуск и полная проверка
```powershell
cd C:\Users\maxsi\lab4\mtusi2026lab4-fork
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
python -X utf8 scripts/manage.py start
python -X utf8 scripts/manage.py status
Invoke-RestMethod http://127.0.0.1:8080/health/ready
# Полный последовательный прогон, включая отказы и эксперимент на «5»:
python -X utf8 scripts/verify.py
Get-Content evidence/verification.json
```
`complete: true` означает, что весь прогон закончен. `static_complete: true` при `complete: false` означает только локальные проверки исходников. При первом запуске сборка MinIO из официальных исходников может занять несколько минут. Bootstrap создаёт локальные `.env` и `secrets/`, повторный запуск сохраняет значения.
## 2. Создать двух участников и постороннего
```powershell
$base = 'http://127.0.0.1:8080'
function Send-LabJson($method, $path, $value, $headers = @{}) {
$bytes = [Text.Encoding]::UTF8.GetBytes(($value | ConvertTo-Json -Depth 6 -Compress))
Invoke-RestMethod -Method $method -Uri ($base + $path) -Headers $headers `
-ContentType 'application/json; charset=utf-8' -Body $bytes
}
function New-LabUser($label) {
$name = 'manual_' + $label + '_' + [guid]::NewGuid().ToString('N').Substring(0, 8)
$password = 'Lab-Test-' + [guid]::NewGuid().ToString('N')
$user = Send-LabJson POST '/api/v1/users' @{
username = $name; display_name = $label; password = $password
}
$basic = [Convert]::ToBase64String([Text.Encoding]::UTF8.GetBytes($name + ':' + $password))
$session = Invoke-RestMethod -Method POST -Uri "$base/api/v1/auth/sessions" `
-Headers @{Authorization = "Basic $basic"}
@{User = $user; Token = $session.token}
}
$alice = New-LabUser 'alice'
$bob = New-LabUser 'bob'
$eve = New-LabUser 'eve'
$ha = @{Authorization = 'Bearer ' + $alice.Token}
$hb = @{Authorization = 'Bearer ' + $bob.Token}
$he = @{Authorization = 'Bearer ' + $eve.Token}
$chat = Send-LabJson POST '/api/v1/chats' @{
title = 'Проверка вложений'; member_ids = @($alice.User.id, $bob.User.id)
} $ha
$chat.id
```
Не выводите переменные с токенами, паролями или Basic-заголовками и не добавляйте их в отчёт.
## 3. Загрузить, отправить и скачать оригинал
```powershell
$fixture = Join-Path (Get-Location) 'tests/fixtures/sample.png'
$upload = Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=photo.png" `
-Headers $ha -ContentType 'image/png' -InFile $fixture
$upload.StatusCode # 201
$uploader = $upload.Headers['X-Instance-Id']
$att = $upload.Content | ConvertFrom-Json
$att | Select-Object id, status, content_type, size_bytes, sha256
$key = [guid]::NewGuid().ToString('N')
$hm = @{Authorization = $ha.Authorization; 'Idempotency-Key' = $key}
$message = Send-LabJson POST "/api/v1/chats/$($chat.id)/messages" @{
text = ''; attachment_ids = @($att.id)
} $hm
$repeat = Send-LabJson POST "/api/v1/chats/$($chat.id)/messages" @{
attachment_ids = @($att.id); text = ''
} $hm
$message.id -eq $repeat.id # True: ровно одно сообщение
Invoke-WebRequest -UseBasicParsing -Uri "$base/api/v1/attachments/$($att.id)/content" `
-Headers $hb -OutFile 'evidence/manual-download.png'
$expected = (Get-FileHash $fixture -Algorithm SHA256).Hash.ToLowerInvariant()
$actual = (Get-FileHash 'evidence/manual-download.png' -Algorithm SHA256).Hash.ToLowerInvariant()
($actual -eq $expected) -and ($actual -eq $att.sha256) # True
Invoke-RestMethod "$base/api/v1/chats/$($chat.id)/messages" -Headers $hb
```
`status=ready`, `variants=[]`, `error_code=null`; в истории есть `attachment_ids`. Обычный POST `{"text":"Привет"}` с новым Idempotency-Key по-прежнему работает и возвращает `attachment_ids=[]`. Повтор того же ключа с другим текстом даёт 409.
## 4. Доступ и ошибки файла
```powershell
try {
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)" -Headers $he
} catch { [int]$_.Exception.Response.StatusCode } # 404
try {
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)/content" -Headers $he
} catch { [int]$_.Exception.Response.StatusCode } # 404
try {
Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=..%2Fphoto.png" `
-Headers $ha -ContentType 'image/png' -InFile $fixture
} catch { [int]$_.Exception.Response.StatusCode } # 400
try {
Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=photo.jpg" `
-Headers $ha -ContentType 'image/jpeg' -InFile $fixture
} catch { [int]$_.Exception.Response.StatusCode } # 415
# Также: >10 MiB -> 413, >40 млн пикселей -> 413,
# повреждённый PNG/JPEG -> 415, файл другого чата -> 404:
python -X utf8 student-tests/attachments.py
```
## 5. Остановить именно загрузившую API-реплику
```powershell
python -X utf8 scripts/manage.py stop-one --instance $uploader
Start-Sleep -Seconds 2
$other = Invoke-WebRequest -UseBasicParsing `
-Uri "$base/api/v1/attachments/$($att.id)/content" -Headers $hb `
-OutFile 'evidence/manual-after-failover.png' -PassThru
$other.Headers['X-Instance-Id'] -ne $uploader # True
(Get-FileHash 'evidence/manual-after-failover.png').Hash -eq (Get-FileHash $fixture).Hash # True
python -X utf8 scripts/manage.py restore
```
Другая реальная реплика должна вернуть те же байты с прежним токеном. Сопоставление `X-Instance-Id` с контейнерами видно в `scripts/manage.py status`.
## 6. Перезапуск, недоступность S3 и приватность
```powershell
python -X utf8 scripts/manage.py restart
# Сохраняются прежние $hb и $att, повторный вход не нужен:
Invoke-RestMethod "$base/api/v1/attachments/$($att.id)" -Headers $hb
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)/content" `
-Headers $hb -OutFile 'evidence/manual-after-restart.png'
(Get-FileHash 'evidence/manual-after-restart.png').Hash -eq (Get-FileHash $fixture).Hash # True
# Приватность, отдельные S3-права, два bootstrap, отказ S3,
# оборванное тело и остановка именно uploader проверяются здесь:
python -X utf8 student-tests/failures.py
Get-Content evidence/failures.json
# Публичные persistence/failover с неизменёнными tests/:
docker build -f Dockerfile.tests -t mtusi-messenger:lab4-tests .
python -X utf8 scripts/linux_tests.py test-persistence
python -X utf8 scripts/linux_tests.py test-failover
python -X utf8 scripts/manage.py restore
```
При полном отказе S3 API `/health/live` остаётся 200, readiness/upload/download возвращают 503. LB после исключения всех backend может вернуть собственный 503 без JSON; `failures.py` отдельно проверяет JSON-ошибку непосредственно на внутреннем API без публикации его порта. MinIO API/консоль, PostgreSQL, Valkey и реплики не публикуются на хосте; наружу открыт только LB на `127.0.0.1:8080`. Анонимный запрос в S3 из внутренней сети должен получить 403.
Для проверки сохранности используйте `docker compose down` и затем `up`, сохраняя volumes. Команда с удалением volumes для этого сценария не подходит.
## 7. Исследование на «5» и память на «4»
```powershell
# По умолчанию только чтение, grace = 3600 секунд:
docker compose exec -T api /messenger reconcile
# Безопасно применить исправления после анализа dry-run:
docker compose exec -T api /messenger reconcile --apply
# Повтор должен показать deleted=0 при отсутствии новых старых orphan:
docker compose exec -T api /messenger reconcile --apply
# Контролируемая инъекция ошибок, реальное ожидание grace >=60 секунд,
# dry-run/apply/repeat, восстановление SHA-256, защита fresh/used,
# три измерения обхода при двух размерах набора:
python -X utf8 student-tests/research.py
Get-Content evidence/research.json
# 10 одновременно стартующих клиентов, два размера PNG,
# успешные запросы и 503 от ограничения параллелизма учитываются отдельно:
python -X utf8 student-tests/memory.py
Get-Content evidence/upload-memory.json
```
Незаписанный объект удаляется только старше grace, после повторной проверки БД под той же блокировкой, которую использует upload. Существующие метаданные защищают объект независимо от наличия сообщения. При потере оригинала сохраняются и метаданные, и ссылки сообщений; API отвечает 503. После восстановления точных байтов reconciler проверяет SHA-256 и снимает отметку недоступности.
`research.py` оставляет свежие синтетические orphan для проверки grace; обычный reconciler сможет убрать их после истечения срока. Сервис `cleanup` автоматически выполняет `reconcile --apply` каждые 15 минут с grace 3600 секунд. Ручной CLI позволяет сначала изучить dry-run. Два параллельных обхода безопасны благодаря блокировкам и повторным проверкам.
## 8. Что добавлять в Git
Добавляйте реализацию, миграции, Compose/Dockerfile, `infra/`, собственные `student-tests/`, операторские скрипты, `MANUAL.md`, `REPORT.md` и небольшие проверенные `evidence/*.json`/`*.txt`. Перед коммитом проверьте `git diff --cached`. Не добавляйте `.env`, `secrets/`, `.venv/`, токены, временные файлы и большие логи сборки. `contracts/` и публичные `tests/` должны остаться без изменений.
MinIO дополнительно изолирован в сети `object_store`. Имя `s3` в общей сети ведёт на закрытый S3-listener HAProxy; исходный backend туда не подключён. Фильтр блокирует unsigned-trailer uploads и неиспользуемые служебные функции архивированного MinIO. Проверки фильтра входят в `student-tests/failures.py`; область и ограничения защиты описаны в REPORT.md.
Если завершились локальные/race проверки, а исправлена только инфраструктура или её проверка, можно продолжить `python -X utf8 scripts/verify.py --resume-integration`. Verifier проверяет неизменность исходников приложения и заново выполняет все интеграционные сценарии. При изменении Go-кода нужен полный запуск без этого флага.
## 9. Показать private bucket без API
Выполняется после шага 3, в том же PowerShell. Тестовый Linux-образ собирается в шаге 6 или полным verifier. URL доступен только внутри сети стенда; используется тот же UUID загруженного файла.
```powershell
$s3Url = "http://s3:9000/messenger-attachments/original/$($att.id)"
$anonymousProbe = @'
import sys, urllib.request, urllib.error
try:
response = urllib.request.urlopen(sys.argv[1], timeout=5)
print(response.status)
except urllib.error.HTTPError as error:
print(error.code)
'@
docker run --rm --network mtusi-lab4_default mtusi-messenger:lab4-tests `
python -c $anonymousProbe $s3Url
# Ожидается 403; тот же файл через API участника скачивается с 200.
```
## 10. Повторить диагностику возврата памяти (необязательно)
Используются только синтетические данные. Argon2id остаётся 64 MiB/t=3/p=1; после каждого хеша вызывается FreeOSMemory для воспроизводимого холодного выделения страниц. Диагностические контейнеры не подключаются к сети и не получают секреты/volumes стенда.
```powershell
New-Item -ItemType Directory -Force .diagnostics | Out-Null
Copy-Item student-tests/kdf-bench.go.txt .diagnostics/kdfbench.go
$labOldGoOS = $env:GOOS
$labOldCgo = $env:CGO_ENABLED
try {
$env:GOOS = 'linux'
$env:CGO_ENABLED = '0'
go build -trimpath -o .diagnostics/kdfbench .diagnostics/kdfbench.go
} finally {
$env:GOOS = $labOldGoOS
$env:CGO_ENABLED = $labOldCgo
}
$benchPath = (Resolve-Path .diagnostics/kdfbench).Path
docker run --rm --network none --cpus 1 --memory 768m --read-only `
--cap-drop ALL --security-opt no-new-privileges:true --no-healthcheck `
-e GOMEMLIMIT=512MiB --mount "type=bind,source=$benchPath,target=/bench,readonly" `
--entrypoint /bench mtusi-messenger:lab4
docker run --rm --network none --cpus 1 --memory 768m --read-only `
--cap-drop ALL --security-opt no-new-privileges:true --no-healthcheck `
-e GOMEMLIMIT=512MiB -e GODEBUG=madvdontneed=0 `
--mount "type=bind,source=$benchPath,target=/bench,readonly" `
--entrypoint /bench mtusi-messenger:lab4
```
Режим MADV_FREE уже включён в Compose для API. Он может дольше удерживать RSS; итоговый memory-эксперимент проверен именно с этой настройкой. Полный прогон завершён успешно, обе серии из десяти uploads дали 10/10.
## 11. Если memory останавливается на readiness
На Windows `localhost` может отвечать заметно медленнее IPv4 loopback. В воспроизведённом сбое обе API были healthy и OOMKilled=false; ошибка возникала до загрузок, при ожидании двух различных `X-Instance-Id`. Собственные клиенты и полный verifier теперь по умолчанию используют `127.0.0.1`, сохраняя явно заданный `BASE_URL`. Публичные тесты не изменены.
```powershell
$env:BASE_URL = 'http://127.0.0.1:8080'
python -X utf8 student-tests/readiness_test.py
python -X utf8 student-tests/memory.py
Get-Content evidence/upload-memory.json
# Полная проверка в исходной последовательности:
python -X utf8 scripts/verify.py
```
Ожидается `PASS 10-client memory experiment at two sizes`, два профиля с `success=10`, `backpressure_503=0`, `complete=true`. Исходный traceback сохранён в `evidence/memory-before-ipv4-fix.txt`. При новой ошибке смотрите текущий `evidence/memory.txt`: сводка upload-memory.json сохраняется только после успешного завершения обоих профилей и сама по себе не доказывает успех более позднего запуска.
+429 -14
View File
@@ -1,37 +1,452 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- **Автор, группа:** Ситосенко, БВТ2303.
- **Целевая оценка; выбранный трек 5:** 5; трек 2 — согласованность PostgreSQL и S3. Выполнены накопительные требования уровней 3 и 4.
- **Commit/PR:** рабочая ветка `solution/bvt2303-sitosenko`. [PR №N39](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab4/pulls/39).
- **Использованные источники, библиотеки и помощь ИИ:** требования README/COURSE/contracts текущего репозитория, собственная HLAlab3; Go, pgx, go-redis, Argon2id и MinIO Go SDK. Официальные материалы перечислены в дополнительном разделе. ИИ использован при реализации, анализе требований и безопасности, подготовке тестов и документации. Числа результатов взяты из сохранённых evidence.
**Статус:** окончательный прогон завершён 30.10.2026 20:39:24 МСК; все 24 проверки успешны, `complete=true`, `protected_unchanged=true`. Контракт и публичные тесты сохранены. Сводка: [RESULTS.md](evidence/RESULTS.md); машинный журнал: [verification.json](evidence/verification.json).
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
### Предварительные условия и версии
Нужны Docker Desktop с Linux containers и Compose, Python 3.9+ и установленный Go. В `go.mod` закреплён toolchain Go 1.27.3, который Go загрузит при необходимости. В зафиксированном прогоне на Windows использовался Python 3.14.0. HTTP-проверки используют стандартную библиотеку Python. Полная OpenAPI-валидация и race-проверка выполняются в Linux test-образе.
| Компонент | Закреплённая версия / источник | Где закреплено |
| --- | --- | --- |
| Go builder | 1.27.3-bookworm и SHA-256 digest | `Dockerfile`, `Dockerfile.minio`, `Dockerfile.tests` |
| PostgreSQL | 17.6-bookworm и digest | `compose.yaml` |
| Valkey | 8.1.3-bookworm и digest | `compose.yaml` |
| HAProxy | 3.2.6-alpine | `compose.yaml` |
| MinIO | RELEASE.2025-10-15T17-29-55Z; исходники `v0.0.0-20251015172955-9e49d5e7a648` | `Dockerfile.minio` |
| MinIO Client mc | RELEASE.2025-08-13T08-35-41Z; исходники `v0.0.0-20250813083541-7394ce0dd2a8` | `Dockerfile.minio` |
| Основа mc tools | Alpine 3.23.3 и digest | `Dockerfile.minio` |
| Docker CLI тестового образа | 29.3.0-cli и digest | `Dockerfile.tests` |
| OpenAPI validator | openapi-spec-validator 0.7.2 | `requirements-dev.txt` |
MinIO и mc собираются из официальных исходников с фиксированными Go pseudo-versions; зависимости проверяются Go checksum database. Образы с тегом `latest` не используются. Сборка MinIO при первом запуске может занять несколько минут.
### Создание локальных настроек, сборка и запуск
Команды ниже выполняются из корня клона в PowerShell. Локальные PostgreSQL/Valkey/MinIO вне Compose не нужны.
```powershell
python -X utf8 scripts/bootstrap.py
docker compose --env-file .env config --quiet
python -X utf8 scripts/manage.py start
python -X utf8 scripts/manage.py status
Invoke-RestMethod http://127.0.0.1:8080/health/ready
```
`bootstrap.py` создаёт `.env` и случайные секреты в `secrets/`, не печатает значения и не заменяет существующие. Эти файлы исключены из Git и Docker build context. Их содержимое не требуется вставлять в команды или отчёт.
`manage.py start` повторно безопасно вызывает bootstrap, затем выполняет `docker compose up -d --build --wait` и ожидает две разные готовые API-реплики через LB. Одноразовый `migrate` применяет миграции под общей блокировкой и сверяет checksum уже применённых файлов. `s3-init` создаёт приватный bucket и ограниченную учётную запись, после чего запускаются API и cleanup. Нормальный результат readiness — `200 {"status":"ok"}`; завершённые `migrate` и `s3-init` имеют exit code 0.
### Проверки после запуска
```powershell
# Полный последовательный прогон: исходники, схема, HTTP, отказы и эксперименты.
python -X utf8 scripts/verify.py
Get-Content evidence/verification.json
# Публичный минимум отдельно; эквиваленты целей make check и make test.
python -X utf8 scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
# Неизменённые публичные persistence/failover с Linux hooks.
docker build -f Dockerfile.tests -t mtusi-messenger:lab4-tests .
python -X utf8 scripts/linux_tests.py test-persistence
python -X utf8 scripts/linux_tests.py test-failover
python -X utf8 scripts/manage.py restore
```
После полного прогона ожидается `complete=true`, каждый `exit_code` равен 0. Локальные/race результаты последнего полного запуска переиспользованы только для неизменённого Go-кода; после изменения runtime-конфигурации вся интеграционная часть выполнена заново. `--resume-integration` проверяет, что исходники приложения не стали новее соответствующего запуска. Сам по себе структурный `check` не проверяет работоспособность сервера.
Подробные запросы регистрации, загрузки, отправки сообщения с файлом, скачивания, SHA-256 и доступа постороннего приведены в [MANUAL.md](MANUAL.md).
### Безопасная остановка и намеренный сброс данных
```powershell
# Остановить стенд и сохранить данные и сессии:
docker compose down
# Повторный запуск использует прежние volumes и секреты:
python -X utf8 scripts/manage.py start
```
Отдельная команда для намеренного полного удаления **учебных** данных этого Compose-проекта:
```powershell
# Удалит named volumes pgdata, sessions и objects вместе с данными.
# Для persistence/failover эту команду не применять.
docker compose down --volumes
```
Удаление volumes уничтожает пользователей, сообщения, сессии и оригиналы; после такого сброса проверять сохранность прежних данных нельзя. Скрипты `restart`, `restore` и публичные hooks volumes не удаляют.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
### Процессы, сеть и источник истины
```text
Клиент -> 127.0.0.1:8080 -> HAProxy:8080 -> API x2 -> PostgreSQL
| -> Valkey
| -> HAProxy:9000 -> MinIO
тот же lb private backend
migrate -> PostgreSQL s3-init -> private S3 listener
cleanup -> PostgreSQL + private S3 listener
```
PostgreSQL — источник истины пользователей, чатов, членства, сообщений и метаданных Attachment. Valkey хранит общие серверные сессии с expiry. MinIO хранит bytes оригиналов в приватном bucket `messenger-attachments`. Named volumes: `pgdata`, `sessions`, `objects` соответственно.
Только `lb` публикует `127.0.0.1:8080`. API, PostgreSQL и Valkey не имеют опубликованных портов. MinIO подключён только к internal-сети `object_store`, где находятся MinIO и HAProxy. В общей сети alias `s3` ведёт на закрытый S3-listener того же HAProxy на порту 9000; raw backend доступен HAProxy как `minio-backend`. Порт 9000 на хост не публикуется. Консоль MinIO отключена и привязана к loopback контейнера.
| Сервис | Назначение | Постоянные данные / жизненный цикл |
| --- | --- | --- |
| `db` | Метаданные и транзакции PostgreSQL | `pgdata` |
| `valkey` | Общие сессии | `sessions`, AOF с `appendfsync always` |
| `s3` | MinIO backend | `objects` |
| `lb` | Публичный API listener и закрытый S3 listener | Состояние приложения не хранит |
| `api` ×2 | REST, ACL, upload/download, сообщения | Постоянного локального состояния нет |
| `migrate` | Миграции с checksum и блокировкой | Одноразовый, exit 0 после успеха |
| `s3-init` | Bucket, private policy, ограниченный S3-пользователь | Одноразовый, повторный запуск безопасен |
| `cleanup` | Периодический reconciler | Истина остаётся в БД/S3; результат — агрегированный журнал |
HAProxy использует round-robin, Docker DNS и readiness checks каждые 500 мс с `fall 2`/`rise 2`. Sticky sessions не используются. Сессия читается любой репликой из Valkey, а подтверждённое сообщение — из общей PostgreSQL.
### Что перенесено из HLAlab3 и что добавлено
Сохранены Go REST API, миграции, Argon2id, Bearer-сессии, общая долговечная Valkey, keyset pagination, `X-Request-Id`, стабильный `X-Instance-Id`, HAProxy и идемпотентная запись сообщений. Обязательный контракт lab4 и публичные проверки взяты из текущей лабораторной; `.git`, секреты и публичный контракт предыдущей лабы поверх них не переносились.
Добавлены `attachments.go`, `reconcile.go`, локальная cgroup-диагностика, миграция `004_attachments.sql`, MinIO/mc build, bootstrap/IAM policy, S3-фильтры, cleanup и собственные тесты. `attachments` связывает оригинал с чатом и владельцем, содержит server-generated object key, filename, content type, size, SHA-256, timestamps и внутренний `missing_since`. Сообщение хранит `attachment_ids`; таблица `message_attachments` сохраняет ссылки с внешними ключами.
В публичном Attachment не возвращаются S3 object key, credentials и внутренние адреса. Для lab4 статус синхронный: `ready`, `variants=[]`, `error_code=null`. Асинхронные 202/worker/thumbnail относятся к следующей лабораторной и здесь не добавляются.
### Границы upload/download и идемпотентности
1. Сначала проверяются сессия и доступ к чату. Filename — только отображение: 1–255 code points, без `/`, `\`, NUL и управляющих символов.
2. Raw body потоком копируется во временный файл, одновременно считается SHA-256. Content-Length и `MaxBytesReader` ограничивают тело 10 MiB, включая chunked.
3. `DecodeConfig` проверяет фактический PNG/JPEG и ≤40 млн пикселей до полного декодирования; полный `Decode` отклоняет повреждённое изображение. Content-Type обязан соответствовать содержимому.
4. Под транзакционной блокировкой `attachment:<UUID>` выполняются S3 PUT, INSERT метаданных и COMMIT. Только после успеха возвращается 201 ready. Ключ формируется сервером как `original/<UUID>`.
5. Временный файл закрывается и удаляется после запроса. Это ограниченный staging в tmpfs, не постоянный оригинал API. Download читает объект из MinIO потоком после ACL, без redirect, с истинным Content-Type, `Content-Disposition: attachment`, `nosniff` и `private, no-store`.
Любой участник чата может читать и прикреплять его вложение. Неизвестный/чужой ID и вложение другого чата дают 404. Пустой или пробельный text разрешён только с вложениями; максимум 10 уникальных UUID. Обычный текстовый POST остаётся валидным, пропущенный `attachment_ids` равнозначен `[]`.
Идемпотентность сообщения имеет scope пользователь + чат + ключ; POST и путь неявно заданы таблицей этого endpoint. Общая advisory lock сериализует повторы через разные API. Message, связи вложений и запись результата фиксируются одной транзакцией. Тот же валидный текст и массив ID возвращают исходный Message/201, другой body — 409. Срок хранения результата не меньше 24 часов. Неопределённый upload POST прозрачно не повторяется: он не имеет обязательной идемпотентности.
### Согласованность двух хранилищ
Распределённой транзакции PostgreSQL + S3 нет. Если PUT прошёл, а INSERT/COMMIT — нет, возможен orphan: объект без метаданных. При неопределённом COMMIT немедленный DELETE опасен, поскольку фиксация могла состояться. Поэтому решение сохраняет объект до безопасной сверки.
Reconciler по умолчанию работает в dry-run. Для применения нужен `--apply`. Grace — 3600 секунд, минимально 60; cutoff берётся из PostgreSQL. Для управляемого ключа `original/<canonical UUID>` после LIST под той же блокировкой заново проверяется отсутствие строки и актуальный HEAD LastModified. Любая существующая строка защищает объект независимо от наличия сообщения. Fresh и занятые ключи пропускаются; незнакомые ключи не удаляются.
Missing означает обратную ситуацию: строка есть, объект отсутствует. Для старого missing устанавливается внутренний `missing_since`, но метаданные и ссылки сообщений не удаляются. Участник получает 503, посторонний — по-прежнему 404. После восстановления объекта проверяются полный размер и SHA-256, затем отметка снимается. Timeout, 403, NoSuchBucket и 5xx не считаются отсутствием объекта: обход прерывается с `complete=false`.
Обычный metadata-pass проверяет наличие и размер; полное чтение с SHA-256 выполняется при восстановлении missing. Это сверка orphan/missing, а не полный побайтовый аудит каждого ready-оригинала. Строки БД обходятся keyset-страницами по 256 ID. Обычная стоимость — O(N объектов + M строк); восстановление дополнительно читает bytes нужного оригинала.
`cleanup` запускает apply при старте и через 15 минут после завершения предыдущего обхода; один обход ограничен 10 минутами. Manual CLI и cleanup используют одинаковые проверки и блокировки.
### Лимиты, таймауты и секреты
| Ограничение | Окончательная настройка |
| --- | --- |
| Тело оригинала | ≤10 485 760 bytes |
| Декодируемая размерность | ≤40 000 000 пикселей |
| Загрузки / полные декодирования | 5 / 1 на API-процесс |
| Временный staging | tmpfs 64 MiB, noexec/nosuid/nodev; ≤50 MiB исходников по admission |
| Общие in-flight запросы | 32 на API |
| KDF | 2 одновременно; Argon2id 64 MiB/t=3/p=1 |
| API RAM / Go soft limit | 768 MiB / GOMEMLIMIT 512 MiB |
| HTTP read и context / write | 30 / 35 с |
| LB client/server | 40 с |
| S3 connect / response headers | 2 / 5 с; один SDK attempt |
| PostgreSQL statement / lock timeout | 3 / 1 с для API |
Лимиты bytes/pixels проверяются до неограниченного чтения/распаковки. Полное декодирование синхронно и само не принимает context: внешние операции используют deadline, а для декодирования ограничителями остаются bytes, pixels, семафор и cgroup. GOMEMLIMIT — мягкий предел Go heap, не гарантия RSS; рабочие строки декодера также требуют памяти.
API запущены с UID/GID 65532, read-only rootfs, `cap_drop=ALL`, `no-new-privileges`, pids limit 128. В Compose для API включён `GODEBUG=madvdontneed=0`; измерения RAM ниже относятся именно к нему. Ограничение хеширования не ослаблялось. Проверенные настройки и отсутствие OOMKilled у финальных реплик сохранены в [security-extra.json](evidence/security-extra.json).
API/cleanup получают только отдельные S3 credentials: GetBucketLocation/ListBucket одного bucket, GetObject/PutObject/DeleteObject только `original/*`. Root-секреты смонтированы только в MinIO/bootstrap. Нет прав API на управление пользователями, создание bucket и запись вне prefix. Пароли, токены и значения ключей в отчёт не включены. PostgreSQL зафиксирован с `fsync=on`, `synchronous_commit=on`, `full_page_writes=on`.
### Соответствие .env.example реальной конфигурации
| Настройка skeleton | Отображение в решении |
| --- | --- |
| APP_HOST / APP_PORT / APP_ENV | API слушает 0.0.0.0:8080 внутри контейнера; APP_PORT задаёт loopback-порт LB; APP_ENV передаётся API |
| SESSION_STORE | Bootstrap нового `.env` заменяет предложенный `postgres` на `valkey`; реализация использует Valkey |
| SESSION_TTL_SECONDS | По умолчанию 3600, абсолютный expiry не продлевается рестартом |
| DATABASE_URL_FILE / CACHE_URL_FILE | Файлы Compose secrets, адреса db/valkey внутри стенда |
| API_REPLICAS | По умолчанию 2; HAProxy server-template рассчитан на 1–4 backend |
| IDEMPOTENCY_TTL_SECONDS | По умолчанию 86400; код запрещает значение меньше суток |
| S3_ENDPOINT / REGION / BUCKET | Compose задаёт http://s3:9000 / us-east-1 / messenger-attachments; s3 — alias закрытого proxy в общей сети |
| S3_ACCESS_KEY_ID_FILE / SECRET_ACCESS_KEY_FILE | Отдельные файлы ограниченной учётной записи; значения не лежат в environment/образе |
| MAX_UPLOAD_BYTES / MAX_IMAGE_PIXELS | Контрактные максимумы фиксированы в коде; переменные из worksheet не позволяют повысить их |
| Дополнения решения | CURSOR_SECRET_FILE, DB_POOL_MAX=8, MAX_INFLIGHT=32, GOMEMLIMIT=512MiB и GODEBUG |
Readiness зависит от PostgreSQL, Valkey и доступности bucket через ограниченные S3 credentials; liveness проверяет процесс. При отказе S3 API возвращает JSON 503. Когда LB исключил все backend, он может вернуть собственный транспортный 503; формат ошибки приложения отдельно проверяется непосредственно во внутренней сети.
## Доказательства критериев
Каждая строка ниже связывает требование с командой, наблюдением и сохранённым файлом. Цели `make check`/`make test` и прямые Python-команды запускают те же публичные проверки. Контракт и assertions не ослаблялись.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| Целостность skeleton и публичных файлов | `python -X utf8 scripts/check_contract.py`; SHA-256 manifest | PASS; неизменны 12 файлов contracts/tests | [contract.txt](evidence/contract.txt), [protected-files.json](evidence/protected-files.json) |
| Полная OpenAPI 3.1 / JSON Schema | `python -X utf8 scripts/linux_tests.py validate` | PASS; схема и примеры валидны | [openapi.txt](evidence/openapi.txt) |
| Публичный smoke | `python -X utf8 tests/smoke.py` | PASS lab4: пользователи, чат, сообщения, pagination, файл, ACL, logout | [smoke.txt](evidence/smoke.txt) |
| 3: сохранён обязательный минимум lab3 | Публичный smoke + concurrent replay в own tests | Прежние текстовые POST, Bearer, Idempotency-Key, единый результат повтора | [attachments.json](evidence/attachments.json), [failover-1.txt](evidence/failover-1.txt) |
| 3: PostgreSQL metadata и приватный S3 для bytes | Compose, миграция 004, infrastructure snapshot | 2 API; metadata в БД, original в MinIO, локального persistent state API нет | [infrastructure.json](evidence/infrastructure.json), [security-extra.json](evidence/security-extra.json) |
| 3: 201 ready и побайтный оригинал | Upload → message с attachment_ids → GET content другим участником | SHA-256/size совпадают; PNG и JPEG не перекодированы | [smoke.txt](evidence/smoke.txt), [attachments.json](evidence/attachments.json) |
| 3: MIME, bytes/pixels и filename | `python -X utf8 student-tests/attachments.py`; own unit | Подмена/повреждение 415, превышение 413, опасное имя 400 | [attachments.json](evidence/attachments.json), [student-unit.txt](evidence/student-unit.txt) |
| 3: остановка именно uploader | `python -X utf8 student-tests/failures.py` | Header сопоставлен с реальным контейнером; другая API вернула те же bytes с прежней сессией | [failures.json](evidence/failures.json) |
| 3: restart всех хранилищ и API | `python -X utf8 scripts/linux_tests.py test-persistence` | Данные, исходный файл и старый токен сохранились; volumes не удалялись | [persistence.txt](evidence/persistence.txt), [restart-before.txt](evidence/restart-before.txt), [restart-after.txt](evidence/restart-after.txt) |
| 4: отрицательные file/ACL кейсы | Повреждение, MIME spoof, чужой ID, attachment другого чата | Ожидаемые 400/404/413/415; пользовательские ошибки не дают 500 | [attachments.json](evidence/attachments.json) |
| 4: прерванное тело | Закрыть соединение до Content-Length | Новых metadata не появилось; обработчик восстановился | [failures.json](evidence/failures.json) |
| 4: отказ после PUT и безопасная очистка | SQL trigger для одного синтетического filename; real grace 65 с | Обнаружен orphan; старые неучтённые объекты очищены, fresh/used сохранены | [research.json](evidence/research.json) |
| 4: ≥10 одновременных uploads и peak RAM | `python -X utf8 student-tests/memory.py` | Оба размера: 10/10, ошибок 0; kernel peaks и CPU samples записаны | [upload-memory.json](evidence/upload-memory.json) |
| 4: private bucket и least privilege | Anonymous GET вне API; административные и outside-prefix операции API credentials | 403 на anonymous GET; запрещены admin/create-bucket/outside-prefix | [failures.json](evidence/failures.json) |
| 4: bootstrap повторяем, console закрыта | Два повторных s3-init; inspect/network probe | Оригинал сохранился; MinIO console/порты не опубликованы; raw backend из сети приложения недоступен | [failures.json](evidence/failures.json), [security-extra.json](evidence/security-extra.json) |
| 5: две стороны отказа | Ошибка PostgreSQL после PUT; удаление bytes подтверждённого Attachment | Обнаружены orphan и missing; metadata и ссылки missing не удалены | [research.json](evidence/research.json) |
| 5: dry-run/apply/повтор | Последовательные режимы CLI | Dry-run: 0 изменений; apply: безопасная очистка; повтор: deleted=0, новых отметок 0 | [research.json](evidence/research.json) |
| 5: защита fresh и используемых | Fresh orphan + прикреплённый original + параллельные uploads | Fresh и used сохранились; подтверждённые uploads читаются побайтно | [research.json](evidence/research.json) |
| 5: восстановление missing | Восстановить fixture → reconcile --apply | Размер/SHA-256 проверены, одна отметка снята, bytes доступны | [research.json](evidence/research.json) |
| 5: стоимость обхода | По три dry-run для 144 и 244 объектов | 133 metadata rows; время и количество HEAD записаны для каждого повтора | [research.json](evidence/research.json) |
| Дополнительно: Go correctness / race | `go test ./...`; own unit; `go vet ./...`; `go test -race ./...` | Все exit code 0 | [verification.json](evidence/verification.json), [student-unit.txt](evidence/student-unit.txt), [go-race.txt](evidence/go-race.txt) |
| Дополнительно: уязвимости приложения | `go run golang.org/x/vuln/cmd/govulncheck@v1.1.4 ./...` | 0 уязвимостей в вызываемом коде; 3 module-level записи без соответствующих вызовов | [go-vuln.txt](evidence/go-vuln.txt) |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
### Подтверждение реального restart/stop hook
Persistence hook перезапускает `db valkey s3 api lb`. Для каждого контейнера ниже ID до/после одинаков, а StartedAt изменился. Это подтверждает restart реальных процессов, включая PostgreSQL, Valkey и MinIO. Времена показаны по Москве; raw evidence хранит UTC.
| Роль / короткий container ID | StartedAt до, МСК | StartedAt после, МСК |
| --- | --- | --- |
| api / `287d13f6fa5a` | 20:33:31.254 | 20:34:47.995 |
| api / `23cdf8687348` | 20:33:30.967 | 20:34:47.782 |
| db / `c6b006c443fa` | 20:20:40.094 | 20:34:46.279 |
| lb / `61d73bbbe539` | 20:20:40.921 | 20:34:56.637 |
| s3 / `72035d94e70a` | 20:22:13.846 | 20:34:46.171 |
| valkey / `96dc99b9811c` | 20:20:40.048 | 20:34:46.422 |
Последний public stop-one hook сохранил тот же container ID со сменой `running` → `exited`, exit code 0: [stopped-before.txt](evidence/stopped-before.txt) и [stopped-after.txt](evidence/stopped-after.txt). Hook выбирает контейнер по `TARGET_INSTANCE_ID`, а не останавливает произвольную реплику. Отдельный own test сопоставляет header именно upload-ответа с uploader-контейнером.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
### Среда, ресурсы и объём данных
Снимок среды: [infrastructure.json](evidence/infrastructure.json). Docker Engine 29.3.0, Linux kernel `6.18.54.1-microsoft-standard-WSL2`, Docker Desktop/WSL2. Docker VM видит 12 CPU и 3.68 GiB RAM (3956068352 bytes). Это доступные VM ресурсы, не модель физического CPU или объём RAM Windows-host; последние отдельно не фиксировались.
| Компонент | Количество | CPU на контейнер | RAM limit |
| --- | --- | --- | --- |
| API | 2 | 1 | 768 MiB |
| PostgreSQL | 1 | 1 | 512 MiB |
| Valkey | 1 | 0,5 | 256 MiB |
| MinIO | 1 | 1 | 1024 MiB |
| HAProxy | 1 | 0,5 | 128 MiB |
| cleanup | 1 | 0,25 | 256 MiB |
| migrate, только startup | 1 | 0,5 | 256 MiB |
| s3-init, только startup/ручной вызов | 1 | 0,5 | 128 MiB |
Это верхние ограничения, не резервирование всей указанной памяти. VM и хранилища общие, поэтому измерения зависят от нагрузки Windows/WSL2 и диска. В финальном снимке БД: 157 пользователей, 56 чатов, 13055 сообщений и 13055 idempotency keys; размер БД 15453331 bytes. Данные синтетические, разные тесты используют уникальные пользователей/чаты.
### Эксперимент уровня 4: десять одновременных загрузок
Гипотеза: пять upload slots и одно декодирование на реплику позволяют двум API обслужить десять одновременно стартующих клиентов, сохранив конечный расход staging/heap.
Повторяемая команда:
```powershell
python -X utf8 student-tests/memory.py
```
Методика: два детерминированных PNG с шумом (256×256 и 1536×1536), по одному burst из десяти запросов на размер, без retry. Перед профилем API-контейнеры пересоздаются, сохраняются внешние хранилища и сессия, ожидаются две разные готовые реплики. Клиенты создаются до общего barrier; время burst отсчитывается от его освобождения. Отдельного прогрева upload-ами нет. Kernel lifetime peak включает startup; его сбрасывает создание нового cgroup, а не изменение данных приложения.
Docker stats сохраняет samples CPU/RAM, дополнительно CLI читает `memory.current` и `memory.peak` cgroup v2. Percentiles считаются методом nearest rank только по успешным запросам. Ошибки и backpressure учитываются отдельно.
| PNG, bytes / pixels | Concurrency | Успех / запросы | Ошибки | Duration, с | Success RPS | p50 / p95 / p99, мс |
| --- | --- | --- | --- | --- | --- | --- |
| 207687 / 65536 | 10 | 10/10 | 0% | 0.086 | 115.97 | 70.44 / 85.46 / 85.46 |
| 7466790 / 2359296 | 10 | 10/10 | 0% | 2.817 | 3.55 | 1901.06 / 2815.11 / 2815.11 |
| PNG, bytes | Σ baseline cgroup current, MiB | Σ kernel peaks API, MiB | Максимальный отдельный API peak, MiB | Максимумы CPU API-1 / API-2 в samples |
| --- | --- | --- | --- | --- |
| 207687 | 147.55 | 155.77 | 78.99 | 0.70% / 0.50% |
| 7466790 | 146.18 | 291.10 | 147.04 | 86.90% / 89.15% |
Наблюдение: оба профиля дали 10/10, 503 — 0; OOMKilled у финальных API не зафиксирован. Гипотеза подтверждена для этих двух burst-профилей. Сумма индивидуальных peak — верхняя оценка одновременного суммарного пика; отдельные максимумы могли возникнуть в разные моменты. CPU samples могут пропускать краткие пики. Размерность предельных 40 млн пикселей этим RAM-экспериментом не покрывалась.
Raw summary: [upload-memory.json](evidence/upload-memory.json). Ранний профиль с двумя upload slots на API дал 4 успеха и 6 backpressure 503; он сохранён отдельно в [upload-memory-admission-4.json](evidence/upload-memory-admission-4.json). В финальном профиле менялись одновременно admission и возврат страниц MADV_FREE, поэтому сравнение не выделяет причинный эффект одного параметра.
### Исправление воспроизводимости memory на Windows
Повторный запуск выявил сбой до самих загрузок: после пересоздания контейнеров `wait_ready(count=2)` не успевал увидеть две разные реплики. Обе API оставались healthy, OOMKilled=false. В диагностической серии шесть запросов к `localhost` заняли примерно 2,04–2,16 с каждый и вернули одну и ту же реплику; шесть запросов к `127.0.0.1` заняли 0,006–0,096 с и показали обе. LB сам обращается к readiness каждые 2 с, поэтому последовательность roundrobin зависит и от этих запросов.
TCP-проба подтвердила, что `localhost` сначала разрешается в `::1`: отказ IPv6-соединения занимал около 2 с, тогда как соединение с опубликованным `127.0.0.1` устанавливалось за миллисекунды. Сохранены повторяемая методика и фактические локальные TCP-измерения: [memory-readiness-diagnostic.json](evidence/memory-readiness-diagnostic.json).
Собственный HTTP-клиент и verifier теперь по умолчанию используют опубликованный IPv4 loopback `http://127.0.0.1:8080`; явно заданный `BASE_URL` и прямые адреса контейнеров сохраняются. Readiness probe имеет timeout 2 с и сообщает число увиденных реплик при сбое. Проверка по-прежнему требует две разные готовые API. Публичный клиент и его тесты не изменены. Пять регрессионных проверок выполняются внутри `student-tests/unit.py`; оба реальных memory-профиля и полный verifier затем выполнены заново. Исходный traceback сохранён в [memory-before-ipv4-fix.txt](evidence/memory-before-ipv4-fix.txt), результат повторного запуска — [memory.txt](evidence/memory.txt).
### Исследование уровня 5: согласованность PostgreSQL и MinIO
**Гипотеза.** Общий ключ блокировки, проверка durable metadata после получения lock и age threshold позволяют убирать только старые неучтённые объекты; fresh и используемые вложения остаются. Missing-метаданные и ссылки следует сохранить до восстановления оригинала.
```powershell
# Полная повторяемая инъекция отказов и измерение стоимости:
python -X utf8 student-tests/research.py
# Обычный CLI: сначала анализ без изменений, затем явный apply:
docker compose exec -T api /messenger reconcile
docker compose exec -T api /messenger reconcile --apply
docker compose exec -T api /messenger reconcile --apply
```
**Методика.** Создаются два подтверждённых оригинала, связанные с сообщением. Временный SQL trigger отклоняет INSERT одного уникального синтетического filename после успешного PUT; trigger удаляется в finally. Возникает один новый orphan. Скрипт действительно ждёт 65 секунд для grace 60, не подменяя S3 LastModified. Затем создаёт fresh orphan и удаляет bytes второго подтверждённого вложения, моделируя потерю S3.
Далее проверяются dry-run без изменений БД/S3, apply, повторный apply, сохранность fresh/used и ссылок сообщения. После восстановления точных bytes повторная сверка проверяет размер и SHA-256. Дополнительно после barrier одновременно запускаются три uploads и apply; каждый подтверждённый upload скачивается и сравнивается. Все воздействия относятся к синтетическим объектам этого стенда.
**Результат финальной серии:**
| Этап | Найдено старых orphan | Найдено missing | Удалено объектов | Новых missing-маркеров | Снято маркеров | Внутреннее время, мс |
| --- | --- | --- | --- | --- | --- | --- |
| Dry-run | 1 | 1 | 0 | 0 | 0 | 323 |
| Apply | 1 | 1 | 1 | 1 | 0 | 429 |
| Повтор apply | 0 | 1 | 0 | 0 | 0 | 547 |
| Восстановление | 0 | 0 | 0 | 0 | 1 | 495 |
В 1 старых orphan входят fixtures предыдущих запусков, успевшие пройти grace; это не число объектов одной инъекции. Dry-run не изменил ни одну сторону. После apply число строк metadata и ссылка missing-вложения остались прежними. Повторный apply не внёс новых изменений. Fresh orphan и используемый original сохранились. При восстановлении потоком проверены 111817 bytes. Проверенный SHA-256 оригинала: `99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75`.
**Стоимость обхода.** После исправления добавлены 10, затем ещё 100 fresh fixtures; для каждого состояния выполнены три dry-run без дополнительного фиксированного прогрева. Счётчик времени находится внутри reconciler и исключает запуск Docker CLI. В operator CLI используется cgroup API (1 CPU); отдельный периодический cleanup ограничен 0,25 CPU, поэтому его время не приравнивается к operator CLI.
| Дополнительно создано объектов на этапе | Всего объектов | Metadata rows | HEAD / GET | Время трёх обходов, мс | Медиана, мс |
| --- | --- | --- | --- | --- | --- |
| 10 | 144 | 133 | 141 / 0 | 629, 454, 269 | 454 |
| 100 | 244 | 133 | 241 / 0 | 615, 554, 487 | 554 |
В более крупном наборе медиана изменилась с 454 до 554 мс, число HEAD — с 141 до 241 при 133 строках metadata. Число операций обхода растёт с набором; по двум небольшим наборам и трём повторам нельзя строить универсальную линейную модель времени. CPU/RAM самого reconciler в отдельный профиль не снимались: здесь измерены elapsed и I/O counters.
Гипотеза безопасности подтверждена выполненными assert для fresh/used, сохранённых строк/ссылок и повторного apply. В этой серии `active_protected=0`; отдельный детерминированный конфликт удерживаемой lock не измерялся. Raw summary всех стадий и счётчиков: [research.json](evidence/research.json).
### Дополнительная нагрузка текстовыми сообщениями
```powershell
python -X utf8 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
```
Генератор closed-loop: четыре клиента начинают следующий POST после ответа на предыдущий, без автоматического retry. Dataset истории растёт; latency включает клиентские издержки, percentiles относятся только к успешным HTTP-подтверждениям. Coordinated omission и ограничение клиента исключают интерпретацию результата как максимальной пропускной способности сервера.
| Duration заданная / фактическая | Concurrency | Успех / ошибки | Error ratio | Success RPS | p50 / p95 / p99, мс |
| --- | --- | --- | --- | --- | --- |
| 30 / 30.069 с | 4 | 11543 / 0 | 0% | 383.878 | 7.953 / 27.216 / 34.457 |
Raw summary: [load.json](evidence/load.json). CPU/RAM samples относятся к отдельному upload-эксперименту выше; текстовый генератор сам сохраняет HTTP-метрики, не ресурсный профиль.
### Диагностика выделения памяти Argon2id
До корректировки runtime-настройки зафиксированы два timeout публичного клиента (2 с) на регистрации/входе до инъекции отказа. Параметры публичных тестов и Argon2id не менялись. В изолированном контейнере без сети при 1 CPU/768 MiB выполнены пять синтетических Argon2id 64 MiB/t=3/p=1; после каждого вызван `debug.FreeOSMemory`.
| Режим | Времена KDF, мс | Максимум, мс | System CPU всей серии, с |
| --- | --- | --- | --- |
| По умолчанию | 708.618, 1134.511, 325.256, 385.927, 991.58 | 1134.511 | 2.820411 |
| MADV_FREE | 505.942, 154.841, 220.599, 170.899, 186.14 | 505.942 | 0.356547 |
Настройка `GODEBUG=madvdontneed=0` уменьшила стоимость повторного выделения страниц в этой серии; освобождённые страницы могут оставаться в RSS до давления по памяти. Окончательный memory-эксперимент и интеграционные проверки повторены именно с ней. Пять samples одного host не доказывают универсальный latency SLA. Исходник — `student-tests/kdf-bench.go.txt`, команды повторения — [MANUAL.md](MANUAL.md), raw summary — [kdf-memory-diagnostic.json](evidence/kdf-memory-diagnostic.json).
### Отказы и сохранность
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Restart двух API, DB, Valkey, MinIO и LB | Прежние данные и сессия доступны после готовности | Public persistence PASS; ID сохранены, StartedAt изменился у всех 6 контейнеров | Скрипт целиком 16.616 с; отдельный RTO не измерялся; подтверждённые данные сохранены |
| Остановка одной API, серия 1 | Запись через другую реплику ≤10 с, без дублей/потери ACK | 2 реплики до отказа; 132 успешных записей, 4 переходных ошибок | Первая успешная запись через 2.339 с; ACK/сессия/оригинал сохранены |
| Остановка одной API, серия 2 | Запись через другую реплику ≤10 с, без дублей/потери ACK | 2 реплики до отказа; 133 успешных записей, 3 переходных ошибок | Первая успешная запись через 2.312 с; ACK/сессия/оригинал сохранены |
| Остановка именно uploader | Другой API скачивает тот же оригинал | Own test сопоставил upload header с контейнером и сравнил bytes после stop | Отдельный RTO не измерялся; bytes и прежний токен сохранены |
| Недоступен S3 | Liveness 200, readiness/upload/content 503 | Ожидаемые коды непосредственно на API; после start оригинал читается | Отдельный RTO не измерялся; данные volume сохранены |
| Разрыв тела upload | Нет готовых metadata для неполного файла | Число metadata не изменилось | ACK не выдавался; новый готовый Attachment не создан |
| SQL-ошибка после PUT | Orphan обнаруживается после grace | Dry-run находит, apply безопасно очищает | Эксперимент ждёт реальные 65 с; подтверждённые вложения не удалены |
| Потеря bytes S3 после 201 | Metadata/ссылки остаются, отсутствие не маскируется | Missing помечен, участник получает 503 | До восстановления оригинала bytes недоступны; после SHA-256 marker снят |
| Повтор bootstrap | Не менять секреты и не терять original | Два запуска PASS, файл тот же | Потерь не зафиксировано |
Доказательства: `evidence/persistence.txt`, `failover-1.txt`, `failover-2.txt`, `failures.json`, `research.json` и hook snapshots, на которые даны ссылки выше. Числа failover относятся к первой восстановленной записи данного теста, а не к production RTO всего стенда.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
### Граница применимости результатов
Один Docker-host не обеспечивает отказоустойчивость физического узла. LB, PostgreSQL, Valkey и MinIO остаются отдельными точками отказа. Named volumes и fsync дают проверенную сохранность при описанном restart, но не заменяют backup и не защищают от удаления volume или утраты диска. HTTP допустим только для локального стенда с синтетическими данными; TLS/mTLS и ротация секретов в эту лабораторную не входят.
MinIO Community архивирован. Отдельный binary-mode scan исходной сборки содержит 52 module-level записи; он не доказывает достижимость всех функций в конкретном стенде. Внешние воздействия ограничены private backend, закрытой консолью и фильтрами HAProxy, но это не полное исправление стороннего сервера и не production-сертификация. Scan собственного приложения показал 0 уязвимостей в вызываемом коде, при этом три записи остались на уровне невызываемых модулей. Сферы этих двух результатов нельзя смешивать.
Фильтр отклоняет `STREAMING-UNSIGNED-PAYLOAD-TRAILER`, storage/peer/grid/bootstrap REST-пути, S3 Select и replication-request headers. Это неиспользуемые функции выбранного стенда; LDAP/OIDC/SFTP не настроены. Контейнер из общей сети не смог обратиться непосредственно к IP MinIO backend. Сервисный S3 listener не пишет URL в журнал, чтобы admin/bootstrap query не раскрывал identifiers ключей.
Между БД и S3 сохраняется окно рассогласованности. Cleanup уменьшает его периодической сверкой, но при недоступных зависимостях исправление откладывается. Missing bytes невозможно получить из metadata: нужна внешняя копия. Обычный проход не выполняет полный SHA-256 каждого ready-объекта. Прямая администраторская запись в S3 вне протокола API не координируется advisory lock. Часы PostgreSQL/MinIO должны быть согласованы.
Upload RAM проверена для двух размеров, 10 клиентов и одной серии на размер, а не для всех допустимых изображений вплоть до 40 млн пикселей. Рабочие буферы декодера и GC требуют памяти помимо пиксельного массива; мягкий heap limit не равен RSS. Cgroup остаётся последним ограничителем ресурсов. Указанные percentiles и RPS не являются универсальными порогами или пределом производительности; для статистических выводов нужны дополнительные независимые повторы.
### Что подтверждено и что требует отдельной работы
| Подтверждено в этой работе | Следующий шаг / граница, которая пока не доказана |
| --- | --- |
| Restart с сохранёнными volumes сохраняет ACK, original и сессию | Проверяемый backup/restore после потери диска |
| Отказ одной API выдерживается с восстановлением записи ≤10 с | HA хранилищ, LB и host на независимых узлах |
| Old orphan очищаются, fresh/used не удаляются в выполненных сценариях | Детерминированный тест именно конфликта удерживаемой lock; крупные длительные наборы |
| Missing marker снимается только после правильного размера/SHA-256 | Полный аудит integrity всех ready originals и автоматизированное восстановление из backup |
| Два профиля по 10 uploads завершились без ошибок | Повторы под длительной/open-loop нагрузкой и отдельное исследование предельной размерности |
| MADV_FREE уменьшил kernel cost в диагностической серии | Проверка этой настройки на других host и под давлением памяти |
| Private bucket, IAM и proxy filters проверены | Продолжающийся аудит и сопровождение MinIO/dependencies; защита всего Docker-host |
| Контракт и public tests не изменялись | Итоговый commit/push и публикация PR — отдельное действие автора |
Прямой presigned-upload flow не реализован, поскольку выбран трек 2. Фоновые worker/thumbnail и переход на 202 относятся к следующей лабораторной. При исправлении readiness изменены собственный Python-клиент и verifier; Go-код приложения, контракт и публичные тесты сохранены. Таблицы обновлены по новому полному прогону.
## Дополнительные материалы
### Короткий сценарий защиты
1. Запустить `python -X utf8 scripts/manage.py start`, показать два реальных API через `status` и `X-Instance-Id`.
2. По [MANUAL.md](MANUAL.md) создать Alice/Bob/Eve, загрузить PNG, отправить `attachment_ids`, скачать Bob и сравнить SHA-256. Для Eve показать 404; анонимный запрос в private S3 даёт 403.
3. Остановить именно uploader по alias, скачать через другую реплику с прежним токеном, затем восстановить две реплики.
4. Показать public persistence и StartedAt before/after для DB/Valkey/MinIO/API, не удаляя volumes.
5. Показать dry-run, apply и повтор, `research.json`, сохранённые missing metadata/ссылки и восстановление по checksum.
6. Открыть таблицу 10/10 uploads, объяснить разницу между memory.peak, суммой индивидуальных peaks и фактическим общим пиком в один момент.
### Ответы на вопросы
**Почему local volume API не заменяет S3?** Файл отдельной реплики не обязан быть доступен другой реплике. Здесь durable original хранится в общем MinIO, а tmpfs API содержит только временный staging запроса.
**Когда допустим 201?** После сохранения bytes и успешного COMMIT metadata. До этой границы нельзя обещать клиенту готовое вложение, доступное другой реплике.
**Почему не удалить файл сразу после ошибки COMMIT?** Ответ о COMMIT мог потеряться после фактической фиксации. Такой DELETE повредил бы существующий Attachment. Reconciler после grace проверяет durable состояние под lock.
**Что означают orphan, missing и grace period?** Orphan — объект есть, строки нет; missing — строка есть, bytes нет. Grace — минимальный возраст перед исправлением, чтобы свежий объект не приняли за остаток аварии. В обычном режиме grace час; в контролируемом опыте 60 секунд с реальным ожиданием 65.
**Зачем ACL, если UUID случайный и bucket private?** UUID скрывает угадывание, а private bucket закрывает прямое чтение. Права на чат всё равно проверяет API для каждого metadata/content/message запроса; секретная ссылка не заменяет членство.
**Почему SHA-256 файла не подходит для пароля?** SHA-256 здесь проверяет равенство bytes. Для пароля нужна дорогая salted KDF, поэтому используется Argon2id; одинаковые пароли получают разные salts/hashes.
**Что именно доказано повторным apply?** Без новых отказов он не удалил дополнительных объектов и не создал повторных missing-маркеров. Это идемпотентность конкретных операций; она не означает, что bytes можно восстановить без копии.
**Почему 503 от LB может быть без JSON API?** При отсутствии ready backend ответ создаёт балансировщик. Тест отказа S3 отдельно обращается к внутреннему API и проверяет его JSON error/request_id.
### Карта файлов решения
| Файлы | Назначение |
| --- | --- |
| `main.go`, `protocol.go` | HTTP routing/headers, строгий JSON, cursor и общий lifecycle |
| `auth.go`, `auth_test.go` | Argon2id, Bearer/Valkey sessions и проверки базовой защиты |
| `store.go`, `idempotency.go` | PostgreSQL, history, транзакционная запись и результат повтора |
| `attachments.go`, `migrations/004_attachments.sql` | Валидация/MinIO, metadata и связи сообщений |
| `reconcile.go`, `memory.go` | Сверка/cleanup и локальный CLI cgroup memory snapshot |
| `compose.yaml`, `Dockerfile*` | Воспроизводимый стенд, app/S3/test images |
| `infra/haproxy.cfg`, `infra/s3-init.sh`, `infra/s3-policy.json` | Балансировка/фильтры, private bucket и IAM |
| `scripts/bootstrap.py`, `manage.py`, `restart.sh`, `stop-one.sh` | Создание локальных настроек и операторские действия |
| `scripts/verify.py`, `summarize.py` | Последовательная проверка и фактическая сводка |
| `student-tests/` | Own unit, negative/failure, memory и track 2 research |
| `MANUAL.md`, `.github/pull_request_template.md` | Пошаговые команды и заполненный PR шаблон |
### Источники и сохранённые данные
- Нормативные требования: [README.md](README.md), [COURSE.md](COURSE.md), [контракт](contracts/README.md), [OpenAPI](contracts/openapi.json).
- Собственная HLAlab3: исходники, миграции, общие сессии, балансировка и идемпотентность; контракты/публичные tests текущей lab4 оставлены её собственными.
- Официальные материалы: [MinIO](https://github.com/minio/minio), [защитная мера unsigned-trailer](https://github.com/minio/minio/security/advisories/GHSA-hv4r-mvr4-25vw), [MinIO Go SDK](https://pkg.go.dev/github.com/minio/minio-go/v7), [Go image](https://pkg.go.dev/image#hdr-Security_Considerations), [Go runtime](https://pkg.go.dev/runtime#hdr-Environment_Variables).
- Отдельный сторонний scan MinIO: [minio-upstream-vulnerabilities.txt](evidence/minio-upstream-vulnerabilities.txt). Он не подменяет scan приложения.
- Итоговый audit отсутствия значений локальных секретов в Git-visible текстах: [final-local-checks.json](evidence/final-local-checks.json). Git ignore не заменяет этот просмотр; `.env`, `secrets/`, приватные ключи и временные binaries не добавляются в commit.
Доказательства содержат синтетические данные и operational fields, без паролей, Bearer-токенов, приватных ключей или подписанных URL. Итоговые числа не заменены ожидаемыми: каждый PASS привязан к команде и наблюдению.
+287
View File
@@ -0,0 +1,287 @@
package main
import (
"context"
"crypto/sha256"
"encoding/hex"
"encoding/json"
"errors"
"image"
_ "image/jpeg"
_ "image/png"
"io"
"mime"
"net"
"net/http"
"net/url"
"os"
"strconv"
"strings"
"time"
"unicode"
"unicode/utf8"
"github.com/jackc/pgx/v5"
"github.com/minio/minio-go/v7"
"github.com/minio/minio-go/v7/pkg/credentials"
)
const maxUploadBytes int64 = 10 * 1024 * 1024
const maxImagePixels int64 = 40000000
type Attachment struct {
ID string `json:"id"`
ChatID string `json:"chat_id"`
OwnerID string `json:"owner_id"`
Filename string `json:"filename"`
ContentType string `json:"content_type"`
SizeBytes int64 `json:"size_bytes"`
SHA256 string `json:"sha256"`
Status string `json:"status"`
Variants []any `json:"variants"`
ErrorCode *string `json:"error_code"`
CreatedAt string `json:"created_at"`
UpdatedAt string `json:"updated_at"`
}
func s3Client() (*minio.Client, string, error) {
endpoint, err := url.Parse(env("S3_ENDPOINT", "http://s3:9000"))
if err != nil || (endpoint.Scheme != "http" && endpoint.Scheme != "https") || endpoint.Host == "" || endpoint.User != nil || endpoint.RawQuery != "" || (endpoint.Path != "" && endpoint.Path != "/") {
return nil, "", errors.New("invalid S3 endpoint")
}
access, err := secretFile("S3_ACCESS_KEY_ID_FILE")
if err != nil {
return nil, "", err
}
secret, err := secretFile("S3_SECRET_ACCESS_KEY_FILE")
if err != nil {
return nil, "", err
}
transport := &http.Transport{Proxy: http.ProxyFromEnvironment, DialContext: (&net.Dialer{Timeout: 2 * time.Second, KeepAlive: 30 * time.Second}).DialContext, MaxIdleConns: 16, MaxIdleConnsPerHost: 8, MaxConnsPerHost: 8, ResponseHeaderTimeout: 5 * time.Second, TLSHandshakeTimeout: 3 * time.Second, IdleConnTimeout: 30 * time.Second, DisableCompression: true}
client, err := minio.New(endpoint.Host, &minio.Options{Creds: credentials.NewStaticV4(access, secret, ""), Secure: endpoint.Scheme == "https", Region: env("S3_REGION", "us-east-1"), Transport: transport, MaxRetries: 1, BucketLookup: minio.BucketLookupPath})
return client, env("S3_BUCKET", "messenger-attachments"), err
}
func validFilename(s string) bool {
if !utf8.ValidString(s) || strings.TrimSpace(s) == "" || utf8.RuneCountInString(s) > 255 {
return false
}
for _, c := range s {
if c == '/' || c == '\\' || unicode.IsControl(c) {
return false
}
}
return true
}
func messageFields(body map[string]json.RawMessage) (string, []string, error) {
var text string
if string(body["text"]) == "null" || json.Unmarshal(body["text"], &text) != nil || utf8.RuneCountInString(text) > 4000 {
return "", nil, invalid()
}
ids := []string{}
if raw, ok := body["attachment_ids"]; ok {
if string(raw) == "null" || json.Unmarshal(raw, &ids) != nil || len(ids) > 10 {
return "", nil, invalid()
}
}
seen := map[string]bool{}
for i, id := range ids {
normalized, err := normalizeID(id)
if err != nil || seen[normalized] {
return "", nil, invalid()
}
ids[i] = normalized
seen[normalized] = true
}
if strings.TrimSpace(text) == "" && len(ids) == 0 {
return "", nil, invalid()
}
return text, ids, nil
}
func (a *App) s3Ready(ctx context.Context) bool {
check, cancel := context.WithTimeout(ctx, time.Second)
defer cancel()
ok, err := a.s3.BucketExists(check, a.bucket)
return err == nil && ok
}
func mediaError() error {
return apiError{415, "unsupported_media_type", "Expected a valid PNG or JPEG matching Content-Type"}
}
func tooLarge() error { return apiError{413, "payload_too_large", "Image exceeds byte or pixel limit"} }
// The encoded file lives only in a bounded tmpfs during validation/PUT. At most
// five uploads and one decoded image per process; no bytes enter PostgreSQL.
func (a *App) upload(ctx context.Context, w http.ResponseWriter, r *http.Request, chat, user string) (Attachment, error) {
result := Attachment{}
query, err := url.ParseQuery(r.URL.RawQuery)
if err != nil || len(query) != 1 || len(query["filename"]) != 1 || !validFilename(query.Get("filename")) {
return result, invalid()
}
contentType, params, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
if err != nil || len(params) != 0 || (contentType != "image/png" && contentType != "image/jpeg") {
return result, mediaError()
}
if r.ContentLength > maxUploadBytes {
return result, tooLarge()
}
select {
case a.uploadSlots <- struct{}{}:
defer func() { <-a.uploadSlots }()
default:
return result, unavailable()
}
f, err := os.CreateTemp("", "upload-*")
if err != nil {
return result, unavailable()
}
defer os.Remove(f.Name())
defer f.Close()
digest := sha256.New()
size, err := io.Copy(io.MultiWriter(f, digest), http.MaxBytesReader(w, r.Body, maxUploadBytes))
if err != nil {
var big *http.MaxBytesError
if errors.As(err, &big) {
return result, tooLarge()
}
return result, invalid()
}
if size == 0 {
return result, mediaError()
}
if _, err = f.Seek(0, io.SeekStart); err != nil {
return result, unavailable()
}
cfg, format, err := image.DecodeConfig(f)
if err != nil || (format != "png" && format != "jpeg") || "image/"+format != contentType {
return result, mediaError()
}
if cfg.Width <= 0 || cfg.Height <= 0 || int64(cfg.Width) > maxImagePixels/int64(cfg.Height) {
return result, tooLarge()
}
select {
case a.decodeSlot <- struct{}{}:
case <-ctx.Done():
return result, unavailable()
}
validation := func() error {
defer func() { <-a.decodeSlot }()
if _, e := f.Seek(0, io.SeekStart); e != nil {
return unavailable()
}
decoded, actual, e := image.Decode(f)
if e != nil || actual != format || decoded.Bounds().Dx() != cfg.Width || decoded.Bounds().Dy() != cfg.Height {
return mediaError()
}
return nil
}
if err = validation(); err != nil {
return result, err
}
if ctx.Err() != nil {
return result, unavailable()
}
if _, err = f.Seek(0, io.SeekStart); err != nil {
return result, unavailable()
}
result = Attachment{ID: uuid(), ChatID: chat, OwnerID: user, Filename: query.Get("filename"), ContentType: contentType, SizeBytes: size, SHA256: hex.EncodeToString(digest.Sum(nil)), Status: "ready", Variants: []any{}}
tx, err := a.db.Begin(ctx)
if err != nil {
return result, unavailable()
}
defer rollbackAttachment(tx)
if err = attachmentLock(ctx, tx, result.ID); err != nil {
return result, unavailable()
}
key := "original/" + result.ID
_, err = a.s3.PutObject(ctx, a.bucket, key, f, size, minio.PutObjectOptions{ContentType: contentType, DisableMultipart: true, UserMetadata: map[string]string{"sha256": result.SHA256}})
if err != nil {
return result, unavailable()
}
var created, updated time.Time
err = tx.QueryRow(ctx, `INSERT INTO attachments(id,chat_id,owner_id,object_key,filename,content_type,size_bytes,sha256)
VALUES($1,$2,$3,$4,$5,$6,$7,$8) RETURNING created_at,updated_at`, result.ID, chat, user, key, result.Filename, contentType, size, result.SHA256).Scan(&created, &updated)
if err != nil {
return result, unavailable()
}
// COMMIT may have succeeded even when its acknowledgement is lost. Never
// blindly delete the blob here: reconciler checks durable metadata + grace.
if err = tx.Commit(ctx); err != nil {
return result, unavailable()
}
result.CreatedAt = stamp(created)
result.UpdatedAt = stamp(updated)
return result, nil
}
func attachmentLock(ctx context.Context, tx pgx.Tx, id string) error {
_, err := tx.Exec(ctx, "SELECT pg_advisory_xact_lock(hashtextextended($1,0))", "attachment:"+id)
return err
}
func rollbackAttachment(tx pgx.Tx) {
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
defer cancel()
_ = tx.Rollback(ctx)
}
func (a *App) attachment(ctx context.Context, id, user string) (Attachment, error) {
x := Attachment{Status: "ready", Variants: []any{}}
var created, updated time.Time
var missingSince *time.Time
err := a.db.QueryRow(ctx, `SELECT a.id::text,a.chat_id::text,a.owner_id::text,a.filename,a.content_type,a.size_bytes,a.sha256,a.created_at,a.updated_at,a.missing_since
FROM attachments a JOIN chat_members m ON m.chat_id=a.chat_id AND m.user_id=$2 WHERE a.id=$1`, id, user).Scan(&x.ID, &x.ChatID, &x.OwnerID, &x.Filename, &x.ContentType, &x.SizeBytes, &x.SHA256, &created, &updated, &missingSince)
if err != nil {
return x, dbError(err)
}
if missingSince != nil {
return x, unavailable()
}
x.CreatedAt = stamp(created)
x.UpdatedAt = stamp(updated)
return x, nil
}
type binaryContent struct {
attachment Attachment
object *minio.Object
}
func (a *App) content(ctx context.Context, r *http.Request, x Attachment) (binaryContent, error) {
q, err := url.ParseQuery(r.URL.RawQuery)
if err != nil || len(q) > 1 || len(q["variant"]) > 1 {
return binaryContent{}, invalid()
}
for k := range q {
if k != "variant" {
return binaryContent{}, invalid()
}
}
if v, ok := q["variant"]; ok && v[0] != "original" {
return binaryContent{}, missing()
}
object, err := a.s3.GetObject(ctx, a.bucket, "original/"+x.ID, minio.GetObjectOptions{})
if err != nil {
return binaryContent{}, unavailable()
}
info, err := object.Stat()
if err != nil || info.Size != x.SizeBytes {
object.Close()
return binaryContent{}, unavailable()
}
return binaryContent{x, object}, nil
}
func writeContent(w http.ResponseWriter, b binaryContent) {
defer b.object.Close()
w.Header().Set("Content-Type", b.attachment.ContentType)
w.Header().Set("Content-Length", strconv.FormatInt(b.attachment.SizeBytes, 10))
w.Header().Set("Content-Disposition", mime.FormatMediaType("attachment", map[string]string{"filename": b.attachment.Filename}))
w.Header().Set("X-Content-Type-Options", "nosniff")
w.Header().Set("Cache-Control", "private, no-store")
w.WriteHeader(200)
if _, err := io.CopyN(w, b.object, b.attachment.SizeBytes); err != nil {
panic(http.ErrAbortHandler)
}
}
+147
View File
@@ -0,0 +1,147 @@
package main
import (
"context"
"crypto/rand"
"crypto/sha256"
"crypto/subtle"
"encoding/base64"
"encoding/hex"
"encoding/json"
"errors"
"net/http"
"strings"
"time"
"unicode/utf8"
"github.com/jackc/pgx/v5"
"github.com/redis/go-redis/v9"
"golang.org/x/crypto/argon2"
)
func password(body map[string]json.RawMessage) (string, error) {
var p string
if json.Unmarshal(body["password"], &p) != nil || utf8.RuneCountInString(p) < 12 || utf8.RuneCountInString(p) > 128 {
return "", invalid()
}
return p, nil
}
func hashPassword(p string) string {
salt := make([]byte, 16)
if _, err := rand.Read(salt); err != nil {
panic(err)
}
key := argon2.IDKey([]byte(p), salt, 3, 64*1024, 1, 32)
return "$argon2id$v=19$m=65536,t=3,p=1$" + base64.RawStdEncoding.EncodeToString(salt) + "$" + base64.RawStdEncoding.EncodeToString(key)
}
func verifyPassword(hash, p string) bool {
parts := strings.Split(hash, "$")
if len(parts) != 6 || parts[1] != "argon2id" || parts[2] != "v=19" || parts[3] != "m=65536,t=3,p=1" {
return false
}
salt, e := base64.RawStdEncoding.DecodeString(parts[4])
if e != nil || len(salt) != 16 {
return false
}
want, e := base64.RawStdEncoding.DecodeString(parts[5])
if e != nil || len(want) != 32 {
return false
}
actual := argon2.IDKey([]byte(p), salt, 3, 64*1024, 1, 32)
return subtle.ConstantTimeCompare(want, actual) == 1
}
func (a *App) kdfSlot(ctx context.Context) error {
select {
case a.kdf <- struct{}{}:
return nil
case <-ctx.Done():
return unavailable()
}
}
type storedSession struct {
UserID string `json:"user_id"`
ExpiresAt time.Time `json:"expires_at"`
}
func sessionKey(token string) string {
h := sha256.Sum256([]byte(token))
return "sess:" + hex.EncodeToString(h[:])
}
func (a *App) authenticate(ctx context.Context, r *http.Request) (string, string, error) {
values := r.Header.Values("Authorization")
if len(values) != 1 {
return "", "", unauthorized()
}
parts := strings.Fields(values[0])
if len(parts) != 2 || !strings.EqualFold(parts[0], "Bearer") {
return "", "", unauthorized()
}
token, e := base64.RawURLEncoding.DecodeString(parts[1])
if e != nil || len(token) != 32 {
return "", "", unauthorized()
}
key := sessionKey(parts[1])
raw, err := a.sessions.Get(ctx, key).Bytes()
if errors.Is(err, redis.Nil) {
return "", "", unauthorized()
}
if err != nil {
return "", "", unavailable()
}
var session storedSession
if json.Unmarshal(raw, &session) != nil {
return "", "", unavailable()
}
if !time.Now().Before(session.ExpiresAt) {
return "", "", unauthorized()
}
if _, err = a.user(ctx, session.UserID); err != nil {
var ae apiError
if errors.As(err, &ae) && ae.status == 404 {
return "", "", unauthorized()
}
return "", "", err
}
return session.UserID, key, nil
}
func (a *App) login(ctx context.Context, r *http.Request) (int, any, error) {
if r.ContentLength > 0 || len(r.TransferEncoding) > 0 {
return 0, nil, invalid()
}
username, p, ok := r.BasicAuth()
if len(r.Header.Values("Authorization")) != 1 || !ok || !usernamePattern.MatchString(username) || !utf8.ValidString(p) || utf8.RuneCountInString(p) < 12 || utf8.RuneCountInString(p) > 128 {
return 0, nil, unauthorized()
}
var hash string
var u User
var created time.Time
err := a.db.QueryRow(ctx, "SELECT id::text,username,display_name,created_at,password_hash FROM users WHERE username=$1", username).Scan(&u.ID, &u.Username, utf8String{&u.DisplayName}, &created, &hash)
absent := errors.Is(err, pgx.ErrNoRows)
if err != nil && !absent {
return 0, nil, unavailable()
}
if absent {
hash = a.dummyHash
}
if err = a.kdfSlot(ctx); err != nil {
return 0, nil, err
}
valid := verifyPassword(hash, p)
<-a.kdf
if !valid || absent {
return 0, nil, unauthorized()
}
u.CreatedAt = stamp(created)
tokenBytes := make([]byte, 32)
if _, err = rand.Read(tokenBytes); err != nil {
return 0, nil, unavailable()
}
token := base64.RawURLEncoding.EncodeToString(tokenBytes)
expires := time.Now().UTC().Truncate(time.Second).Add(a.ttl)
raw, _ := json.Marshal(storedSession{u.ID, expires})
if err = a.sessions.SetArgs(ctx, sessionKey(token), raw, redis.SetArgs{Mode: "NX", ExpireAt: expires}).Err(); err != nil {
return 0, nil, unavailable()
}
return 201, map[string]any{"token": token, "token_type": "Bearer", "expires_at": expires.Format(time.RFC3339), "user": u}, nil
}
+50
View File
@@ -0,0 +1,50 @@
package main
import (
"net/http/httptest"
"strings"
"testing"
)
func TestPasswordHashSaltAndFullUnicode(t *testing.T) {
p := strings.Repeat("😀", 127) + ":"
a, b := hashPassword(p), hashPassword(p)
if a == b {
t.Fatal("salt reused")
}
if !verifyPassword(a, p) || verifyPassword(a, strings.Repeat("😀", 127)+"!") {
t.Fatal("password truncated or incorrect")
}
for _, bad := range []string{"", p, strings.Replace(a, "m=65536", "m=1", 1), a[:len(a)-5]} {
if verifyPassword(bad, p) {
t.Fatal("invalid hash accepted")
}
}
}
func TestCursorIntegrityResourceAndRestart(t *testing.T) {
a := &App{secret: []byte("stable-local-test-secret-32-bytes")}
encoded := a.encodeCursor("messages:one", "2026-01-01T00:00:00.000000Z", uuid())
restarted := &App{secret: append([]byte(nil), a.secret...)}
req := httptest.NewRequest("GET", "/messages?cursor="+encoded+"&limit=7", nil)
if limit, _, e := restarted.pagination(req, "messages:one"); e != nil || limit != 7 {
t.Fatal("cursor lost across restart")
}
if _, _, e := a.pagination(req, "messages:two"); e == nil {
t.Fatal("cross-resource cursor accepted")
}
forged := httptest.NewRequest("GET", "/messages?cursor="+encoded[:len(encoded)-4]+"AAAA", nil)
if _, _, e := a.pagination(forged, "messages:one"); e == nil {
t.Fatal("forged cursor accepted")
}
}
func TestStrictJSON(t *testing.T) {
for _, raw := range []string{`{"text":"a","text":"b"}`, `{"text":"\ud800"}`, `{} {}`, `{"unknown":1}`} {
req := httptest.NewRequest("POST", "/", strings.NewReader(raw))
req.Header.Set("Content-Type", "application/json")
if _, e := readObject(httptest.NewRecorder(), req, 1024, []string{"text"}); e == nil {
t.Fatalf("accepted %q", raw)
}
}
}
+194
View File
@@ -0,0 +1,194 @@
name: mtusi-lab4
services:
db:
image: postgres:17.6-bookworm@sha256:f3bd19c606e442c3d7bdfa8002e03fe260a1023351e0ea4598032022b68dd6e3
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets: [postgres_password]
volumes: [pgdata:/var/lib/postgresql/data]
healthcheck:
test: [CMD-SHELL, "pg_isready -U messenger -d messenger"]
interval: 2s
timeout: 2s
retries: 30
mem_limit: 512m
cpus: ${DB_CPUS:-1.0}
valkey:
image: valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571
command: [valkey-server, /run/secrets/valkey_config]
secrets: [valkey_config, valkey_password]
volumes: [sessions:/data]
healthcheck:
test: [CMD-SHELL, 'REDISCLI_AUTH="$$(cat /run/secrets/valkey_password)" valkey-cli ping | grep -q PONG']
interval: 2s
timeout: 2s
retries: 30
mem_limit: 256m
cpus: 0.5
migrate:
image: mtusi-messenger:lab4
build: .
command: [migrate]
environment:
DATABASE_URL_FILE: /run/secrets/database_url
secrets: [database_url]
depends_on:
db: {condition: service_healthy}
mem_limit: 256m
cpus: 0.5
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
api:
image: mtusi-messenger:lab4
build: .
deploy:
replicas: ${API_REPLICAS:-2}
environment:
APP_HOST: ${APP_HOST:-0.0.0.0}
APP_PORT: 8080
APP_ENV: ${APP_ENV:-lab}
SESSION_STORE: ${SESSION_STORE:-valkey}
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
DB_POOL_MAX: ${DB_POOL_MAX:-8}
MAX_INFLIGHT: ${MAX_INFLIGHT:-32}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
GOMEMLIMIT: ${GOMEMLIMIT:-512MiB}
GODEBUG: madvdontneed=0
POOL_METRICS: ${POOL_METRICS:-0}
REQUEST_LOG: ${REQUEST_LOG:-1}
DATABASE_URL_FILE: ${DATABASE_URL_FILE:-/run/secrets/database_url}
CACHE_URL_FILE: ${CACHE_URL_FILE:-/run/secrets/cache_url}
CURSOR_SECRET_FILE: ${CURSOR_SECRET_FILE:-/run/secrets/cursor_secret}
S3_ENDPOINT: http://s3:9000
S3_REGION: us-east-1
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
secrets: [database_url, cache_url, cursor_secret, s3_access_key_id, s3_secret_access_key]
tmpfs: ["/tmp:size=64m,mode=1777,noexec,nosuid,nodev"]
depends_on:
db: {condition: service_healthy}
valkey: {condition: service_healthy}
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: ${API_MEMORY:-768m}
cpus: ${API_CPUS:-1.0}
pids_limit: 128
logging:
options: {max-size: 10m, max-file: "2"}
stop_grace_period: 10s
s3:
image: mtusi-minio:RELEASE.2025-10-15T17-29-55Z
build:
context: .
dockerfile: Dockerfile.minio
command: [server, /data, --console-address, "127.0.0.1:9001"]
environment:
MINIO_ROOT_USER_FILE: /run/secrets/s3_root_user
MINIO_ROOT_PASSWORD_FILE: /run/secrets/s3_root_password
MINIO_BROWSER: "off"
secrets: [s3_root_user, s3_root_password]
volumes: [objects:/data]
networks:
object_store:
aliases: [minio-backend]
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 1g
cpus: 1.0
healthcheck:
test: [CMD, /healthcheck]
interval: 2s
timeout: 2s
retries: 60
s3-init:
image: mtusi-minio-tools:RELEASE.2025-08-13T08-35-41Z
build:
context: .
dockerfile: Dockerfile.minio
target: tools
entrypoint: [/bin/sh, /bootstrap/s3-init.sh]
secrets: [s3_root_user, s3_root_password, s3_access_key_id, s3_secret_access_key]
volumes: [./infra/s3-init.sh:/bootstrap/s3-init.sh:ro, ./infra/s3-policy.json:/bootstrap/policy.json:ro]
depends_on:
s3: {condition: service_healthy}
lb: {condition: service_started}
tmpfs: ["/tmp:size=16m,mode=1777,noexec,nosuid,nodev"]
environment: {MC_CONFIG_DIR: /tmp/mc}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 128m
cpus: 0.5
cleanup:
image: mtusi-messenger:lab4
build: .
command: [reconcile-loop]
restart: unless-stopped
environment:
DATABASE_URL_FILE: /run/secrets/database_url
S3_ENDPOINT: http://s3:9000
S3_REGION: us-east-1
S3_BUCKET: messenger-attachments
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key
secrets: [database_url, s3_access_key_id, s3_secret_access_key]
depends_on:
db: {condition: service_healthy}
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 256m
cpus: 0.25
healthcheck: {disable: true}
logging:
options: {max-size: 10m, max-file: "2"}
lb:
image: haproxy:3.2.6-alpine
ports: ["127.0.0.1:${APP_PORT:-8080}:8080"]
volumes: [./infra/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
depends_on:
s3: {condition: service_healthy}
networks:
default:
aliases: [s3]
object_store: {}
read_only: true
cap_drop: [ALL]
security_opt: [no-new-privileges:true]
mem_limit: 128m
cpus: 0.5
stop_grace_period: 10s
logging:
options: {max-size: 10m, max-file: "2"}
healthcheck:
test: [CMD-SHELL, "wget -q -O /dev/null http://127.0.0.1:8080/health/ready"]
interval: 2s
timeout: 2s
retries: 30
networks:
object_store:
internal: true
volumes:
pgdata:
sessions:
objects:
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
valkey_password: {file: ./secrets/valkey_password}
valkey_config: {file: ./secrets/valkey.conf}
cache_url: {file: ./secrets/cache_url}
cursor_secret: {file: ./secrets/cursor_secret}
s3_root_user: {file: ./secrets/s3_root_user}
s3_root_password: {file: ./secrets/s3_root_password}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
+56
View File
@@ -0,0 +1,56 @@
# Фактические результаты lab4
Полный прогон завершён: **да**.
Контракт и публичные тесты неизменны: True.
| Проверка | Exit code | Время, с |
| --- | --- | --- |
| contract | 0 | 0.138 |
| go-test | 0 | 5.41 |
| go-vet | 0 | 0.78 |
| student-unit | 0 | 8.884 |
| go-vuln | 0 | 4.982 |
| bootstrap | 0 | 0.108 |
| compose-config | 0 | 0.532 |
| start | 0 | 22.452 |
| build-tests | 0 | 1.33 |
| openapi | 0 | 3.173 |
| go-race | 0 | 50.4 |
| smoke | 0 | 6.144 |
| attachments | 0 | 2.309 |
| persistence | 0 | 16.616 |
| ready-before-failover | 0 | 4.723 |
| failover-1 | 0 | 18.656 |
| restore-1 | 0 | 2.349 |
| failover-2 | 0 | 17.823 |
| restore-2 | 0 | 1.614 |
| failures | 0 | 30.976 |
| memory | 0 | 28.649 |
| research | 0 | 120.647 |
| load | 0 | 35.234 |
| infrastructure | 0 | 3.879 |
## 10 одновременно стартующих uploads
| Bytes | Успех | 503 | RPS успешных | p95, мс | Σ cgroup peak, MiB |
| --- | --- | --- | --- | --- | --- |
| 207687 | 10 | 0 | 115.97 | 85.46 | 155.77 |
| 7466790 | 10 | 0 | 3.55 | 2815.11 | 291.10 |
Сумма отдельных kernel peaks — верхняя оценка одновременного общего пика. Startup включён.
## Согласованность DB/S3
| Этап | Orphan | Missing | Удалено | Отмечено | Восстановлено |
| --- | --- | --- | --- | --- | --- |
| dry_run | 1 | 1 | 0 | 0 | 0 |
| apply | 1 | 1 | 1 | 1 | 0 |
| repeat_apply | 0 | 1 | 0 | 0 | 0 |
| recovery | 0 | 0 | 0 | 0 | 1 |
| Добавлено объектов | Объектов всего | Metadata rows | HEAD requests | Время обхода, мс (3 повтора) |
| --- | --- | --- | --- | --- |
| 10 | 144 | 133 | 141 | 629, 454, 269 |
| 100 | 244 | 133 | 241 | 615, 554, 487 |
Каждый PASS опирается на журнал соответствующей команды. Отсутствующие результаты не считаются выполненными.
+12
View File
@@ -0,0 +1,12 @@
{
"complete": true,
"passed": [
"byte limit before decode",
"corrupt, empty, MIME spoof",
"pixel limit before full decode",
"unsafe filename",
"foreign attachment and chat ACL",
"attachment-only, text-only, replay, concurrent replay, exact download",
"real JPEG exact download"
]
}
+1
View File
@@ -0,0 +1 @@
PASS attachment validation, ACL and compatibility
+1
View File
@@ -0,0 +1 @@
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+4
View File
@@ -0,0 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 132, "failed_attempts": 4, "first_recovery_seconds": 2.339}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+4
View File
@@ -0,0 +1,4 @@
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://lb:8080"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 3, "first_recovery_seconds": 2.312}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
+12
View File
@@ -0,0 +1,12 @@
{
"complete": true,
"passed": [
"private bucket anonymous GET: 403",
"unsigned trailers, storage REST, S3 Select and replication headers blocked at private proxy",
"API account cannot administer, create bucket or write outside original/",
"idempotent bootstrap preserves data and credentials",
"S3 outage: live 200, ready/upload/content 503, restart retains bytes",
"exact uploading container stopped; another replica returned identical original with old session",
"interrupted body creates no metadata; dependency recovers"
]
}
+1
View File
@@ -0,0 +1 @@
PASS private bucket, least privilege, bootstrap, S3 outage, aborted body
+10
View File
@@ -0,0 +1,10 @@
{
"timestamp_utc": "2026-10-30T17:39:39.691788+00:00",
"public_contract_and_tests_unchanged": true,
"local_secret_scan": "no local secret values found in git-visible text files",
"full_integration_complete": true,
"integration_revalidation_required": false,
"checks_passed": 24,
"ten_successful_parallel_uploads_at_each_size": true,
"readiness_regressions_passed": 5
}
+28
View File
@@ -0,0 +1,28 @@
go: downloading github.com/minio/minio-go/v7 v7.4.1
go: downloading golang.org/x/crypto v0.57.0
go: downloading github.com/jackc/pgx/v5 v5.9.2
go: downloading github.com/redis/go-redis/v9 v9.12.1
go: downloading github.com/cespare/xxhash/v2 v2.3.0
go: downloading github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f
go: downloading gopkg.in/ini.v1 v1.67.3
go: downloading github.com/minio/md5-simd v1.1.2
go: downloading golang.org/x/net v0.60.0
go: downloading github.com/dustin/go-humanize v1.0.1
go: downloading github.com/google/uuid v1.6.0
go: downloading github.com/klauspost/compress v1.19.2
go: downloading github.com/klauspost/crc32 v1.3.0
go: downloading github.com/minio/crc64nvme v1.1.1
go: downloading github.com/zeebo/xxh3 v1.1.0
go: downloading go.yaml.in/yaml/v3 v3.0.5
go: downloading github.com/jackc/puddle/v2 v2.2.2
go: downloading github.com/jackc/pgpassfile v1.0.0
go: downloading github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761
go: downloading golang.org/x/text v0.42.0
go: downloading github.com/rs/xid v1.6.0
go: downloading github.com/tinylib/msgp v1.6.4
go: downloading github.com/klauspost/cpuid/v2 v2.4.0
go: downloading golang.org/x/sys v0.48.0
go: downloading golang.org/x/sync v0.23.0
go: downloading github.com/philhofer/fwd v1.2.0
ok mtusi-messenger 2.213s
? mtusi-messenger/infra [no test files]
+2
View File
@@ -0,0 +1,2 @@
ok mtusi-messenger (cached)
? mtusi-messenger/infra [no test files]
View File
+9
View File
@@ -0,0 +1,9 @@
=== Symbol Results ===
No vulnerabilities found.
Your code is affected by 0 vulnerabilities.
This scan also found 0 vulnerabilities in packages you import and 3
vulnerabilities in modules you require, but your code doesn't appear to call
these vulnerabilities.
Use '-show verbose' for more details.
+139
View File
@@ -0,0 +1,139 @@
{
"timestamp_utc": "2026-10-30T17:39:24.152775+00:00",
"containers": [
{
"id": "bad03eba0f797ecf9b4533dc9a481928857468ec6b724f0df913a6a208f38d23",
"name": "/mtusi-lab4-api-1",
"instance": "bad03eba0f79",
"state": "running",
"started_at": "2026-10-30T17:36:32.095548483Z",
"nano_cpus": 1000000000,
"memory_bytes": 805306368,
"ports": {
"8080/tcp": null
},
"image": "mtusi-messenger:lab4"
},
{
"id": "7d3983584e28c15354b148f486a7cf6d688929bcf2fcd62d0208f02b4fa95eab",
"name": "/mtusi-lab4-api-2",
"instance": "7d3983584e28",
"state": "running",
"started_at": "2026-10-30T17:36:31.792326987Z",
"nano_cpus": 1000000000,
"memory_bytes": 805306368,
"ports": {
"8080/tcp": null
},
"image": "mtusi-messenger:lab4"
},
{
"id": "295ab00c9ff9868db00f419b13a6686790a185bd5d4fee2eb2d71af1b70d7894",
"name": "/mtusi-lab4-cleanup-1",
"instance": "295ab00c9ff9",
"state": "running",
"started_at": "2026-10-30T17:33:30.968955602Z",
"nano_cpus": 250000000,
"memory_bytes": 268435456,
"ports": {
"8080/tcp": null
},
"image": "mtusi-messenger:lab4"
},
{
"id": "c6b006c443fae052885f0713df55a0f0d023d8be356f5b0e2c4c16ad3d58f56a",
"name": "/mtusi-lab4-db-1",
"instance": "c6b006c443fa",
"state": "running",
"started_at": "2026-10-30T17:34:46.279164079Z",
"nano_cpus": 1000000000,
"memory_bytes": 536870912,
"ports": {
"5432/tcp": null
},
"image": "postgres:17.6-bookworm@sha256:f3bd19c606e442c3d7bdfa8002e03fe260a1023351e0ea4598032022b68dd6e3"
},
{
"id": "61d73bbbe53995b02b88c8bb12b14f62cb4f54d42a2dd78ce1b564552701ad8d",
"name": "/mtusi-lab4-lb-1",
"instance": "61d73bbbe539",
"state": "running",
"started_at": "2026-10-30T17:34:56.63772265Z",
"nano_cpus": 500000000,
"memory_bytes": 134217728,
"ports": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "8080"
}
]
},
"image": "haproxy:3.2.6-alpine"
},
{
"id": "6a8a7e99597f3348befd363f2b02c20840a62c031be9cae0650d0b3f2363ab32",
"name": "/mtusi-lab4-migrate-1",
"instance": "6a8a7e99597f",
"state": "exited",
"started_at": "2026-10-30T17:33:23.966533767Z",
"nano_cpus": 500000000,
"memory_bytes": 268435456,
"ports": {},
"image": "mtusi-messenger:lab4"
},
{
"id": "72035d94e70ad3f996f34751c9533d7be313157a9001eb3df43e1e9a297ccaaf",
"name": "/mtusi-lab4-s3-1",
"instance": "72035d94e70a",
"state": "running",
"started_at": "2026-10-30T17:36:06.129926786Z",
"nano_cpus": 1000000000,
"memory_bytes": 1073741824,
"ports": {},
"image": "mtusi-minio:RELEASE.2025-10-15T17-29-55Z"
},
{
"id": "0516f33c5b0c1a7d2050f310663c4f5cf93d36f666220053aec0b28267a06e23",
"name": "/mtusi-lab4-s3-init-1",
"instance": "0516f33c5b0c",
"state": "exited",
"started_at": "2026-10-30T17:33:24.48278211Z",
"nano_cpus": 500000000,
"memory_bytes": 134217728,
"ports": {},
"image": "mtusi-minio-tools:RELEASE.2025-08-13T08-35-41Z"
},
{
"id": "96dc99b9811ca66a62e2917dbec82d101ce70d483715c50663c97aff7b032ae0",
"name": "/mtusi-lab4-valkey-1",
"instance": "96dc99b9811c",
"state": "running",
"started_at": "2026-10-30T17:34:46.422221358Z",
"nano_cpus": 500000000,
"memory_bytes": 268435456,
"ports": {
"6379/tcp": null
},
"image": "valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571"
}
],
"database": {
"users": 157,
"chats": 56,
"messages": 13055,
"idempotency_keys": 13055,
"database_bytes": 15453331,
"fsync": "on",
"synchronous_commit": "on",
"full_page_writes": "on"
},
"docker_engine": {
"cpus": 12,
"memory_bytes": 3956068352,
"os_type": "linux",
"kernel": "6.18.54.1-microsoft-standard-WSL2",
"version": "29.3.0",
"operating_system": "Docker Desktop (containerized)"
}
}
+22
View File
@@ -0,0 +1,22 @@
{
"timestamp_utc": "2026-10-30T15:57:48.149130+00:00",
"method": "isolated synthetic Argon2id 64 MiB, t=3, p=1; 5 hashes with debug.FreeOSMemory after each; same image, 1 CPU, 768 MiB, no network",
"default_kdf_ms": [
708.618,
1134.511,
325.256,
385.927,
991.58
],
"madv_free_kdf_ms": [
505.942,
154.841,
220.599,
170.899,
186.14
],
"default_system_cpu_usec": 2820411,
"madv_free_system_cpu_usec": 356547,
"password_parameters_unchanged": true,
"limitation": "small diagnostic series; MADV_FREE retains RSS until memory pressure, so final ten-upload memory experiment is rerun"
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.069,
"concurrency": 4,
"successful_requests": 11543,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 383.878,
"successful_latency_ms": {
"p50": 7.953,
"p95": 27.216,
"p99": 34.457
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+17
View File
@@ -0,0 +1,17 @@
{
"lab": 4,
"workload": "closed-loop POST messages; no automatic retries",
"requested_duration_seconds": 30.0,
"elapsed_seconds": 30.069,
"concurrency": 4,
"successful_requests": 11543,
"failed_requests": 0,
"error_ratio": 0.0,
"successful_rps": 383.878,
"successful_latency_ms": {
"p50": 7.953,
"p95": 27.216,
"p99": 34.457
},
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
}
+10
View File
@@ -0,0 +1,10 @@
Traceback (most recent call last):
File "C:\Users\maxsi\lab4\mtusi2026lab4-fork\student-tests\memory.py", line 89, in <module>
main()
~~~~^^
File "C:\Users\maxsi\lab4\mtusi2026lab4-fork\student-tests\memory.py", line 34, in main
compose('up','-d','--no-deps','--force-recreate','--scale','api=2','api');wait_ready(count=2)
~~~~~~~~~~^^^^^^^^^
File "C:\Users\maxsi\lab4\mtusi2026lab4-fork\student-tests\common.py", line 63, in wait_ready
raise RuntimeError('stack did not become ready')
RuntimeError: stack did not become ready
+33
View File
@@ -0,0 +1,33 @@
{
"timestamp_utc": "2026-10-30T17:39:38.317078+00:00",
"method": "TCP-only probes against the local Compose-published IPv4 loopback; no application data",
"localhost_resolution": [
[
23,
"::1"
],
[
2,
"127.0.0.1"
]
],
"tcp_probes": [
{
"target": "::1",
"result": "ConnectionRefusedError",
"seconds": 2.064
},
{
"target": "127.0.0.1",
"result": "connected",
"seconds": 0.006
},
{
"target": "localhost",
"result": "connected",
"seconds": 2.09
}
],
"memory_cases_passed": 2,
"uploads_per_case": 10
}
+1
View File
@@ -0,0 +1 @@
PASS 10-client memory experiment at two sizes (see upload-memory.json)
+793
View File
@@ -0,0 +1,793 @@
=== Symbol Results ===
Vulnerability #1: GO-2026-6700
Pre-negotiation frame limit is not enforced to 4KB in
github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6700
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.14.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
Vulnerability #2: GO-2026-6617
HTTP/2 server crash due to HPACK encoder race in net/http
More info: https://pkg.go.dev/vuln/GO-2026-6617
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.60.0
Vulnerable symbols found:
#1: http2.ClientConn.Close
#2: http2.ClientConn.Ping
#3: http2.ClientConn.RoundTrip
#4: http2.ClientConn.Shutdown
#5: http2.ConfigureTransports
Use '-show traces' to see the other 44 found symbols
Vulnerability #3: GO-2026-6612
Double flow control refund on HTTP/2 server streams in net/http
More info: https://pkg.go.dev/vuln/GO-2026-6612
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.60.0
Vulnerable symbols found:
#1: http2.ClientConn.Close
#2: http2.ClientConn.Ping
#3: http2.ClientConn.RoundTrip
#4: http2.ClientConn.Shutdown
#5: http2.ConfigureTransports
Use '-show traces' to see the other 44 found symbols
Vulnerability #4: GO-2026-6611
Excessive CPU consumption from repeated initial window changes in net/http
More info: https://pkg.go.dev/vuln/GO-2026-6611
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.60.0
Vulnerable symbols found:
#1: http2.ClientConn.Close
#2: http2.ClientConn.Ping
#3: http2.ClientConn.RoundTrip
#4: http2.ClientConn.Shutdown
#5: http2.ConfigureTransports
Use '-show traces' to see the other 44 found symbols
Vulnerability #5: GO-2026-6610
HTTP/2 transport accepts malformed framing-related headers in net/http
More info: https://pkg.go.dev/vuln/GO-2026-6610
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.60.0
Vulnerable symbols found:
#1: http2.Transport.NewClientConn
#2: http2.Transport.RoundTrip
#3: http2.Transport.RoundTripOpt
#4: http2.clientConnPool.GetClientConn
#5: http2.noDialClientConnPool.GetClientConn
Use '-show traces' to see the other 3 found symbols
Vulnerability #6: GO-2026-6603
HTTP/2 server memory exhaustion due to Trailer headers in net/http
More info: https://pkg.go.dev/vuln/GO-2026-6603
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.60.0
Vulnerable symbols found:
#1: http2.ClientConn.Close
#2: http2.ClientConn.Ping
#3: http2.ClientConn.RoundTrip
#4: http2.ClientConn.Shutdown
#5: http2.ConfigureTransports
Use '-show traces' to see the other 44 found symbols
Vulnerability #7: GO-2026-6505
OpenTelemetry-Go: Exporter config logging may leak endpoint URLs in info
logs in go.opentelemetry.io/otel/exporters/otlp/otlptrace
More info: https://pkg.go.dev/vuln/GO-2026-6505
Module: go.opentelemetry.io/otel/sdk
Found in: go.opentelemetry.io/otel/sdk@v1.35.0
Fixed in: go.opentelemetry.io/otel/sdk@v1.45.0
Vulnerable symbols found:
#1: aggregate.Builder[float64].ExplicitBucketHistogram
#2: aggregate.Builder[float64].ExponentialBucketHistogram
#3: aggregate.Builder[float64].LastValue
#4: aggregate.Builder[float64].PrecomputedLastValue
#5: aggregate.Builder[float64].PrecomputedSum
Use '-show traces' to see the other 269 found symbols
Module: go.opentelemetry.io/otel/sdk/metric
Found in: go.opentelemetry.io/otel/sdk/metric@v1.35.0
Fixed in: N/A
Vulnerable symbols found:
#1: metricdata.Extrema[float64].MarshalJSON
#2: metricdata.Extrema[float64].MarshalText
#3: metricdata.Extrema[float64].Value
#4: metricdata.Extrema[float64].float64]
#5: metricdata.Extrema[float64].float64]
Use '-show traces' to see the other 16 found symbols
Vulnerability #8: GO-2026-6503
RabbitMQ amqp091-go: Denial of Service via Sub-Spec Frame Size Negotiation
in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6503
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
Vulnerability #9: GO-2026-6502
RabbitMQ amqp091-go: Consumer Message Flooding via Signed-to-Unsigned
Integer Casting in Qos Configuration in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6502
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Channel.Qos
Vulnerability #10: GO-2026-6500
RabbitMQ amqp091-go: Resource Exhaustion (OOM) via Unbounded Body Buffer
Allocation in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6500
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
Vulnerability #11: GO-2026-6498
RabbitMQ amqp091-go: Silent Data Truncation and State Corruption via
Shortstr Integer Overflow in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6498
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.AMQPlainAuth.Response
#2: amqp091.Channel.Ack
#3: amqp091.Channel.Cancel
#4: amqp091.Channel.Close
#5: amqp091.Channel.Confirm
Use '-show traces' to see the other 39 found symbols
Vulnerability #12: GO-2026-6496
RabbitMQ amqp091-go: Protocol Desynchronization and Frame Injection via
Integer Overflow in readLongstr in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6496
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
#4: amqp091.reader.ReadFrame
Vulnerability #13: GO-2026-6494
RabbitMQ amqp091-go: Denial of Service via Malicious Field Length in AMQP
Client in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6494
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
#4: amqp091.reader.ReadFrame
Vulnerability #14: GO-2026-6493
RabbitMQ amqp091-go: Connection Configuration Overwrite via Unsanitized TLS
Path Parameter Injection in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6493
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.URI.String
Vulnerability #15: GO-2026-6492
RabbitMQ amqp091-go: Missing Explicit TLS Minimum Version Configuration In
URI Parser in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6492
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
Vulnerability #16: GO-2026-6491
RabbitMQ amqp091-go: Plaintext Credential Exposure via Exported PLAIN
Authentication Struct Fields in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6491
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.Dial
#2: amqp091.DialConfig
#3: amqp091.Open
Vulnerability #17: GO-2026-6443
Server panic via missing authority or Host headers in google.golang.org/grpc
More info: https://pkg.go.dev/vuln/GO-2026-6443
Module: google.golang.org/grpc
Found in: google.golang.org/grpc@v1.72.0
Fixed in: google.golang.org/grpc@v1.82.2
Vulnerable symbols found:
#1: transport.http2Server.HandleStreams
Vulnerability #18: GO-2026-6372
Potential Memory Exhaustion/Protocol Violation via Broker-Controlled
Oversized Payload in github.com/rabbitmq/amqp091-go
More info: https://pkg.go.dev/vuln/GO-2026-6372
Module: github.com/rabbitmq/amqp091-go
Found in: github.com/rabbitmq/amqp091-go@v1.10.0
Fixed in: github.com/rabbitmq/amqp091-go@v1.13.0
Vulnerable symbols found:
#1: amqp091.AMQPlainAuth.Mechanism
#2: amqp091.AMQPlainAuth.Response
#3: amqp091.Channel.Ack
#4: amqp091.Channel.Cancel
#5: amqp091.Channel.Close
Use '-show traces' to see the other 89 found symbols
Vulnerability #19: GO-2026-6355
Prevent DoS on deadlocked established channel in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-6355
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.56.0
Vulnerable symbols found:
#1: ssh.NewServerConn
Vulnerability #20: GO-2026-6354
Prevent DoS on deadlocked undecided channel in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-6354
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.56.0
Vulnerable symbols found:
#1: ssh.NewServerConn
#2: ssh.channel.Accept
Vulnerability #21: GO-2026-6348
Heap Memory Exhaustion (OOM) via HTTP/2 DATA Frame Fragmentation in
google.golang.org/grpc
More info: https://pkg.go.dev/vuln/GO-2026-6348
Module: google.golang.org/grpc
Found in: google.golang.org/grpc@v1.72.0
Fixed in: google.golang.org/grpc@v1.83.1
Vulnerable symbols found:
#1: mem.BufferSlice.MaterializeToBuffer
#2: mem.Copy
#3: mem.IsBelowBufferPoolingThreshold
#4: mem.NewBuffer
#5: mem.ReadAll
Use '-show traces' to see the other 20 found symbols
Vulnerability #22: GO-2026-6303
Source-address critical option not enforced for non-public-key auth
callbacks in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-6303
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.55.0
Vulnerable symbols found:
#1: ssh.NewServerConn
Vulnerability #23: GO-2026-6061
Vulnerabilities in the xDS RBAC authorization engine and the HTTP/2
transport server implementation in google.golang.org/grpc
More info: https://pkg.go.dev/vuln/GO-2026-6061
Module: google.golang.org/grpc
Found in: google.golang.org/grpc@v1.72.0
Fixed in: google.golang.org/grpc@v1.82.1
Vulnerable symbols found:
#1: rbac.ChainEngine.IsAuthorized
#2: rbac.NewChainEngine
#3: transport.ClientStream.Close
#4: transport.ClientStream.Header
#5: transport.ClientStream.Read
Use '-show traces' to see the other 19 found symbols
Vulnerability #24: GO-2026-5970
Infinite loop on invalid input in golang.org/x/text
More info: https://pkg.go.dev/vuln/GO-2026-5970
Module: golang.org/x/text
Found in: golang.org/x/text@v0.24.0
Fixed in: golang.org/x/text@v0.39.0
Vulnerable symbols found:
#1: norm.Form.String
Vulnerability #25: GO-2026-5757
MinIO vulnerable to Path Traversal via msgpack Body in `ReadMultiple`
Storage-REST Endpoint in github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-5757
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #26: GO-2026-5710
Prometheus Azure AD remote write OAuth client secret exposed via config API
in github.com/prometheus/prometheus
More info: https://pkg.go.dev/vuln/GO-2026-5710
Module: github.com/prometheus/prometheus
Found in: github.com/prometheus/prometheus@v0.303.0
Fixed in: github.com/prometheus/prometheus@v0.311.3
Vulnerable symbols found:
#1: histogram.Bucket[float64].String
#2: histogram.Bucket[float64].float64]
#3: histogram.Bucket[go.shape
#4: histogram.Bucket[go.shape
#5: histogram.Bucket[uint64].String
Use '-show traces' to see the other 19 found symbols
Vulnerability #27: GO-2026-5662
Prometheus has Stored XSS via metric names and label values in Prometheus
web UI in github.com/prometheus/prometheus
More info: https://pkg.go.dev/vuln/GO-2026-5662
Module: github.com/prometheus/prometheus
Found in: github.com/prometheus/prometheus@v0.303.0
Fixed in: github.com/prometheus/prometheus@v0.311.2-0.20260410083055-07c6232d159b
Vulnerable symbols found:
#1: histogram.Bucket[float64].String
#2: histogram.Bucket[float64].float64]
#3: histogram.Bucket[go.shape
#4: histogram.Bucket[go.shape
#5: histogram.Bucket[uint64].String
Use '-show traces' to see the other 19 found symbols
Vulnerability #28: GO-2026-5437
MinIO has an Unauthenticated Object Write via Query-String Credential
Signature Bypass in Unsigned-Trailer Uploads in github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-5437
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #29: GO-2026-5415
MinIO affected a DoS via Unbounded Memory Allocation in S3 Select CSV
Parsing in github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-5415
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #30: GO-2026-5381
Prometheus vulnerable to stored XSS via crafted histogram bucket label
values in the old web UI heatmap display in github.com/prometheus/prometheus
More info: https://pkg.go.dev/vuln/GO-2026-5381
Module: github.com/prometheus/prometheus
Found in: github.com/prometheus/prometheus@v0.303.0
Fixed in: github.com/prometheus/prometheus@v0.311.3
Vulnerable symbols found:
#1: histogram.Bucket[float64].String
#2: histogram.Bucket[float64].float64]
#3: histogram.Bucket[go.shape
#4: histogram.Bucket[go.shape
#5: histogram.Bucket[uint64].String
Use '-show traces' to see the other 19 found symbols
Vulnerability #31: GO-2026-5284
MinIO has an Unauthenticated Object Write via Missing Signature Verification
in Unsigned-Trailer Uploads in github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-5284
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #32: GO-2026-5264
Prometheus: Remote read endpoint allows denial of service via crafted snappy
payload in github.com/prometheus/prometheus
More info: https://pkg.go.dev/vuln/GO-2026-5264
Module: github.com/prometheus/prometheus
Found in: github.com/prometheus/prometheus@v0.303.0
Fixed in: github.com/prometheus/prometheus@v0.305.2
Vulnerable symbols found:
#1: histogram.Bucket[float64].String
#2: histogram.Bucket[float64].float64]
#3: histogram.Bucket[go.shape
#4: histogram.Bucket[go.shape
#5: histogram.Bucket[uint64].String
Use '-show traces' to see the other 19 found symbols
Vulnerability #33: GO-2026-5026
Invoking failure to reject ASCII-only Punycode-encoded labels in
golang.org/x/net/idna
More info: https://pkg.go.dev/vuln/GO-2026-5026
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.55.0
Vulnerable symbols found:
#1: idna.ToASCII
Vulnerability #34: GO-2026-5023
Invoking VerifiedPublicKeyCallback permissions skip enforcement in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5023
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
Vulnerability #35: GO-2026-5020
Invoking infinite loop on large channel writes in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5020
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
#2: ssh.channel.Write
#3: ssh.channel.WriteExtended
#4: ssh.curve25519sha256.Client
#5: ssh.curve25519sha256.Server
Use '-show traces' to see the other 7 found symbols
Vulnerability #36: GO-2026-5019
Invoking bypass of FIDO/U2F security keys physical interaction in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5019
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.CertChecker.Authenticate
#2: ssh.CertChecker.CheckCert
#3: ssh.Certificate.Verify
#4: ssh.NewServerConn
#5: ssh.skECDSAPublicKey.Verify
Use '-show traces' to see the other 1 found symbols
Vulnerability #37: GO-2026-5018
Invoking pathological RSA/DSA parameters may cause DoS in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5018
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
#2: ssh.NewSignerFromKey
#3: ssh.ParseAuthorizedKey
#4: ssh.ParsePrivateKey
#5: ssh.ParsePublicKey
Use '-show traces' to see the other 1 found symbols
Vulnerability #38: GO-2026-5017
Invoking client can cause server deadlock on unexpected responses in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5017
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
#2: ssh.channel.SendRequest
#3: ssh.mux.SendRequest
Vulnerability #39: GO-2026-5016
Invoking memory leak when rejecting channels can lead to DoS in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5016
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.channel.Reject
Vulnerability #40: GO-2026-5015
Invoking server panic during CheckHostKey/Authenticate in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5015
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.CertChecker.Authenticate
Vulnerability #41: GO-2026-5014
Invoking bypass of certificate restrictions in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5014
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
Vulnerability #42: GO-2026-5013
Invoking byte arithmetic causes underflow and panic in
golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2026-5013
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.52.0
Vulnerable symbols found:
#1: ssh.NewServerConn
#2: ssh.curve25519sha256.Client
#3: ssh.curve25519sha256.Server
#4: ssh.dhGEXSHA.Client
#5: ssh.dhGEXSHA.Server
Use '-show traces' to see the other 4 found symbols
Vulnerability #43: GO-2026-4945
Go JOSE Panics in JWE decryption in github.com/go-jose/go-jose
More info: https://pkg.go.dev/vuln/GO-2026-4945
Module: github.com/go-jose/go-jose/v4
Found in: github.com/go-jose/go-jose/v4@v4.1.0
Fixed in: github.com/go-jose/go-jose/v4@v4.1.4
Vulnerable symbols found:
#1: jose.JSONWebKey.IsPublic
#2: jose.JSONWebKey.MarshalJSON
#3: jose.JSONWebKey.Public
#4: jose.JSONWebKey.Thumbprint
#5: jose.JSONWebKey.UnmarshalJSON
Use '-show traces' to see the other 4 found symbols
Vulnerability #44: GO-2026-4918
Infinite loop in HTTP/2 transport when given bad SETTINGS_MAX_FRAME_SIZE in
net/http/internal/http2 in golang.org/x/net
More info: https://pkg.go.dev/vuln/GO-2026-4918
Module: golang.org/x/net
Found in: golang.org/x/net@v0.39.0
Fixed in: golang.org/x/net@v0.53.0
Vulnerable symbols found:
#1: http2.Transport.NewClientConn
#2: http2.Transport.RoundTrip
#3: http2.Transport.RoundTripOpt
#4: http2.clientConnPool.GetClientConn
#5: http2.noDialClientConnPool.GetClientConn
Use '-show traces' to see the other 3 found symbols
Vulnerability #45: GO-2026-4896
MinIO is Vulnerable to SSE Metadata Injection via Replication Headers in
github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-4896
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #46: GO-2026-4803
MinIO LDAP login brute-force via user enumeration and missing rate limit in
github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-4803
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #47: GO-2026-4779
MinIO has JWT Algorithm Confusion in OIDC Authentication in
github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2026-4779
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Vulnerability #48: GO-2026-4762
Authorization bypass in gRPC-Go via missing leading slash in :path in
google.golang.org/grpc
More info: https://pkg.go.dev/vuln/GO-2026-4762
Module: google.golang.org/grpc
Found in: google.golang.org/grpc@v1.72.0
Fixed in: google.golang.org/grpc@v1.79.3
Vulnerable symbols found:
#1: grpc.Server.Serve
#2: grpc.Server.ServeHTTP
Vulnerability #49: GO-2026-4394
OpenTelemetry Go SDK Vulnerable to Arbitrary Code Execution via PATH
Hijacking in go.opentelemetry.io/otel/sdk
More info: https://pkg.go.dev/vuln/GO-2026-4394
Module: go.opentelemetry.io/otel/sdk
Found in: go.opentelemetry.io/otel/sdk@v1.35.0
Fixed in: go.opentelemetry.io/otel/sdk@v1.40.0
Vulnerable symbols found:
#1: aggregate.Builder[float64].ExplicitBucketHistogram
#2: aggregate.Builder[float64].ExponentialBucketHistogram
#3: aggregate.Builder[float64].LastValue
#4: aggregate.Builder[float64].PrecomputedLastValue
#5: aggregate.Builder[float64].PrecomputedSum
Use '-show traces' to see the other 269 found symbols
Module: go.opentelemetry.io/otel/sdk/metric
Found in: go.opentelemetry.io/otel/sdk/metric@v1.35.0
Fixed in: N/A
Vulnerable symbols found:
#1: metricdata.Extrema[float64].MarshalJSON
#2: metricdata.Extrema[float64].MarshalText
#3: metricdata.Extrema[float64].Value
#4: metricdata.Extrema[float64].float64]
#5: metricdata.Extrema[float64].float64]
Use '-show traces' to see the other 16 found symbols
Vulnerability #50: GO-2025-4173
Eclipse Paho Go MQTT may incorrectly encode strings if length exceeds 65535
bytes in github.com/eclipse/paho.mqtt.golang
More info: https://pkg.go.dev/vuln/GO-2025-4173
Module: github.com/eclipse/paho.mqtt.golang
Found in: github.com/eclipse/paho.mqtt.golang@v1.5.0
Fixed in: github.com/eclipse/paho.mqtt.golang@v1.5.1
Vulnerable symbols found:
#1: packets.ConnackPacket.Details
#2: packets.ConnackPacket.String
#3: packets.ConnackPacket.Unpack
#4: packets.ConnackPacket.Write
#5: packets.ConnectPacket.Details
Use '-show traces' to see the other 247 found symbols
Vulnerability #51: GO-2025-4134
Unbounded memory consumption in golang.org/x/crypto/ssh
More info: https://pkg.go.dev/vuln/GO-2025-4134
Module: golang.org/x/crypto
Found in: golang.org/x/crypto@v0.37.0
Fixed in: golang.org/x/crypto@v0.45.0
Vulnerable symbols found:
#1: ssh.NewServerConn
Vulnerability #52: GO-2025-3495
MinIO SFTP authentication bypass due to improperly trusted SSH key in
github.com/minio/minio
More info: https://pkg.go.dev/vuln/GO-2025-3495
Module: github.com/minio/minio
Found in: github.com/minio/minio@v0.0.0-20251015172955-9e49d5e7a648
Fixed in: N/A
Vulnerable symbols found:
#1: amztime.ISO8601Format
#2: amztime.ISO8601Parse
#3: amztime.Parse
#4: amztime.ParseHeader
#5: amztime.ParseReplicationTS
Use '-show traces' to see the other 6116 found symbols
Module: github.com/minio/minio-go/v7
Found in: github.com/minio/minio-go/v7@v7.0.91
Fixed in: N/A
Vulnerable symbols found:
#1: cors.Config.ToXML
#2: cors.ParseBucketCorsConfig
#3: credentials.Chain.IsExpired
#4: credentials.Chain.Retrieve
#5: credentials.Chain.RetrieveWithCredContext
Use '-show traces' to see the other 601 found symbols
Your code is affected by 52 vulnerabilities from 10 modules.
This scan also found 4 vulnerabilities in packages you import and 22
vulnerabilities in modules you require, but your code doesn't appear to call
these vulnerabilities.
Use '-show verbose' for more details.
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://lb:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+14
View File
@@ -0,0 +1,14 @@
{
"contracts/examples.json": "2816da2e63058d55bdcbeceb92b231ea2509c86df8c5a0aa908be83bd0599469",
"contracts/infrastructure.json": "18a6b38deab39878da174f01e54addc4c7de556f9b3b7f37d96ec1ef0dd240b7",
"contracts/openapi.json": "61c7dbac7bd8d57423a2883b4b7b1277e8e35918d25c37e2cd02eaf6817936f0",
"contracts/README.md": "4c04faede4a2ffa35183455b51da21764b7fa3997c0a4b3963614b82586eed28",
"tests/client.py": "b318084e2a4c380db91a55d082190bf33979fa556a4c4ca87e01f46ae275775c",
"tests/image_probe.py": "ef48d8882ab138b9699a173e7419e5814c22a10b01b6b0ddbb50ea49481a5baa",
"tests/load.py": "9a9aff05e109630e243c3b092d7bd564344e4872b29e38b6618647a08460a72e",
"tests/README.md": "89afb3063ec0ccd7cb68fdac1de57513f9cc81b77bad96f202daaca2b66a5e82",
"tests/resilience.py": "4ba30b9c81a0664127ddab2b0bea5e76aa2087be8bb25aa13cd5a8e69be23fdd",
"tests/smoke.py": "354e168e1e644145c3ff50bbbe189fd217cce5659aa125f588098025ffab0fdf",
"tests/fixtures/README.md": "0eaa4e8837032d1786fc0c4b1576656ff3f4d1931fdd51b80e5c053f88ab3872",
"tests/fixtures/sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
}
+8
View File
@@ -0,0 +1,8 @@
Container mtusi-lab4-api-1 Recreate
Container mtusi-lab4-api-2 Recreate
Container mtusi-lab4-api-2 Recreated
Container mtusi-lab4-api-1 Recreated
Container mtusi-lab4-api-1 Starting
Container mtusi-lab4-api-1 Started
Container mtusi-lab4-api-2 Starting
Container mtusi-lab4-api-2 Started
+276
View File
@@ -0,0 +1,276 @@
{
"complete": true,
"track": 2,
"grace_seconds": 60,
"hypothesis": "Per-key locks, durable PostgreSQL rechecks and age threshold remove only old unreferenced objects; missing metadata is retained and recoverable.",
"faults": [
"PostgreSQL INSERT exception after successful S3 PUT",
"S3 object removed after acknowledged upload"
],
"dry_run": {
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:03.164108Z",
"objects_scanned": 131,
"metadata_scanned": 130,
"old_orphans": 1,
"fresh_protected": 1,
"metadata_protected": 129,
"active_protected": 0,
"missing": 1,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 132,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 323,
"complete": true
},
"apply": {
"apply": true,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:06.027858Z",
"objects_scanned": 131,
"metadata_scanned": 130,
"old_orphans": 1,
"fresh_protected": 1,
"metadata_protected": 129,
"active_protected": 0,
"missing": 1,
"recovered": 0,
"deleted": 1,
"marked_unavailable": 1,
"cleared_unavailable": 0,
"head_requests": 132,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 429,
"complete": true
},
"repeat_apply": {
"apply": true,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:09.830275Z",
"objects_scanned": 130,
"metadata_scanned": 130,
"old_orphans": 0,
"fresh_protected": 1,
"metadata_protected": 129,
"active_protected": 0,
"missing": 1,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 131,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 547,
"complete": true
},
"recovery": {
"apply": true,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:12.350328Z",
"objects_scanned": 131,
"metadata_scanned": 130,
"old_orphans": 0,
"fresh_protected": 1,
"metadata_protected": 130,
"active_protected": 0,
"missing": 0,
"recovered": 1,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 1,
"head_requests": 131,
"get_requests": 1,
"verified_bytes": 111817,
"elapsed_ms": 495,
"complete": true
},
"concurrent": {
"apply": true,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:13.500580Z",
"objects_scanned": 134,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 4,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 131,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 426,
"complete": true
},
"fresh_orphan_protected": true,
"used_original_checksum": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75",
"scan_cost": [
{
"added_objects": 10,
"runs": [
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:18.155529Z",
"objects_scanned": 144,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 14,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 141,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 629,
"complete": true
},
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:19.349362Z",
"objects_scanned": 144,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 14,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 141,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 454,
"complete": true
},
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:20.376076Z",
"objects_scanned": 144,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 14,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 141,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 269,
"complete": true
}
]
},
{
"added_objects": 100,
"runs": [
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:39.331089Z",
"objects_scanned": 244,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 114,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 241,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 615,
"complete": true
},
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:40.446324Z",
"objects_scanned": 244,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 114,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 241,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 554,
"complete": true
},
{
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:41.602835Z",
"objects_scanned": 244,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 114,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 241,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 487,
"complete": true
}
]
}
],
"final": {
"apply": false,
"grace_seconds": 60,
"cutoff": "2026-10-30T17:37:42.591332Z",
"objects_scanned": 244,
"metadata_scanned": 133,
"old_orphans": 0,
"fresh_protected": 114,
"metadata_protected": 133,
"active_protected": 0,
"missing": 0,
"recovered": 0,
"deleted": 0,
"marked_unavailable": 0,
"cleared_unavailable": 0,
"head_requests": 241,
"get_requests": 0,
"verified_bytes": 0,
"elapsed_ms": 482,
"complete": true
}
}
+4
View File
@@ -0,0 +1,4 @@
Waiting 65 seconds for the real S3 LastModified grace (no timestamp forgery).
Container mtusi-lab4-s3-init-run-87a2b1a4c042 Creating
Container mtusi-lab4-s3-init-run-87a2b1a4c042 Created
PASS Track 2: both failures, dry-run, repair, repeat, fresh/used protection and measured scan cost
+6
View File
@@ -0,0 +1,6 @@
287d13f6fa5a05dd8138401a17605454a26b8ad1fde38063f89533046449a340 api 2026-10-30T17:34:47.995556812Z running
23cdf86873484ce293e835e836f619fa6d5b957f7c6e7224f0693e37ec3ae4f7 api 2026-10-30T17:34:47.782734394Z running
c6b006c443fae052885f0713df55a0f0d023d8be356f5b0e2c4c16ad3d58f56a db 2026-10-30T17:34:46.279164079Z running
61d73bbbe53995b02b88c8bb12b14f62cb4f54d42a2dd78ce1b564552701ad8d lb 2026-10-30T17:34:56.63772265Z running
72035d94e70ad3f996f34751c9533d7be313157a9001eb3df43e1e9a297ccaaf s3 2026-10-30T17:34:46.171817681Z running
96dc99b9811ca66a62e2917dbec82d101ce70d483715c50663c97aff7b032ae0 valkey 2026-10-30T17:34:46.422221358Z running
+6
View File
@@ -0,0 +1,6 @@
287d13f6fa5a05dd8138401a17605454a26b8ad1fde38063f89533046449a340 api 2026-10-30T17:33:31.254669056Z running
23cdf86873484ce293e835e836f619fa6d5b957f7c6e7224f0693e37ec3ae4f7 api 2026-10-30T17:33:30.967453639Z running
c6b006c443fae052885f0713df55a0f0d023d8be356f5b0e2c4c16ad3d58f56a db 2026-10-30T17:20:40.094358694Z running
61d73bbbe53995b02b88c8bb12b14f62cb4f54d42a2dd78ce1b564552701ad8d lb 2026-10-30T17:20:40.921943998Z running
72035d94e70ad3f996f34751c9533d7be313157a9001eb3df43e1e9a297ccaaf s3 2026-10-30T17:22:13.846912487Z running
96dc99b9811ca66a62e2917dbec82d101ce70d483715c50663c97aff7b032ae0 valkey 2026-10-30T17:20:40.048793768Z running
+3
View File
@@ -0,0 +1,3 @@
Container mtusi-lab4-api-1 Running
Container mtusi-lab4-api-2 Starting
Container mtusi-lab4-api-2 Started
+3
View File
@@ -0,0 +1,3 @@
Container mtusi-lab4-api-2 Running
Container mtusi-lab4-api-1 Starting
Container mtusi-lab4-api-1 Started
+46
View File
@@ -0,0 +1,46 @@
{
"timestamp_utc": "2026-10-30T17:39:39.323699+00:00",
"api": [
{
"id": "bad03eba0f797ecf9b4533dc9a481928857468ec6b724f0df913a6a208f38d23",
"instance": "bad03eba0f79",
"user": "65532:65532",
"read_only": true,
"cap_drop": [
"ALL"
],
"security_options": [
"no-new-privileges:true"
],
"tmpfs": {
"/tmp": "size=64m,mode=1777,noexec,nosuid,nodev"
},
"memory_bytes": 805306368,
"oom_killed": false
},
{
"id": "7d3983584e28c15354b148f486a7cf6d688929bcf2fcd62d0208f02b4fa95eab",
"instance": "7d3983584e28",
"user": "65532:65532",
"read_only": true,
"cap_drop": [
"ALL"
],
"security_options": [
"no-new-privileges:true"
],
"tmpfs": {
"/tmp": "size=64m,mode=1777,noexec,nosuid,nodev"
},
"memory_bytes": 805306368,
"oom_killed": false
}
],
"godebug": "madvdontneed=0",
"object_store_internal": true,
"object_store_members": [
"mtusi-lab4-lb-1",
"mtusi-lab4-s3-1"
],
"direct_backend_probe": "PASS: a temporary container on mtusi-lab4_default could not GET the actual MinIO backend IP (2-second timeout); separately observed in this session before final integration; network configuration unchanged"
}
+1
View File
@@ -0,0 +1 @@
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
+1
View File
@@ -0,0 +1 @@
b0d098842044763b9251c2e88bebe2bb4f39e30eb79307d7251d1bc91cf0149d exited 2026-10-30T17:35:28.72031777Z 0
+1
View File
@@ -0,0 +1 @@
b0d098842044763b9251c2e88bebe2bb4f39e30eb79307d7251d1bc91cf0149d running 2026-10-30T17:35:00.949717443Z
+41
View File
@@ -0,0 +1,41 @@
.....
----------------------------------------------------------------------
Ran 5 tests in 0.066s
OK
=== RUN TestPasswordHashSaltAndFullUnicode
--- PASS: TestPasswordHashSaltAndFullUnicode (0.46s)
=== RUN TestCursorIntegrityResourceAndRestart
--- PASS: TestCursorIntegrityResourceAndRestart (0.00s)
=== RUN TestStrictJSON
--- PASS: TestStrictJSON (0.00s)
=== RUN TestAttachmentFilename
--- PASS: TestAttachmentFilename (0.00s)
=== RUN TestAttachmentMessageValidation
--- PASS: TestAttachmentMessageValidation (0.00s)
=== RUN TestUntrustedImagesRejectedBeforeStorage
=== RUN TestUntrustedImagesRejectedBeforeStorage/empty
=== RUN TestUntrustedImagesRejectedBeforeStorage/invalid_bytes
=== RUN TestUntrustedImagesRejectedBeforeStorage/truncated_PNG
=== RUN TestUntrustedImagesRejectedBeforeStorage/truncated_JPEG
=== RUN TestUntrustedImagesRejectedBeforeStorage/spoof_PNG
=== RUN TestUntrustedImagesRejectedBeforeStorage/spoof_JPEG
=== RUN TestUntrustedImagesRejectedBeforeStorage/unsupported_MIME
=== RUN TestUntrustedImagesRejectedBeforeStorage/large_header
=== RUN TestUntrustedImagesRejectedBeforeStorage/chunked_bytes_limit
=== RUN TestUntrustedImagesRejectedBeforeStorage/pixel_guard
--- PASS: TestUntrustedImagesRejectedBeforeStorage (0.02s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/empty (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/invalid_bytes (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/truncated_PNG (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/truncated_JPEG (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/spoof_PNG (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/spoof_JPEG (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/unsupported_MIME (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/large_header (0.00s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/chunked_bytes_limit (0.01s)
--- PASS: TestUntrustedImagesRejectedBeforeStorage/pixel_guard (0.00s)
=== RUN TestReconcilerDistinguishesStorageFaults
--- PASS: TestReconcilerDistinguishesStorageFaults (0.00s)
PASS
ok mtusi-messenger 4.877s
+228
View File
@@ -0,0 +1,228 @@
{
"complete": true,
"method": "10 simultaneous clients, no retries; docker stats CPU/RAM plus kernel cgroup-v2 memory.peak; API cgroups recreated per case. Sum of individual peaks is an upper bound on simultaneous total peak.",
"cases": [
{
"file_bytes": 207687,
"pixels": 65536,
"concurrency": 10,
"requests": 10,
"success": 4,
"backpressure_503": 6,
"error_fraction": 0.6,
"successful_rps": 1.9044784095475915,
"duration_seconds": 2.1003125999995973,
"p50_seconds": 2.090941299989936,
"p95_seconds": 2.0952364999975543,
"p99_seconds": 2.0952364999975543,
"baseline_bytes": 144703488,
"sampled_peak_bytes": 151005430,
"baseline_cgroups": [
{
"memory.current": 77324288,
"memory.peak": 77324288
},
{
"memory.current": 77221888,
"memory.peak": 77221888
}
],
"peak_cgroups": [
{
"memory.current": 79790080,
"memory.peak": 79790080
},
{
"memory.current": 79736832,
"memory.peak": 79736832
}
],
"sum_cgroup_peaks_bytes": 159526912,
"samples": [
{
"t": 95273.7633672,
"total_bytes": 144703488,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "69.31MiB / 768MiB",
"CPUPerc": "0.39%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "68.69MiB / 768MiB",
"CPUPerc": "0.38%"
}
]
},
{
"t": 95275.8241669,
"total_bytes": 145573806,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "69.76MiB / 768MiB",
"CPUPerc": "0.35%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "69.07MiB / 768MiB",
"CPUPerc": "0.32%"
}
]
},
{
"t": 95277.8819649,
"total_bytes": 149537423,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "71.32MiB / 768MiB",
"CPUPerc": "0.34%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "71.29MiB / 768MiB",
"CPUPerc": "0.39%"
}
]
},
{
"t": 95279.8978409,
"total_bytes": 151005430,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "72.41MiB / 768MiB",
"CPUPerc": "5.49%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "71.6MiB / 768MiB",
"CPUPerc": "2.60%"
}
]
}
]
},
{
"file_bytes": 7466790,
"pixels": 2359296,
"concurrency": 10,
"requests": 10,
"success": 4,
"backpressure_503": 6,
"error_fraction": 0.6,
"successful_rps": 1.042656837681367,
"duration_seconds": 3.836353299993789,
"p50_seconds": 3.489761200005887,
"p95_seconds": 3.8327185999951325,
"p99_seconds": 3.8327185999951325,
"baseline_bytes": 143696855,
"sampled_peak_bytes": 208089907,
"baseline_cgroups": [
{
"memory.current": 77160448,
"memory.peak": 77160448
},
{
"memory.current": 75128832,
"memory.peak": 75128832
}
],
"peak_cgroups": [
{
"memory.current": 100597760,
"memory.peak": 114049024
},
{
"memory.current": 101150720,
"memory.peak": 111169536
}
],
"sum_cgroup_peaks_bytes": 225218560,
"samples": [
{
"t": 95287.4687733,
"total_bytes": 143696855,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "68.61MiB / 768MiB",
"CPUPerc": "0.80%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "68.43MiB / 768MiB",
"CPUPerc": "0.43%"
}
]
},
{
"t": 95289.5000525,
"total_bytes": 144944660,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "69.23MiB / 768MiB",
"CPUPerc": "0.72%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "69MiB / 768MiB",
"CPUPerc": "0.49%"
}
]
},
{
"t": 95291.5119588,
"total_bytes": 208089907,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "99.66MiB / 768MiB",
"CPUPerc": "14.14%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "98.79MiB / 768MiB",
"CPUPerc": "10.13%"
}
]
},
{
"t": 95293.5524877,
"total_bytes": 194080932,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "92.62MiB / 768MiB",
"CPUPerc": "5.04%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "92.47MiB / 768MiB",
"CPUPerc": "3.74%"
}
]
},
{
"t": 95295.5980135,
"total_bytes": 193818788,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "93.16MiB / 768MiB",
"CPUPerc": "0.48%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "91.68MiB / 768MiB",
"CPUPerc": "0.85%"
}
]
}
]
}
]
}
+212
View File
@@ -0,0 +1,212 @@
{
"complete": true,
"method": "10 simultaneous clients, no retries; docker stats CPU/RAM plus kernel cgroup-v2 memory.peak; API cgroups recreated per case. Sum of individual peaks is an upper bound on simultaneous total peak.",
"cases": [
{
"file_bytes": 207687,
"pixels": 65536,
"concurrency": 10,
"requests": 10,
"success": 10,
"backpressure_503": 0,
"error_fraction": 0.0,
"successful_rps": 6.332330988655537,
"duration_seconds": 1.5791973000013968,
"p50_seconds": 1.4107216999982484,
"p95_seconds": 1.5757480999891413,
"p99_seconds": 1.5757480999891413,
"baseline_bytes": 147052299,
"sampled_peak_bytes": 155786936,
"baseline_cgroups": [
{
"memory.current": 75612160,
"memory.peak": 75612160
},
{
"memory.current": 77545472,
"memory.peak": 77545472
}
],
"peak_cgroups": [
{
"memory.current": 81932288,
"memory.peak": 81932288
},
{
"memory.current": 81616896,
"memory.peak": 85520384
}
],
"sum_cgroup_peaks_bytes": 167452672,
"samples": [
{
"t": 103787.1242098,
"total_bytes": 147052299,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "70.14MiB / 768MiB",
"CPUPerc": "7.20%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "70.1MiB / 768MiB",
"CPUPerc": "0.52%"
}
]
},
{
"t": 103789.1592151,
"total_bytes": 155786936,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "74.21MiB / 768MiB",
"CPUPerc": "2.39%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "74.36MiB / 768MiB",
"CPUPerc": "2.00%"
}
]
},
{
"t": 103791.1856362,
"total_bytes": 155671593,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "73.89MiB / 768MiB",
"CPUPerc": "0.61%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "74.57MiB / 768MiB",
"CPUPerc": "0.90%"
}
]
}
]
},
{
"file_bytes": 7466790,
"pixels": 2359296,
"concurrency": 10,
"requests": 10,
"success": 10,
"backpressure_503": 0,
"error_fraction": 0.0,
"successful_rps": 1.760477278066049,
"duration_seconds": 5.680277799998294,
"p50_seconds": 4.48676629998954,
"p95_seconds": 5.678354400006356,
"p99_seconds": 5.678354400006356,
"baseline_bytes": 146622382,
"sampled_peak_bytes": 314887373,
"baseline_cgroups": [
{
"memory.current": 76034048,
"memory.peak": 76353536
},
{
"memory.current": 78921728,
"memory.peak": 78921728
}
],
"peak_cgroups": [
{
"memory.current": 131788800,
"memory.peak": 157995008
},
{
"memory.current": 130334720,
"memory.peak": 162095104
}
],
"sum_cgroup_peaks_bytes": 320090112,
"samples": [
{
"t": 103799.6723452,
"total_bytes": 146622382,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "69.63MiB / 768MiB",
"CPUPerc": "0.52%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "70.2MiB / 768MiB",
"CPUPerc": "0.45%"
}
]
},
{
"t": 103801.6795483,
"total_bytes": 314887373,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "150.7MiB / 768MiB",
"CPUPerc": "92.34%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "149.6MiB / 768MiB",
"CPUPerc": "87.04%"
}
]
},
{
"t": 103803.8871612,
"total_bytes": 307127910,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "142.4MiB / 768MiB",
"CPUPerc": "1.58%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "150.5MiB / 768MiB",
"CPUPerc": "1.44%"
}
]
},
{
"t": 103805.9074708,
"total_bytes": 254908826,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "122MiB / 768MiB",
"CPUPerc": "7.77%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "121.1MiB / 768MiB",
"CPUPerc": "4.01%"
}
]
},
{
"t": 103807.9171466,
"total_bytes": 253021389,
"containers": [
{
"Name": "mtusi-lab4-api-1",
"MemUsage": "120.5MiB / 768MiB",
"CPUPerc": "0.58%"
},
{
"Name": "mtusi-lab4-api-2",
"MemUsage": "120.8MiB / 768MiB",
"CPUPerc": "0.68%"
}
]
}
]
}
]
}
+293
View File
@@ -0,0 +1,293 @@
{
"started_utc": "2026-10-30T17:32:53.444369+00:00",
"complete": true,
"checks": [
{
"name": "contract",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/check_contract.py"
],
"exit_code": 0,
"seconds": 0.138
},
{
"name": "go-test",
"command": [
"go",
"test",
"./..."
],
"exit_code": 0,
"seconds": 5.41
},
{
"name": "go-vet",
"command": [
"go",
"vet",
"./..."
],
"exit_code": 0,
"seconds": 0.78
},
{
"name": "student-unit",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/unit.py"
],
"exit_code": 0,
"seconds": 8.884
},
{
"name": "go-vuln",
"command": [
"go",
"run",
"golang.org/x/vuln/cmd/govulncheck@v1.1.4",
"./..."
],
"exit_code": 0,
"seconds": 4.982
},
{
"name": "bootstrap",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/bootstrap.py"
],
"exit_code": 0,
"seconds": 0.108
},
{
"name": "compose-config",
"command": [
"docker",
"compose",
"config",
"--quiet"
],
"exit_code": 0,
"seconds": 0.532
},
{
"name": "start",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"start"
],
"exit_code": 0,
"seconds": 22.452
},
{
"name": "build-tests",
"command": [
"docker",
"build",
"-f",
"Dockerfile.tests",
"-t",
"mtusi-messenger:lab4-tests",
"."
],
"exit_code": 0,
"seconds": 1.33
},
{
"name": "openapi",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"validate"
],
"exit_code": 0,
"seconds": 3.173
},
{
"name": "go-race",
"command": [
"docker",
"run",
"--rm",
"--mount",
"type=bind,source=C:\\Users\\maxsi\\lab4\\mtusi2026lab4-fork,target=/workspace",
"mtusi-messenger:lab4-tests",
"go",
"test",
"-race",
"./..."
],
"exit_code": 0,
"seconds": 50.4
},
{
"name": "smoke",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"tests/smoke.py"
],
"exit_code": 0,
"seconds": 6.144
},
{
"name": "attachments",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/attachments.py"
],
"exit_code": 0,
"seconds": 2.309
},
{
"name": "persistence",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-persistence"
],
"exit_code": 0,
"seconds": 16.616
},
{
"name": "ready-before-failover",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"restore"
],
"exit_code": 0,
"seconds": 4.723
},
{
"name": "failover-1",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-failover"
],
"exit_code": 0,
"seconds": 18.656
},
{
"name": "restore-1",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"restore"
],
"exit_code": 0,
"seconds": 2.349
},
{
"name": "failover-2",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/linux_tests.py",
"test-failover"
],
"exit_code": 0,
"seconds": 17.823
},
{
"name": "restore-2",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"restore"
],
"exit_code": 0,
"seconds": 1.614
},
{
"name": "failures",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/failures.py"
],
"exit_code": 0,
"seconds": 30.976
},
{
"name": "memory",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/memory.py"
],
"exit_code": 0,
"seconds": 28.649
},
{
"name": "research",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"student-tests/research.py"
],
"exit_code": 0,
"seconds": 120.647
},
{
"name": "load",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"tests/load.py",
"--duration",
"30",
"--concurrency",
"4",
"--output",
"evidence/load.json"
],
"exit_code": 0,
"seconds": 35.234
},
{
"name": "infrastructure",
"command": [
"C:\\Python314\\python.exe",
"-X",
"utf8",
"scripts/manage.py",
"status"
],
"exit_code": 0,
"seconds": 3.879
}
],
"protected_unchanged": true
}
+37
View File
@@ -0,0 +1,37 @@
module mtusi-messenger
go 1.26.0
toolchain go1.27.3
require (
github.com/jackc/pgx/v5 v5.9.2
github.com/minio/minio-go/v7 v7.4.1
github.com/redis/go-redis/v9 v9.12.1
golang.org/x/crypto v0.57.0
)
require (
github.com/cespare/xxhash/v2 v2.3.0 // indirect
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f // indirect
github.com/dustin/go-humanize v1.0.1 // indirect
github.com/google/uuid v1.6.0 // indirect
github.com/jackc/pgpassfile v1.0.0 // indirect
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 // indirect
github.com/jackc/puddle/v2 v2.2.2 // indirect
github.com/klauspost/compress v1.19.2 // indirect
github.com/klauspost/cpuid/v2 v2.4.0 // indirect
github.com/klauspost/crc32 v1.3.0 // indirect
github.com/minio/crc64nvme v1.1.1 // indirect
github.com/minio/md5-simd v1.1.2 // indirect
github.com/philhofer/fwd v1.2.0 // indirect
github.com/rs/xid v1.6.0 // indirect
github.com/tinylib/msgp v1.6.4 // indirect
github.com/zeebo/xxh3 v1.1.0 // indirect
go.yaml.in/yaml/v3 v3.0.5 // indirect
golang.org/x/net v0.60.0 // indirect
golang.org/x/sync v0.23.0 // indirect
golang.org/x/sys v0.48.0 // indirect
golang.org/x/text v0.42.0 // indirect
gopkg.in/ini.v1 v1.67.3 // indirect
)
+77
View File
@@ -0,0 +1,77 @@
github.com/bsm/ginkgo/v2 v2.12.0 h1:Ny8MWAHyOepLGlLKYmXG4IEkioBysk6GpaRTLC8zwWs=
github.com/bsm/ginkgo/v2 v2.12.0/go.mod h1:SwYbGRRDovPVboqFv0tPTcG1sN61LM1Z4ARdbAV9g4c=
github.com/bsm/gomega v1.27.10 h1:yeMWxP2pV2fG3FgAODIY8EiRE3dy0aeFYt4l7wh6yKA=
github.com/bsm/gomega v1.27.10/go.mod h1:JyEr/xRbxbtgWNi8tIEVPUYZ5Dzef52k01W3YH0H+O0=
github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs=
github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs=
github.com/davecgh/go-spew v1.1.0/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/davecgh/go-spew v1.1.1/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f h1:lO4WD4F/rVNCu3HqELle0jiPLLBs70cWOduZpkS1E78=
github.com/dgryski/go-rendezvous v0.0.0-20200823014737-9f7001d12a5f/go.mod h1:cuUVRXasLTGF7a8hSLbxyZXjz+1KgoB3wDUb6vlszIc=
github.com/dustin/go-humanize v1.0.1 h1:GzkhY7T5VNhEkwH0PVJgjz+fX1rhBrR7pRT3mDkpeCY=
github.com/dustin/go-humanize v1.0.1/go.mod h1:Mu1zIs6XwVuF/gI1OepvI0qD18qycQx+mFykh5fBlto=
github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0=
github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
github.com/jackc/pgpassfile v1.0.0 h1:/6Hmqy13Ss2zCq62VdNG8tM1wchn8zjSGOBJ6icpsIM=
github.com/jackc/pgpassfile v1.0.0/go.mod h1:CEx0iS5ambNFdcRtxPj5JhEz+xB6uRky5eyVu/W2HEg=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761 h1:iCEnooe7UlwOQYpKFhBabPMi4aNAfoODPEFNiAnClxo=
github.com/jackc/pgservicefile v0.0.0-20240606120523-5a60cdf6a761/go.mod h1:5TJZWKEWniPve33vlWYSoGYefn3gLQRzjfDlhSJ9ZKM=
github.com/jackc/pgx/v5 v5.9.2 h1:3ZhOzMWnR4yJ+RW1XImIPsD1aNSz4T4fyP7zlQb56hw=
github.com/jackc/pgx/v5 v5.9.2/go.mod h1:mal1tBGAFfLHvZzaYh77YS/eC6IX9OWbRV1QIIM0Jn4=
github.com/jackc/puddle/v2 v2.2.2 h1:PR8nw+E/1w0GLuRFSmiioY6UooMp6KJv0/61nB7icHo=
github.com/jackc/puddle/v2 v2.2.2/go.mod h1:vriiEXHvEE654aYKXXjOvZM39qJ0q+azkZFrfEOc3H4=
github.com/klauspost/compress v1.19.2 h1:hMRETovs/pu/dVWN7zIT1PGG8t509MwT6bO7XSi26R8=
github.com/klauspost/compress v1.19.2/go.mod h1:cwPg85FWrGar70rWktvGQj8/hthj3wpl0PGDogxkrSQ=
github.com/klauspost/cpuid/v2 v2.0.1/go.mod h1:FInQzS24/EEf25PyTYn52gqo7WaD8xa0213Md/qVLRg=
github.com/klauspost/cpuid/v2 v2.4.0 h1:S6Hrbc7+ywsr0r+RLapfGBHfyefhCTwEh3A0tV913Dw=
github.com/klauspost/cpuid/v2 v2.4.0/go.mod h1:19jmZ9mjzoF//ddRSUsv0zfBTJWh3QJh9FNxZTMrGxU=
github.com/klauspost/crc32 v1.3.0 h1:sSmTt3gUt81RP655XGZPElI0PelVTZ6YwCRnPSupoFM=
github.com/klauspost/crc32 v1.3.0/go.mod h1:D7kQaZhnkX/Y0tstFGf8VUzv2UofNGqCjnC3zdHB0Hw=
github.com/minio/crc64nvme v1.1.1 h1:8dwx/Pz49suywbO+auHCBpCtlW1OfpcLN7wYgVR6wAI=
github.com/minio/crc64nvme v1.1.1/go.mod h1:eVfm2fAzLlxMdUGc0EEBGSMmPwmXD5XiNRpnu9J3bvg=
github.com/minio/md5-simd v1.1.2 h1:Gdi1DZK69+ZVMoNHRXJyNcxrMA4dSxoYHZSQbirFg34=
github.com/minio/md5-simd v1.1.2/go.mod h1:MzdKDxYpY2BT9XQFocsiZf/NKVtR7nkE4RoEpN+20RM=
github.com/minio/minio-go/v7 v7.4.1 h1:PtU/zIOfQRWZ+QydXAZysc+xZYHdG+BBR4Z6TUvy73w=
github.com/minio/minio-go/v7 v7.4.1/go.mod h1:nQnQi7zTfXR4lREtYXZQWqo5aw0Rqv+ZqCGrTORygRk=
github.com/philhofer/fwd v1.2.0 h1:e6DnBTl7vGY+Gz322/ASL4Gyp1FspeMvx1RNDoToZuM=
github.com/philhofer/fwd v1.2.0/go.mod h1:RqIHx9QI14HlwKwm98g9Re5prTQ6LdeRQn+gXJFxsJM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/redis/go-redis/v9 v9.12.1 h1:k5iquqv27aBtnTm2tIkROUDp8JBXhXZIVu1InSgvovg=
github.com/redis/go-redis/v9 v9.12.1/go.mod h1:huWgSWd8mW6+m0VPhJjSSQ+d6Nh1VICQ6Q5lHuCH/Iw=
github.com/rs/xid v1.6.0 h1:fV591PaemRlL6JfRxGDEPl69wICngIQ3shQtzfy2gxU=
github.com/rs/xid v1.6.0/go.mod h1:7XoLgs4eV+QndskICGsho+ADou8ySMSjJKDIan90Nz0=
github.com/stretchr/objx v0.1.0/go.mod h1:HFkY916IF+rwdDfMAkV7OtwuqBVzrE8GR6GFx+wExME=
github.com/stretchr/objx v0.4.0/go.mod h1:YvHI0jy2hoMjB+UWwv71VJQ9isScKT/TqJzVSSt89Yw=
github.com/stretchr/objx v0.5.0/go.mod h1:Yh+to48EsGEfYuaHDzXPcE3xhTkx73EhmCGUpEOglKo=
github.com/stretchr/objx v0.5.2/go.mod h1:FRsXN1f5AsAjCGJKqEizvkpNtU+EGNCLh3NxZ/8L+MA=
github.com/stretchr/testify v1.3.0/go.mod h1:M5WIy9Dh21IEIfnGCwXGc5bZfKNJtfHm1UVUgZn+9EI=
github.com/stretchr/testify v1.7.0/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.7.1/go.mod h1:6Fq8oRcR53rry900zMqJjRRixrwX3KX962/h/Wwjteg=
github.com/stretchr/testify v1.8.0/go.mod h1:yNjHg4UonilssWZ8iaSj1OCr/vHnekPRkoO+kdMU+MU=
github.com/stretchr/testify v1.8.4/go.mod h1:sz/lmYIOXD/1dqDmKjjqLyZ2RngseejIcXlSw2iwfAo=
github.com/stretchr/testify v1.11.1/go.mod h1:wZwfW3scLgRK+23gO65QZefKpKQRnfz6sD981Nm4B6U=
github.com/stretchr/testify v1.12.1 h1:EuwCh5fleGS7H32xRwO3wRGT7DxrDhLAT6FF8MpWDWE=
github.com/stretchr/testify v1.12.1/go.mod h1:MDEgiDPPsNp5cuIrHPPCyornHKgEVbtFUmoNlxoYthg=
github.com/tinylib/msgp v1.6.4 h1:mOwYbyYDLPj35mkA2BjjYejgJk9BuHxDdvRnb6v2ZcQ=
github.com/tinylib/msgp v1.6.4/go.mod h1:RSp0LW9oSxFut3KzESt5Voq4GVWyS+PSulT77roAqEA=
github.com/zeebo/assert v1.3.0 h1:g7C04CbJuIDKNPFHmsk4hwZDO5O+kntRxzaUoNXj+IQ=
github.com/zeebo/assert v1.3.0/go.mod h1:Pq9JiuJQpG8JLJdtkwrJESF0Foym2/D9XMU5ciN/wJ0=
github.com/zeebo/xxh3 v1.1.0 h1:s7DLGDK45Dyfg7++yxI0khrfwq9661w9EN78eP/UZVs=
github.com/zeebo/xxh3 v1.1.0/go.mod h1:IisAie1LELR4xhVinxWS5+zf1lA4p0MW4T+w+W07F5s=
go.yaml.in/yaml/v3 v3.0.5 h1:N6y/pJk8buWs9NY5ERU2HSMfm+IuD/OtfdAnq6kESPw=
go.yaml.in/yaml/v3 v3.0.5/go.mod h1:HVTZu1O7/Vkt2N+BFy8Zza+lnLsABggaTM2ZpNIGuKg=
golang.org/x/crypto v0.57.0 h1:3ZVCjf8Ggz7zneR/EHRVx68Ctf+2pmIMP2UFhh9cC6M=
golang.org/x/crypto v0.57.0/go.mod h1:Fdz0i5U6CoizGwLda9DttjSk6qlZo25zYNtR+ycvuZA=
golang.org/x/net v0.60.0 h1:79p50tfZlm0J9YfoDsSi639qSXNGVwEzOPLCxM2FsYU=
golang.org/x/net v0.60.0/go.mod h1:2DA/G1UfVbCpQPeWTmMPGY7Cs2PkBkwu743bVX5PIVg=
golang.org/x/sync v0.23.0 h1:KameEIfc1IkluZyXWLn39Wd4tURc6GbCiISGiZm2bQk=
golang.org/x/sync v0.23.0/go.mod h1:sUUOizhqBxiL6pEWpqNLUiaJn1ShEbZ6BBqskPbjZm0=
golang.org/x/sys v0.48.0 h1:bbX/i/6MgT9BVLM9RT1thmxL04yeTAhbEz4SyadbXoo=
golang.org/x/sys v0.48.0/go.mod h1:hNLxWAXmnKAxqDtdwIYC4bM9oQPEecfsnNMuSxOs3og=
golang.org/x/text v0.42.0 h1:JbOZXgfeCPU9gacVtYliJqOhD+zhrEqK4LfdpmlUZqI=
golang.org/x/text v0.42.0/go.mod h1:ojzP1Z+2QtioaF8DTtO8K5q7JWVVYwZKenzujK0Zd0E=
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
gopkg.in/ini.v1 v1.67.3 h1:iM9Lhz5MRSGhHVGGwCuzG9KO8PoirCXj/m/qTmOJJQw=
gopkg.in/ini.v1 v1.67.3/go.mod h1:x/cyOwCgZqOkJoDIJ3c1KNHMo10+nLGAhh+kn3Zizss=
gopkg.in/yaml.v3 v3.0.0-20200313102051-9f266ea9e77c/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
+77
View File
@@ -0,0 +1,77 @@
package main
import (
"context"
"errors"
"slices"
"sort"
"time"
"github.com/jackc/pgx/v5"
)
// The advisory lock serializes this key across processes. Message and result
// commit together; an interrupted/rolled-back transaction reserves nothing.
func (a *App) createMessage(ctx context.Context, chat, user, key, text string, ids []string) (Message, error) {
m := Message{ChatID: chat, SenderID: user, Text: text, AttachmentIDs: ids}
tx, err := a.db.Begin(ctx)
if err != nil {
return m, unavailable()
}
defer tx.Rollback(ctx)
// POST and the canonical chat path are implicit in this dedicated table.
if _, err = tx.Exec(ctx, "SELECT pg_advisory_xact_lock(hashtextextended($1,0))", user+":"+chat+":"+key); err != nil {
return m, unavailable()
}
var previous Message
var created time.Time
err = tx.QueryRow(ctx, `SELECT m.id::text,m.chat_id::text,m.sender_id::text,m.text,m.created_at,ARRAY(SELECT unnest(m.attachment_ids)::text)
FROM message_keys k JOIN messages m ON m.id=k.message_id
WHERE k.user_id=$1 AND k.chat_id=$2 AND k.key=$3 AND k.expires_at>clock_timestamp()`, user, chat, key).Scan(&previous.ID, &previous.ChatID, &previous.SenderID, utf8String{&previous.Text}, &created, &previous.AttachmentIDs)
if err == nil {
if previous.Text != text || !slices.Equal(previous.AttachmentIDs, ids) {
return m, apiError{409, "conflict", "Idempotency key has a different message"}
}
previous.CreatedAt = stamp(created)
return previous, nil
}
if !errors.Is(err, pgx.ErrNoRows) {
return m, unavailable()
}
if _, err = tx.Exec(ctx, "DELETE FROM message_keys WHERE user_id=$1 AND chat_id=$2 AND key=$3", user, chat, key); err != nil {
return m, unavailable()
}
// Serialize with reconciler; stable ordering prevents cross-upload deadlocks.
locked := slices.Clone(ids)
sort.Strings(locked)
for _, id := range locked {
if err = attachmentLock(ctx, tx, id); err != nil {
return m, unavailable()
}
var missingSince *time.Time
err = tx.QueryRow(ctx, "SELECT missing_since FROM attachments WHERE id=$1 AND chat_id=$2", id, chat).Scan(&missingSince)
if err != nil {
return m, dbError(err)
}
if missingSince != nil {
return m, unavailable()
}
}
m.ID = uuid()
if err = tx.QueryRow(ctx, "INSERT INTO messages(id,chat_id,sender_id,text,attachment_ids) VALUES($1,$2,$3,$4,$5) RETURNING created_at", m.ID, chat, user, []byte(text), ids).Scan(&created); err != nil {
return m, dbError(err)
}
if _, err = tx.Exec(ctx, "INSERT INTO message_keys(user_id,chat_id,key,message_id,expires_at) VALUES($1,$2,$3,$4,clock_timestamp()+$5::bigint*interval '1 second')", user, chat, key, m.ID, int64(a.idempotencyTTL.Seconds())); err != nil {
return m, unavailable()
}
for _, id := range ids {
if _, err = tx.Exec(ctx, "INSERT INTO message_attachments(message_id,chat_id,attachment_id) VALUES($1,$2,$3)", m.ID, chat, id); err != nil {
return m, dbError(err)
}
}
if err = tx.Commit(ctx); err != nil {
return m, unavailable()
}
m.CreatedAt = stamp(created)
return m, nil
}
+62
View File
@@ -0,0 +1,62 @@
global
log stdout format raw local0
maxconn 2048
defaults
log global
mode http
option httplog
timeout connect 500ms
timeout client 40s
timeout server 40s
timeout http-request 3s
timeout http-keep-alive 5s
timeout check 500ms
retries 0
resolvers docker
nameserver dns 127.0.0.11:53
accepted_payload_size 8192
resolve_retries 2
timeout resolve 1s
timeout retry 1s
hold valid 1s
hold obsolete 1s
hold nx 1s
frontend public
bind :8080
default_backend api
backend api
balance roundrobin
option httpchk
http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api
http-check expect status 200
server-template replica 1-4 api:8080 check inter 500ms fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none
listen stats
bind :8404
stats enable
stats uri /stats
# MinIO is reachable only through this internal listener. Public port 9000 is
# never published. Block unsupported vulnerable features in the archived CE.
frontend private_s3
bind :9000
no log
acl unsigned_trailer req.hdr(x-amz-content-sha256) -i STREAMING-UNSIGNED-PAYLOAD-TRAILER
http-request deny deny_status 403 if unsigned_trailer
acl internal_storage path,url_dec -m beg -i /minio/storage /minio/peer /minio/grid /minio/bootstrap
http-request deny deny_status 403 if internal_storage
acl s3_select query,url_dec -m reg -i '(^|&)select([=&]|$)'
http-request deny deny_status 403 if s3_select
acl replication_header req.hdr(x-minio-source-replication-request) -m found
http-request deny deny_status 403 if replication_header
default_backend minio_private
backend minio_private
option httpchk
http-check send meth GET uri /minio/health/ready ver HTTP/1.1 hdr Host minio-backend
http-check expect status 200
server minio minio-backend:9000 check inter 1s resolvers docker init-addr none
+20
View File
@@ -0,0 +1,20 @@
// Standalone health probe for the minimal MinIO container.
package main
import (
"net/http"
"os"
"time"
)
func main() {
client := http.Client{Timeout: time.Second}
response, err := client.Get("http://127.0.0.1:9000/minio/health/ready")
if err != nil {
os.Exit(1)
}
response.Body.Close()
if response.StatusCode != 200 {
os.Exit(1)
}
}
+14
View File
@@ -0,0 +1,14 @@
#!/bin/sh
set -eu
# No shell tracing and no credentials in persistent config or output.
for attempt in $(seq 1 30); do
if wget -q -O /dev/null http://s3:9000/minio/health/ready; then break; fi
sleep 1
done
mc alias set local http://s3:9000 "$(cat /run/secrets/s3_root_user)" "$(cat /run/secrets/s3_root_password)" >/dev/null
mc mb --ignore-existing local/messenger-attachments >/dev/null
mc anonymous set none local/messenger-attachments >/dev/null
mc admin user add local "$(cat /run/secrets/s3_access_key_id)" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null
mc admin policy create local messenger-api /bootstrap/policy.json >/dev/null
mc admin policy attach local messenger-api --user "$(cat /run/secrets/s3_access_key_id)" >/dev/null
echo 'Private bucket and restricted API account ready.'
+7
View File
@@ -0,0 +1,7 @@
{
"Version":"2012-10-17",
"Statement":[
{"Effect":"Allow","Action":["s3:GetBucketLocation","s3:ListBucket"],"Resource":["arn:aws:s3:::messenger-attachments"]},
{"Effect":"Allow","Action":["s3:GetObject","s3:PutObject","s3:DeleteObject"],"Resource":["arn:aws:s3:::messenger-attachments/original/*"]}
]
}
+444
View File
@@ -0,0 +1,444 @@
package main
import (
"context"
"encoding/json"
"errors"
"fmt"
"log/slog"
"net"
"net/http"
"os"
"os/signal"
"strconv"
"strings"
"sync/atomic"
"syscall"
"time"
"github.com/jackc/pgx/v5/pgxpool"
"github.com/minio/minio-go/v7"
"github.com/redis/go-redis/v9"
)
type App struct {
db *pgxpool.Pool
sessions *redis.Client
secret []byte
ttl time.Duration
slots, kdf chan struct{}
stopping atomic.Bool
dummyHash string
instance string
idempotencyTTL time.Duration
s3 *minio.Client
bucket string
uploadSlots, decodeSlot chan struct{}
}
func env(key, value string) string {
if v := os.Getenv(key); v != "" {
return v
}
return value
}
func positive(key string, fallback int) int {
n, e := strconv.Atoi(env(key, strconv.Itoa(fallback)))
if e != nil || n <= 0 {
panic("invalid positive configuration: " + key)
}
return n
}
func secretFile(key string) (string, error) {
b, e := os.ReadFile(os.Getenv(key))
if e != nil {
return "", fmt.Errorf("cannot read %s", key)
}
s := strings.TrimSpace(string(b))
if s == "" {
return "", fmt.Errorf("empty %s", key)
}
return s, nil
}
func (a *App) dispatch(ctx context.Context, w http.ResponseWriter, r *http.Request) (int, any, error) {
path := r.URL.Path
if r.Method == "GET" && (path == "/health/live" || path == "/health/ready") {
if path == "/health/ready" && (a.stopping.Load() || a.db.Ping(ctx) != nil || a.sessions.Ping(ctx).Err() != nil || !a.s3Ready(ctx)) {
return 0, nil, unavailable()
}
return 200, map[string]string{"status": "ok"}, nil
}
if a.stopping.Load() {
return 0, nil, unavailable()
}
if r.Method == "POST" && path == "/api/v1/auth/sessions" {
return a.login(ctx, r)
}
if r.Method == "POST" && path == "/api/v1/users" {
body, err := readObject(w, r, 128*1024, []string{"username", "display_name", "password"})
if err != nil {
return 0, nil, err
}
name, err := textField(body, "username", 32)
if err != nil || !usernamePattern.MatchString(name) {
return 0, nil, invalid()
}
display, err := textField(body, "display_name", 100)
if err != nil {
return 0, nil, err
}
p, err := password(body)
if err != nil {
return 0, nil, err
}
if err = a.kdfSlot(ctx); err != nil {
return 0, nil, err
}
hash := hashPassword(p)
<-a.kdf
u, err := scanUser(a.db.QueryRow(ctx, "INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING id::text,username,display_name,created_at", uuid(), name, []byte(display), hash))
return 201, u, err
}
user, key, err := a.authenticate(ctx, r)
if err != nil {
return 0, nil, err
}
if r.Method == "DELETE" && path == "/api/v1/auth/sessions/current" {
count, e := a.sessions.Del(ctx, key).Result()
if e != nil {
return 0, nil, unavailable()
}
if count == 0 {
return 0, nil, unauthorized()
}
return 204, nil, nil
}
if r.Method == "GET" && path == "/api/v1/users/me" {
u, e := a.user(ctx, user)
return 200, u, e
}
if path == "/api/v1/chats" {
if r.Method == "GET" {
scope := "chats:" + user
limit, c, e := a.pagination(r, scope)
if e != nil {
return 0, nil, e
}
page, e := a.listChats(ctx, user, limit, c, scope)
return 200, page, e
}
if r.Method == "POST" {
body, e := readObject(w, r, 128*1024, []string{"title", "member_ids"})
if e != nil {
return 0, nil, e
}
title, e := textField(body, "title", 100)
if e != nil {
return 0, nil, e
}
var ids []string
if json.Unmarshal(body["member_ids"], &ids) != nil || len(ids) < 1 || len(ids) > 100 {
return 0, nil, invalid()
}
seen := map[string]bool{}
for i, id := range ids {
normalized, e := normalizeID(id)
if e != nil || seen[normalized] {
return 0, nil, invalid()
}
ids[i] = normalized
seen[normalized] = true
}
if !seen[user] {
return 0, nil, invalid()
}
chat, e := a.createChat(ctx, title, ids)
return 201, chat, e
}
}
if strings.HasPrefix(path, "/api/v1/attachments/") {
parts := strings.Split(strings.TrimPrefix(path, "/api/v1/attachments/"), "/")
id, e := normalizeID(parts[0])
if e != nil {
return 0, nil, e
}
if r.Method != "GET" || len(parts) > 2 || (len(parts) == 2 && parts[1] != "content") {
return 0, nil, missing()
}
x, e := a.attachment(ctx, id, user)
if e != nil {
return 0, nil, e
}
if len(parts) == 1 {
return 200, x, nil
}
b, e := a.content(ctx, r, x)
return 200, b, e
}
if strings.HasPrefix(path, "/api/v1/chats/") {
parts := strings.Split(strings.TrimPrefix(path, "/api/v1/chats/"), "/")
id, e := normalizeID(parts[0])
if e != nil {
return 0, nil, e
}
if len(parts) > 2 || (len(parts) == 2 && parts[1] != "messages" && parts[1] != "attachments") {
return 0, nil, missing()
}
chat, e := a.chat(ctx, id, user)
if e != nil {
return 0, nil, e
}
if len(parts) == 1 && r.Method == "GET" {
return 200, chat, nil
}
if len(parts) == 2 && parts[1] == "attachments" {
if r.Method != "POST" {
return 0, nil, missing()
}
x, e := a.upload(ctx, w, r, id, user)
return 201, x, e
}
if len(parts) == 2 {
if r.Method == "GET" {
scope := "messages:" + id
limit, c, e := a.pagination(r, scope)
if e != nil {
return 0, nil, e
}
page, e := a.history(ctx, id, limit, c, scope)
return 200, page, e
}
if r.Method == "POST" {
keys := r.Header.Values("Idempotency-Key")
if len(keys) != 1 || !idempotencyPattern.MatchString(keys[0]) {
return 0, nil, invalid()
}
body, e := readObject(w, r, 128*1024, []string{"text", "attachment_ids"})
if e != nil {
return 0, nil, e
}
text, ids, e := messageFields(body)
if e != nil {
return 0, nil, e
}
m, e := a.createMessage(ctx, id, user, keys[0], text, ids)
return 201, m, e
}
}
}
return 0, nil, missing()
}
func (a *App) ServeHTTP(w http.ResponseWriter, r *http.Request) {
start := time.Now()
requestID := uuid()
status := 500
w.Header().Set("Content-Type", "application/json")
w.Header().Set("X-Request-Id", requestID)
w.Header().Set("X-Instance-Id", a.instance)
fail := func(err error) {
var e apiError
if !errors.As(err, &e) {
e = unavailable()
}
status = e.status
if status == 401 {
scheme := `Bearer realm="messenger"`
if r.URL.Path == "/api/v1/auth/sessions" {
scheme = `Basic realm="messenger", charset="UTF-8"`
}
w.Header().Set("WWW-Authenticate", scheme)
}
if status == 503 {
w.Header().Set("Retry-After", "1")
}
w.WriteHeader(status)
json.NewEncoder(w).Encode(map[string]any{"error": map[string]string{"code": e.code, "message": e.message, "request_id": requestID}})
}
defer func() {
if recovered := recover(); recovered != nil {
if recovered == http.ErrAbortHandler {
panic(recovered)
}
fail(apiError{500, "internal_error", "Internal server error"})
}
if env("REQUEST_LOG", "1") == "1" {
slog.Info("request", "method", r.Method, "status", status, "request_id", requestID, "duration_ms", time.Since(start).Milliseconds())
}
}()
ctx, cancel := context.WithTimeout(r.Context(), 30*time.Second)
defer cancel()
health := r.Method == "GET" && (r.URL.Path == "/health/live" || r.URL.Path == "/health/ready")
if !health {
select {
case a.slots <- struct{}{}:
defer func() { <-a.slots }()
default:
fail(unavailable())
return
}
}
code, value, err := a.dispatch(ctx, w, r)
if err != nil {
fail(err)
return
}
status = code
if b, ok := value.(binaryContent); ok {
writeContent(w, b)
return
}
w.WriteHeader(code)
if code != 204 {
json.NewEncoder(w).Encode(value)
}
}
func run() error {
if len(os.Args) > 1 && os.Args[1] == "memory-snapshot" {
return memorySnapshot()
}
if env("SESSION_STORE", "valkey") != "valkey" {
return errors.New("SESSION_STORE must be valkey")
}
address := net.JoinHostPort(env("APP_HOST", "0.0.0.0"), env("APP_PORT", "8080"))
if len(os.Args) > 1 && os.Args[1] == "reconcile" {
return runReconcile()
}
if len(os.Args) > 1 && os.Args[1] == "reconcile-loop" {
return reconcileLoop()
}
if len(os.Args) > 1 && os.Args[1] == "healthcheck" {
client := http.Client{Timeout: 2 * time.Second}
res, e := client.Get("http://127.0.0.1:" + env("APP_PORT", "8080") + "/health/ready")
if e != nil {
return errors.New("not ready")
}
defer res.Body.Close()
if res.StatusCode != 200 {
return errors.New("not ready")
}
return nil
}
dbURL, err := secretFile("DATABASE_URL_FILE")
if err != nil {
return err
}
cfg, err := pgxpool.ParseConfig(dbURL)
if err != nil {
return errors.New("invalid database configuration")
}
cfg.MaxConns = int32(positive("DB_POOL_MAX", 8))
cfg.MinConns = 0
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
cfg.ConnConfig.RuntimeParams["statement_timeout"] = "3000"
cfg.ConnConfig.RuntimeParams["lock_timeout"] = "1000"
cfg.ConnConfig.RuntimeParams["synchronous_commit"] = "on"
startup, cancel := context.WithTimeout(context.Background(), 45*time.Second)
defer cancel()
db, err := pgxpool.NewWithConfig(startup, cfg)
if err != nil {
return errors.New("database setup failed")
}
defer db.Close()
if len(os.Args) > 1 && os.Args[1] == "migrate" {
if err = migrate(startup, db); err != nil {
return fmt.Errorf("migration failed: %w", err)
}
slog.Info("migrations complete")
return nil
}
var schemaReady bool
if err = db.QueryRow(startup, "SELECT EXISTS(SELECT 1 FROM schema_migrations WHERE version='004_attachments.sql')").Scan(&schemaReady); err != nil || !schemaReady {
return errors.New("run the migrate service before starting API")
}
cacheURL, err := secretFile("CACHE_URL_FILE")
if err != nil {
return err
}
signing, err := secretFile("CURSOR_SECRET_FILE")
if err != nil {
return err
}
if len(signing) < 32 {
return errors.New("cursor secret too short")
}
options, err := redis.ParseURL(cacheURL)
if err != nil {
return errors.New("invalid session store configuration")
}
options.PoolSize = 8
options.MaxActiveConns = 8
options.DialTimeout = time.Second
options.ReadTimeout = time.Second
options.WriteTimeout = time.Second
options.PoolTimeout = time.Second
options.MaxRetries = -1
options.ContextTimeoutEnabled = true
sessions := redis.NewClient(options)
defer sessions.Close()
hostname, err := os.Hostname()
if err != nil {
return errors.New("cannot identify instance")
}
s3, bucket, err := s3Client()
if err != nil {
return err
}
a := &App{s3: s3, bucket: bucket, uploadSlots: make(chan struct{}, 5), decodeSlot: make(chan struct{}, 1), db: db, sessions: sessions, secret: []byte(signing), ttl: time.Duration(positive("SESSION_TTL_SECONDS", 3600)) * time.Second, slots: make(chan struct{}, positive("MAX_INFLIGHT", 32)), kdf: make(chan struct{}, 2), dummyHash: hashPassword("unknown-user-dummy-password"), instance: hostname, idempotencyTTL: time.Duration(positive("IDEMPOTENCY_TTL_SECONDS", 86400)) * time.Second}
if a.idempotencyTTL < 24*time.Hour {
return errors.New("idempotency retention must be at least 24 hours")
}
server := &http.Server{Addr: address, Handler: a, ReadHeaderTimeout: 2 * time.Second, ReadTimeout: 30 * time.Second, WriteTimeout: 35 * time.Second, IdleTimeout: 5 * time.Second, MaxHeaderBytes: 16 * 1024}
listener, err := net.Listen("tcp", address)
if err != nil {
return errors.New("listen failed")
}
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
defer stop()
if env("POOL_METRICS", "0") == "1" {
go func() {
ticker := time.NewTicker(time.Second)
defer ticker.Stop()
for {
select {
case <-ctx.Done():
return
case <-ticker.C:
s := db.Stat()
slog.Info("pool", "instance", a.instance, "acquired", s.AcquiredConns(), "max", s.MaxConns(), "empty_acquires", s.EmptyAcquireCount(), "acquire_ns", s.AcquireDuration().Nanoseconds())
}
}
}()
}
done := make(chan struct{})
go func() {
<-ctx.Done()
a.stopping.Store(true)
slog.Info("shutdown started")
// Allow two LB readiness checks to drain this backend before closing it.
time.Sleep(1500 * time.Millisecond)
shutdown, cancel := context.WithTimeout(context.Background(), 6*time.Second)
defer cancel()
err := server.Shutdown(shutdown)
if err != nil {
server.Close()
}
slog.Info("shutdown complete", "forced", err != nil)
close(done)
}()
slog.Info("listening", "address", address, "environment", env("APP_ENV", "lab"), "session_store", "valkey", "session_ttl_seconds", int(a.ttl.Seconds()))
if err = server.Serve(listener); err != nil && !errors.Is(err, http.ErrServerClosed) {
return errors.New("serve failed")
}
<-done
return nil
}
func main() {
slog.SetDefault(slog.New(slog.NewJSONHandler(os.Stdout, nil)))
if err := run(); err != nil {
slog.Error("startup failed", "reason", err.Error())
os.Exit(1)
}
}
+27
View File
@@ -0,0 +1,27 @@
package main
import (
"encoding/json"
"fmt"
"os"
"strconv"
"strings"
)
// Local operator command, never an HTTP endpoint. cgroup v2 records peaks
// between Docker samples too; the experiment recreates API cgroups per case.
func memorySnapshot() error {
result := map[string]uint64{}
for _, name := range []string{"memory.current", "memory.peak"} {
raw, err := os.ReadFile("/sys/fs/cgroup/" + name)
if err != nil {
return fmt.Errorf("cgroup v2 %s unavailable", name)
}
value, err := strconv.ParseUint(strings.TrimSpace(string(raw)), 10, 64)
if err != nil {
return fmt.Errorf("invalid cgroup %s", name)
}
result[name] = value
}
return json.NewEncoder(os.Stdout).Encode(result)
}
+28
View File
@@ -0,0 +1,28 @@
CREATE TABLE users (
id uuid PRIMARY KEY,
username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
password_hash text NOT NULL,
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chats (
id uuid PRIMARY KEY,
title text NOT NULL CHECK (char_length(title) BETWEEN 1 AND 100),
created_at timestamptz NOT NULL DEFAULT clock_timestamp()
);
CREATE TABLE chat_members (
chat_id uuid NOT NULL REFERENCES chats(id),
user_id uuid NOT NULL REFERENCES users(id),
PRIMARY KEY (chat_id, user_id)
);
CREATE INDEX chat_members_user_idx ON chat_members(user_id, chat_id);
CREATE INDEX chats_page_idx ON chats(created_at, id);
CREATE TABLE messages (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
sender_id uuid NOT NULL,
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
FOREIGN KEY (chat_id, sender_id) REFERENCES chat_members(chat_id, user_id)
);
CREATE INDEX messages_history_idx ON messages(chat_id, created_at, id);
+12
View File
@@ -0,0 +1,12 @@
-- PostgreSQL text cannot contain U+0000, although it is a valid JSON string
-- code point. Keep exact UTF-8 bytes for free-form API strings. The API checks
-- Unicode length/whitespace; these checks also bound stored byte lengths.
ALTER TABLE users DROP CONSTRAINT users_display_name_check;
ALTER TABLE users ALTER COLUMN display_name TYPE bytea USING convert_to(display_name,'UTF8');
ALTER TABLE users ADD CHECK (octet_length(display_name) BETWEEN 1 AND 400);
ALTER TABLE chats DROP CONSTRAINT chats_title_check;
ALTER TABLE chats ALTER COLUMN title TYPE bytea USING convert_to(title,'UTF8');
ALTER TABLE chats ADD CHECK (octet_length(title) BETWEEN 1 AND 400);
ALTER TABLE messages DROP CONSTRAINT messages_text_check;
ALTER TABLE messages ALTER COLUMN text TYPE bytea USING convert_to(text,'UTF8');
ALTER TABLE messages ADD CHECK (octet_length(text) BETWEEN 1 AND 16000);
+8
View File
@@ -0,0 +1,8 @@
CREATE TABLE message_keys (
user_id uuid NOT NULL REFERENCES users(id),
chat_id uuid NOT NULL REFERENCES chats(id),
key text NOT NULL CHECK (key ~ '^[A-Za-z0-9._:-]{1,128}$'),
message_id uuid NOT NULL REFERENCES messages(id),
expires_at timestamptz NOT NULL,
PRIMARY KEY (user_id, chat_id, key)
);
+27
View File
@@ -0,0 +1,27 @@
CREATE TABLE attachments (
id uuid PRIMARY KEY,
chat_id uuid NOT NULL REFERENCES chats(id),
owner_id uuid NOT NULL,
object_key text NOT NULL UNIQUE CHECK (object_key = 'original/' || id::text),
filename text NOT NULL CHECK (char_length(filename) BETWEEN 1 AND 255),
content_type text NOT NULL CHECK (content_type IN ('image/png','image/jpeg')),
size_bytes bigint NOT NULL CHECK (size_bytes BETWEEN 1 AND 10485760),
sha256 text NOT NULL CHECK (sha256 ~ '^[a-f0-9]{64}$'),
missing_since timestamptz,
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
updated_at timestamptz NOT NULL DEFAULT clock_timestamp(),
UNIQUE (chat_id,id),
FOREIGN KEY (chat_id,owner_id) REFERENCES chat_members(chat_id,user_id)
);
CREATE INDEX attachments_page_idx ON attachments(id);
ALTER TABLE messages DROP CONSTRAINT messages_text_check;
ALTER TABLE messages ADD CHECK (octet_length(text) BETWEEN 0 AND 16000);
ALTER TABLE messages ADD COLUMN attachment_ids uuid[] NOT NULL DEFAULT '{}';
ALTER TABLE messages ADD CHECK (cardinality(attachment_ids) <= 10);
CREATE TABLE message_attachments (
message_id uuid NOT NULL REFERENCES messages(id),
chat_id uuid NOT NULL,
attachment_id uuid NOT NULL,
PRIMARY KEY (message_id,attachment_id),
FOREIGN KEY (chat_id,attachment_id) REFERENCES attachments(chat_id,id)
);
+239
View File
@@ -0,0 +1,239 @@
package main
import (
"crypto/hmac"
"crypto/rand"
"crypto/sha256"
"encoding/base64"
"encoding/hex"
"encoding/json"
"errors"
"io"
"mime"
"net/http"
"net/url"
"regexp"
"strconv"
"strings"
"unicode/utf8"
)
type User struct {
ID string `json:"id"`
Username string `json:"username"`
DisplayName string `json:"display_name"`
CreatedAt string `json:"created_at"`
}
type Chat struct {
ID string `json:"id"`
Title string `json:"title"`
MemberIDs []string `json:"member_ids"`
CreatedAt string `json:"created_at"`
}
type Message struct {
AttachmentIDs []string `json:"attachment_ids"`
ID string `json:"id"`
ChatID string `json:"chat_id"`
SenderID string `json:"sender_id"`
Text string `json:"text"`
CreatedAt string `json:"created_at"`
}
type Page[T any] struct {
Items []T `json:"items"`
NextCursor *string `json:"next_cursor"`
}
type apiError struct {
status int
code, message string
}
func (e apiError) Error() string { return e.code }
func invalid() apiError { return apiError{400, "invalid_request", "Invalid request"} }
func unavailable() apiError { return apiError{503, "unavailable", "Dependency unavailable"} }
func missing() apiError { return apiError{404, "not_found", "Object not found"} }
func unauthorized() apiError { return apiError{401, "unauthorized", "Valid Bearer session required"} }
func uuid() string {
b := make([]byte, 16)
if _, err := rand.Read(b); err != nil {
panic(err)
}
b[6] = (b[6] & 15) | 64
b[8] = (b[8] & 63) | 128
s := hex.EncodeToString(b)
return s[:8] + "-" + s[8:12] + "-" + s[12:16] + "-" + s[16:20] + "-" + s[20:]
}
var uuidPattern = regexp.MustCompile(`^[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}$`)
var usernamePattern = regexp.MustCompile(`^[a-z0-9_]{3,32}$`)
var idempotencyPattern = regexp.MustCompile(`^[A-Za-z0-9._:-]{1,128}$`)
func normalizeID(s string) (string, error) {
if !uuidPattern.MatchString(s) {
return "", invalid()
}
return strings.ToLower(s), nil
}
func textField(m map[string]json.RawMessage, key string, max int) (string, error) {
var s string
b, ok := m[key]
if !ok || string(b) == "null" || json.Unmarshal(b, &s) != nil || strings.TrimSpace(s) == "" || utf8.RuneCountInString(s) > max {
return "", invalid()
}
return s, nil
}
// Reject duplicate keys, invalid UTF-8, and unpaired UTF-16 escapes rather than
// letting encoding/json silently replace malformed Unicode with U+FFFD.
func validUnicode(b []byte) bool {
if !utf8.Valid(b) {
return false
}
for i := 0; i < len(b); i++ {
if b[i] != '\\' {
continue
}
i++
if i >= len(b) {
return false
}
if b[i] != 'u' {
continue
}
if i+4 >= len(b) {
return false
}
n, e := strconv.ParseUint(string(b[i+1:i+5]), 16, 16)
if e != nil {
return false
}
i += 4
if n >= 0xDC00 && n <= 0xDFFF {
return false
}
if n >= 0xD800 && n <= 0xDBFF {
if i+6 >= len(b) || string(b[i+1:i+3]) != `\u` {
return false
}
low, e := strconv.ParseUint(string(b[i+3:i+7]), 16, 16)
if e != nil || low < 0xDC00 || low > 0xDFFF {
return false
}
i += 6
}
}
return true
}
func readObject(w http.ResponseWriter, r *http.Request, max int, fields []string) (map[string]json.RawMessage, error) {
media, params, err := mime.ParseMediaType(r.Header.Get("Content-Type"))
if err != nil || media != "application/json" || (params["charset"] != "" && !strings.EqualFold(params["charset"], "utf-8")) {
return nil, apiError{415, "unsupported_media_type", "Expected application/json UTF-8"}
}
b, err := io.ReadAll(http.MaxBytesReader(w, r.Body, int64(max)))
if err != nil {
var large *http.MaxBytesError
if errors.As(err, &large) {
return nil, apiError{413, "payload_too_large", "Request body exceeds byte limit"}
}
return nil, invalid()
}
if !validUnicode(b) {
return nil, invalid()
}
d := json.NewDecoder(strings.NewReader(string(b)))
token, err := d.Token()
if err != nil || token != json.Delim('{') {
return nil, invalid()
}
m := map[string]json.RawMessage{}
for d.More() {
t, err := d.Token()
if err != nil {
return nil, invalid()
}
key, ok := t.(string)
if !ok {
return nil, invalid()
}
allowed := false
for _, f := range fields {
if key == f {
allowed = true
}
}
if !allowed || m[key] != nil {
return nil, invalid()
}
var value json.RawMessage
if d.Decode(&value) != nil {
return nil, invalid()
}
m[key] = value
}
if _, err = d.Token(); err != nil {
return nil, invalid()
}
if _, err = d.Token(); err != io.EOF {
return nil, invalid()
}
return m, nil
}
type cursor struct {
Scope string `json:"s"`
Time string `json:"t"`
ID string `json:"i"`
}
func (a *App) encodeCursor(scope, t, id string) string {
b, _ := json.Marshal(cursor{scope, t, id})
h := hmac.New(sha256.New, a.secret)
h.Write(b)
return base64.RawURLEncoding.EncodeToString(b) + "." + base64.RawURLEncoding.EncodeToString(h.Sum(nil))
}
func (a *App) pagination(r *http.Request, scope string) (int, cursor, error) {
values, e := url.ParseQuery(r.URL.RawQuery)
if e != nil {
return 0, cursor{}, invalid()
}
limit := 50
if v, ok := values["limit"]; ok {
if len(v) != 1 || v[0] == "" {
return 0, cursor{}, invalid()
}
for _, c := range v[0] {
if c < '0' || c > '9' {
return 0, cursor{}, invalid()
}
}
limit, e = strconv.Atoi(v[0])
if e != nil || limit < 1 || limit > 100 {
return 0, cursor{}, invalid()
}
}
c := cursor{}
if v, ok := values["cursor"]; ok {
if len(v) != 1 || len(v[0]) > 1024 {
return 0, c, invalid()
}
parts := strings.Split(v[0], ".")
if len(parts) != 2 {
return 0, c, invalid()
}
b, e := base64.RawURLEncoding.DecodeString(parts[0])
if e != nil {
return 0, c, invalid()
}
sig, e := base64.RawURLEncoding.DecodeString(parts[1])
if e != nil {
return 0, c, invalid()
}
h := hmac.New(sha256.New, a.secret)
h.Write(b)
if !hmac.Equal(sig, h.Sum(nil)) || json.Unmarshal(b, &c) != nil || c.Scope != scope {
return 0, c, invalid()
}
}
return limit, c, nil
}
+309
View File
@@ -0,0 +1,309 @@
package main
import (
"context"
"crypto/sha256"
"encoding/hex"
"encoding/json"
"errors"
"flag"
"fmt"
"io"
"log/slog"
"os"
"os/signal"
"strings"
"syscall"
"time"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgxpool"
"github.com/minio/minio-go/v7"
)
type reconcileReport struct {
Apply bool `json:"apply"`
GraceSeconds int `json:"grace_seconds"`
Cutoff string `json:"cutoff"`
Objects int `json:"objects_scanned"`
Rows int `json:"metadata_scanned"`
Orphans int `json:"old_orphans"`
Fresh int `json:"fresh_protected"`
Used int `json:"metadata_protected"`
Busy int `json:"active_protected"`
Missing int `json:"missing"`
Recovered int `json:"recovered"`
Deleted int `json:"deleted"`
Marked int `json:"marked_unavailable"`
Cleared int `json:"cleared_unavailable"`
HeadRequests int `json:"head_requests"`
GetRequests int `json:"get_requests"`
VerifiedBytes int64 `json:"verified_bytes"`
ElapsedMS int64 `json:"elapsed_ms"`
Complete bool `json:"complete"`
}
func absentObject(err error) bool {
e := minio.ToErrorResponse(err)
return e.Code == "NoSuchKey" || e.Code == "NoSuchObject" || (e.StatusCode == 404 && e.Code == "NotFound")
}
// Same per-key lock as upload/message creation. Re-check PostgreSQL and HEAD
// after locking; a stale LIST snapshot can never authorize a deletion alone.
func (a *App) reconcileObject(ctx context.Context, key string, cutoff time.Time, apply bool, r *reconcileReport) error {
id := strings.TrimPrefix(key, "original/")
normalized, err := normalizeID(id)
if err != nil || id != normalized || key != "original/"+id {
return nil
}
tx, err := a.db.Begin(ctx)
if err != nil {
return err
}
defer rollbackAttachment(tx)
var locked bool
if err = tx.QueryRow(ctx, "SELECT pg_try_advisory_xact_lock(hashtextextended($1,0))", "attachment:"+id).Scan(&locked); err != nil {
return err
}
if !locked {
r.Busy++
return nil
}
var exists bool
if err = tx.QueryRow(ctx, "SELECT EXISTS(SELECT 1 FROM attachments WHERE object_key=$1)", key).Scan(&exists); err != nil {
return err
}
if exists {
r.Used++
return nil
}
r.HeadRequests++
info, err := a.s3.StatObject(ctx, a.bucket, key, minio.StatObjectOptions{})
if absentObject(err) {
return nil
}
if err != nil {
return err
}
if !info.LastModified.Before(cutoff) {
r.Fresh++
return nil
}
r.Orphans++
if apply {
if err = a.s3.RemoveObject(ctx, a.bucket, key, minio.RemoveObjectOptions{}); err != nil {
return err
}
r.Deleted++
}
return tx.Commit(ctx)
}
type attachmentRecord struct {
id, key, checksum string
size int64
created time.Time
missing *time.Time
}
func (a *App) reconcileMetadata(ctx context.Context, row attachmentRecord, cutoff time.Time, apply bool, r *reconcileReport) error {
tx, err := a.db.Begin(ctx)
if err != nil {
return err
}
defer rollbackAttachment(tx)
var locked bool
if err = tx.QueryRow(ctx, "SELECT pg_try_advisory_xact_lock(hashtextextended($1,0))", "attachment:"+row.id).Scan(&locked); err != nil {
return err
}
if !locked {
r.Busy++
return nil
}
// Refresh after acquiring the lock, rather than acting on the page snapshot.
err = tx.QueryRow(ctx, "SELECT object_key,sha256,size_bytes,created_at,missing_since FROM attachments WHERE id=$1", row.id).Scan(&row.key, &row.checksum, &row.size, &row.created, &row.missing)
if errors.Is(err, pgx.ErrNoRows) {
return nil
}
if err != nil {
return err
}
if !row.created.Before(cutoff) {
r.Fresh++
return nil
}
r.HeadRequests++
info, err := a.s3.StatObject(ctx, a.bucket, row.key, minio.StatObjectOptions{})
if err != nil && !absentObject(err) {
return err
}
if absentObject(err) {
r.Missing++
// Keep metadata and message references: lost bytes cannot be reconstructed.
if apply && row.missing == nil {
if _, err = tx.Exec(ctx, "UPDATE attachments SET missing_since=clock_timestamp(),updated_at=clock_timestamp() WHERE id=$1", row.id); err != nil {
return err
}
r.Marked++
}
} else if row.missing != nil {
if info.Size != row.size {
return fmt.Errorf("restored object has wrong size")
}
object, e := a.s3.GetObject(ctx, a.bucket, row.key, minio.GetObjectOptions{})
if e != nil {
return e
}
r.GetRequests++
hash := sha256.New()
n, e := io.Copy(hash, io.LimitReader(object, row.size+1))
object.Close()
r.VerifiedBytes += n
if e != nil {
return e
}
if n != row.size || hex.EncodeToString(hash.Sum(nil)) != row.checksum {
return fmt.Errorf("restored object has wrong checksum")
}
r.Recovered++
if apply {
if _, err = tx.Exec(ctx, "UPDATE attachments SET missing_since=NULL,updated_at=clock_timestamp() WHERE id=$1", row.id); err != nil {
return err
}
r.Cleared++
}
} else if info.Size != row.size {
return fmt.Errorf("stored object has wrong size")
}
return tx.Commit(ctx)
}
func (a *App) reconcile(ctx context.Context, apply bool, grace int) (reconcileReport, error) {
started := time.Now()
r := reconcileReport{Apply: apply, GraceSeconds: grace}
var now time.Time
if err := a.db.QueryRow(ctx, "SELECT clock_timestamp()").Scan(&now); err != nil {
return r, err
}
cutoff := now.Add(-time.Duration(grace) * time.Second)
r.Cutoff = stamp(cutoff)
listing, cancel := context.WithCancel(ctx)
defer cancel()
for object := range a.s3.ListObjects(listing, a.bucket, minio.ListObjectsOptions{Prefix: "original/", Recursive: true, MaxKeys: 1000}) {
if object.Err != nil {
return r, object.Err
}
r.Objects++
itemCtx, done := context.WithTimeout(ctx, 15*time.Second)
err := a.reconcileObject(itemCtx, object.Key, cutoff, apply, &r)
done()
if err != nil {
return r, err
}
}
last := "00000000-0000-0000-0000-000000000000"
for {
rows, err := a.db.Query(ctx, "SELECT id::text FROM attachments WHERE id>$1 ORDER BY id LIMIT 256", last)
if err != nil {
return r, err
}
page := []attachmentRecord{}
for rows.Next() {
var x attachmentRecord
if err = rows.Scan(&x.id); err != nil {
rows.Close()
return r, err
}
page = append(page, x)
}
err = rows.Err()
rows.Close()
if err != nil {
return r, err
}
for _, x := range page {
r.Rows++
last = x.id
itemCtx, done := context.WithTimeout(ctx, 15*time.Second)
err = a.reconcileMetadata(itemCtx, x, cutoff, apply, &r)
done()
if err != nil {
return r, err
}
}
if len(page) < 256 {
break
}
}
r.ElapsedMS = time.Since(started).Milliseconds()
r.Complete = true
return r, nil
}
func runReconcile() error {
return reconcileCommand(context.Background(), os.Args[2:])
}
func reconcileCommand(parent context.Context, args []string) error {
flags := flag.NewFlagSet("reconcile", flag.ContinueOnError)
apply := flags.Bool("apply", false, "apply changes (default is read-only dry-run)")
grace := flags.Int("grace-seconds", 3600, "minimum object/metadata age, at least 60 seconds")
if err := flags.Parse(args); err != nil {
return err
}
if *grace < 60 || flags.NArg() != 0 {
return errors.New("grace must be >=60 seconds; no positional arguments")
}
uri, err := secretFile("DATABASE_URL_FILE")
if err != nil {
return err
}
cfg, err := pgxpool.ParseConfig(uri)
if err != nil {
return errors.New("invalid database configuration")
}
cfg.MaxConns = 2
cfg.ConnConfig.ConnectTimeout = 2 * time.Second
cfg.ConnConfig.RuntimeParams["statement_timeout"] = "5000"
cfg.ConnConfig.RuntimeParams["lock_timeout"] = "1000"
ctx, cancel := context.WithTimeout(parent, 10*time.Minute)
defer cancel()
db, err := pgxpool.NewWithConfig(ctx, cfg)
if err != nil {
return errors.New("database setup failed")
}
defer db.Close()
s3, bucket, err := s3Client()
if err != nil {
return err
}
a := App{db: db, s3: s3, bucket: bucket}
report, err := a.reconcile(ctx, *apply, *grace)
if e := json.NewEncoder(os.Stdout).Encode(report); e != nil {
return e
}
if err != nil {
return errors.New("reconciliation interrupted; inspect dependencies and rerun (no missing inference on network errors)")
}
return nil
}
func reconcileLoop() error {
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
defer stop()
for {
// Each bounded scan closes its resources and emits aggregate statistics.
// The background cleanup uses a one-hour grace period.
err := reconcileCommand(ctx, []string{"--apply"})
if err != nil {
slog.Warn("reconciliation failed; will retry")
}
timer := time.NewTimer(15 * time.Minute)
select {
case <-ctx.Done():
timer.Stop()
return nil
case <-timer.C:
}
}
}
+35
View File
@@ -0,0 +1,35 @@
"""Create local secrets once. Never print values or overwrite existing secrets."""
from pathlib import Path
import secrets
import shutil
root = Path(__file__).resolve().parents[1]
folder = root / 'secrets'
folder.mkdir(exist_ok=True)
folder.chmod(0o700)
def put(name, value):
path = folder / name
if not path.exists():
with path.open('x', encoding='utf-8', newline='\n') as f:
f.write(value + '\n')
# Parent directory is private; Compose mounts individual files for non-root services.
path.chmod(0o644)
return path.read_text(encoding='utf-8').strip()
pg = put('postgres_password', secrets.token_hex(32))
vk = put('valkey_password', secrets.token_hex(32))
put('database_url', f'postgres://messenger:{pg}@db:5432/messenger?sslmode=disable')
put('cache_url', f'redis://:{vk}@valkey:6379/0')
put('cursor_secret', secrets.token_hex(32))
put('valkey.conf', '\n'.join(['bind 0.0.0.0', 'protected-mode yes', f'requirepass {vk}',
'dir /data', 'appendonly yes', 'appendfsync always', 'maxmemory 128mb',
'maxmemory-policy noeviction', 'save 60 1000']))
if not (root / '.env').exists():
(root / '.env').write_text((root / '.env.example').read_text(encoding='utf-8').replace('SESSION_STORE=postgres','SESSION_STORE=valkey'),encoding='utf-8')
put('s3_root_user', 'admin_' + secrets.token_hex(8))
put('s3_root_password', secrets.token_hex(32))
put('s3_access_key_id', 'api_' + secrets.token_hex(8))
put('s3_secret_access_key', secrets.token_hex(32))
for name in ('restart.sh', 'stop-one.sh'):
(root / 'scripts' / name).chmod(0o755)
print('Local .env and secrets ready; existing values preserved.')
+18
View File
@@ -0,0 +1,18 @@
"""Run the unchanged public make targets with executable Linux action hooks."""
import argparse
from pathlib import Path
import subprocess
root = Path(__file__).resolve().parents[1]
p = argparse.ArgumentParser()
p.add_argument('target', choices=['check', 'validate', 'test', 'test-own', 'test-race', 'test-persistence', 'test-failover'])
args = p.parse_args()
command = ['docker', 'run', '--rm', '--network', 'mtusi-lab4_default',
'--mount', 'type=bind,source='+str(root)+',target=/workspace']
hooks = {'test-persistence': 'scripts/restart.sh', 'test-failover': 'scripts/stop-one.sh'}
if args.target in hooks:
command += ['--mount', 'type=bind,source=/var/run/docker.sock,target=/var/run/docker.sock']
command += ['mtusi-messenger:lab4-tests', 'make', args.target, 'BASE_URL=http://lb:8080']
if args.target in hooks:
command += ['ACTION_SCRIPT='+hooks[args.target]]
raise SystemExit(subprocess.call(command, cwd=root))
+95
View File
@@ -0,0 +1,95 @@
"""Cross-platform operator commands for the local lab; never delete volumes."""
import argparse
import datetime as dt
import json
from pathlib import Path
import subprocess
import sys
import time
import urllib.request
ROOT = Path(__file__).resolve().parents[1]
def docker(*args, capture=False, env=None):
result = subprocess.run(['docker', *args], cwd=ROOT, check=True,
text=True, encoding='utf-8', capture_output=capture, env=env)
return result.stdout.strip() if capture else None
def replicas():
ids = docker('compose', 'ps', '-q', 'api', capture=True).split()
if not ids:
return []
# Only operational fields; never persist Env or secret values.
raw = docker('inspect', '--format', '{{json .Config.Hostname}} {{json .Id}}', *ids, capture=True)
return [dict(zip(('instance', 'id'), (json.loads(x) for x in line.split()))) for line in raw.splitlines()]
def ready(count=2, base='http://127.0.0.1:8080'):
deadline = time.monotonic()+90
observed = set()
while time.monotonic() < deadline:
try:
with urllib.request.urlopen(base+'/health/ready', timeout=2) as response:
observed.add(response.headers['X-Instance-Id'])
if len(observed) >= count:
return
except OSError:
observed.clear()
time.sleep(.2)
raise RuntimeError('expected ready replicas did not appear through LB')
def main():
p = argparse.ArgumentParser(description=__doc__)
p.add_argument('action', choices=['start','stop','restart','restore','status','stop-one','rolling'])
p.add_argument('--instance')
args = p.parse_args()
if args.action == 'start':
subprocess.run([sys.executable, '-X', 'utf8', 'scripts/bootstrap.py'], cwd=ROOT, check=True)
docker('compose', 'up', '-d', '--build', '--wait')
ready()
elif args.action == 'stop':
docker('compose', 'down')
elif args.action == 'restart':
docker('compose', 'restart', 'db', 'valkey', 's3', 'api', 'lb')
ready()
elif args.action == 'restore':
docker('compose', 'up', '-d', '--no-deps', '--scale', 'api=2', 'api')
ready()
elif args.action == 'status':
docker('compose', 'ps', '-a')
print(json.dumps(replicas(), indent=2))
ids = docker('compose','ps','-a','-q',capture=True).split()
template = '[{{json .Id}},{{json .Name}},{{json .Config.Hostname}},{{json .State.Status}},{{json .State.StartedAt}},{{.HostConfig.NanoCpus}},{{.HostConfig.Memory}},{{json .NetworkSettings.Ports}},{{json .Config.Image}}]'
containers = [dict(zip(('id','name','instance','state','started_at','nano_cpus','memory_bytes','ports','image'),json.loads(line)))
for line in docker('inspect','--format',template,*ids,capture=True).splitlines()]
query = "SELECT json_build_object('users',(SELECT count(*) FROM users),'chats',(SELECT count(*) FROM chats),'messages',(SELECT count(*) FROM messages),'idempotency_keys',(SELECT count(*) FROM message_keys),'database_bytes',pg_database_size(current_database()),'fsync',current_setting('fsync'),'synchronous_commit',current_setting('synchronous_commit'),'full_page_writes',current_setting('full_page_writes'))"
counts = json.loads(docker('compose','exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c',query,capture=True))
engine = json.loads(docker('info','--format','[{{.NCPU}},{{.MemTotal}},{{json .OSType}},{{json .KernelVersion}},{{json .ServerVersion}},{{json .OperatingSystem}}]',capture=True))
snapshot = {'timestamp_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'containers':containers,'database':counts,
'docker_engine':dict(zip(('cpus','memory_bytes','os_type','kernel','version','operating_system'),engine))}
folder = ROOT/'evidence'
folder.mkdir(exist_ok=True)
(folder/'infrastructure.json').write_text(json.dumps(snapshot,indent=2)+'\n',encoding='utf-8')
elif args.action == 'stop-one':
selected = [r for r in replicas() if r['instance']==args.instance]
if len(selected) != 1:
p.error('--instance must match exactly one running API hostname (see status)')
docker('stop', '--time', '9', selected[0]['id'])
else:
original = replicas()
if len(original) != 2:
p.error('rolling replacement requires exactly two running replicas')
for old in original:
docker('compose', 'up', '-d', '--no-deps', '--scale', 'api=3', 'api')
ready(3)
docker('stop', '--time', '9', old['id'])
docker('rm', old['id'])
ready(2)
print(json.dumps({'before':original, 'after':replicas()}, indent=2))
if __name__ == '__main__':
main()
+8
View File
@@ -0,0 +1,8 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
mkdir -p evidence
ids=$(docker compose ps -q db valkey s3 api lb)
docker inspect --format '{{.Id}} {{index .Config.Labels "com.docker.compose.service"}} {{.State.StartedAt}} {{.State.Status}}' $ids > evidence/restart-before.txt
docker compose restart db valkey s3 api lb
docker inspect --format '{{.Id}} {{index .Config.Labels "com.docker.compose.service"}} {{.State.StartedAt}} {{.State.Status}}' $ids > evidence/restart-after.txt
+16
View File
@@ -0,0 +1,16 @@
#!/bin/sh
set -eu
cd "$(dirname "$0")/.."
: "${TARGET_INSTANCE_ID:?TARGET_INSTANCE_ID is required}"
for id in $(docker compose ps -q api); do
hostname=$(docker inspect --format '{{.Config.Hostname}}' "$id")
if [ "$hostname" = "$TARGET_INSTANCE_ID" ]; then
mkdir -p evidence
docker inspect --format '{{.Id}} {{.State.Status}} {{.State.StartedAt}}' "$id" > evidence/stopped-before.txt
docker stop --time 9 "$id" > /dev/null
docker inspect --format '{{.Id}} {{.State.Status}} {{.State.FinishedAt}} {{.State.ExitCode}}' "$id" > evidence/stopped-after.txt
exit 0
fi
done
echo 'Target is not a running API container' >&2
exit 1
+47
View File
@@ -0,0 +1,47 @@
"""Render only measured evidence; never turn an unrun check into PASS."""
import json
from pathlib import Path
ROOT=Path(__file__).resolve().parents[1]
def main():
folder=ROOT/'evidence'
def read(name):
p=folder/name
return json.loads(p.read_text(encoding='utf-8')) if p.exists() else None
verification=read('verification.json') or {}
lines=['# Фактические результаты lab4','',
'Полный прогон завершён: **'+('да' if verification.get('complete') else 'нет')+'**.',
'Контракт и публичные тесты неизменны: '+str(verification.get('protected_unchanged',False))+'.','',
'| Проверка | Exit code | Время, с |','| --- | --- | --- |']
lines += ['| '+c['name']+' | '+str(c['exit_code'])+' | '+str(c['seconds'])+' |' for c in verification.get('checks',[])]
if verification.get('failure'):lines+=['','Остановка: '+verification['failure']]
if verification.get('pending_revalidation'):
lines+=['','Ожидает полного повторного прогона: настройка на пять загрузок на реплику и десять успешных параллельных запросов. Таблица выше относится к предыдущему прогону.']
memory=read('upload-memory.json')
if memory:
lines+=['','## 10 одновременно стартующих uploads','',
'| Bytes | Успех | 503 | RPS успешных | p95, мс | Σ cgroup peak, MiB |',
'| --- | --- | --- | --- | --- | --- |']
for c in memory['cases']:
lines.append('| {} | {} | {} | {:.2f} | {:.2f} | {:.2f} |'.format(c['file_bytes'],c['success'],c['backpressure_503'],c['successful_rps'],c['p95_seconds']*1000,c['sum_cgroup_peaks_bytes']/1048576))
lines+=['','Сумма отдельных kernel peaks — верхняя оценка одновременного общего пика. Startup включён.']
research=read('research.json')
if research:
lines+=['','## Согласованность DB/S3','',
'| Этап | Orphan | Missing | Удалено | Отмечено | Восстановлено |',
'| --- | --- | --- | --- | --- | --- |']
for name in ('dry_run','apply','repeat_apply','recovery'):
c=research[name]
lines.append('| {} | {} | {} | {} | {} | {} |'.format(name,c['old_orphans'],c['missing'],c['deleted'],c['marked_unavailable'],c['cleared_unavailable']))
lines+=['','| Добавлено объектов | Объектов всего | Metadata rows | HEAD requests | Время обхода, мс (3 повтора) |',
'| --- | --- | --- | --- | --- |']
for case in research['scan_cost']:
runs=case['runs'];c=runs[0]
lines.append('| {} | {} | {} | {} | {} |'.format(case['added_objects'],c['objects_scanned'],c['metadata_scanned'],c['head_requests'],', '.join(str(x['elapsed_ms']) for x in runs)))
lines+=['','Каждый PASS опирается на журнал соответствующей команды. Отсутствующие результаты не считаются выполненными.']
(folder/'RESULTS.md').write_text('\n'.join(lines)+'\n',encoding='utf-8')
if __name__=='__main__':main()
+104
View File
@@ -0,0 +1,104 @@
"""Complete, sequential verification on a disposable local Compose lab."""
import argparse
import datetime as dt
import hashlib
import json
import os
from pathlib import Path
import subprocess
import sys
import time
ROOT=Path(__file__).resolve().parents[1]
def protected():
return {str(p.relative_to(ROOT)).replace('\\','/'):hashlib.sha256(p.read_bytes()).hexdigest()
for folder in ('contracts','tests') for p in (ROOT/folder).rglob('*')
if p.is_file() and '__pycache__' not in p.parts}
def main():
p=argparse.ArgumentParser(description=__doc__)
p.add_argument('--static-only',action='store_true')
p.add_argument('--resume-integration',action='store_true',help='reuse successful local checks, rerun build and every integration check')
args=p.parse_args()
# Compose publishes IPv4 loopback. Avoid Windows localhost IPv6 fallback
# and keep public/private child clients on the same operator-supplied URL.
os.environ.setdefault('BASE_URL', 'http://127.0.0.1:8080')
evidence=ROOT/'evidence';evidence.mkdir(exist_ok=True)
result={'started_utc':dt.datetime.now(dt.timezone.utc).isoformat(),'complete':False,'checks':[]}
if args.resume_integration:
previous=json.loads((evidence/'verification.json').read_text(encoding='utf-8'))
names={'contract','go-test','go-vet','student-unit','go-vuln','go-race'}
successful={c['name']:c for c in previous['checks'] if c['name'] in names and c['exit_code']==0}
if set(successful)!=names:
raise RuntimeError('resume requires all local and race checks to have passed')
cutoff=dt.datetime.fromisoformat(previous.get('local_checks_from_utc',previous['started_utc'])).timestamp()
source=list(ROOT.glob('*.go'))+list((ROOT/'migrations').glob('*.sql'))+[ROOT/'go.mod',ROOT/'go.sum',ROOT/'Dockerfile']
if any(path.stat().st_mtime>cutoff for path in source):
raise RuntimeError('application sources changed; run the full verifier')
result['checks']=[successful[name] for name in ('contract','go-test','go-vet','student-unit','go-vuln','go-race')]
result['local_checks_from_utc']=previous.get('local_checks_from_utc',previous['started_utc'])
manifest=evidence/'protected-files.json'
original=json.loads(manifest.read_text(encoding='utf-8')) if manifest.exists() else protected()
if protected()!=original:
raise RuntimeError('protected files differ from the original SHA-256 manifest')
def persist():
result['protected_unchanged']=protected()==original
(evidence/'verification.json').write_text(json.dumps(result,indent=2)+'\n',encoding='utf-8')
subprocess.run([sys.executable,'-X','utf8','scripts/summarize.py'],cwd=ROOT,check=True)
def run(name,command,timeout=1200):
print('Running '+name,flush=True)
start=time.monotonic()
with (evidence/(name+'.txt')).open('w',encoding='utf-8') as output:
completed=subprocess.run(command,cwd=ROOT,stdout=output,stderr=subprocess.STDOUT,
encoding='utf-8',timeout=timeout)
result['checks'].append({'name':name,'command':command,'exit_code':completed.returncode,'seconds':round(time.monotonic()-start,3)})
persist()
if completed.returncode:
raise RuntimeError(name+' failed; see evidence/'+name+'.txt')
py=[sys.executable,'-X','utf8']
try:
if not args.resume_integration:
run('contract',py+['scripts/check_contract.py'])
run('go-test',['go','test','./...'])
run('go-vet',['go','vet','./...'])
run('student-unit',py+['student-tests/unit.py'])
run('go-vuln',['go','run','golang.org/x/vuln/cmd/govulncheck@v1.1.4','./...'])
if args.static_only:
result['static_complete']=True
return
run('bootstrap',py+['scripts/bootstrap.py'])
run('compose-config',['docker','compose','config','--quiet'])
run('start',py+['scripts/manage.py','start'],3600)
run('build-tests',['docker','build','-f','Dockerfile.tests','-t','mtusi-messenger:lab4-tests','.'],1800)
run('openapi',py+['scripts/linux_tests.py','validate'])
if not args.resume_integration:
run('go-race',['docker','run','--rm','--mount','type=bind,source='+str(ROOT)+',target=/workspace',
'mtusi-messenger:lab4-tests','go','test','-race','./...'],1200)
run('smoke',py+['tests/smoke.py'])
run('attachments',py+['student-tests/attachments.py'])
run('persistence',py+['scripts/linux_tests.py','test-persistence'])
run('ready-before-failover',py+['scripts/manage.py','restore'])
for i in range(2):
run('failover-'+str(i+1),py+['scripts/linux_tests.py','test-failover'])
run('restore-'+str(i+1),py+['scripts/manage.py','restore'])
run('failures',py+['student-tests/failures.py'])
run('memory',py+['student-tests/memory.py'])
run('research',py+['student-tests/research.py'],1800)
run('load',py+['tests/load.py','--duration','30','--concurrency','4','--output','evidence/load.json'])
run('infrastructure',py+['scripts/manage.py','status'])
result['complete']=True
except (RuntimeError,subprocess.TimeoutExpired,FileNotFoundError) as exc:
result['failure']=str(exc)
print(str(exc),file=sys.stderr)
raise SystemExit(1)
finally:
persist()
if not result['protected_unchanged']:
raise RuntimeError('protected files changed during verification')
if __name__=='__main__':
main()
+223
View File
@@ -0,0 +1,223 @@
package main
import (
"context"
"crypto/sha256"
"embed"
"encoding/hex"
"errors"
"fmt"
"sort"
"time"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgconn"
"github.com/jackc/pgx/v5/pgxpool"
)
//go:embed migrations/*.sql
var migrations embed.FS
func migrate(ctx context.Context, db *pgxpool.Pool) error {
conn, err := db.Acquire(ctx)
if err != nil {
return err
}
defer conn.Release()
if _, err = conn.Exec(ctx, "SELECT pg_advisory_lock(202602)"); err != nil {
return err
}
defer conn.Exec(context.Background(), "SELECT pg_advisory_unlock(202602)")
if _, err = conn.Exec(ctx, "CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, checksum text NOT NULL, applied_at timestamptz NOT NULL DEFAULT clock_timestamp())"); err != nil {
return err
}
entries, err := migrations.ReadDir("migrations")
if err != nil {
return err
}
sort.Slice(entries, func(i, j int) bool { return entries[i].Name() < entries[j].Name() })
for _, entry := range entries {
raw, err := migrations.ReadFile("migrations/" + entry.Name())
if err != nil {
return err
}
sum := sha256.Sum256(raw)
checksum := hex.EncodeToString(sum[:])
var previous string
err = conn.QueryRow(ctx, "SELECT checksum FROM schema_migrations WHERE version=$1", entry.Name()).Scan(&previous)
if err == nil {
if previous != checksum {
return fmt.Errorf("migration checksum mismatch: %s", entry.Name())
}
continue
}
if !errors.Is(err, pgx.ErrNoRows) {
return err
}
tx, err := conn.Begin(ctx)
if err != nil {
return err
}
if _, err = tx.Exec(ctx, string(raw)); err == nil {
_, err = tx.Exec(ctx, "INSERT INTO schema_migrations(version,checksum) VALUES($1,$2)", entry.Name(), checksum)
}
if err != nil {
tx.Rollback(ctx)
return err
}
if err = tx.Commit(ctx); err != nil {
return err
}
}
return nil
}
func dbError(err error) error {
if err == nil {
return nil
}
if errors.Is(err, pgx.ErrNoRows) {
return missing()
}
var pe *pgconn.PgError
if errors.As(err, &pe) {
switch pe.Code {
case "23505":
return apiError{409, "conflict", "Username already exists"}
case "23503", "23514", "22P02", "22021":
return invalid()
}
}
return unavailable()
}
func stamp(t time.Time) string { return t.UTC().Format("2006-01-02T15:04:05.000000Z") }
// pgx BytesScanner preserves every validated UTF-8 code point, including NUL.
type utf8String struct{ dst *string }
func (s utf8String) ScanBytes(value []byte) error {
*s.dst = string(value)
return nil
}
func scanUser(row pgx.Row) (User, error) {
var u User
var t time.Time
err := row.Scan(&u.ID, &u.Username, utf8String{&u.DisplayName}, &t)
u.CreatedAt = stamp(t)
return u, dbError(err)
}
func (a *App) user(ctx context.Context, id string) (User, error) {
return scanUser(a.db.QueryRow(ctx, "SELECT id::text,username,display_name,created_at FROM users WHERE id=$1", id))
}
func (a *App) createChat(ctx context.Context, title string, ids []string) (Chat, error) {
c := Chat{ID: uuid(), Title: title, MemberIDs: ids}
var t time.Time
tx, err := a.db.Begin(ctx)
if err != nil {
return c, unavailable()
}
defer tx.Rollback(ctx)
err = tx.QueryRow(ctx, "INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at", c.ID, []byte(title)).Scan(&t)
if err != nil {
return c, dbError(err)
}
// FK failure on any participant rolls back the chat and earlier participants.
for _, id := range ids {
if _, err = tx.Exec(ctx, "INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)", c.ID, id); err != nil {
return c, dbError(err)
}
}
if err = tx.Commit(ctx); err != nil {
return c, unavailable()
}
c.CreatedAt = stamp(t)
return c, nil
}
func (a *App) chat(ctx context.Context, id, user string) (Chat, error) {
c := Chat{}
var t time.Time
err := a.db.QueryRow(ctx, `SELECT c.id::text,c.title,c.created_at,
ARRAY(SELECT user_id::text FROM chat_members WHERE chat_id=c.id ORDER BY user_id)
FROM chats c WHERE c.id=$1 AND EXISTS(SELECT 1 FROM chat_members WHERE chat_id=c.id AND user_id=$2)`, id, user).Scan(&c.ID, utf8String{&c.Title}, &t, &c.MemberIDs)
c.CreatedAt = stamp(t)
return c, dbError(err)
}
func boundary(c cursor) (time.Time, string, error) {
if c.ID == "" {
return time.Date(1, 1, 1, 0, 0, 0, 0, time.UTC), "00000000-0000-0000-0000-000000000000", nil
}
t, err := time.Parse(time.RFC3339Nano, c.Time)
if err != nil {
return t, "", invalid()
}
id, err := normalizeID(c.ID)
return t, id, err
}
func (a *App) history(ctx context.Context, id string, limit int, c cursor, scope string) (Page[Message], error) {
result := Page[Message]{Items: []Message{}}
t, last, err := boundary(c)
if err != nil {
return result, err
}
rows, err := a.db.Query(ctx, `SELECT id::text,chat_id::text,sender_id::text,text,created_at,ARRAY(SELECT unnest(attachment_ids)::text) FROM messages
WHERE chat_id=$1 AND (created_at,id)>($2,$3) ORDER BY messages.created_at,messages.id LIMIT $4`, id, t, last, limit+1)
if err != nil {
return result, unavailable()
}
defer rows.Close()
for rows.Next() {
var m Message
var created time.Time
if err = rows.Scan(&m.ID, &m.ChatID, &m.SenderID, utf8String{&m.Text}, &created, &m.AttachmentIDs); err != nil {
return result, unavailable()
}
m.CreatedAt = stamp(created)
result.Items = append(result.Items, m)
}
if rows.Err() != nil {
return result, unavailable()
}
if len(result.Items) > limit {
result.Items = result.Items[:limit]
m := result.Items[limit-1]
next := a.encodeCursor(scope, m.CreatedAt, m.ID)
result.NextCursor = &next
}
return result, nil
}
func (a *App) listChats(ctx context.Context, user string, limit int, c cursor, scope string) (Page[Chat], error) {
result := Page[Chat]{Items: []Chat{}}
t, last, err := boundary(c)
if err != nil {
return result, err
}
rows, err := a.db.Query(ctx, `SELECT c.id::text,c.title,c.created_at,
ARRAY(SELECT user_id::text FROM chat_members WHERE chat_id=c.id ORDER BY user_id)
FROM chats c JOIN chat_members own ON own.chat_id=c.id AND own.user_id=$1
WHERE (c.created_at,c.id)>($2,$3) ORDER BY c.created_at,c.id LIMIT $4`, user, t, last, limit+1)
if err != nil {
return result, unavailable()
}
defer rows.Close()
for rows.Next() {
var chat Chat
var created time.Time
if err = rows.Scan(&chat.ID, utf8String{&chat.Title}, &created, &chat.MemberIDs); err != nil {
return result, unavailable()
}
chat.CreatedAt = stamp(created)
result.Items = append(result.Items, chat)
}
if rows.Err() != nil {
return result, unavailable()
}
if len(result.Items) > limit {
result.Items = result.Items[:limit]
v := result.Items[limit-1]
next := a.encodeCursor(scope, v.CreatedAt, v.ID)
result.NextCursor = &next
}
return result, nil
}
+84
View File
@@ -0,0 +1,84 @@
"""Black-box validation of attachment security and message compatibility."""
import concurrent.futures
import hashlib
import json
import struct
import urllib.parse
import uuid
import zlib
from common import ROOT, Client, check, save
def chunk(kind, data):
return struct.pack('!I',len(data))+kind+data+struct.pack('!I',zlib.crc32(kind+data)&0xffffffff)
def png(width=32, height=32):
return (b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',width,height,8,2,0,0,0))+
chunk(b'IDAT',zlib.compress((b'\0'+bytes([43,100,201])*width)*height))+chunk(b'IEND',b''))
def main():
c=Client(timeout=40)
alice,bob,eve,chat=c.bootstrap()
path='/api/v1/chats/'+chat['id']
payload=(ROOT/'tests/fixtures/sample.png').read_bytes()
passed=[]
def upload(data, status, name='image.png', mime='image/png', actor=alice):
result=c.call('POST',path+'/attachments?filename='+urllib.parse.quote(name,safe=''),status,
actor=actor,raw=data,headers={'Content-Type':mime},schema='Attachment' if status==201 else None)
return result
upload(b'x'*(10485760+1),413);passed.append('byte limit before decode')
upload(b'not an image',415)
upload(payload[:40],415)
upload(payload,415,mime='image/jpeg')
upload(payload,415,mime='text/plain')
upload(b'',415);passed.append('corrupt, empty, MIME spoof')
# Valid header with impossible dimensions: rejection precedes allocation.
huge=b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',40000001,1,8,2,0,0,0))
upload(huge,413);passed.append('pixel limit before full decode')
for name in ('../a.png','a/b.png','a\\b.png','x\x00.png','x\n.png','x\x7f.png',' '*4,'a'*256):
upload(payload,400,name=name)
passed.append('unsafe filename')
upload(payload,404,actor=eve)
c.call('POST',path+'/attachments?filename=a.png',401,raw=payload,headers={'Content-Type':'image/png'})
att=upload(payload,201,name='Фотография 😀.png')['json']
check(att['sha256']==hashlib.sha256(payload).hexdigest(),'bad original hash')
for suffix in ('','/content'):
c.call('GET','/api/v1/attachments/'+att['id']+suffix,404,actor=eve)
c.call('GET','/api/v1/attachments/'+str(uuid.uuid4())+suffix,404,actor=alice)
foreign=c.call('POST','/api/v1/chats',201,actor=alice,body={'title':'other','member_ids':[alice['id'],bob['id']]},schema='Chat')['json']
c.call('POST','/api/v1/chats/'+foreign['id']+'/messages',404,actor=alice,
body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex})
passed.append('foreign attachment and chat ACL')
for body in ({'text':'','attachment_ids':[att['id'],att['id']]},
{'text':'','attachment_ids':None}, {'text':'x','attachment_ids':['not-uuid']},
{'text':'x','sender_id':eve['id']}, {'text':' '}):
c.call('POST',path+'/messages',400,actor=alice,body=body,headers={'Idempotency-Key':uuid.uuid4().hex})
key=uuid.uuid4().hex
first=c.message(alice,chat,'',key,[att['id']])['json']
repeat=c.message(alice,chat,'',key,[att['id']])['json']
check(first==repeat,'attachment message replay changed')
c.call('POST',path+'/messages',409,actor=alice,body={'text':'changed','attachment_ids':[att['id']]},headers={'Idempotency-Key':key})
key=uuid.uuid4().hex
plain=c.message(alice,chat,'text only',key)['json']
check(plain==c.message(alice,chat,'text only',key,[])['json'],'omitted != empty attachment_ids')
key=uuid.uuid4().hex
with concurrent.futures.ThreadPoolExecutor(max_workers=12) as pool:
messages=list(pool.map(lambda _:Client().message(alice,chat,'concurrent',key,[att['id']])['json'],range(12)))
check(len({m['id'] for m in messages})==1,'concurrent idempotency created duplicates')
response=c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)
check(response['bytes']==payload,'download changed bytes')
check(response['headers'].get_content_type()=='image/png','wrong download MIME')
c.call('GET','/api/v1/attachments/'+att['id']+'/content?variant=thumbnail',404,actor=alice)
passed.append('attachment-only, text-only, replay, concurrent replay, exact download')
jpeg=(ROOT/'student-tests/fixtures/sample.jpg').read_bytes()
item=upload(jpeg,201,name='valid.jpg',mime='image/jpeg')['json']
check(c.call('GET','/api/v1/attachments/'+item['id']+'/content',actor=bob)['bytes']==jpeg,'JPEG changed')
passed.append('real JPEG exact download')
save('attachments.json',{'complete':True,'passed':passed})
print('PASS attachment validation, ACL and compatibility')
if __name__=='__main__':
main()
+79
View File
@@ -0,0 +1,79 @@
"""Shared operator/test helpers. Never print credentials or HTTP bodies."""
import json
import os
from pathlib import Path
import subprocess
import sys
import time
ROOT = Path(__file__).resolve().parents[1]
sys.path.insert(0, str(ROOT/'tests'))
from client import Client as PublicClient, check
class Client(PublicClient):
"""Use the published IPv4 loopback by default; respect explicit targets."""
def __init__(self, base_url=None, ca_file=None, timeout=10):
super().__init__(base_url or os.environ.get('BASE_URL') or 'http://127.0.0.1:8080',
ca_file=ca_file, timeout=timeout)
def command(args, *, capture=True, timeout=600, input=None):
result = subprocess.run(args, cwd=ROOT, input=input, text=True,
encoding='utf-8', errors='replace', capture_output=capture,
timeout=timeout)
if result.returncode:
# Child output may contain environment-specific details. Full command
# does not contain secrets, but do not echo arbitrary child stderr.
raise RuntimeError('command failed: '+str(args[0])+' (exit '+str(result.returncode)+')')
return result.stdout.strip() if capture else None
def compose(*args, **kwargs):
return command(['docker', 'compose', *args], **kwargs)
def sql(query):
return compose('exec', '-T', 'db', 'psql', '-X', '-v', 'ON_ERROR_STOP=1',
'-U', 'messenger', '-d', 'messenger', '-At', '-c', query)
def mc(script):
setup = ('set -eu\nmc alias set local http://s3:9000 '
'"$(cat /run/secrets/s3_root_user)" '
'"$(cat /run/secrets/s3_root_password)" >/dev/null\n')
return compose('run', '--rm', '--no-deps', '-T', '--entrypoint', '/bin/sh',
's3-init', '-c', setup+script)
def reconcile(apply=False, grace=60):
args = ['exec', '-T', 'api', '/messenger', 'reconcile', '--grace-seconds', str(grace)]
if apply:
args.append('--apply')
report = json.loads(compose(*args))
check(report['complete'], 'incomplete reconciler report')
return report
def wait_ready(base=None, seconds=90, count=1):
deadline = time.monotonic()+seconds
client=Client(base, timeout=2)
observed=set()
last_error=None
while time.monotonic()<deadline:
try:
response=client.call('GET','/health/ready',schema='Health')
observed.add(response['headers']['X-Instance-Id'])
if len(observed)>=count:return
except (OSError,AssertionError) as exc:
last_error=type(exc).__name__
observed.clear()
time.sleep(.1)
raise RuntimeError('stack did not become ready: expected '+str(count)+
' distinct replicas, observed '+str(len(observed))+
'; last probe '+(last_error or 'HTTP 200'))
def save(name, data):
(ROOT/'evidence').mkdir(exist_ok=True)
(ROOT/'evidence'/name).write_text(json.dumps(data, ensure_ascii=False, indent=2)+'\n', encoding='utf-8')
+101
View File
@@ -0,0 +1,101 @@
"""Sequential infrastructure faults; restores every stopped service in finally."""
import http.client
import json
import time
import urllib.parse
from common import ROOT, Client, check, command, compose, mc, sql, wait_ready, save
def inside(program, data=None):
return command(['docker','run','--rm','-i','--network','mtusi-lab4_default',
'--mount','type=bind,source='+str(ROOT)+',target=/workspace',
'mtusi-messenger:lab4-tests','python','-X','utf8','-c',program],
input=json.dumps(data) if data is not None else '')
def main():
c=Client(timeout=40)
alice,bob,eve,chat=c.bootstrap()
att,content=c.attachment(alice,chat)
results=[]
key='original/'+att['id']
status=inside("import urllib.request,urllib.error;\ntry:\n r=urllib.request.urlopen('http://s3:9000/messenger-attachments/"+key+"');print(r.status)\nexcept urllib.error.HTTPError as e: print(e.code)")
check(status=='403','anonymous S3 access was not denied')
results.append('private bucket anonymous GET: 403')
guard=inside("""import urllib.request,urllib.error
cases=[('/messenger-attachments/original/guard-test',{'X-Amz-Content-Sha256':'STREAMING-UNSIGNED-PAYLOAD-TRAILER'},'PUT'),
('/minio/storage/v63/rmpl',{},'POST'),('/messenger-attachments/x?select&select-type=2',{},'POST'),
('/messenger-attachments/x',{'X-Minio-Source-Replication-Request':'true'},'PUT')]
for path,headers,method in cases:
try:
response=urllib.request.urlopen(urllib.request.Request('http://s3:9000'+path,data=b'',headers=headers,method=method))
assert response.status==403
except urllib.error.HTTPError as e: assert e.code==403
print('PASS')""")
check(guard=='PASS','MinIO network guard failed')
results.append('unsigned trailers, storage REST, S3 Select and replication headers blocked at private proxy')
# API identity can use only this bucket/prefix, never administrative APIs.
denied=mc('mc alias set app http://s3:9000 "$(cat /run/secrets/s3_access_key_id)" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null\n'
'if mc admin user list app >/dev/null 2>&1; then exit 10; fi\n'
'if mc mb app/forbidden-bucket >/dev/null 2>&1; then exit 11; fi\n'
'if printf x | mc pipe app/messenger-attachments/outside-prefix >/dev/null 2>&1; then exit 12; fi\n'
'echo denied')
check(denied=='denied','S3 API policy too broad')
results.append('API account cannot administer, create bucket or write outside original/')
# Check bootstrap twice without replacing secrets or losing bytes.
compose('run','--rm','--no-deps','-T','s3-init')
compose('run','--rm','--no-deps','-T','s3-init')
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==content,'bootstrap lost original')
results.append('idempotent bootstrap preserves data and credentials')
try:
compose('stop','s3')
# Readiness removes both replicas from LB, so query internal API to
# distinguish the application JSON error from the LB transport error.
program='''import sys,json
sys.path.insert(0,'tests')
from client import Client
x=json.load(sys.stdin);c=Client('http://api:8080',timeout=40)
c.call('GET','/health/live',schema='Health')
c.call('GET','/health/ready',503)
c.call('POST','/api/v1/chats/'+x['chat']+'/attachments?filename=a.png',503,actor=x['actor'],raw=open('tests/fixtures/sample.png','rb').read(),headers={'Content-Type':'image/png'})
c.call('GET','/api/v1/attachments/'+x['attachment']+'/content',503,actor=x['actor'])
print('PASS')'''
check(inside(program,{'actor':alice,'chat':chat['id'],'attachment':att['id']})=='PASS','S3 outage error mapping')
finally:
compose('start','s3');wait_ready()
check(c.call('GET','/api/v1/attachments/'+att['id']+'/content',actor=bob)['bytes']==content,'S3 restart lost data')
results.append('S3 outage: live 200, ready/upload/content 503, restart retains bytes')
response=c.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=uploader.png',201,
actor=alice,raw=content,headers={'Content-Type':'image/png'},schema='Attachment')
uploader=response['headers']['X-Instance-Id'];uploaded=response['json']
ids=compose('ps','-q','api').split()
selected=[]
for container in ids:
hostname=command(['docker','inspect','--format','{{.Config.Hostname}}',container])
if hostname==uploader:selected.append(container)
check(len(selected)==1,'uploading replica did not map to exactly one container')
try:
command(['docker','stop','--time','9',selected[0]])
wait_ready()
download=c.call('GET','/api/v1/attachments/'+uploaded['id']+'/content',actor=bob)
check(download['bytes']==content,'replica failover changed original')
check(download['headers']['X-Instance-Id']!=uploader,'download still used stopped uploader')
finally:
compose('up','-d','--no-deps','--scale','api=2','api');wait_ready()
results.append('exact uploading container stopped; another replica returned identical original with old session')
# An interrupted body must not reach PUT or metadata insertion.
before=sql('SELECT count(*) FROM attachments')
url=urllib.parse.urlsplit(c.base)
conn=http.client.HTTPConnection(url.hostname,url.port or 80,timeout=5)
conn.putrequest('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=abort.png')
conn.putheader('Authorization','Bearer '+alice['token'])
conn.putheader('Content-Type','image/png');conn.putheader('Content-Length',str(len(content)+1000));conn.endheaders()
conn.send(content[:30]);conn.close();time.sleep(.5)
check(sql('SELECT count(*) FROM attachments')==before,'aborted upload created metadata')
results.append('interrupted body creates no metadata; dependency recovers')
save('failures.json',{'complete':True,'passed':results})
print('PASS private bucket, least privilege, bootstrap, S3 outage, aborted body')
if __name__=='__main__':
main()
Binary file not shown.

After

Width:  |  Height:  |  Size: 651 B

+23
View File
@@ -0,0 +1,23 @@
package main
import (
"encoding/json"
"os"
"runtime"
"runtime/debug"
"time"
"golang.org/x/crypto/argon2"
)
func main() {
samples:=[]float64{}
for i:=0;i<5;i++ {
start:=time.Now()
hash:=argon2.IDKey([]byte("synthetic-diagnostic-password"),[]byte("synthetic-salt12"),3,64*1024,1,32)
runtime.KeepAlive(hash)
samples=append(samples,float64(time.Since(start).Microseconds())/1000)
debug.FreeOSMemory()
}
stats,_:=os.ReadFile("/sys/fs/cgroup/cpu.stat")
json.NewEncoder(os.Stdout).Encode(map[string]any{"kdf_ms":samples,"cpu_stat":string(stats),"gomaxprocs":runtime.GOMAXPROCS(0)})
}
+89
View File
@@ -0,0 +1,89 @@
"""Ten simultaneous uploads, two file sizes; sampled cgroup memory and CPU."""
import concurrent.futures
import json
import math
import random
import re
import statistics
import struct
import threading
import time
import zlib
from common import Client, check, command, compose, save, wait_ready
from attachments import chunk
def image(side):
rng=random.Random(104729+side)
pixels=b''.join(b'\0'+rng.randbytes(side*3) for _ in range(side))
return (b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('!IIBBBBB',side,side,8,2,0,0,0))+
chunk(b'IDAT',zlib.compress(pixels,1))+chunk(b'IEND',b''))
def bytes_value(value):
number,unit=re.fullmatch(r'([0-9.]+)\s*([A-Za-z]+)',value.strip()).groups()
return round(float(number)*{'B':1,'KiB':1024,'MiB':1024**2,'GiB':1024**3,'kB':1000,'MB':1000**2,'GB':1000**3}[unit])
def main():
c=Client(timeout=40);alice,bob,eve,chat=c.bootstrap()
ids=compose('ps','-q','api').split()
check(len(ids)>=2,'need two API containers')
cases=[]
for side in (256,1536):
compose('up','-d','--no-deps','--force-recreate','--scale','api=2','api');wait_ready(count=2)
ids=compose('ps','-q','api').split()
baseline_cgroup=[json.loads(command(['docker','exec',i,'/messenger','memory-snapshot'])) for i in ids]
payload=image(side);samples=[];sampling_errors=[];stop=threading.Event();timing={}
barrier=threading.Barrier(11,action=lambda:timing.update(start=time.monotonic()))
def sample():
while not stop.is_set():
try:
raw=command(['docker','stats','--no-stream','--format','{{json .}}',*ids],timeout=20)
except Exception as exc:
sampling_errors.append(type(exc).__name__);return
rows=[json.loads(line) for line in raw.splitlines()]
samples.append({'t':time.monotonic(),'total_bytes':sum(bytes_value(r['MemUsage'].split('/')[0]) for r in rows),
'containers':[{k:r[k] for k in ('Name','MemUsage','CPUPerc')} for r in rows]})
stop.wait(.1)
monitor=threading.Thread(target=sample,daemon=True);monitor.start()
while not samples:
if sampling_errors:raise RuntimeError('Docker memory sampler failed')
time.sleep(.05)
def upload(_):
client=Client(timeout=40);barrier.wait(timeout=90)
start=time.monotonic()
result=client.call('POST','/api/v1/chats/'+chat['id']+'/attachments?filename=memory.png',[201,503],
actor=alice,raw=payload,headers={'Content-Type':'image/png'})
return result['status'],time.monotonic()-start
try:
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as pool:
pending=[pool.submit(upload,i) for i in range(10)]
barrier.wait(timeout=90);results=[f.result() for f in pending]
elapsed=time.monotonic()-timing['start']
# Keep sampling after the burst to catch the next Docker sample.
time.sleep(2)
finally:
stop.set();monitor.join(timeout=20)
successes=[latency for status,latency in results if status==201]
check(not sampling_errors,'Docker memory sampling failed')
peaks=[json.loads(command(['docker','exec',i,'/messenger','memory-snapshot'])) for i in ids]
check(len(successes)==10,'all ten simultaneous uploads must complete successfully')
ordered=sorted(successes)
percentile=lambda q:ordered[min(len(ordered)-1,max(0,math.ceil(len(ordered)*q)-1))]
cases.append({'file_bytes':len(payload),'pixels':side*side,'concurrency':10,'requests':10,
'success':len(successes),'backpressure_503':len(results)-len(successes),
'error_fraction':(len(results)-len(successes))/len(results),
'successful_rps':len(successes)/elapsed,'duration_seconds':elapsed,
'p50_seconds':percentile(.5),'p95_seconds':percentile(.95),'p99_seconds':percentile(.99),
'baseline_bytes':samples[0]['total_bytes'],'sampled_peak_bytes':max(x['total_bytes'] for x in samples),
'baseline_cgroups':baseline_cgroup,'peak_cgroups':peaks,
'sum_cgroup_peaks_bytes':sum(x['memory.peak'] for x in peaks),
'samples':samples})
save('upload-memory.json',{'complete':True,'method':'10 simultaneous clients, no retries; docker stats CPU/RAM plus kernel cgroup-v2 memory.peak; API cgroups recreated per case. Sum of individual peaks is an upper bound on simultaneous total peak.',
'cases':cases})
print('PASS 10-client memory experiment at two sizes (see upload-memory.json)')
if __name__=='__main__':
main()
+46
View File
@@ -0,0 +1,46 @@
"""Regression checks for private readiness probes; public client is unchanged."""
import os
import unittest
from unittest.mock import patch
from common import Client, wait_ready
class ReadinessTests(unittest.TestCase):
def test_local_default_matches_published_address(self):
with patch.dict(os.environ, {}, clear=True):
self.assertEqual(Client().base, 'http://127.0.0.1:8080')
def test_custom_environment_and_direct_backend_are_preserved(self):
with patch.dict(os.environ, {'BASE_URL': 'http://test.example:8080/'}):
self.assertEqual(Client().base, 'http://test.example:8080')
self.assertEqual(Client('http://api:8080').base, 'http://api:8080')
def test_one_ready_replica_does_not_satisfy_two(self):
with patch('common.Client') as client, patch('common.time.sleep'):
client.return_value.call.side_effect = [
{'headers': {'X-Instance-Id': name}}
for name in ('one', 'one', 'two')]
wait_ready(count=2)
self.assertEqual(client.return_value.call.call_count, 3)
def test_unavailable_interval_invalidates_old_observations(self):
with patch('common.Client') as client, patch('common.time.sleep'):
client.return_value.call.side_effect = [
{'headers': {'X-Instance-Id': 'old'}},
AssertionError('not ready'),
{'headers': {'X-Instance-Id': 'new-one'}},
{'headers': {'X-Instance-Id': 'new-two'}}]
wait_ready(count=2)
self.assertEqual(client.return_value.call.call_count, 4)
def test_timeout_reports_missing_replica_count(self):
with patch('common.Client') as client, patch('common.time.sleep'), \
patch('common.time.monotonic', side_effect=[0, 0, 2]):
client.return_value.call.return_value = {'headers': {'X-Instance-Id': 'one'}}
with self.assertRaisesRegex(RuntimeError, 'expected 2 distinct replicas, observed 1'):
wait_ready(count=2, seconds=1)
if __name__ == '__main__':
unittest.main()
+104
View File
@@ -0,0 +1,104 @@
"""Track 2: injected PostgreSQL/S3 faults, dry-run, repeatability and scan cost."""
import concurrent.futures
import hashlib
import json
import threading
import time
import uuid
from common import ROOT, Client, check, command, compose, mc, sql, reconcile, save
def objects():
raw=mc('mc ls --json --recursive local/messenger-attachments/original/')
# mc lists keys relative to the supplied prefix.
return {'original/'+line['key'].removeprefix('original/') for line in
(json.loads(x) for x in raw.splitlines() if x.strip()) if line.get('type')=='file'}
def main():
c=Client(timeout=40);alice,bob,eve,chat=c.bootstrap()
original=(ROOT/'tests/fixtures/sample.png').read_bytes()
path='/api/v1/chats/'+chat['id']+'/attachments?filename='
used,_=c.attachment(alice,chat)
missing,_=c.attachment(alice,chat)
c.message(alice,chat,'referenced old attachment',attachments=[used['id'],missing['id']])
baseline=objects()
marker='fault_'+uuid.uuid4().hex+'.png'
# Fault only our unique synthetic filename. No production test hooks.
sql("CREATE FUNCTION student_reject_attachment() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN IF NEW.filename='"+marker+"' THEN RAISE EXCEPTION 'injected metadata failure'; END IF; RETURN NEW; END $$; CREATE TRIGGER student_reject_attachment BEFORE INSERT ON attachments FOR EACH ROW EXECUTE FUNCTION student_reject_attachment()")
try:
c.call('POST',path+marker,503,actor=alice,raw=original,headers={'Content-Type':'image/png'})
finally:
sql('DROP TRIGGER IF EXISTS student_reject_attachment ON attachments; DROP FUNCTION IF EXISTS student_reject_attachment()')
orphaned=objects()-baseline
check(len(orphaned)==1,'injected commit-side failure did not leave exactly one orphan')
old_orphan=next(iter(orphaned))
check(sql("SELECT count(*) FROM attachments WHERE object_key='"+old_orphan+"'")=='0','orphan has metadata')
print('Waiting 65 seconds for the real S3 LastModified grace (no timestamp forgery).',flush=True)
deadline=time.monotonic()+65
while time.monotonic()<deadline:time.sleep(min(1,deadline-time.monotonic()))
# Fresh orphan is uploaded with admin fixture tools; private, unique key.
fresh_key='original/'+str(uuid.uuid4())
mc("printf 'fresh-uncommitted-fixture' >/tmp/fresh; mc cp /tmp/fresh local/messenger-attachments/"+fresh_key+" >/dev/null")
mc('mc rm local/messenger-attachments/original/'+missing['id']+' >/dev/null')
metadata_before=sql('SELECT count(*) FROM attachments')
before=objects()
dry=reconcile(False)
check(dry['old_orphans']>=1 and dry['missing']>=1,'dry-run did not detect both failure directions')
check(objects()==before,'dry-run changed S3')
check(sql("SELECT missing_since IS NULL FROM attachments WHERE id='"+missing['id']+"'")=='t','dry-run changed DB')
apply=reconcile(True)
after=objects()
check(old_orphan not in after,'old orphan not removed')
check(fresh_key in after,'fresh orphan was deleted')
check('original/'+used['id'] in after,'referenced object was deleted')
check(sql('SELECT count(*) FROM attachments')==metadata_before,'missing metadata was deleted')
check(sql("SELECT count(*) FROM message_attachments WHERE attachment_id='"+missing['id']+"'")=='1','message reference was lost')
c.call('GET','/api/v1/attachments/'+missing['id'],503,actor=bob)
c.call('GET','/api/v1/attachments/'+missing['id'],404,actor=eve)
repeat=reconcile(True)
check(repeat['deleted']==0 and repeat['marked_unavailable']==0,'second apply is not idempotent')
# Restore exact bytes from the fixture; only matching SHA-256 clears marker.
# Binary stdin avoids encoding files or credential-bearing process args.
import subprocess
script=('set -eu\nmc alias set local http://s3:9000 "$(cat /run/secrets/s3_root_user)" '
'"$(cat /run/secrets/s3_root_password)" >/dev/null\n'
'cat >/tmp/original; mc cp /tmp/original local/messenger-attachments/original/'+missing['id']+' >/dev/null')
subprocess.run(['docker','compose','run','--rm','--no-deps','-T','--entrypoint','/bin/sh','s3-init','-c',script],
cwd=ROOT,input=original,stdout=subprocess.DEVNULL,check=True,timeout=60)
recovered=reconcile(True)
check(recovered['recovered']==1 and recovered['cleared_unavailable']==1,'restore not verified/repaired')
check(c.call('GET','/api/v1/attachments/'+missing['id']+'/content',actor=bob)['bytes']==original,'restored bytes differ')
# Reconciler while legitimate concurrent uploads commit: no live object loss.
barrier=threading.Barrier(4)
def upload(_):
client=Client(timeout=40)
barrier.wait(timeout=90)
return client.call('POST',path+'race.png',[201,503],actor=alice,raw=original,headers={'Content-Type':'image/png'})
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as pool:
pending=[pool.submit(upload,i) for i in range(3)]
barrier.wait(timeout=90)
during=reconcile(True)
created=[json.loads(x['bytes']) for x in (f.result() for f in pending) if x['status']==201]
for item in created:
check(c.call('GET','/api/v1/attachments/'+item['id']+'/content',actor=bob)['bytes']==original,'concurrent upload was deleted')
# Two scan sizes with controlled synthetic orphans. None are eligible during
# measurement; their cleanup is the ordinary grace-based reconciler task.
counts=[]
for batch in (10,100):
keys=['original/'+str(uuid.uuid4()) for _ in range(batch)]
mc("printf 'scan-fixture' >/tmp/scan\n"+'\n'.join("mc cp /tmp/scan local/messenger-attachments/"+k+" >/dev/null" for k in keys))
timings=[reconcile(False) for _ in range(3)]
counts.append({'added_objects':batch,'runs':timings})
final=reconcile(False)
save('research.json',{'complete':True,'track':2,'grace_seconds':60,
'hypothesis':'Per-key locks, durable PostgreSQL rechecks and age threshold remove only old unreferenced objects; missing metadata is retained and recoverable.',
'faults':['PostgreSQL INSERT exception after successful S3 PUT','S3 object removed after acknowledged upload'],
'dry_run':dry,'apply':apply,'repeat_apply':repeat,'recovery':recovered,'concurrent':during,
'fresh_orphan_protected':fresh_key in objects(),'used_original_checksum':hashlib.sha256(original).hexdigest(),
'scan_cost':counts,'final':final})
print('PASS Track 2: both failures, dry-run, repair, repeat, fresh/used protection and measured scan cost')
if __name__=='__main__':
main()
+25
View File
@@ -0,0 +1,25 @@
"""Run private Go tests in a temporary source copy; public files stay untouched."""
from pathlib import Path
import shutil
import subprocess
import sys
import tempfile
ROOT=Path(__file__).resolve().parents[1]
def main():
subprocess.run([sys.executable, '-X', 'utf8', str(ROOT/'student-tests/readiness_test.py')], cwd=ROOT, check=True)
with tempfile.TemporaryDirectory(prefix='lab4-student-') as folder:
target=Path(folder)
for path in ROOT.glob('*.go'):
shutil.copyfile(path,target/path.name)
for name in ('go.mod','go.sum'):
shutil.copyfile(ROOT/name,target/name)
shutil.copytree(ROOT/'migrations',target/'migrations')
shutil.copyfile(ROOT/'student-tests/validation_test.go',target/'validation_test.go')
subprocess.run(['go','test','-tags','studentvalidation','-count=1','-v','./...'],cwd=target,check=True)
if __name__=='__main__':
main()
+121
View File
@@ -0,0 +1,121 @@
//go:build studentvalidation
package main
import (
"bytes"
"context"
"encoding/binary"
"encoding/json"
"errors"
"hash/crc32"
"image"
"image/jpeg"
"image/png"
"net/http/httptest"
"os"
"strings"
"testing"
"github.com/minio/minio-go/v7"
)
func TestAttachmentFilename(t *testing.T) {
for _, name := range []string{"", " ", "../file.png", "a/b", "a\\b", "a\x00b", "a\nb", "a\x7fb", strings.Repeat("я", 256), string([]byte{255})} {
if validFilename(name) {
t.Fatalf("unsafe filename accepted: %q", name)
}
}
for _, name := range []string{"photo.png", "Фотография 😀.jpg", strings.Repeat("я", 255)} {
if !validFilename(name) {
t.Fatalf("valid display name rejected: %q", name)
}
}
}
func TestAttachmentMessageValidation(t *testing.T) {
id := "12345678-1234-4234-8234-123456789abc"
for _, raw := range []string{`{}`, `{"text":null}`, `{"text":" "}`, `{"text":"ok","attachment_ids":null}`, `{"text":"ok","attachment_ids":[null]}`, `{"text":"ok","attachment_ids":["invalid"]}`, `{"text":"","attachment_ids":["` + id + `","` + strings.ToUpper(id) + `"]}`} {
var body map[string]json.RawMessage
json.Unmarshal([]byte(raw), &body)
if _, _, err := messageFields(body); err == nil {
t.Fatalf("invalid message accepted: %s", raw)
}
}
for _, raw := range []string{`{"text":"ok"}`, `{"text":"ok","attachment_ids":[]}`, `{"text":"","attachment_ids":["` + id + `"]}`} {
var body map[string]json.RawMessage
json.Unmarshal([]byte(raw), &body)
_, ids, err := messageFields(body)
if err != nil || ids == nil {
t.Fatalf("valid message rejected or null IDs: %s", raw)
}
}
}
func TestUntrustedImagesRejectedBeforeStorage(t *testing.T) {
folder := t.TempDir()
t.Setenv("TMPDIR", folder)
t.Setenv("TMP", folder)
t.Setenv("TEMP", folder)
var encoded bytes.Buffer
png.Encode(&encoded, image.NewRGBA(image.Rect(0, 0, 20, 10)))
pngBytes := append([]byte(nil), encoded.Bytes()...)
encoded.Reset()
jpeg.Encode(&encoded, image.NewRGBA(image.Rect(0, 0, 20, 10)), nil)
jpegBytes := append([]byte(nil), encoded.Bytes()...)
// Correct IHDR CRC: a valid header proves the pixel guard runs before Decode.
huge := append([]byte(nil), pngBytes...)
binary.BigEndian.PutUint32(huge[16:20], 40000001)
binary.BigEndian.PutUint32(huge[20:24], 1)
binary.BigEndian.PutUint32(huge[29:33], crc32.ChecksumIEEE(huge[12:29]))
for _, tc := range []struct {
name, mime string
data []byte
length int64
status int
}{
{"empty", "image/png", nil, 0, 415},
{"invalid bytes", "image/png", []byte("fake"), 4, 415},
{"truncated PNG", "image/png", pngBytes[:40], 40, 415},
{"truncated JPEG", "image/jpeg", jpegBytes[:len(jpegBytes)/2], -1, 415},
{"spoof PNG", "image/jpeg", pngBytes, -1, 415},
{"spoof JPEG", "image/png", jpegBytes, -1, 415},
{"unsupported MIME", "text/plain", pngBytes, -1, 415},
{"large header", "image/png", pngBytes, maxUploadBytes + 1, 413},
{"chunked bytes limit", "image/png", bytes.Repeat([]byte("x"), int(maxUploadBytes+1)), -1, 413},
{"pixel guard", "image/png", huge, -1, 413},
} {
t.Run(tc.name, func(t *testing.T) {
app := App{uploadSlots: make(chan struct{}, 2), decodeSlot: make(chan struct{}, 1)}
request := httptest.NewRequest("POST", "/attachments?filename=image.png", bytes.NewReader(tc.data))
request.ContentLength = tc.length
request.Header.Set("Content-Type", tc.mime)
_, err := app.upload(context.Background(), httptest.NewRecorder(), request, "chat", "user")
var failure apiError
if !errors.As(err, &failure) || failure.status != tc.status {
t.Fatalf("expected %d; got %v", tc.status, err)
}
entries, e := os.ReadDir(folder)
if e != nil || len(entries) != 0 {
t.Fatal("temporary upload leaked")
}
})
}
}
func TestReconcilerDistinguishesStorageFaults(t *testing.T) {
for _, tc := range []struct {
err error
absent bool
}{
{nil, false}, {minio.ErrorResponse{Code: "NoSuchKey", StatusCode: 404}, true},
{minio.ErrorResponse{Code: "AccessDenied", StatusCode: 403}, false},
{minio.ErrorResponse{Code: "NoSuchBucket", StatusCode: 404}, false},
{minio.ErrorResponse{Code: "InternalError", StatusCode: 500}, false},
{context.DeadlineExceeded, false},
} {
if absentObject(tc.err) != tc.absent {
t.Fatalf("unsafe missing inference: %v", tc.err)
}
}
}