17 KiB
Ручная проверка lab4 в PowerShell
Все пользователи и файлы в этих командах синтетические. Нужны Docker Desktop с Linux containers, Python 3.9+ и Go 1.27.3. Команды выполняются из C:\Users\maxsi\lab4\mtusi2026lab4-fork.
1. Запуск и полная проверка
cd C:\Users\maxsi\lab4\mtusi2026lab4-fork
python -X utf8 scripts/bootstrap.py
docker compose config --quiet
python -X utf8 scripts/manage.py start
python -X utf8 scripts/manage.py status
Invoke-RestMethod http://127.0.0.1:8080/health/ready
# Полный последовательный прогон, включая отказы и эксперимент на «5»:
python -X utf8 scripts/verify.py
Get-Content evidence/verification.json
complete: true означает, что весь прогон закончен. static_complete: true при complete: false означает только локальные проверки исходников. При первом запуске сборка MinIO из официальных исходников может занять несколько минут. Bootstrap создаёт локальные .env и secrets/, повторный запуск сохраняет значения.
2. Создать двух участников и постороннего
$base = 'http://127.0.0.1:8080'
function Send-LabJson($method, $path, $value, $headers = @{}) {
$bytes = [Text.Encoding]::UTF8.GetBytes(($value | ConvertTo-Json -Depth 6 -Compress))
Invoke-RestMethod -Method $method -Uri ($base + $path) -Headers $headers `
-ContentType 'application/json; charset=utf-8' -Body $bytes
}
function New-LabUser($label) {
$name = 'manual_' + $label + '_' + [guid]::NewGuid().ToString('N').Substring(0, 8)
$password = 'Lab-Test-' + [guid]::NewGuid().ToString('N')
$user = Send-LabJson POST '/api/v1/users' @{
username = $name; display_name = $label; password = $password
}
$basic = [Convert]::ToBase64String([Text.Encoding]::UTF8.GetBytes($name + ':' + $password))
$session = Invoke-RestMethod -Method POST -Uri "$base/api/v1/auth/sessions" `
-Headers @{Authorization = "Basic $basic"}
@{User = $user; Token = $session.token}
}
$alice = New-LabUser 'alice'
$bob = New-LabUser 'bob'
$eve = New-LabUser 'eve'
$ha = @{Authorization = 'Bearer ' + $alice.Token}
$hb = @{Authorization = 'Bearer ' + $bob.Token}
$he = @{Authorization = 'Bearer ' + $eve.Token}
$chat = Send-LabJson POST '/api/v1/chats' @{
title = 'Проверка вложений'; member_ids = @($alice.User.id, $bob.User.id)
} $ha
$chat.id
Не выводите переменные с токенами, паролями или Basic-заголовками и не добавляйте их в отчёт.
3. Загрузить, отправить и скачать оригинал
$fixture = Join-Path (Get-Location) 'tests/fixtures/sample.png'
$upload = Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=photo.png" `
-Headers $ha -ContentType 'image/png' -InFile $fixture
$upload.StatusCode # 201
$uploader = $upload.Headers['X-Instance-Id']
$att = $upload.Content | ConvertFrom-Json
$att | Select-Object id, status, content_type, size_bytes, sha256
$key = [guid]::NewGuid().ToString('N')
$hm = @{Authorization = $ha.Authorization; 'Idempotency-Key' = $key}
$message = Send-LabJson POST "/api/v1/chats/$($chat.id)/messages" @{
text = ''; attachment_ids = @($att.id)
} $hm
$repeat = Send-LabJson POST "/api/v1/chats/$($chat.id)/messages" @{
attachment_ids = @($att.id); text = ''
} $hm
$message.id -eq $repeat.id # True: ровно одно сообщение
Invoke-WebRequest -UseBasicParsing -Uri "$base/api/v1/attachments/$($att.id)/content" `
-Headers $hb -OutFile 'evidence/manual-download.png'
$expected = (Get-FileHash $fixture -Algorithm SHA256).Hash.ToLowerInvariant()
$actual = (Get-FileHash 'evidence/manual-download.png' -Algorithm SHA256).Hash.ToLowerInvariant()
($actual -eq $expected) -and ($actual -eq $att.sha256) # True
Invoke-RestMethod "$base/api/v1/chats/$($chat.id)/messages" -Headers $hb
status=ready, variants=[], error_code=null; в истории есть attachment_ids. Обычный POST {"text":"Привет"} с новым Idempotency-Key по-прежнему работает и возвращает attachment_ids=[]. Повтор того же ключа с другим текстом даёт 409.
4. Доступ и ошибки файла
try {
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)" -Headers $he
} catch { [int]$_.Exception.Response.StatusCode } # 404
try {
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)/content" -Headers $he
} catch { [int]$_.Exception.Response.StatusCode } # 404
try {
Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=..%2Fphoto.png" `
-Headers $ha -ContentType 'image/png' -InFile $fixture
} catch { [int]$_.Exception.Response.StatusCode } # 400
try {
Invoke-WebRequest -UseBasicParsing -Method POST `
-Uri "$base/api/v1/chats/$($chat.id)/attachments?filename=photo.jpg" `
-Headers $ha -ContentType 'image/jpeg' -InFile $fixture
} catch { [int]$_.Exception.Response.StatusCode } # 415
# Также: >10 MiB -> 413, >40 млн пикселей -> 413,
# повреждённый PNG/JPEG -> 415, файл другого чата -> 404:
python -X utf8 student-tests/attachments.py
5. Остановить именно загрузившую API-реплику
python -X utf8 scripts/manage.py stop-one --instance $uploader
Start-Sleep -Seconds 2
$other = Invoke-WebRequest -UseBasicParsing `
-Uri "$base/api/v1/attachments/$($att.id)/content" -Headers $hb `
-OutFile 'evidence/manual-after-failover.png' -PassThru
$other.Headers['X-Instance-Id'] -ne $uploader # True
(Get-FileHash 'evidence/manual-after-failover.png').Hash -eq (Get-FileHash $fixture).Hash # True
python -X utf8 scripts/manage.py restore
Другая реальная реплика должна вернуть те же байты с прежним токеном. Сопоставление X-Instance-Id с контейнерами видно в scripts/manage.py status.
6. Перезапуск, недоступность S3 и приватность
python -X utf8 scripts/manage.py restart
# Сохраняются прежние $hb и $att, повторный вход не нужен:
Invoke-RestMethod "$base/api/v1/attachments/$($att.id)" -Headers $hb
Invoke-WebRequest -UseBasicParsing "$base/api/v1/attachments/$($att.id)/content" `
-Headers $hb -OutFile 'evidence/manual-after-restart.png'
(Get-FileHash 'evidence/manual-after-restart.png').Hash -eq (Get-FileHash $fixture).Hash # True
# Приватность, отдельные S3-права, два bootstrap, отказ S3,
# оборванное тело и остановка именно uploader проверяются здесь:
python -X utf8 student-tests/failures.py
Get-Content evidence/failures.json
# Публичные persistence/failover с неизменёнными tests/:
docker build -f Dockerfile.tests -t mtusi-messenger:lab4-tests .
python -X utf8 scripts/linux_tests.py test-persistence
python -X utf8 scripts/linux_tests.py test-failover
python -X utf8 scripts/manage.py restore
При полном отказе S3 API /health/live остаётся 200, readiness/upload/download возвращают 503. LB после исключения всех backend может вернуть собственный 503 без JSON; failures.py отдельно проверяет JSON-ошибку непосредственно на внутреннем API без публикации его порта. MinIO API/консоль, PostgreSQL, Valkey и реплики не публикуются на хосте; наружу открыт только LB на 127.0.0.1:8080. Анонимный запрос в S3 из внутренней сети должен получить 403.
Для проверки сохранности используйте docker compose down и затем up, сохраняя volumes. Команда с удалением volumes для этого сценария не подходит.
7. Исследование на «5» и память на «4»
# По умолчанию только чтение, grace = 3600 секунд:
docker compose exec -T api /messenger reconcile
# Безопасно применить исправления после анализа dry-run:
docker compose exec -T api /messenger reconcile --apply
# Повтор должен показать deleted=0 при отсутствии новых старых orphan:
docker compose exec -T api /messenger reconcile --apply
# Контролируемая инъекция ошибок, реальное ожидание grace >=60 секунд,
# dry-run/apply/repeat, восстановление SHA-256, защита fresh/used,
# три измерения обхода при двух размерах набора:
python -X utf8 student-tests/research.py
Get-Content evidence/research.json
# 10 одновременно стартующих клиентов, два размера PNG,
# успешные запросы и 503 от ограничения параллелизма учитываются отдельно:
python -X utf8 student-tests/memory.py
Get-Content evidence/upload-memory.json
Незаписанный объект удаляется только старше grace, после повторной проверки БД под той же блокировкой, которую использует upload. Существующие метаданные защищают объект независимо от наличия сообщения. При потере оригинала сохраняются и метаданные, и ссылки сообщений; API отвечает 503. После восстановления точных байтов reconciler проверяет SHA-256 и снимает отметку недоступности.
research.py оставляет свежие синтетические orphan для проверки grace; обычный reconciler сможет убрать их после истечения срока. Сервис cleanup автоматически выполняет reconcile --apply каждые 15 минут с grace 3600 секунд. Ручной CLI позволяет сначала изучить dry-run. Два параллельных обхода безопасны благодаря блокировкам и повторным проверкам.
8. Что добавлять в Git
Добавляйте реализацию, миграции, Compose/Dockerfile, infra/, собственные student-tests/, операторские скрипты, MANUAL.md, REPORT.md и небольшие проверенные evidence/*.json/*.txt. Перед коммитом проверьте git diff --cached. Не добавляйте .env, secrets/, .venv/, токены, временные файлы и большие логи сборки. contracts/ и публичные tests/ должны остаться без изменений.
MinIO дополнительно изолирован в сети object_store. Имя s3 в общей сети ведёт на закрытый S3-listener HAProxy; исходный backend туда не подключён. Фильтр блокирует unsigned-trailer uploads и неиспользуемые служебные функции архивированного MinIO. Проверки фильтра входят в student-tests/failures.py; область и ограничения защиты описаны в REPORT.md.
Если завершились локальные/race проверки, а исправлена только инфраструктура или её проверка, можно продолжить python -X utf8 scripts/verify.py --resume-integration. Verifier проверяет неизменность исходников приложения и заново выполняет все интеграционные сценарии. При изменении Go-кода нужен полный запуск без этого флага.
9. Показать private bucket без API
Выполняется после шага 3, в том же PowerShell. Тестовый Linux-образ собирается в шаге 6 или полным verifier. URL доступен только внутри сети стенда; используется тот же UUID загруженного файла.
$s3Url = "http://s3:9000/messenger-attachments/original/$($att.id)"
$anonymousProbe = @'
import sys, urllib.request, urllib.error
try:
response = urllib.request.urlopen(sys.argv[1], timeout=5)
print(response.status)
except urllib.error.HTTPError as error:
print(error.code)
'@
docker run --rm --network mtusi-lab4_default mtusi-messenger:lab4-tests `
python -c $anonymousProbe $s3Url
# Ожидается 403; тот же файл через API участника скачивается с 200.
10. Повторить диагностику возврата памяти (необязательно)
Используются только синтетические данные. Argon2id остаётся 64 MiB/t=3/p=1; после каждого хеша вызывается FreeOSMemory для воспроизводимого холодного выделения страниц. Диагностические контейнеры не подключаются к сети и не получают секреты/volumes стенда.
New-Item -ItemType Directory -Force .diagnostics | Out-Null
Copy-Item student-tests/kdf-bench.go.txt .diagnostics/kdfbench.go
$labOldGoOS = $env:GOOS
$labOldCgo = $env:CGO_ENABLED
try {
$env:GOOS = 'linux'
$env:CGO_ENABLED = '0'
go build -trimpath -o .diagnostics/kdfbench .diagnostics/kdfbench.go
} finally {
$env:GOOS = $labOldGoOS
$env:CGO_ENABLED = $labOldCgo
}
$benchPath = (Resolve-Path .diagnostics/kdfbench).Path
docker run --rm --network none --cpus 1 --memory 768m --read-only `
--cap-drop ALL --security-opt no-new-privileges:true --no-healthcheck `
-e GOMEMLIMIT=512MiB --mount "type=bind,source=$benchPath,target=/bench,readonly" `
--entrypoint /bench mtusi-messenger:lab4
docker run --rm --network none --cpus 1 --memory 768m --read-only `
--cap-drop ALL --security-opt no-new-privileges:true --no-healthcheck `
-e GOMEMLIMIT=512MiB -e GODEBUG=madvdontneed=0 `
--mount "type=bind,source=$benchPath,target=/bench,readonly" `
--entrypoint /bench mtusi-messenger:lab4
Режим MADV_FREE уже включён в Compose для API. Он может дольше удерживать RSS; итоговый memory-эксперимент проверен именно с этой настройкой. Полный прогон завершён успешно, обе серии из десяти uploads дали 10/10.
11. Если memory останавливается на readiness
На Windows localhost может отвечать заметно медленнее IPv4 loopback. В воспроизведённом сбое обе API были healthy и OOMKilled=false; ошибка возникала до загрузок, при ожидании двух различных X-Instance-Id. Собственные клиенты и полный verifier теперь по умолчанию используют 127.0.0.1, сохраняя явно заданный BASE_URL. Публичные тесты не изменены.
$env:BASE_URL = 'http://127.0.0.1:8080'
python -X utf8 student-tests/readiness_test.py
python -X utf8 student-tests/memory.py
Get-Content evidence/upload-memory.json
# Полная проверка в исходной последовательности:
python -X utf8 scripts/verify.py
Ожидается PASS 10-client memory experiment at two sizes, два профиля с success=10, backpressure_503=0, complete=true. Исходный traceback сохранён в evidence/memory-before-ipv4-fix.txt. При новой ошибке смотрите текущий evidence/memory.txt: сводка upload-memory.json сохраняется только после успешного завершения обоих профилей и сама по себе не доказывает успех более позднего запуска.