Files
mtusi2026lab4/evidence/s3/memory.md
T
ricoromaandClaude Opus 5.5 7d340c0673 docs: add s3-storage evidence and report
- evidence/s3: bootstrap, privacy (make s3_check), gRPC without token,
  restart and SIGKILL, client failures, memory of 20 concurrent uploads
- evidence/tests: failure_checks with own S3, test_isolated prefix
  cleanup (red tests: no attachment_ids until attachments)
- REPORT.md: S3 role, services table, bootstrap, readiness
  dependencies, skeleton S3_* names, evidence rows, limitations
- refine expected-red counts in tasks, design and PLAN

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 20:31:35 +03:00

3.2 KiB
Raw Blame History

Память S3: 20 одновременных PUT по 10 MiB

  • Дата: 2026-10-20, 17:16–17:17 UTC.
  • Commit: 2e997f9.
  • Стенд: make run_docker, проект mtusi-lab4. Сервис s3: лимит 1 CPU / 512 МБ, GOMEMLIMIT=400MiB, -s3.concurrentUploadLimitMB=64 (design change s3-storage, решение 2). ВМ Docker — 12 CPU / 7,75 ГиБ, Apple M3 Pro.
  • Нагрузка — скрипт burst_memory.py (scratchpad):
    • aiobotocore ключом API из настроек приложения, пул 20, без повторов, read_timeout 60 с;
    • 20 случайных тел по 10 MiB уходят в put_object одновременно (asyncio.gather), затем 20 одновременных GET со сверкой SHA-256, затем удаление;
    • раз в ~0,4 с (docker compose exec, 23 выборки) читаются memory.current и anon из memory.stat cgroup контейнера; до и после — memory.peak и oom_kill из memory.events.
  • Спек object-storage: «Одновременная запись».
before: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false
before: memory.peak 149 MiB, oom_kill 0
20 x 10 MiB PUT at once: all confirmed in 7.21 s
20 x GET at once in 1.57 s: 20/20 with the same size and SHA-256
20 probe objects deleted
during: 23 samples every 0.2 s; max memory.current 503 MiB, max anon 379 MiB (limit 512 MiB, GOMEMLIMIT 400 MiB)
after: memory.peak 512 MiB, oom_kill 0
after: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false Status running Health healthy

В строке during написано «every 0.2 s» — это пауза между выборками; с учётом docker compose exec выборка выходила раз в ~0,4 с.

Вывод

  • Все 20 записей подтверждены и прочитаны с тем же SHA-256. Контейнер не перезапускался (StartedAt, RestartCount 0), OOM-kill не было (oom_kill 0, OOMKilled false).
  • Анонимная память процесса — не больше 379 MiB: ниже GOMEMLIMIT и лимита. memory.current и memory.peak доходят до лимита за счёт страничного кэша записанных томов, ядро вытесняет его без OOM. Поэтому считать надо анонимную память (design, Risks).
  • Без GOMEMLIMIT и лимита загрузок те же 20 загрузок давали OOM-kill (проба propose, design, Context).
  • Для change upload-memory. Лимит загрузок шлюза (64 МБ) ставит запросы в очередь, и последняя из 20 записей подтверждена через 7,2 с. Это больше срока вызова клиента приложения ([s3] timeout_seconds 5 с): у API при 20 одновременных загрузках по 10 MiB часть закончится 503. Подбор лимита API на одновременные загрузки и сроков — задача upload-memory.