- evidence/s3: bootstrap, privacy (make s3_check), gRPC without token, restart and SIGKILL, client failures, memory of 20 concurrent uploads - evidence/tests: failure_checks with own S3, test_isolated prefix cleanup (red tests: no attachment_ids until attachments) - REPORT.md: S3 role, services table, bootstrap, readiness dependencies, skeleton S3_* names, evidence rows, limitations - refine expected-red counts in tasks, design and PLAN Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
3.2 KiB
3.2 KiB
Память S3: 20 одновременных PUT по 10 MiB
- Дата: 2026-10-20, 17:16–17:17 UTC.
- Commit:
2e997f9. - Стенд:
make run_docker, проектmtusi-lab4. Сервисs3: лимит 1 CPU / 512 МБ,GOMEMLIMIT=400MiB,-s3.concurrentUploadLimitMB=64(design changes3-storage, решение 2). ВМ Docker — 12 CPU / 7,75 ГиБ, Apple M3 Pro. - Нагрузка — скрипт
burst_memory.py(scratchpad):- aiobotocore ключом API из настроек приложения, пул 20, без
повторов,
read_timeout60 с; - 20 случайных тел по 10 MiB уходят в
put_objectодновременно (asyncio.gather), затем 20 одновременных GET со сверкой SHA-256, затем удаление; - раз в ~0,4 с (
docker compose exec, 23 выборки) читаютсяmemory.currentиanonизmemory.statcgroup контейнера; до и после —memory.peakиoom_killизmemory.events.
- aiobotocore ключом API из настроек приложения, пул 20, без
повторов,
- Спек
object-storage: «Одновременная запись».
before: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false
before: memory.peak 149 MiB, oom_kill 0
20 x 10 MiB PUT at once: all confirmed in 7.21 s
20 x GET at once in 1.57 s: 20/20 with the same size and SHA-256
20 probe objects deleted
during: 23 samples every 0.2 s; max memory.current 503 MiB, max anon 379 MiB (limit 512 MiB, GOMEMLIMIT 400 MiB)
after: memory.peak 512 MiB, oom_kill 0
after: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false Status running Health healthy
В строке during написано «every 0.2 s» — это пауза между выборками; с
учётом docker compose exec выборка выходила раз в ~0,4 с.
Вывод
- Все 20 записей подтверждены и прочитаны с тем же SHA-256. Контейнер не
перезапускался (
StartedAt,RestartCount 0), OOM-kill не было (oom_kill 0,OOMKilled false). - Анонимная память процесса — не больше 379 MiB: ниже
GOMEMLIMITи лимита.memory.currentиmemory.peakдоходят до лимита за счёт страничного кэша записанных томов, ядро вытесняет его без OOM. Поэтому считать надо анонимную память (design, Risks). - Без
GOMEMLIMITи лимита загрузок те же 20 загрузок давали OOM-kill (проба propose, design, Context). - Для change
upload-memory. Лимит загрузок шлюза (64 МБ) ставит запросы в очередь, и последняя из 20 записей подтверждена через 7,2 с. Это больше срока вызова клиента приложения ([s3] timeout_seconds5 с): у API при 20 одновременных загрузках по 10 MiB часть закончится 503. Подбор лимита API на одновременные загрузки и сроков — задачаupload-memory.