- evidence/s3: bootstrap, privacy (make s3_check), gRPC without token, restart and SIGKILL, client failures, memory of 20 concurrent uploads - evidence/tests: failure_checks with own S3, test_isolated prefix cleanup (red tests: no attachment_ids until attachments) - REPORT.md: S3 role, services table, bootstrap, readiness dependencies, skeleton S3_* names, evidence rows, limitations - refine expected-red counts in tasks, design and PLAN Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
51 lines
3.2 KiB
Markdown
51 lines
3.2 KiB
Markdown
# Память S3: 20 одновременных PUT по 10 MiB
|
||
|
||
- Дата: 2026-10-20, 17:16–17:17 UTC.
|
||
- Commit: `2e997f9`.
|
||
- Стенд: `make run_docker`, проект `mtusi-lab4`. Сервис `s3`: лимит
|
||
1 CPU / 512 МБ, `GOMEMLIMIT=400MiB`, `-s3.concurrentUploadLimitMB=64`
|
||
(design change `s3-storage`, решение 2). ВМ Docker — 12 CPU /
|
||
7,75 ГиБ, Apple M3 Pro.
|
||
- Нагрузка — скрипт `burst_memory.py` (scratchpad):
|
||
- aiobotocore ключом API из настроек приложения, пул 20, без
|
||
повторов, `read_timeout` 60 с;
|
||
- 20 случайных тел по 10 MiB уходят в `put_object` одновременно
|
||
(`asyncio.gather`), затем 20 одновременных GET со сверкой SHA-256,
|
||
затем удаление;
|
||
- раз в ~0,4 с (`docker compose exec`, 23 выборки) читаются
|
||
`memory.current` и `anon` из `memory.stat` cgroup контейнера; до и
|
||
после — `memory.peak` и `oom_kill` из `memory.events`.
|
||
- Спек `object-storage`: «Одновременная запись».
|
||
|
||
```
|
||
before: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false
|
||
before: memory.peak 149 MiB, oom_kill 0
|
||
20 x 10 MiB PUT at once: all confirmed in 7.21 s
|
||
20 x GET at once in 1.57 s: 20/20 with the same size and SHA-256
|
||
20 probe objects deleted
|
||
during: 23 samples every 0.2 s; max memory.current 503 MiB, max anon 379 MiB (limit 512 MiB, GOMEMLIMIT 400 MiB)
|
||
after: memory.peak 512 MiB, oom_kill 0
|
||
after: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false Status running Health healthy
|
||
```
|
||
|
||
В строке `during` написано «every 0.2 s» — это пауза между выборками; с
|
||
учётом `docker compose exec` выборка выходила раз в ~0,4 с.
|
||
|
||
## Вывод
|
||
|
||
- Все 20 записей подтверждены и прочитаны с тем же SHA-256. Контейнер не
|
||
перезапускался (`StartedAt`, `RestartCount 0`), OOM-kill не было
|
||
(`oom_kill 0`, `OOMKilled false`).
|
||
- Анонимная память процесса — не больше 379 MiB: ниже `GOMEMLIMIT` и
|
||
лимита. `memory.current` и `memory.peak` доходят до лимита за счёт
|
||
страничного кэша записанных томов, ядро вытесняет его без OOM. Поэтому
|
||
считать надо анонимную память (design, Risks).
|
||
- Без `GOMEMLIMIT` и лимита загрузок те же 20 загрузок давали OOM-kill
|
||
(проба propose, design, Context).
|
||
- **Для change `upload-memory`.** Лимит загрузок шлюза (64 МБ) ставит
|
||
запросы в очередь, и последняя из 20 записей подтверждена через 7,2 с.
|
||
Это больше срока вызова клиента приложения (`[s3] timeout_seconds`
|
||
5 с): у API при 20 одновременных загрузках по 10 MiB часть закончится
|
||
503. Подбор лимита API на одновременные загрузки и сроков — задача
|
||
`upload-memory`.
|