Files
mtusi2026lab4/evidence/s3/memory.md
T
ricoromaandClaude Opus 5.5 7d340c0673 docs: add s3-storage evidence and report
- evidence/s3: bootstrap, privacy (make s3_check), gRPC without token,
  restart and SIGKILL, client failures, memory of 20 concurrent uploads
- evidence/tests: failure_checks with own S3, test_isolated prefix
  cleanup (red tests: no attachment_ids until attachments)
- REPORT.md: S3 role, services table, bootstrap, readiness
  dependencies, skeleton S3_* names, evidence rows, limitations
- refine expected-red counts in tasks, design and PLAN

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-20 20:31:35 +03:00

51 lines
3.2 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Память S3: 20 одновременных PUT по 10 MiB
- Дата: 2026-10-20, 17:16–17:17 UTC.
- Commit: `2e997f9`.
- Стенд: `make run_docker`, проект `mtusi-lab4`. Сервис `s3`: лимит
1 CPU / 512 МБ, `GOMEMLIMIT=400MiB`, `-s3.concurrentUploadLimitMB=64`
(design change `s3-storage`, решение 2). ВМ Docker — 12 CPU /
7,75 ГиБ, Apple M3 Pro.
- Нагрузка — скрипт `burst_memory.py` (scratchpad):
- aiobotocore ключом API из настроек приложения, пул 20, без
повторов, `read_timeout` 60 с;
- 20 случайных тел по 10 MiB уходят в `put_object` одновременно
(`asyncio.gather`), затем 20 одновременных GET со сверкой SHA-256,
затем удаление;
- раз в ~0,4 с (`docker compose exec`, 23 выборки) читаются
`memory.current` и `anon` из `memory.stat` cgroup контейнера; до и
после — `memory.peak` и `oom_kill` из `memory.events`.
- Спек `object-storage`: «Одновременная запись».
```
before: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false
before: memory.peak 149 MiB, oom_kill 0
20 x 10 MiB PUT at once: all confirmed in 7.21 s
20 x GET at once in 1.57 s: 20/20 with the same size and SHA-256
20 probe objects deleted
during: 23 samples every 0.2 s; max memory.current 503 MiB, max anon 379 MiB (limit 512 MiB, GOMEMLIMIT 400 MiB)
after: memory.peak 512 MiB, oom_kill 0
after: StartedAt 2026-10-20T17:16:21.637346137Z RestartCount 0 OOMKilled false Status running Health healthy
```
В строке `during` написано «every 0.2 s» — это пауза между выборками; с
учётом `docker compose exec` выборка выходила раз в ~0,4 с.
## Вывод
- Все 20 записей подтверждены и прочитаны с тем же SHA-256. Контейнер не
перезапускался (`StartedAt`, `RestartCount 0`), OOM-kill не было
(`oom_kill 0`, `OOMKilled false`).
- Анонимная память процесса — не больше 379 MiB: ниже `GOMEMLIMIT` и
лимита. `memory.current` и `memory.peak` доходят до лимита за счёт
страничного кэша записанных томов, ядро вытесняет его без OOM. Поэтому
считать надо анонимную память (design, Risks).
- Без `GOMEMLIMIT` и лимита загрузок те же 20 загрузок давали OOM-kill
(проба propose, design, Context).
- **Для change `upload-memory`.** Лимит загрузок шлюза (64 МБ) ставит
запросы в очередь, и последняя из 20 записей подтверждена через 7,2 с.
Это больше срока вызова клиента приложения (`[s3] timeout_seconds`
5 с): у API при 20 одновременных загрузках по 10 MiB часть закончится
503. Подбор лимита API на одновременные загрузки и сроков — задача
`upload-memory`.