Автор / группа: Болотов Илья, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
Из lab3 перенесено всё: API, Redis-сессии, идемпотентность в PostgreSQL, ≥2 реплики за HAProxy, one-shot migrate, лимиты.
Lab4:
SeaweedFS 3.97 (digest), приватный bucket, все служебные порты закрыты; S3 API отдаётся только через сайдкар s3-gw во внутренней сети;
restart: unless-stopped у всех долгоживущих сервисов, включая s3 и s3-gw; после падения или рестарта s3 контейнер s3-gw сам переходит в его новый network namespace;
отдельный ключ API с правами только на bucket; admin-ключ есть только у s3-init;
вложения: потоковое чтение с лимитами 10 MiB / 40 млн пикселей; полная проверка PNG и JPEG (djpeg -strict под prlimit); intent → PUT → COMMIT;
компенсация, CommitUncertain без удаления, reconciler с grace 900 с;
HAProxy balance leastconn; readiness включает S3, при общей деградации HAProxy переключается на резервный backend по liveness;
watchdog и breaker для PostgreSQL;
graceful shutdown: по SIGTERM 503 отдаёт только /health/ready, реплика обслуживает запросы ещё 3 с (пока HAProxy её не исключит), затем до 8 с дожидается идущих запросов; stop_grace_period: 15s;
текст с U+0000 (BYTEA).
Команды запуска из чистого clone: copy .env.example .env → python scripts/init_secrets.py → docker compose --env-file .env up -d --build --scale api=2 (или scripts\up.cmd) → дождаться http://127.0.0.1:8080/health/ready. Подробно — в REPORT.md.
Результаты проверок и ссылка на REPORT.md (REPORT.md, сырые данные — в evidence/):
check: PASS; validate: PASS; smoke lab4: PASS.
persistence: PASS (хук перезапускает API и все хранилища); failover: PASS (127 записей, 0 неудачных попыток; хук с окном drain возвращается за ≈3.6 с, первая засчитанная запись через 3.95 с).
lab3 на стенде lab4: поочерёдный отказ каждой реплики — 168 + 166 записей, 0 неудачных попыток (seq-failover.json); rolling update под нагрузкой — обе реплики заменены, 1436 успешных, 0 ошибок, p99 62 мс (rolling-load.json).
student-tests: 69 passed, 0 failed (с RUN_DOCKER_TESTS=1 RUN_DEPS_TEST=1, включая test_shutdown: drain после SIGTERM, docker stop под нагрузкой без ошибок, загрузка через закрытие listener → 201); истечение сессии при TTL 2 с: 2 passed.
Failover вложений: первое скачивание через 3.625 / 3.64 с от начала docker stop, 0 ошибок. Full restart: down 15.0 с, 45.6 с до ready, SHA-256 совпал.
Рестарт S3: docker restart контейнера s3 → ready 200 через 37 с, падение процесса weed → через 29 с; после этого upload 201 и download 200 с тем же SHA-256 (s3-restart.txt).
10/20/40 одновременных загрузок 9.5 MiB: рост RSS API 16–31 MiB, пик LB 31.8–60.3 MiB из 128, S3 без OOM (max anon 401.3–566.4 MiB из 1024), на 40 — 18 × 201 и 22 × 503 (backpressure: 2 × 8 слотов; запросы разошлись 20/20).
LB — balance leastconn: при чередовании медленных загрузок и коротких GET загрузки распределяются 4/4 (round-robin — 8/0, lb-interleave.json).
Один хост, по одному экземпляру БД, Redis, S3 и LB.
Тело загрузки ≤10 MiB временно лежит на диске реплики (не прямой стриминг в S3).
При зависшей БД запрос ждёт до 6 с.
Остановка реплики занимает ≈3.6 с (окно drain); запрос, не завершившийся за 8 с после закрытия listener, обрывается.
Windows: PYTHONUTF8=1, BASE_URL 127.0.0.1.
Источники и использование ИИ: FastAPI, psycopg3, redis-py, boto3, HAProxy, SeaweedFS, libjpeg-turbo, спецификации PNG/JPEG, документация S3; реализация и эксперименты — с помощью ИИ-ассистента (Cursor), числа взяты из evidence/.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 4
Автор / группа: Болотов Илья, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
- Из lab3 перенесено всё: API, Redis-сессии, идемпотентность в PostgreSQL, ≥2 реплики за HAProxy, one-shot migrate, лимиты.
- Lab4:
- SeaweedFS 3.97 (digest), приватный bucket, все служебные порты закрыты; S3 API отдаётся только через сайдкар `s3-gw` во внутренней сети;
- `restart: unless-stopped` у всех долгоживущих сервисов, включая `s3` и `s3-gw`; после падения или рестарта `s3` контейнер `s3-gw` сам переходит в его новый network namespace;
- отдельный ключ API с правами только на bucket; admin-ключ есть только у `s3-init`;
- вложения: потоковое чтение с лимитами 10 MiB / 40 млн пикселей; полная проверка PNG и JPEG (`djpeg -strict` под `prlimit`); intent → PUT → COMMIT;
- компенсация, `CommitUncertain` без удаления, reconciler с grace 900 с;
- HAProxy `balance leastconn`; readiness включает S3, при общей деградации HAProxy переключается на резервный backend по liveness;
- watchdog и breaker для PostgreSQL;
- graceful shutdown: по SIGTERM 503 отдаёт только `/health/ready`, реплика обслуживает запросы ещё 3 с (пока HAProxy её не исключит), затем до 8 с дожидается идущих запросов; `stop_grace_period: 15s`;
- текст с U+0000 (BYTEA).
Команды запуска из чистого clone:
`copy .env.example .env` → `python scripts/init_secrets.py` → `docker compose --env-file .env up -d --build --scale api=2` (или `scripts\up.cmd`) → дождаться `http://127.0.0.1:8080/health/ready`. Подробно — в REPORT.md.
Результаты проверок и ссылка на REPORT.md ([REPORT.md](../REPORT.md), сырые данные — в `evidence/`):
- check: PASS; validate: PASS; smoke lab4: PASS.
- persistence: PASS (хук перезапускает API и все хранилища); failover: PASS (127 записей, 0 неудачных попыток; хук с окном drain возвращается за ≈3.6 с, первая засчитанная запись через 3.95 с).
- lab3 на стенде lab4: поочерёдный отказ каждой реплики — 168 + 166 записей, 0 неудачных попыток (`seq-failover.json`); rolling update под нагрузкой — обе реплики заменены, 1436 успешных, 0 ошибок, p99 62 мс (`rolling-load.json`).
- student-tests: 69 passed, 0 failed (с RUN_DOCKER_TESTS=1 RUN_DEPS_TEST=1, включая `test_shutdown`: drain после SIGTERM, `docker stop` под нагрузкой без ошибок, загрузка через закрытие listener → 201); истечение сессии при TTL 2 с: 2 passed.
- Failover вложений: первое скачивание через 3.625 / 3.64 с от начала `docker stop`, 0 ошибок. Full restart: down 15.0 с, 45.6 с до ready, SHA-256 совпал.
- Рестарт S3: `docker restart` контейнера `s3` → ready 200 через 37 с, падение процесса `weed` → через 29 с; после этого upload 201 и download 200 с тем же SHA-256 (`s3-restart.txt`).
- 10/20/40 одновременных загрузок 9.5 MiB: рост RSS API 16–31 MiB, пик LB 31.8–60.3 MiB из 128, S3 без OOM (max anon 401.3–566.4 MiB из 1024), на 40 — 18 × 201 и 22 × 503 (backpressure: 2 × 8 слотов; запросы разошлись 20/20).
- LB — `balance leastconn`: при чередовании медленных загрузок и коротких GET загрузки распределяются 4/4 (round-robin — 8/0, `lb-interleave.json`).
- Нагрузка: 265.13 RPS, 0 ошибок, p50/p95/p99 = 15/32/78 мс.
Ограничения / известные ошибки:
- Один хост, по одному экземпляру БД, Redis, S3 и LB.
- Тело загрузки ≤10 MiB временно лежит на диске реплики (не прямой стриминг в S3).
- При зависшей БД запрос ждёт до 6 с.
- Остановка реплики занимает ≈3.6 с (окно drain); запрос, не завершившийся за 8 с после закрытия listener, обрывается.
- Windows: `PYTHONUTF8=1`, BASE_URL `127.0.0.1`.
Источники и использование ИИ: FastAPI, psycopg3, redis-py, boto3, HAProxy, SeaweedFS, libjpeg-turbo, спецификации PNG/JPEG, документация S3; реализация и эксперименты — с помощью ИИ-ассистента (Cursor), числа взяты из `evidence/`.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 4
Автор / группа: Болотов Илья, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен
Что реализовано и что перенесено:
s3-gwво внутренней сети;restart: unless-stoppedу всех долгоживущих сервисов, включаяs3иs3-gw; после падения или рестартаs3контейнерs3-gwсам переходит в его новый network namespace;s3-init;djpeg -strictподprlimit); intent → PUT → COMMIT;CommitUncertainбез удаления, reconciler с grace 900 с;balance leastconn; readiness включает S3, при общей деградации HAProxy переключается на резервный backend по liveness;/health/ready, реплика обслуживает запросы ещё 3 с (пока HAProxy её не исключит), затем до 8 с дожидается идущих запросов;stop_grace_period: 15s;Команды запуска из чистого clone:
copy .env.example .env→python scripts/init_secrets.py→docker compose --env-file .env up -d --build --scale api=2(илиscripts\up.cmd) → дождатьсяhttp://127.0.0.1:8080/health/ready. Подробно — в REPORT.md.Результаты проверок и ссылка на REPORT.md (REPORT.md, сырые данные — в
evidence/):seq-failover.json); rolling update под нагрузкой — обе реплики заменены, 1436 успешных, 0 ошибок, p99 62 мс (rolling-load.json).test_shutdown: drain после SIGTERM,docker stopпод нагрузкой без ошибок, загрузка через закрытие listener → 201); истечение сессии при TTL 2 с: 2 passed.docker stop, 0 ошибок. Full restart: down 15.0 с, 45.6 с до ready, SHA-256 совпал.docker restartконтейнераs3→ ready 200 через 37 с, падение процессаweed→ через 29 с; после этого upload 201 и download 200 с тем же SHA-256 (s3-restart.txt).balance leastconn: при чередовании медленных загрузок и коротких GET загрузки распределяются 4/4 (round-robin — 8/0,lb-interleave.json).Ограничения / известные ошибки:
PYTHONUTF8=1, BASE_URL127.0.0.1.Источники и использование ИИ: FastAPI, psycopg3, redis-py, boto3, HAProxy, SeaweedFS, libjpeg-turbo, спецификации PNG/JPEG, документация S3; реализация и эксперименты — с помощью ИИ-ассистента (Cursor), числа взяты из
evidence/.Принято. Закрываю МР.
Pull request closed