Денис Пластинин dizi
  • Разработчик высоконагруженных приложений | БВТ2303

  • Joined on 2026-09-23
dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

давай добавим прерывание внутри обработки, так как щас тут вообще криво ограничение контекстом работает

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

давай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

После публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

давай дашик разделим на апи постгресс редис

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

Нужно сохранить bounded raw payload в Delivery до вызова DecodeEnvelope

dizi commented on pull request dizi/mtusi2026lab5#1 2026-10-30 13:47:06 +03:00
Lab 5: Redis Streams image pipeline

Замечания по реализации оставлены в файлах.

dizi pushed to solution/bvt2303-plastinin at dizi/mtusi2026lab5 2026-10-30 13:46:17 +03:00
c5b804426e fix: expose pipeline health metrics
25c80a0072 fix: preserve attachment pipeline invariants
aa5d6a6e16 fix: enforce pipeline lifecycle limits
Compare 3 commits »
dizi created pull request dizi/mtusi2026lab5#1 2026-10-22 17:23:22 +03:00
Lab 5: Redis Streams image pipeline
dizi created branch solution/bvt2303-plastinin in dizi/mtusi2026lab5 2026-10-22 17:23:07 +03:00
dizi pushed to solution/bvt2303-plastinin at dizi/mtusi2026lab5 2026-10-22 17:23:07 +03:00
3835106125 ci: verify and deploy lab5
487015dd2f ops: run and monitor Redis Streams workers
bc090c0f8b test: verify image pipeline recovery
42336ce7c2 feat: add durable image processing pipeline
Compare 4 commits »
dizi pushed to main at dizi/mtusi2026lab5 2026-10-22 16:21:16 +03:00
8c2ac690a6 Merge lab4 baseline into lab5
709346783e chore: import lab4 baseline
Compare 2 commits »
dizi created branch baseline/lab4 in dizi/mtusi2026lab5 2026-10-22 16:21:16 +03:00
dizi pushed to baseline/lab4 at dizi/mtusi2026lab5 2026-10-22 16:21:16 +03:00
dizi created repository dizi/mtusi2026lab5 2026-10-22 16:04:20 +03:00
dizi created pull request mtusi2026/mtusi2026lab4#1 2026-10-09 14:07:49 +03:00
ЛР 4 — БВТ2303 — Пластинин — на 5
dizi pushed to main at dizi/mtusi2026lab4 2026-10-09 14:00:14 +03:00
6e1117eb60 Merge pull request 'Lab 4: S3 attachments and consistency' (#2) from solution/bvt2303-plastinin into main
13151e66aa fix: isolate runtime upstream mount
99cc86766f fix: format bootstrap package
56e4a03bb6 test: refresh final lab4 evidence
37d93c340e fix: switch API pools atomically
Compare 12 commits »