Lab 5: Redis Streams image pipeline #1

Merged
dizi merged 7 commits from solution/bvt2303-plastinin into main 2026-10-30 13:54:53 +03:00
Owner
No description provided.
dizi added 4 commits 2026-10-22 17:23:22 +03:00
dizi marked the pull request as work in progress 2026-10-22 17:23:35 +03:00
dizi added 3 commits 2026-10-30 13:46:17 +03:00
dizi left a comment
Author
Owner

Замечания по реализации оставлены в файлах.

Замечания по реализации оставлены в файлах.
@@ -0,0 +167,4 @@
deliveries = append(deliveries, delivery)
continue
}
envelope, err := DecodeEnvelope(payload)
Author
Owner

Нужно сохранить bounded raw payload в Delivery до вызова DecodeEnvelope

Нужно сохранить bounded raw payload в Delivery до вызова DecodeEnvelope
dizi marked this conversation as resolved
@@ -0,0 +34,4 @@
}, []string{"result"}),
workerDuration: prometheus.NewHistogramVec(prometheus.HistogramOpts{
Namespace: "messenger", Subsystem: "attachment_worker", Name: "job_duration_seconds",
Help: "Attachment job delivery processing duration.", Buckets: prometheus.DefBuckets,
Author
Owner

prometheus.DefBuckets заканчиваются на 10 сек, а processing timeout равен 20 сек. При медленных изображениях p95 будет уходить в +Inf. Нужны отдельные бакеты явно задать, для всего так сделай

prometheus.DefBuckets заканчиваются на 10 сек, а processing timeout равен 20 сек. При медленных изображениях p95 будет уходить в +Inf. Нужны отдельные бакеты явно задать, для всего так сделай
dizi marked this conversation as resolved
@@ -0,0 +86,4 @@
return Result{}, err
}
oriented := applyOrientation(img, orientation)
Author
Owner

давай добавим прерывание внутри обработки, так как щас тут вообще криво ограничение контекстом работает

давай добавим прерывание внутри обработки, так как щас тут вообще криво ограничение контекстом работает
dizi marked this conversation as resolved
@@ -0,0 +334,4 @@
result := make([]model.Variant, 0, len(variants))
for _, item := range variants {
objectKey := variantObjectKey(lease.Attachment.ID, lease.Job.PipelineVersion, item.name, item.value)
if err := w.objects.Put(ctx, objectKey, item.value.ContentType, item.value.Bytes); err != nil {
Author
Owner

Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.

Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.
dizi marked this conversation as resolved
@@ -0,0 +117,4 @@
job.UpdatedAt = now
const queueAttachment = `
UPDATE attachments
SET status = 'queued', pipeline_version = $2, staging_key = object_key,
Author
Owner

Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний

Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний
dizi marked this conversation as resolved
@@ -0,0 +434,4 @@
}
seen[variant.Name] = struct{}{}
}
_, hasOriginal := seen["original"]
Author
Owner

Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404

Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404
dizi marked this conversation as resolved
@@ -106,0 +165,4 @@
SELECT EXISTS (
SELECT 1 FROM attachments WHERE object_key = $1 OR staging_key = $1
UNION ALL
SELECT 1 FROM attachment_variants WHERE object_key = $1
Author
Owner

attachment_variants проверяются только повторным запросом в apply-режиме. Основной merge-iterator содержит только attachments.object_key, поэтому thumbnail/crop/optimized уже учитываются как orphan, а dry-run вообще не выполняет recheck

attachment_variants проверяются только повторным запросом в apply-режиме. Основной merge-iterator содержит только attachments.object_key, поэтому thumbnail/crop/optimized уже учитываются как orphan, а dry-run вообще не выполняет recheck
dizi marked this conversation as resolved
@@ -0,0 +63,4 @@
func (s *Store) MarkOutboxPublished(ctx context.Context, eventID, leaseToken string) (bool, error) {
const query = `
UPDATE outbox_events
Author
Owner

После публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай

После публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай
dizi marked this conversation as resolved
lab5.env.example Outdated
@@ -26,6 +26,32 @@ DATABASE_URL=postgres://messenger:local-postgres-password@postgres:5432/messenge
VALKEY_PASSWORD=local-valkey-password
Author
Owner

давай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения

config.yaml — обычные настройки приложения
.env — адреса окружения и секреты

примеррно так

давай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения config.yaml — обычные настройки приложения .env — адреса окружения и секреты примеррно так
dizi marked this conversation as resolved
@@ -1,143 +1,638 @@
{
"annotations": {"list": []},
Author
Owner

также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed

также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed
dizi marked this conversation as resolved
@@ -1,143 +1,638 @@
{
Author
Owner

давай дашик разделим на апи постгресс редис

отдельный блоки в нем раскрывающиеся

Основные ручки тайминги там цпу юзайдж и тд

В бд количетсво коннектов, в редиске кеш мис кеш хит, использвоание рам и тд

давай дашик разделим на апи постгресс редис отдельный блоки в нем раскрывающиеся Основные ручки тайминги там цпу юзайдж и тд В бд количетсво коннектов, в редиске кеш мис кеш хит, использвоание рам и тд
dizi marked this conversation as resolved
dizi marked the pull request as ready for review 2026-10-30 13:54:46 +03:00
dizi merged commit 2ec6cc29d9 into main 2026-10-30 13:54:53 +03:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: dizi/mtusi2026lab5#1