prometheus.DefBuckets заканчиваются на 10 сек, а processing timeout равен 20 сек. При медленных изображениях p95 будет уходить в +Inf. Нужны отдельные бакеты явно задать, для всего так сделай
prometheus.DefBuckets заканчиваются на 10 сек, а processing timeout равен 20 сек. При медленных изображениях p95 будет уходить в +Inf. Нужны отдельные бакеты явно задать, для всего так сделай
Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.
Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.
Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний
Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний
Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404
Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404
attachment_variants проверяются только повторным запросом в apply-режиме. Основной merge-iterator содержит только attachments.object_key, поэтому thumbnail/crop/optimized уже учитываются как orphan, а dry-run вообще не выполняет recheck
attachment_variants проверяются только повторным запросом в apply-режиме. Основной merge-iterator содержит только attachments.object_key, поэтому thumbnail/crop/optimized уже учитываются как orphan, а dry-run вообще не выполняет recheck
После публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай
После публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай
давай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения
давай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения
config.yaml — обычные настройки приложения
.env — адреса окружения и секреты
примеррно так
также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed
также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed
В бд количетсво коннектов, в редиске кеш мис кеш хит, использвоание рам и тд
давай дашик разделим на апи постгресс редис
отдельный блоки в нем раскрывающиеся
Основные ручки тайминги там цпу юзайдж и тд
В бд количетсво коннектов, в редиске кеш мис кеш хит, использвоание рам и тд
dizi marked this conversation as resolved
dizi
marked the pull request as ready for review 2026-10-30 13:54:46 +03:00
dizi
merged commit 2ec6cc29d9 into main2026-10-30 13:54:53 +03:00
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Замечания по реализации оставлены в файлах.
@@ -0,0 +167,4 @@deliveries = append(deliveries, delivery)continue}envelope, err := DecodeEnvelope(payload)Нужно сохранить bounded raw payload в Delivery до вызова DecodeEnvelope
@@ -0,0 +34,4 @@}, []string{"result"}),workerDuration: prometheus.NewHistogramVec(prometheus.HistogramOpts{Namespace: "messenger", Subsystem: "attachment_worker", Name: "job_duration_seconds",Help: "Attachment job delivery processing duration.", Buckets: prometheus.DefBuckets,prometheus.DefBuckets заканчиваются на 10 сек, а processing timeout равен 20 сек. При медленных изображениях p95 будет уходить в +Inf. Нужны отдельные бакеты явно задать, для всего так сделай
@@ -0,0 +86,4 @@return Result{}, err}oriented := applyOrientation(img, orientation)давай добавим прерывание внутри обработки, так как щас тут вообще криво ограничение контекстом работает
@@ -0,0 +334,4 @@result := make([]model.Variant, 0, len(variants))for _, item := range variants {objectKey := variantObjectKey(lease.Attachment.ID, lease.Job.PipelineVersion, item.name, item.value)if err := w.objects.Put(ctx, objectKey, item.value.ContentType, item.value.Bytes); err != nil {Здесь создаём четыре отдельных object key, но reconciliation при удалении attachment удаляет только основной object_key. Затем metadata вариантов удаляются каскадно, и получить их ключи уже нельзя. Нужно удалить все variant keys до удаления строки attachment и проверить полную очистку за один запуск.
@@ -0,0 +117,4 @@job.UpdatedAt = nowconst queueAttachment = `UPDATE attachmentsSET status = 'queued', pipeline_version = $2, staging_key = object_key,Здесь переводим ready attachment в queued, сохраняя существующий object_key. Reconciler не поддерживает queued, processing и failed, поэтому при reprocess v2 находит пару metadata/object и завершает весь запуск с unknown status. Нужно определить семантику этих состояний
@@ -0,0 +434,4 @@}seen[variant.Name] = struct{}{}}_, hasOriginal := seen["original"]Для решения уровня 4/5 статус ready должен означать наличие original, thumbnail, crop и optimized. Сейчас проверяем только два варианта, поэтому storage может опубликовать ready, после чего crop/optimized будут возвращать 404
@@ -106,0 +165,4 @@SELECT EXISTS (SELECT 1 FROM attachments WHERE object_key = $1 OR staging_key = $1UNION ALLSELECT 1 FROM attachment_variants WHERE object_key = $1attachment_variants проверяются только повторным запросом в apply-режиме. Основной merge-iterator содержит только attachments.object_key, поэтому thumbnail/crop/optimized уже учитываются как orphan, а dry-run вообще не выполняет recheck
@@ -0,0 +63,4 @@func (s *Store) MarkOutboxPublished(ctx context.Context, eventID, leaseToken string) (bool, error) {const query = `UPDATE outbox_eventsПосле публикации только выставляем published_at. Очистки опубликованных outbox_events нет, поэтому таблица неограниченно растёт вместе с количеством upload/retry. Давай очищать явно, так как так забиваться может утечка памяти считай
@@ -26,6 +26,32 @@ DATABASE_URL=postgres://messenger:local-postgres-password@postgres:5432/messengeVALKEY_PASSWORD=local-valkey-passwordдавай разделим логику вот env - закрытых переменных и настройку окружения можно сказать процессинга нашего, то есть отдельный конфиг регулирующий именно обработку и отдельно просто env подключения
config.yaml — обычные настройки приложения
.env — адреса окружения и секреты
примеррно так
@@ -1,143 +1,638 @@{"annotations": {"list": []},также Redis exporter не настроен на stream group metrics, а dashboard не показывает up, lag, PEL, DLQ и возраст backlog. Нужно включить сбор attachment-jobs/attachment-jobs-failed
@@ -1,143 +1,638 @@{давай дашик разделим на апи постгресс редис
отдельный блоки в нем раскрывающиеся
Основные ручки тайминги там цпу юзайдж и тд
В бд количетсво коннектов, в редиске кеш мис кеш хит, использвоание рам и тд