8.4 KiB
Проверенные замечания преподавателя к чужим PR
Прочитаны только замечания, код и результаты чужих решений не переносились. Отсутствие замечаний не является доказательством корректности.
#2 (comment)
Самые криты:
-
Cleanup удаляет файл ещё не выполненной задачи. Если worker недоступен больше часа, уже принятая загрузка теряется. Нужно сохранять staging для queued/processing. Это реальная проблема сохранности данных.
-
Нет рабочего replay failed-задач. После устранения причины ошибки задачу нельзя штатно вернуть в обработку. Достаточно небольшого операторского скрипта с переходом failed → queued, записью о повторе и защитой уже готовых задач.
#3 (comment)
Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В janitor.py:201 повторная проверка состояния и последующий DELETE не синхронизированы с replay. Минимальное воспроизведение:
- После реального crash worker за записью объектов и четырёх временных ошибок получить failed/retry_exhausted с оставшимися объектами.
- Дождаться их реального возраста свыше grace; в проверке использован допустимый grace 120 с. Приостановить отдельный процесс janitor после последней проверки still_orphan, перед DELETE.
- Выполнить штатный ops.py replay: то же задание становится ready, все четыре файла скачиваются с 200.
- Продолжить janitor: он удаляет заново записанный crop.jpg. Метаданные остаются ready, но /content?variant=crop возвращает 503 unavailable вместо ожидаемого 200. Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
#4 (comment)
Существенные проблемы:
- Структурно повреждённый JPEG принимается с 202 вместо 415. Минимальное воспроизведение: в корректном JPEG найти первый SOS (FF DA) и заменить первый идентификатор компонента, байт i+5, на 250, отсутствующий в SOF. Загрузить с Content-Type: image/jpeg. Ожидалось 415 согласно контракту; фактически получены 202 queued → failed / invalid_image. Проверка SOS учитывает длину сегмента, но не связь компонентов с SOF: src/messenger/images.py:345.
- Janitor может удалить исходник уже принятого replay. Воспроизведено чередование: janitor прочитал ссылки для failed-вложения с истёкшей retention → операторский replay закоммитил queued → janitor продолжил удаление по старому снимку. Фактически staging удалён при состоянии задания queued; после запуска worker получен failed / source_missing. Ожидалось сохранение исходника для текущей работы либо безопасный отказ replay до его принятия. Причина — отсутствие согласования удаления с изменением состояния после чтения ссылок: src/messenger/cleanup.py:48, удаление — строка 59. Для ускорения возраст failed смоделирован через updated_at, использован grace=0; PostgreSQL, S3, replay и DELETE были реальными, порядок закреплён барьером в тестовом драйвере.
#11 (comment)
Два существенных замечания:
- Новая версия может оставить принятый upload в вечном queued. Воспроизведение: остановить worker → upload получает 202 → выполнить jobctl reprocess -attachment ID -pipeline 2 → запустить worker. Ожидалось безопасное завершение либо отказ команды с сохранением v1. Фактически v1 становится superseded, v2 — failed/source_missing, вложение остаётся queued, активных заданий нет. Выбирается ещё не созданный конечный оригинал вместо существующего staging: internal/storage/postgres/pipeline_repository.go:1341.
- Повреждённый PNG принимается с 202 вместо 415. В корректную структуру PNG помещён IDAT not-a-zlib-stream с пересчитанным CRC. Ожидалось 415 unsupported_media_type; получено 202 queued, затем failed/invalid_image. Валидатор проверяет CRC и наличие IDAT, но пропускает невалидный поток изображения: internal/imagecheck/imagecheck.go:146.
#17 (comment)
- PNG 319×200 превращается в миниатюру 256×161 вместо требуемых 256×160. thumbnail() округляет размер иначе, чем требует задание: lab5 — src/worker.py:84, lab6 — src/worker.py:95. Нужно явно рассчитывать размеры с округлением вниз, минимумом один пиксель и без увеличения исходника.
Наш checklist
- Никогда не очищать staging queued/processing.
- Cleanup, replay и publish используют общую блокировку строки вложения.
- Replay failed: либо источник существует и queued, либо явный отказ.
- Полное декодирование до 202: damaged JPEG SOS и PNG IDAT получают 415.
- Новая версия queued использует staging, ready — опубликованный оригинал.
- Размеры thumbnail рассчитываются явно с floor: 319×200 → 256×160.
- Старый worker не публикует метаданные поверх новой версии.