Ревью
This commit is contained in:
@@ -0,0 +1,113 @@
|
||||
@echo off
|
||||
setlocal EnableDelayedExpansion
|
||||
cd /d "%~dp0.."
|
||||
|
||||
set BASE=http://localhost:8080
|
||||
set PASS=Example-only-not-a-real-secret-123
|
||||
set FIXTURE=tests\fixtures\sample.png
|
||||
set TMP=%TEMP%\lab5-lease
|
||||
if not exist "%TMP%" mkdir "%TMP%"
|
||||
|
||||
call :guid
|
||||
set RND=%GUIDVAL%
|
||||
set U=lease%RND%
|
||||
call :register "%U%" "Lease" u
|
||||
if errorlevel 1 exit /b 1
|
||||
set UID=!u_ID!
|
||||
call :login "%U%" u
|
||||
if errorlevel 1 exit /b 1
|
||||
set TOKEN=!u_TOKEN!
|
||||
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: application/json" ^
|
||||
-d "{\"title\":\"Lease expiry\",\"member_ids\":[\"%UID%\"]}" ^
|
||||
-o "%TMP%\chat.json" -w "%%{http_code}" > "%TMP%\chat.code"
|
||||
call :check_code chat.code 201 "create chat"
|
||||
if errorlevel 1 exit /b 1
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\chat.json' -Raw | ConvertFrom-Json).id"') do set CHAT_ID=%%a
|
||||
|
||||
echo === Stop worker and upload (job stays queued) ===
|
||||
docker compose --compatibility stop worker
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=sample.png" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/png" ^
|
||||
--data-binary "@%FIXTURE%" -o "%TMP%\att.json" -w "%%{http_code}" > "%TMP%\att.code"
|
||||
call :check_code att.code 202 "upload"
|
||||
if errorlevel 1 ( docker compose --compatibility up -d & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\att.json' -Raw | ConvertFrom-Json).id"') do set ATT_ID=%%a
|
||||
echo attachment=%ATT_ID%
|
||||
|
||||
echo === CASE A: expired lease on attempt 5 must become failed ===
|
||||
for /f "usebackq delims=" %%a in (`docker compose exec -T postgres psql -U messenger -d messenger -tAc "UPDATE jobs SET status='processing', attempt=5, lease_id='injected', lease_expires_at=now()-interval '2 minutes' WHERE attachment_id='%ATT_ID%'; UPDATE attachments SET status='processing' WHERE id='%ATT_ID%'; SELECT 'injected'"`) do set INJ=%%a
|
||||
echo injection=%INJ%
|
||||
|
||||
docker compose --compatibility start worker
|
||||
powershell -NoProfile -Command "for($i=0;$i -lt 60;$i++){ $m=Invoke-RestMethod -Uri '%BASE%/api/v1/attachments/%ATT_ID%' -Headers @{Authorization='Bearer %TOKEN%'}; if($m.status -eq 'failed'){ $m | ConvertTo-Json -Depth 6 | Set-Content '%TMP%\a.json'; exit 0 }; Start-Sleep -Seconds 1 }; exit 1"
|
||||
if errorlevel 1 (
|
||||
echo FAIL: expired lease on attempt 5 did not become failed
|
||||
for /f "usebackq delims=" %%a in (`docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT status || ':' || attempt FROM jobs WHERE attachment_id='%ATT_ID%'"`) do echo job state = %%a
|
||||
exit /b 1
|
||||
)
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\a.json' -Raw | ConvertFrom-Json).error_code"') do set ECODE=%%a
|
||||
echo PASS: case A failed with error_code=%ECODE%
|
||||
|
||||
for /f "usebackq delims=" %%a in (`docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT status || ':' || attempt FROM jobs WHERE attachment_id='%ATT_ID%'"`) do set JSTATE=%%a
|
||||
echo job state after = %JSTATE%
|
||||
if not "%JSTATE%"=="failed:5" ( echo FAIL: expected failed:5, got %JSTATE% & exit /b 1 )
|
||||
echo PASS: job row is failed:5 (no stuck processing:5)
|
||||
|
||||
for /f "usebackq delims=" %%a in (`docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT count(*) FROM job_failures WHERE attachment_id='%ATT_ID%'"`) do set FC=%%a
|
||||
if "%FC%"=="0" ( echo FAIL: no job_failures row for case A & exit /b 1 )
|
||||
echo PASS: job_failures has %FC% row(s)
|
||||
|
||||
echo === CASE B: expired lease on attempt 2 must be requeued and reach ready ===
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=sample2.png" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/png" ^
|
||||
--data-binary "@%FIXTURE%" -o "%TMP%\att2.json" -w "%%{http_code}" > "%TMP%\att2.code"
|
||||
call :check_code att2.code 202 "upload 2"
|
||||
if errorlevel 1 exit /b 1
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\att2.json' -Raw | ConvertFrom-Json).id"') do set ATT2=%%a
|
||||
|
||||
for /f "usebackq delims=" %%a in (`docker compose exec -T postgres psql -U messenger -d messenger -tAc "UPDATE jobs SET status='processing', attempt=2, lease_id='injected', lease_expires_at=now()-interval '2 minutes' WHERE attachment_id='%ATT2%'; UPDATE attachments SET status='processing' WHERE id='%ATT2%'; SELECT 'injected'"`) do set INJ2=%%a
|
||||
echo injection=%INJ2%
|
||||
|
||||
powershell -NoProfile -Command "for($i=0;$i -lt 90;$i++){ $m=Invoke-RestMethod -Uri '%BASE%/api/v1/attachments/%ATT2%' -Headers @{Authorization='Bearer %TOKEN%'}; if($m.status -eq 'ready'){ exit 0 }; if($m.status -eq 'failed'){ exit 2 }; Start-Sleep -Seconds 1 }; exit 1"
|
||||
if errorlevel 1 ( echo FAIL: case B did not reach ready & exit /b 1 )
|
||||
echo PASS: case B requeued after lease expiry and reached ready
|
||||
|
||||
echo === No conn busy in worker logs ===
|
||||
docker compose logs worker --tail 300 > "%TMP%\worker.log" 2>&1
|
||||
findstr /i /c:"conn busy" "%TMP%\worker.log" >nul
|
||||
if not errorlevel 1 ( echo FAIL: conn busy still present in worker logs & exit /b 1 )
|
||||
echo PASS: no conn busy in worker logs
|
||||
|
||||
echo.
|
||||
echo LEASE-EXPIRY CHECKS PASSED
|
||||
exit /b 0
|
||||
|
||||
:guid
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "[guid]::NewGuid().ToString('N').Substring(0,8)"') do set GUIDVAL=%%a
|
||||
exit /b 0
|
||||
|
||||
:register
|
||||
curl.exe -s -X POST "%BASE%/api/v1/users" ^
|
||||
-H "Content-Type: application/json" ^
|
||||
-d "{\"username\":\"%~1\",\"display_name\":\"%~2\",\"password\":\"%PASS%\"}" ^
|
||||
-o "%TMP%\%~3.json" -w "%%{http_code}" > "%TMP%\%~3.code"
|
||||
set /p RC=<"%TMP%\%~3.code"
|
||||
if not "%RC%"=="201" ( echo FAIL: register %~1, HTTP %RC% & type "%TMP%\%~3.json" & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\%~3.json' -Raw | ConvertFrom-Json).id"') do set "%~3_ID=%%a"
|
||||
exit /b 0
|
||||
|
||||
:login
|
||||
curl.exe -s -X POST "%BASE%/api/v1/auth/sessions" ^
|
||||
-u "%~1:%PASS%" ^
|
||||
-o "%TMP%\%~2.json" -w "%%{http_code}" > "%TMP%\%~2.code"
|
||||
set /p RC=<"%TMP%\%~2.code"
|
||||
if not "%RC%"=="201" ( echo FAIL: login %~1, HTTP %RC% & type "%TMP%\%~2.json" & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\%~2.json' -Raw | ConvertFrom-Json).token"') do set "%~2_TOKEN=%%a"
|
||||
exit /b 0
|
||||
|
||||
:check_code
|
||||
set /p RC=<"%TMP%\%~1"
|
||||
if not "%RC%"=="%~2" ( echo FAIL: %~3 expected %~2, got %RC% & exit /b 1 )
|
||||
exit /b 0
|
||||
@@ -0,0 +1,107 @@
|
||||
@echo off
|
||||
setlocal EnableDelayedExpansion
|
||||
cd /d "%~dp0.."
|
||||
|
||||
set BASE=http://localhost:8080
|
||||
set PASS=Example-only-not-a-real-secret-123
|
||||
set FIXTURE=tests\fixtures\sample.png
|
||||
set TMP=%TEMP%\lab5-truncated
|
||||
if not exist "%TMP%" mkdir "%TMP%"
|
||||
|
||||
call :guid
|
||||
set RND=%GUIDVAL%
|
||||
set U=trunc%RND%
|
||||
call :register "%U%" "Truncated" u
|
||||
if errorlevel 1 exit /b 1
|
||||
set UID=!u_ID!
|
||||
call :login "%U%" u
|
||||
if errorlevel 1 exit /b 1
|
||||
set TOKEN=!u_TOKEN!
|
||||
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: application/json" ^
|
||||
-d "{\"title\":\"Truncated images\",\"member_ids\":[\"%UID%\"]}" ^
|
||||
-o "%TMP%\chat.json" -w "%%{http_code}" > "%TMP%\chat.code"
|
||||
call :check_code chat.code 201 "create chat"
|
||||
if errorlevel 1 exit /b 1
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\chat.json' -Raw | ConvertFrom-Json).id"') do set CHAT_ID=%%a
|
||||
|
||||
echo === Build truncated PNG (valid IHDR, cut IDAT, no IEND) ===
|
||||
powershell -NoProfile -Command "$b=[IO.File]::ReadAllBytes('%FIXTURE%'); $cut=[int]($b.Length*0.6); $out=New-Object byte[] $cut; [Array]::Copy($b,0,$out,0,$cut); [IO.File]::WriteAllBytes('%TMP%\truncated.png',$out); Write-Host ('truncated.png bytes='+$cut+' of '+$b.Length)"
|
||||
|
||||
echo === Truncated PNG must be rejected with 415 at upload ===
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=truncated.png" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/png" ^
|
||||
--data-binary "@%TMP%\truncated.png" ^
|
||||
-o "%TMP%\png.json" -w "%%{http_code}" > "%TMP%\png.code"
|
||||
call :check_code png.code 415 "truncated png rejected at upload"
|
||||
if errorlevel 1 ( type "%TMP%\png.json" & exit /b 1 )
|
||||
echo PASS: truncated PNG returned 415 (not 202)
|
||||
|
||||
echo === Build valid JPEG, then truncate it ===
|
||||
powershell -NoProfile -Command "Add-Type -AssemblyName System.Drawing; $bmp=New-Object System.Drawing.Bitmap 64,64; for($x=0;$x -lt 64;$x++){ for($y=0;$y -lt 64;$y++){ $bmp.SetPixel($x,$y,[System.Drawing.Color]::FromArgb(($x*4),($y*4),128)) } }; $bmp.Save('%TMP%\full.jpg',[System.Drawing.Imaging.ImageFormat]::Jpeg); $bmp.Dispose(); $b=[IO.File]::ReadAllBytes('%TMP%\full.jpg'); $cut=[int]($b.Length*0.6); $out=New-Object byte[] $cut; [Array]::Copy($b,0,$out,0,$cut); [IO.File]::WriteAllBytes('%TMP%\truncated.jpg',$out); Write-Host ('truncated.jpg bytes='+$cut+' of '+$b.Length)"
|
||||
|
||||
echo === Truncated JPEG must be rejected with 415 at upload ===
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=truncated.jpg" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/jpeg" ^
|
||||
--data-binary "@%TMP%\truncated.jpg" ^
|
||||
-o "%TMP%\jpg.json" -w "%%{http_code}" > "%TMP%\jpg.code"
|
||||
call :check_code jpg.code 415 "truncated jpeg rejected at upload"
|
||||
if errorlevel 1 ( type "%TMP%\jpg.json" & exit /b 1 )
|
||||
echo PASS: truncated JPEG returned 415 (not 202)
|
||||
|
||||
echo === Valid JPEG still accepted with 202 (no false positives) ===
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=full.jpg" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/jpeg" ^
|
||||
--data-binary "@%TMP%\full.jpg" ^
|
||||
-o "%TMP%\ok.json" -w "%%{http_code}" > "%TMP%\ok.code"
|
||||
call :check_code ok.code 202 "valid jpeg accepted"
|
||||
if errorlevel 1 ( type "%TMP%\ok.json" & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\ok.json' -Raw | ConvertFrom-Json).id"') do set ATT_ID=%%a
|
||||
powershell -NoProfile -Command "for($i=0;$i -lt 60;$i++){ $m=Invoke-RestMethod -Uri '%BASE%/api/v1/attachments/%ATT_ID%' -Headers @{Authorization='Bearer %TOKEN%'}; if($m.status -eq 'ready'){ exit 0 }; if($m.status -eq 'failed'){ exit 2 }; Start-Sleep -Seconds 1 }; exit 1"
|
||||
if errorlevel 1 ( echo FAIL: valid jpeg did not reach ready & exit /b 1 )
|
||||
echo PASS: valid JPEG reached ready
|
||||
|
||||
echo === Valid PNG still accepted (fixture regression) ===
|
||||
curl.exe -s -X POST "%BASE%/api/v1/chats/%CHAT_ID%/attachments?filename=sample.png" ^
|
||||
-H "Authorization: Bearer %TOKEN%" -H "Content-Type: image/png" ^
|
||||
--data-binary "@%FIXTURE%" ^
|
||||
-o "%TMP%\png_ok.json" -w "%%{http_code}" > "%TMP%\png_ok.code"
|
||||
call :check_code png_ok.code 202 "valid png accepted"
|
||||
if errorlevel 1 exit /b 1
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\png_ok.json' -Raw | ConvertFrom-Json).id"') do set PATT=%%a
|
||||
powershell -NoProfile -Command "for($i=0;$i -lt 60;$i++){ $m=Invoke-RestMethod -Uri '%BASE%/api/v1/attachments/%PATT%' -Headers @{Authorization='Bearer %TOKEN%'}; if($m.status -eq 'ready'){ exit 0 }; if($m.status -eq 'failed'){ exit 2 }; Start-Sleep -Seconds 1 }; exit 1"
|
||||
if errorlevel 1 ( echo FAIL: valid png did not reach ready & exit /b 1 )
|
||||
echo PASS: valid PNG reached ready
|
||||
|
||||
echo.
|
||||
echo TRUNCATED-IMAGE CHECKS PASSED
|
||||
exit /b 0
|
||||
|
||||
:guid
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "[guid]::NewGuid().ToString('N').Substring(0,8)"') do set GUIDVAL=%%a
|
||||
exit /b 0
|
||||
|
||||
:register
|
||||
curl.exe -s -X POST "%BASE%/api/v1/users" ^
|
||||
-H "Content-Type: application/json" ^
|
||||
-d "{\"username\":\"%~1\",\"display_name\":\"%~2\",\"password\":\"%PASS%\"}" ^
|
||||
-o "%TMP%\%~3.json" -w "%%{http_code}" > "%TMP%\%~3.code"
|
||||
set /p RC=<"%TMP%\%~3.code"
|
||||
if not "%RC%"=="201" ( echo FAIL: register %~1, HTTP %RC% & type "%TMP%\%~3.json" & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\%~3.json' -Raw | ConvertFrom-Json).id"') do set "%~3_ID=%%a"
|
||||
exit /b 0
|
||||
|
||||
:login
|
||||
curl.exe -s -X POST "%BASE%/api/v1/auth/sessions" ^
|
||||
-u "%~1:%PASS%" ^
|
||||
-o "%TMP%\%~2.json" -w "%%{http_code}" > "%TMP%\%~2.code"
|
||||
set /p RC=<"%TMP%\%~2.code"
|
||||
if not "%RC%"=="201" ( echo FAIL: login %~1, HTTP %RC% & type "%TMP%\%~2.json" & exit /b 1 )
|
||||
for /f "delims=" %%a in ('powershell -NoProfile -Command "(Get-Content '%TMP%\%~2.json' -Raw | ConvertFrom-Json).token"') do set "%~2_TOKEN=%%a"
|
||||
exit /b 0
|
||||
|
||||
:check_code
|
||||
set /p RC=<"%TMP%\%~1"
|
||||
if not "%RC%"=="%~2" ( echo FAIL: %~3 expected %~2, got %RC% & exit /b 1 )
|
||||
exit /b 0
|
||||
@@ -417,6 +417,13 @@ func (s *Server) uploadAttachment(w http.ResponseWriter, r *http.Request) {
|
||||
apperr.Write(w, id, apperr.PayloadTooLarge("image exceeds 40 megapixels"))
|
||||
return
|
||||
}
|
||||
// LAB 5 (ревью): целостность файла проверяется ДО приёма задания.
|
||||
// DecodeConfig читает только заголовок, поэтому усечённый PNG иначе
|
||||
// ушёл бы в очередь и упал уже в worker. Ресурсные лимиты сохранены.
|
||||
if ierr := validateImageIntegrity(data, contentType, width, height); ierr != nil {
|
||||
apperr.Write(w, id, apperr.UnsupportedMedia("file is corrupted or truncated"))
|
||||
return
|
||||
}
|
||||
|
||||
attID := uuid.NewString()
|
||||
stagingKey := store.StagingKey(chat.ID, attID)
|
||||
|
||||
@@ -0,0 +1,196 @@
|
||||
// Package api, image_integrity.go — проверка ЦЕЛОСТНОСТИ изображения до приёма
|
||||
// задания (лаба 5, замечание ревью).
|
||||
//
|
||||
// Почему отдельный шаг: image.DecodeConfig читает только заголовок, поэтому
|
||||
// усечённый PNG с валидным IHDR проходил приём и падал уже в worker. Контракт
|
||||
// требует 415 на приёме для заведомо повреждённых файлов.
|
||||
//
|
||||
// Ресурсные ограничения сохранены:
|
||||
// - размер тела ограничен http.MaxBytesReader (10 MiB) ДО чтения;
|
||||
// - габариты и потолок 40 Мп проверены ДО вызова этой функции;
|
||||
// - PNG проверяется структурно (CRC32 чанков + полный inflate IDAT в discard),
|
||||
// без выделения пиксельного буфера;
|
||||
// - JPEG декодируется полностью, но не более одной проверки одновременно
|
||||
// на реплику (семафор), т.к. пиксельный буфер JPEG заметно меньше RGBA.
|
||||
package api
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"compress/zlib"
|
||||
"encoding/binary"
|
||||
"errors"
|
||||
"fmt"
|
||||
"hash/crc32"
|
||||
"image/jpeg"
|
||||
"io"
|
||||
)
|
||||
|
||||
var pngSignature = []byte{0x89, 'P', 'N', 'G', 0x0d, 0x0a, 0x1a, 0x0a}
|
||||
|
||||
// jpegDecodeGate — не более одной полной JPEG-проверки на реплику.
|
||||
var jpegDecodeGate = make(chan struct{}, 1)
|
||||
|
||||
// validateImageIntegrity возвращает ошибку, если файл повреждён/усечён.
|
||||
// Вызывается после sniffImage, сверки MIME и проверки потолка пикселей.
|
||||
func validateImageIntegrity(data []byte, contentType string, width, height int) error {
|
||||
switch contentType {
|
||||
case "image/png":
|
||||
return validatePNGIntegrity(data, width, height)
|
||||
case "image/jpeg":
|
||||
return validateJPEGIntegrity(data)
|
||||
default:
|
||||
return errors.New("unsupported image type")
|
||||
}
|
||||
}
|
||||
|
||||
// validatePNGIntegrity — обход чанков с проверкой CRC, обязательный IEND и
|
||||
// полная распаковка IDAT. Пиксели не материализуются.
|
||||
func validatePNGIntegrity(data []byte, width, height int) error {
|
||||
// 8 байт сигнатуры + 25 байт минимального IHDR-чанка.
|
||||
if len(data) < len(pngSignature)+25 || !bytes.HasPrefix(data, pngSignature) {
|
||||
return errors.New("png: missing signature or IHDR")
|
||||
}
|
||||
|
||||
pos := len(pngSignature)
|
||||
var idat bytes.Buffer
|
||||
var sawIEND bool
|
||||
var bitDepth, colorType, interlace byte
|
||||
|
||||
for pos+12 <= len(data) {
|
||||
length := int(binary.BigEndian.Uint32(data[pos : pos+4]))
|
||||
if length < 0 || pos+12+length > len(data) {
|
||||
return errors.New("png: truncated chunk")
|
||||
}
|
||||
typ := data[pos+4 : pos+8]
|
||||
payload := data[pos+8 : pos+8+length]
|
||||
wantCRC := binary.BigEndian.Uint32(data[pos+8+length : pos+12+length])
|
||||
|
||||
h := crc32.NewIEEE()
|
||||
_, _ = h.Write(typ)
|
||||
_, _ = h.Write(payload)
|
||||
if h.Sum32() != wantCRC {
|
||||
return fmt.Errorf("png: bad CRC in %s chunk", typ)
|
||||
}
|
||||
|
||||
switch string(typ) {
|
||||
case "IHDR":
|
||||
if length != 13 {
|
||||
return errors.New("png: bad IHDR length")
|
||||
}
|
||||
bitDepth = payload[8]
|
||||
colorType = payload[9]
|
||||
interlace = payload[12]
|
||||
case "IDAT":
|
||||
idat.Write(payload)
|
||||
case "IEND":
|
||||
sawIEND = true
|
||||
}
|
||||
|
||||
pos += 12 + length
|
||||
if sawIEND {
|
||||
break
|
||||
}
|
||||
}
|
||||
|
||||
if !sawIEND {
|
||||
return errors.New("png: missing IEND (truncated file)")
|
||||
}
|
||||
if idat.Len() == 0 {
|
||||
return errors.New("png: no IDAT data")
|
||||
}
|
||||
|
||||
zr, err := zlib.NewReader(bytes.NewReader(idat.Bytes()))
|
||||
if err != nil {
|
||||
return fmt.Errorf("png: zlib header: %w", err)
|
||||
}
|
||||
defer zr.Close()
|
||||
|
||||
expected, err := expectedRawPNGSize(width, height, int(bitDepth), int(colorType), int(interlace))
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
// limit+1 позволяет отличить «ровно ожидаемый объём» от «раздулось больше».
|
||||
// Если поток ровно expected, zlib дочитывается до EOF и проверяет adler32.
|
||||
n, err := io.Copy(io.Discard, io.LimitReader(zr, expected+1))
|
||||
if err != nil {
|
||||
return fmt.Errorf("png: inflate IDAT: %w", err)
|
||||
}
|
||||
if n != expected {
|
||||
return fmt.Errorf("png: inflated %d bytes, expected %d (truncated or malformed)", n, expected)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// expectedRawPNGSize — точный объём распакованных scanline-данных PNG,
|
||||
// включая фильтр-байт каждой строки и все проходы Adam7 при interlace=1.
|
||||
func expectedRawPNGSize(width, height, bitDepth, colorType, interlace int) (int64, error) {
|
||||
var channels int
|
||||
switch colorType {
|
||||
case 0: // grayscale
|
||||
channels = 1
|
||||
case 2: // truecolor
|
||||
channels = 3
|
||||
case 3: // palette
|
||||
channels = 1
|
||||
case 4: // grayscale + alpha
|
||||
channels = 2
|
||||
case 6: // truecolor + alpha
|
||||
channels = 4
|
||||
default:
|
||||
return 0, fmt.Errorf("png: unknown color type %d", colorType)
|
||||
}
|
||||
if width <= 0 || height <= 0 {
|
||||
return 0, errors.New("png: non-positive dimensions")
|
||||
}
|
||||
|
||||
rowBytes := func(w int) int64 {
|
||||
bits := int64(w) * int64(channels) * int64(bitDepth)
|
||||
return 1 + (bits+7)/8 // 1 фильтр-байт + округление вверх до байта
|
||||
}
|
||||
|
||||
if interlace == 0 {
|
||||
return int64(height) * rowBytes(width), nil
|
||||
}
|
||||
|
||||
// Adam7: семь проходов (xStart, yStart, xStep, yStep).
|
||||
passes := [7][4]int{
|
||||
{0, 0, 8, 8}, {4, 0, 8, 8}, {0, 4, 4, 8}, {2, 0, 4, 4},
|
||||
{0, 2, 2, 4}, {1, 0, 2, 2}, {0, 1, 1, 2},
|
||||
}
|
||||
var total int64
|
||||
for _, p := range passes {
|
||||
pw, ph := 0, 0
|
||||
if width > p[0] {
|
||||
pw = (width - p[0] + p[2] - 1) / p[2]
|
||||
}
|
||||
if height > p[1] {
|
||||
ph = (height - p[1] + p[3] - 1) / p[3]
|
||||
}
|
||||
if pw > 0 && ph > 0 {
|
||||
total += int64(ph) * rowBytes(pw)
|
||||
}
|
||||
}
|
||||
if total == 0 {
|
||||
return 0, errors.New("png: empty interlaced image")
|
||||
}
|
||||
return total, nil
|
||||
}
|
||||
|
||||
// validateJPEGIntegrity — маркеры SOI/EOI плюс полное декодирование под гейтом.
|
||||
func validateJPEGIntegrity(data []byte) error {
|
||||
if len(data) < 4 || data[0] != 0xFF || data[1] != 0xD8 {
|
||||
return errors.New("jpeg: missing SOI marker")
|
||||
}
|
||||
if !bytes.HasSuffix(data, []byte{0xFF, 0xD9}) {
|
||||
return errors.New("jpeg: missing EOI marker (truncated file)")
|
||||
}
|
||||
|
||||
jpegDecodeGate <- struct{}{}
|
||||
defer func() { <-jpegDecodeGate }()
|
||||
|
||||
if _, err := jpeg.Decode(bytes.NewReader(data)); err != nil {
|
||||
return fmt.Errorf("jpeg: decode: %w", err)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
+76
-44
@@ -142,7 +142,13 @@ func (s *Store) MarkOutboxPublished(ctx context.Context, id string) error {
|
||||
// ─────────────── Worker: claim / complete / fail / retry ───────────────
|
||||
|
||||
// ClaimJob — атомарный захват работы с lease. Возвращает nil, если job уже
|
||||
// в терминальном состоянии или захвачена живой арендой (идемпотентность повтора).
|
||||
// в терминальном состоянии, в backoff-окне, под живой арендой, либо попытки
|
||||
// исчерпаны (такую работу закрывает только ReapExpiredLeases).
|
||||
//
|
||||
// ВАЖНО (ревью): attempt монотонен — GREATEST(jobs.attempt, $2). Старое
|
||||
// сообщение-дубль с меньшим номером попытки НЕ может откатить счётчик назад
|
||||
// и обойти ограниченный retry. Захват истёкшей аренды разрешён только пока
|
||||
// attempt < max_attempts, иначе исчерпанную работу воскресил бы любой дубль.
|
||||
func (s *Store) ClaimJob(ctx context.Context, jobID string, attempt int, leaseID string, expiresAt time.Time) (*ClaimedJob, error) {
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
@@ -153,17 +159,21 @@ func (s *Store) ClaimJob(ctx context.Context, jobID string, attempt int, leaseID
|
||||
var c ClaimedJob
|
||||
err = tx.QueryRow(ctx, `
|
||||
UPDATE jobs
|
||||
SET status = 'processing', attempt = $2, lease_id = $3, lease_expires_at = $4, updated_at = now()
|
||||
SET status = 'processing',
|
||||
attempt = GREATEST(jobs.attempt, $2),
|
||||
lease_id = $3,
|
||||
lease_expires_at = $4,
|
||||
updated_at = now()
|
||||
WHERE id = $1
|
||||
AND (
|
||||
(status = 'queued' AND (next_attempt_at IS NULL OR next_attempt_at <= now()))
|
||||
OR (status = 'processing' AND lease_expires_at < now())
|
||||
OR (status = 'processing' AND lease_expires_at < now() AND attempt < max_attempts)
|
||||
)
|
||||
RETURNING id, attachment_id, attempt, pipeline_version`,
|
||||
jobID, attempt, leaseID, expiresAt.UTC()).
|
||||
Scan(&c.JobID, &c.AttachmentID, &c.Attempt, &c.PipelineVersion)
|
||||
if errors.Is(err, pgx.ErrNoRows) {
|
||||
return nil, nil // не захватываемо: ready/failed/живая аренда
|
||||
return nil, nil // не захватываемо: терминал / backoff / живая аренда / попытки исчерпаны
|
||||
}
|
||||
if err != nil {
|
||||
return nil, err
|
||||
@@ -309,9 +319,14 @@ func (s *Store) ScheduleRetry(ctx context.Context, attachmentID string, nextAt t
|
||||
return true, tx.Commit(ctx)
|
||||
}
|
||||
|
||||
// ReapExpiredLeases — защита от зависшего processing (уровень 4): истёкшая
|
||||
// аренда возвращает job в queued (если остались попытки) или переводит в failed.
|
||||
// Возвращает количество восстановленных работ.
|
||||
// ReapExpiredLeases — защита от зависшего processing (уровень 4).
|
||||
// Истёкшая аренда возвращает job в queued (если остались попытки) или
|
||||
// переводит в failed с записью в реестр отказов.
|
||||
//
|
||||
// ВАЖНО (ревью): результат каждого RETURNING-запроса сначала полностью
|
||||
// вычитывается в срез и закрывается, и только потом выполняются tx.Exec.
|
||||
// Транзакция pgx держит одно соединение, поэтому запрос при открытом
|
||||
// результате даёт "conn busy" и теряет фиксацию failed.
|
||||
func (s *Store) ReapExpiredLeases(ctx context.Context) (int, error) {
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
@@ -319,6 +334,14 @@ func (s *Store) ReapExpiredLeases(ctx context.Context) (int, error) {
|
||||
}
|
||||
defer tx.Rollback(ctx)
|
||||
|
||||
type reapedJob struct {
|
||||
jobID string
|
||||
attachmentID string
|
||||
attempt int
|
||||
pipeline int
|
||||
}
|
||||
|
||||
// ── 1. Истёкшая аренда, попытки остались → обратно в queued ──
|
||||
rows, err := tx.Query(ctx, `
|
||||
UPDATE jobs
|
||||
SET status = 'queued', lease_id = NULL, lease_expires_at = NULL,
|
||||
@@ -328,25 +351,21 @@ func (s *Store) ReapExpiredLeases(ctx context.Context) (int, error) {
|
||||
if err != nil {
|
||||
return 0, err
|
||||
}
|
||||
type reaped struct {
|
||||
jobID, attachmentID string
|
||||
attempt, pipeline int
|
||||
}
|
||||
var list []reaped
|
||||
var requeued []reapedJob
|
||||
for rows.Next() {
|
||||
var r reaped
|
||||
var r reapedJob
|
||||
if err := rows.Scan(&r.jobID, &r.attachmentID, &r.attempt, &r.pipeline); err != nil {
|
||||
rows.Close()
|
||||
return 0, err
|
||||
}
|
||||
list = append(list, r)
|
||||
requeued = append(requeued, r)
|
||||
}
|
||||
rows.Close()
|
||||
if err := rows.Err(); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
|
||||
for _, r := range list {
|
||||
for _, r := range requeued {
|
||||
if _, err := tx.Exec(ctx, `
|
||||
UPDATE attachments SET status = 'queued', updated_at = now()
|
||||
WHERE id = $1`, r.attachmentID); err != nil {
|
||||
@@ -373,8 +392,9 @@ func (s *Store) ReapExpiredLeases(ctx context.Context) (int, error) {
|
||||
}
|
||||
}
|
||||
|
||||
// Исчерпанные попытки на зависших арендах → failed.
|
||||
exhausted, err := tx.Query(ctx, `
|
||||
// ── 2. Истёкшая аренда, попытки исчерпаны → failed ──
|
||||
// Сначала вычитываем и закрываем результат, затем фиксируем отказ.
|
||||
exhaustedRows, err := tx.Query(ctx, `
|
||||
UPDATE jobs
|
||||
SET status = 'failed', lease_id = NULL, lease_expires_at = NULL,
|
||||
error_code = 'retry_exhausted', error_message = 'lease expired with no attempts left',
|
||||
@@ -384,44 +404,52 @@ func (s *Store) ReapExpiredLeases(ctx context.Context) (int, error) {
|
||||
if err != nil {
|
||||
return 0, err
|
||||
}
|
||||
for exhausted.Next() {
|
||||
var jobID, attachmentID string
|
||||
var attempt int
|
||||
if err := exhausted.Scan(&jobID, &attachmentID, &attempt); err != nil {
|
||||
exhausted.Close()
|
||||
var exhausted []reapedJob
|
||||
for exhaustedRows.Next() {
|
||||
var r reapedJob
|
||||
if err := exhaustedRows.Scan(&r.jobID, &r.attachmentID, &r.attempt); err != nil {
|
||||
exhaustedRows.Close()
|
||||
return 0, err
|
||||
}
|
||||
exhausted = append(exhausted, r)
|
||||
}
|
||||
exhaustedRows.Close()
|
||||
if err := exhaustedRows.Err(); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
|
||||
for _, r := range exhausted {
|
||||
if _, err := tx.Exec(ctx, `
|
||||
UPDATE attachments
|
||||
SET status = 'failed', error_code = 'retry_exhausted', variants = '[]', updated_at = now()
|
||||
WHERE id = $1`, attachmentID); err != nil {
|
||||
exhausted.Close()
|
||||
WHERE id = $1`, r.attachmentID); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
if _, err := tx.Exec(ctx, `
|
||||
INSERT INTO job_failures (id, job_id, attachment_id, error_code, error_message, attempt, failed_at)
|
||||
VALUES ($1,$2,$3,'retry_exhausted','lease expired with no attempts left',$4,now())`,
|
||||
uuid.NewString(), jobID, attachmentID, attempt); err != nil {
|
||||
exhausted.Close()
|
||||
uuid.NewString(), r.jobID, r.attachmentID, r.attempt); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
}
|
||||
exhausted.Close()
|
||||
if err := exhausted.Err(); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
return len(list), nil
|
||||
return len(requeued), nil
|
||||
}
|
||||
|
||||
// EnqueueDueRetries — планировщик отложенных повторов (laба 5, уровень 4).
|
||||
// Задания, у которых истёк backoff (next_attempt_at <= now()), получают новое
|
||||
// сообщение в outbox и сбрасывают срок. Тем самым задержка реально соблюдается,
|
||||
// а не только хранится: поток Redis не умеет отложенную доставку, поэтому
|
||||
// момент публикации контролирует этот планировщик.
|
||||
// EnqueueDueRetries — планировщик отложенных повторов (лаба 5, уровень 4).
|
||||
//
|
||||
// Зачем нужен: Redis Streams не умеет отложенную доставку. Backoff хранится
|
||||
// в jobs.next_attempt_at, а момент публикации контролирует этот планировщик:
|
||||
// он выбирает задания, у которых срок настал, сбрасывает срок и пишет
|
||||
// намерение опубликовать в outbox (той же транзакцией).
|
||||
//
|
||||
// ВАЖНО (замечание ревью): результат RETURNING-запроса сначала полностью
|
||||
// вычитывается в срез и закрывается, и только потом выполняются tx.Exec.
|
||||
// Транзакция pgx держит одно соединение, поэтому запрос при открытом
|
||||
// результате даёт "conn busy".
|
||||
func (s *Store) EnqueueDueRetries(ctx context.Context) (int, error) {
|
||||
tx, err := s.pool.Begin(ctx)
|
||||
if err != nil {
|
||||
@@ -437,25 +465,28 @@ func (s *Store) EnqueueDueRetries(ctx context.Context) (int, error) {
|
||||
if err != nil {
|
||||
return 0, err
|
||||
}
|
||||
type due struct {
|
||||
jobID, attachmentID string
|
||||
attempt, pipeline int
|
||||
|
||||
type dueJob struct {
|
||||
jobID string
|
||||
attachmentID string
|
||||
attempt int
|
||||
pipeline int
|
||||
}
|
||||
var list []due
|
||||
var due []dueJob
|
||||
for rows.Next() {
|
||||
var d due
|
||||
var d dueJob
|
||||
if err := rows.Scan(&d.jobID, &d.attachmentID, &d.attempt, &d.pipeline); err != nil {
|
||||
rows.Close()
|
||||
return 0, err
|
||||
}
|
||||
list = append(list, d)
|
||||
due = append(due, d)
|
||||
}
|
||||
rows.Close()
|
||||
if err := rows.Err(); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
|
||||
for _, d := range list {
|
||||
for _, d := range due {
|
||||
msg := model.JobMessage{
|
||||
SchemaVersion: 1,
|
||||
JobID: d.jobID,
|
||||
@@ -476,8 +507,9 @@ func (s *Store) EnqueueDueRetries(ctx context.Context) (int, error) {
|
||||
return 0, err
|
||||
}
|
||||
}
|
||||
|
||||
if err := tx.Commit(ctx); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
return len(list), nil
|
||||
return len(due), nil
|
||||
}
|
||||
|
||||
@@ -91,8 +91,6 @@ func (q *Queue) Ack(ctx context.Context, msgID string) error {
|
||||
return q.rdb.XAck(ctx, QueueStreamKey, QueueGroup, msgID).Err()
|
||||
}
|
||||
|
||||
// ReclaimStale — забрать сообщения, которые держит упавший потребитель
|
||||
// (minIdle больше lease TTL, чтобы не перехватывать живую долгую обработку).
|
||||
// ReclaimStale — забрать сообщения, которые держит упавший потребитель
|
||||
// (minIdle больше lease TTL, чтобы не перехватывать живую долгую обработку).
|
||||
// Второе возвращаемое значение XAutoClaim — курсор следующей страницы PEL;
|
||||
|
||||
Reference in New Issue
Block a user