docs(report): complete lab 5 report

This commit is contained in:
kk10
2026-11-17 11:17:07 +03:00
parent 179c795758
commit 346720166b
5 changed files with 247 additions and 14 deletions
+123 -14
View File
@@ -1,37 +1,146 @@
# Отчёт — лабораторная 5
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Автор, группа: Каменски Лин, БПИ2301
- Целевая оценка; выбранный трек 5, если нужен: 5; трек 2
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Использованные источники, библиотеки и помощь ИИ: материалы лабораторной; Go 1.27.1, chi v5, pgx v5, sqlc, goose, AWS SDK for Go v2, amqp091-go, imaging, gen2brain/webp, golang.org/x/image, PostgreSQL 18.6, Redis 8.8.3, Nginx 1.31.7, Docker Compose, SeaweedFS 4.51, RabbitMQ 4.2.9; Codex - для анализа реализации и проверок, оформления отчёта
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Требуются Go 1.26+ и Docker с Compose. Образы: `golang:1.27.1`, `postgres:18.6`, `redis:8.8.3-alpine3.23`, `nginx:1.31.7-alpine3.24`, `chrislusf/seaweedfs:4.51`, `rabbitmq:4.2.9-alpine`.
Создать локальные секреты - файлы в `secrets/`, в каждый записать значение без лишних символов:
- `database_url.txt` - URL PostgreSQL для API и worker;
- `cache_url.txt` - URL Redis;
- `postgres_password.txt` - пароль пользователя PostgreSQL `messenger`;
- `test_database_url.txt` - URL БД для тестов с хоста;
- `s3_access_key_id.txt` - S3 access key ID для API и worker;
- `s3_secret_access_key.txt` - S3 secret access key для API и worker;
- `s3_bootstrap_access_key_id.txt` - bootstrap access key ID;
- `s3_bootstrap_secret_access_key.txt` - bootstrap secret access key;
- `broker_url.txt` - AMQP URL для API и worker;
- `broker_password.txt` - пароль пользователя RabbitMQ `messenger`.
Пример (значения заменить своими):
```bash
mkdir -p secrets
printf '%s' 'CHANGE_ME' > secrets/postgres_password.txt
printf '%s' 'postgres://messenger:CHANGE_ME@postgres:5432/messenger?sslmode=disable' > secrets/database_url.txt
printf '%s' 'redis://redis:6379/0' > secrets/cache_url.txt
```
Скопировать шаблон переменных окружения:
```bash
cp .env.example .env
```
Сборка и запуск:
```bash
docker compose up --build -d
```
Готовность API проверяется запросом к `/health/ready`; после этого API доступен на http://localhost:8080.
Сваггер доступен на http://localhost:8080/swagger/.
Безопасная остановка (данные PostgreSQL, S3 и RabbitMQ в volumes сохраняются):
```bash
docker compose down
```
Намеренное удаление учебных данных:
```bash
docker compose down -v
```
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab4, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
**Процессы/хранилища:** клиент → nginx → `api` × `API_REPLICAS` (по умолчанию 2) → staging в SeaweedFS S3 + PostgreSQL → outbox publisher → RabbitMQ → `worker` → оригинал и варианты в S3 + результат в PostgreSQL. Redis используется как кэш сессий с fallback в PostgreSQL. Единственная публичная точка входа API - `127.0.0.1:8080`.
**Источник истины** - PostgreSQL: метаданные вложений, состояния заданий, попытки, lease (срок захвата задания обработчиком), версии pipeline и outbox. Байты оригиналов и вариантов хранятся в приватном S3 bucket `messenger-attachments`. Сообщения брокера содержат ID и служебные поля, без байтов изображений и credentials.
**Что перенесено из lab4:** Go-приложение и PostgreSQL, аутентификация, сессии, чаты, сообщения, идемпотентность и `X-Instance-Id`, Redis-кэш сессий, S3-хранилище (SeaweedFS), API вложений и `attachment_ids` в сообщениях, reconciler, `compose.yaml`, `deploy/nginx.conf`, `Dockerfile`, `Dockerfile.migrate`, `Dockerfile.s3config`, `Dockerfile.reconcile`, `scripts/restart.sh`, `scripts/stop-one.sh`, `student-tests`, `student.mk`, `Makefile`, `web/swagger`, `contracts`.
**Что изменено в lab5:** upload возвращает `202 queued` после сохранения оригинала в staging и транзакции с метаданными и outbox; добавлены RabbitMQ и отдельный worker, состояния `processing`/`ready`/`failed`, thumbnail JPEG, crop JPEG и optimized WebP; миграция pipeline с таблицами вариантов, outbox и audit replay; ограниченные повторы, lease recovery, команды просмотра failed, replay и upgrade версии pipeline. Обработка изображений выполняется в worker, API проверяет загружаемый файл и сохраняет источник.
**Транзакционные границы.** API сначала сохраняет проверенный оригинал в staging, затем в одной транзакции PostgreSQL создаёт вложение `queued` и запись outbox. Ответ `202` возвращается после COMMIT. Worker записывает оригинал и все варианты в S3, затем под блокировкой строки проверяет job ID, версию, попытку и срок захвата задания. Метаданные вариантов и переход в `ready` фиксируются одной транзакцией. Общей транзакции S3 и PostgreSQL нет: сбой между операциями может оставить объекты без опубликованного результата.
**Брокер и подтверждения.** RabbitMQ хранит durable очередь `attachments.process.v1`, сообщения публикуются как persistent. Publisher в API читает outbox и отмечает публикацию только после publisher confirm - подтверждения приёма брокером. При сбое запись остаётся для повторной публикации. Consumer ack подтверждает обработку: worker отправляет его после устойчивой фиксации результата, повтора или `failed`. Доставка at least once допускает дубли; повтор готового задания проверяет размеры и SHA-256 объектов и не создаёт новые варианты.
**Обработка изображений.** Оригинал сохраняется без изменения байтов. Thumbnail - JPEG с качеством 85, до 256×256 с сохранением пропорций, без увеличения; crop - JPEG с качеством 85, центральная обрезка 128×128 с допустимым увеличением. Optimized - WebP, до 1280×1280 с сохранением пропорций, без увеличения, Method 4, качество 80 для v1 и 75 для v2. Перед обработкой применяется EXIF orientation; EXIF/XMP/ICC в варианты не переносятся. Прозрачность в JPEG заменяется белым фоном, в WebP сохраняется.
**Ограничения обработки.** Размер загрузки - до 10 MiB, число пикселей - до 40 млн. Worker проверяет размер и SHA-256 источника, размеры изображения проверяются до полного декодирования. По умолчанию работают 2 consumer с prefetch 1, одновременно декодируется одно изображение. Декодирование, resize и кодирование выполняются в дочернем процессе, который завершается при истечении таймаута задания (по умолчанию 60 с). Лимиты контейнера worker - 1 CPU и 1 GiB RAM, общие для основного и дочернего процессов; отдельного лимита памяти дочернего процесса нет.
**Повторы и восстановление.** По умолчанию допускается 5 попыток. Для временных ошибок используется экспоненциальная задержка со случайным разбросом (backoff с jitter): 1-2 с, 2-4 с и далее до 32-64 с. Повреждённый или отсутствующий источник переводит задание в `failed` с `invalid_source`, исчерпание попыток - с `retry_exhausted`. Возврат в `queued` и outbox следующей попытки фиксируются одной транзакцией. Если worker завершился во время обработки, после истечения срока захвата задания фоновая проверка возвращает его на повтор либо фиксирует `failed`, если попытки закончились.
**Реестр failed и replay.** Неуспешные задания хранятся в PostgreSQL и доступны через `worker -list-failed`. Явный replay разрешён только для `failed` с сохранённым staging и без записанных вариантов. Перед повтором проверяются размер и SHA-256 источника; переход в `queued`, новый бюджет попыток, запись оператора и причины в audit и outbox фиксируются одной транзакцией. Job ID и версия сохраняются. Готовое задание повторно запустить через replay нельзя.
**Очистка staging.** Worker удаляет источник из staging после COMMIT состояния `ready`; ошибка удаления логируется и не отменяет готовый результат. Остатки staging для `ready`/`failed` и объекты без строки БД удаляет явный запуск reconciler, по умолчанию после 24 часов. Для связанных объектов срок считается от `updated_at`, для объектов без строки - от времени изменения в S3. Источники `queued`/`processing` сохраняются независимо от возраста. Периодической очистки staging нет; после удаления источника replay недоступен.
**Версии pipeline.** Новые загрузки используют v1. Команда `worker -upgrade UUID` переводит незавершённое вложение v1 (`queued`/`processing` с staging) на v2, сохраняя attachment ID, job ID и исходные байты. Смена версии и outbox фиксируются одной транзакцией. Варианты хранятся по ключам `variants/<attachment_id>/v<version>/<variant>`, уникальность в БД - `(attachment_id, pipeline_version, variant)`. Проверка версии, попытки и срока захвата не позволяет старому worker опубликовать результат вместо нового. Upgrade готового или failed-вложения не поддерживается; остаточные S3-объекты старой версии автоматически не очищаются.
**Переменные `.env.example`:** `APP_HOST`, `APP_PORT` - адрес и порт API; `MAX_INFLIGHT_REQUESTS` - ограничитель одновременных запросов (0 - выключен); `SESSION_TTL_SECONDS` - срок жизни сессии; `LOG_LEVEL` - уровень логов; `DATABASE_URL_FILE`, `CACHE_URL_FILE` - пути к secrets с URL PostgreSQL и Redis; `SESSION_STORE` - режим хранения сессий (`postgres` или `redis`); `API_REPLICAS` - число реплик API; `IDEMPOTENCY_TTL_SECONDS` - срок хранения ключей идемпотентности; `S3_ENDPOINT`, `S3_REGION`, `S3_BUCKET` - настройки S3; `S3_ACCESS_KEY_ID_FILE`, `S3_SECRET_ACCESS_KEY_FILE`, `S3_BOOTSTRAP_ACCESS_KEY_ID_FILE`, `S3_BOOTSTRAP_SECRET_ACCESS_KEY_FILE` - пути к S3 secrets; `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS` - лимиты загрузки; `BROKER_URL_FILE` - путь к secret с AMQP URL; `BROKER_PASSWORD_FILE` - путь к secret с паролем RabbitMQ; `WORKER_CONCURRENCY` - число consumer; `JOB_MAX_ATTEMPTS` - лимит попыток; `JOB_TIMEOUT_SECONDS` - таймаут задания и срок его захвата; `STAGING_RETENTION_SECONDS` - срок хранения остатков staging перед очисткой reconciler.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Публичный smoke | `make test` | `PASS` | `evidence/make-test.txt` |
| Уровень 3 |
| JPEG, MIME, целостность, лимиты размера и пикселей, безопасный filename, проверка доступа к вложениям | `make contract-go` | `PASS` | `evidence/contract-go.txt` |
| Сохранность задания после перезапуска API и broker; queued → ready; неизменный оригинал и JPEG thumbnail; отсутствие дублей вариантов при повторной доставке | `make worker-go`: `TestWorkerPersistenceAndDuplicate` | `PASS` | `evidence/worker-go.txt` |
| Ограниченный retry, failed и безопасный error_code | `make worker-go`: `TestWorkerRetryExhausted` | `PASS` | `evidence/worker-go.txt` |
| Уровень 4 |
| Размеры thumbnail, сохранение пропорций, отсутствие увеличения, белый фон вместо прозрачности | `make contract-go`: `TestThumbnail` | `PASS` | `evidence/contract-go.txt` |
| Центральная обрезка crop 128×128, включая маленькие изображения | `make contract-go`: `TestCrop` | `PASS` | `evidence/contract-go.txt` |
| Optimized WebP, ограничение размеров, сохранение пропорций и прозрачности | `make contract-go`: `TestOptimized` | `PASS` | `evidence/contract-go.txt` |
| Применение EXIF orientation и удаление EXIF из вариантов | `make contract-go`: `TestVariantsEXIF` | `PASS` | `evidence/contract-go.txt` |
| Ограничение времени обработки, завершение дочернего процесса, работоспособность worker после таймаута | `make worker-go`: `TestWorkerProcessingTimeout` | `PASS` | `evidence/worker-go.txt` |
| Восстановление задания после COMMIT и падения API до публикации в broker | `make worker-go`: `TestWorkerOutboxRecovery` | `PASS` | `evidence/worker-go.txt` |
| Реестр failed, явный replay с audit, отказ повтора без источника и повторного replay готового задания | `make worker-go`: `TestWorkerReplay` | `PASS` | `evidence/worker-go.txt` |
| Падение worker после записи объектов до COMMIT/ack, восстановление после истечения срока захвата задания | `make worker-go`: `TestWorkerLeaseRecovery` | `PASS` | `evidence/worker-go.txt` |
| Уровень 5, трек 2 |
| Позднее завершение v1 после готовности v2 не меняет текущий результат | `make pipeline-go`: `TestPipelineStaleProcessing` | `PASS` | `evidence/pipeline-go.txt` |
| Обратный порядок доставки v2/v1 и дубль v2 не меняют результат и не создают новые варианты | `make pipeline-go`: `TestPipelineReorderAndDuplicate` | `PASS` | `evidence/pipeline-go.txt` |
| Падение до первой записи результата в S3, восстановление того же задания после истечения срока захвата | `make pipeline-go`: `TestPipelineCrashBeforeWrite` | `PASS` | `evidence/pipeline-go.txt` |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
### Трек 2: доказанная идемпотентность pipeline
**Гипотеза:** повторная доставка и изменение порядка заданий не меняют готовый результат. Старый worker не может заменить результат новой версии своим. После падения API или worker принятое задание восстанавливается и доходит до ready без повторной загрузки файла.
Инварианты: attachment ID, job ID и байты оригинала сохраняются; после готовности v2 старые задания и дубли не меняют метаданные и байты текущих вариантов; в БД остаётся один набор из трёх вариантов текущей версии; после падения до или после записи объектов то же задание доходит до ready.
Методика: `make pipeline-go` выполняет три последовательных сценария на свободном стенде с пустой очередью. Каждый создаёт через API синтетическое PNG 320×200 и переводит вложение на v2 штатной командой upgrade. Временный S3-прокси задерживает запись объекта в S3 для проверки позднего завершения v1 и падения до первой записи результата. Для перестановки доставки тест откладывает публикацию v1 через `available_at` в outbox, затем повторно публикует v2 сбросом `published_at`. Проверяются API, байты объектов, строки БД и освобождение очереди после ack. Падение после записи объектов проверяет `TestWorkerLeaseRecovery` из `make worker-go`: INSERT вариантов блокируется, worker завершается через SIGKILL до COMMIT/ack, затем ожидается естественное истечение срока захвата задания.
Стенд и лимиты описаны выше. Обычный worker использует 2 consumer с prefetch 1; временные worker в pipeline-тестах - 1 consumer, таймаут 120 с для задержанной v1 и 15 с для падения до записи. В тесте падения после записи таймаут также 15 с. Приведён один сохранённый прогон каждого сценария, без нагрузочного профиля и отдельного прогрева; RPS, перцентили задержек и фактическое потребление CPU/RAM не измерялись.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Задержка записи optimized WebP версии v1 в S3 до готовности v2 | Старый worker не заменит результат v2 | v2 осталась ready, метаданные и байты не изменились; 0 строк вариантов v1 и 3 строки v2; старое задание подтверждено | Не измерялось / потери нет |
| Доставка v1 после v2, затем повтор v2 | Порядок и дубли не повлияют на готовый результат | Job ID, версия, попытка, метаданные и все 4 объекта не изменились; новых строк вариантов и outbox нет | Не измерялось / потери нет |
| SIGKILL worker до записи первого объекта результата в S3 | То же задание завершится после восстановления | После истечения срока захвата получен ready v2 на попытке 2, сохранены job ID и оригинал, доступны 3 варианта | Не измерялось / потери нет |
| SIGKILL worker после записи объектов в S3 до COMMIT/ack | Повтор завершит то же задание без дублей | После истечения срока захвата получен ready на попытке 2, сохранены job ID и оригинал, в БД 3 варианта | Не измерялось / потери нет |
| SIGKILL API после COMMIT до публикации в broker | Outbox восстановит публикацию без создания нового задания | То же задание автоматически опубликовано и завершено на попытке 1, оригинал сохранён, доступны 3 варианта | Не измерялось / потери нет |
Результаты: все сценарии прошли. Длительности pipeline-тестов - 12,67 / 41,43 / 26,05 с, всего 80,150 с (`evidence/pipeline-go.txt`). Длительности теста падения после записи объектов в S3 - 26,54 с, восстановления outbox - 33,15 с (`evidence/worker-go.txt`). Это полное время тестов с подготовкой и очисткой, время восстановления отдельно не измерялось.
**Вывод:** гипотеза подтверждена в проверенных сценариях. Принятые задания завершились после восстановления, дубли и старая версия не изменили текущий результат. Доставка остаётся at least once: падение после публикации до фиксации outbox или после COMMIT результата до ack допускает повторную доставку. Идемпотентность результата не означает exactly-once доставку или общую транзакцию S3 и PostgreSQL.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- Nginx, PostgreSQL и SeaweedFS работают в одном экземпляре на одном хосте. Реплики API не защищают от отказа этих компонентов или самого хоста.
- Если удалить сессию из Redis не удалось, logout возвращает `503 unavailable`: сессия уже удалена из PostgreSQL, но старый токен может приниматься из кэша до 60 с. Несмотря на `503`, может потребоваться повторный вход. Пока Redis недоступен, получить `204` нельзя, хотя сессия в БД уже удалена; после восстановления повторный logout вернёт `401`.
- Полное декодирование требует памяти под распакованное изображение. Для ограничения расхода RAM на каждой API-реплике работает один декодер, поэтому параллельные загрузки ожидают своей очереди.
- Общей транзакции PostgreSQL и S3 нет: расхождения исправляются последующей сверкой. Reconciler отмечает отсутствие оригинала, но не восстанавливает байты. Сохранность volumes не заменяет резервные копии хранилищ.
- Reconciler загружает списки объектов и метаданных целиком в память, поэтому расход памяти растёт с объёмом хранилища.
- RabbitMQ также работает в одном экземпляре. Проверены перезапуск API и broker с сохранением volumes, падение worker до и после записи объектов, повторная доставка и устаревшая версия задания. Потеря volumes, отказ хоста и одновременные отказы нескольких хранилищ не проверялись.
- При удалении staging сбой COMMIT после удаления объекта может оставить старый ключ в БД. Reconciler не сверяет варианты изображений; остатки объектов старой версии автоматически не удаляются.
- Replay доступен только для failed с сохранённым staging и без записанных вариантов. Upgrade поддерживает только незавершённую v1; повторная обработка готовых вложений не реализована.
- Очистка остатков staging требует явного запуска reconciler. Источники queued/processing защищены от удаления независимо от возраста.
- Память ограничена на уровне контейнера worker, отдельного лимита дочернего процесса нет. Поведение при исчерпании памяти и длительной перегрузке не исследовалось. Проверки идемпотентности выполнены на небольших PNG 320×200, без измерения пропускной способности и времени восстановления.
+68
View File
@@ -0,0 +1,68 @@
> make contract-go
go test -tags=contract ./student-tests/... -v -args -base-url=http://localhost:8080
=== RUN TestAttachmentJPEG
--- PASS: TestAttachmentJPEG (0.42s)
=== RUN TestAttachmentTooManyPixels
--- PASS: TestAttachmentTooManyPixels (2.12s)
=== RUN TestAttachmentUnsafeFilename
--- PASS: TestAttachmentUnsafeFilename (0.14s)
=== RUN TestAttachmentTooLarge
--- PASS: TestAttachmentTooLarge (0.22s)
=== RUN TestAttachmentCorruptedImage
--- PASS: TestAttachmentCorruptedImage (0.22s)
=== RUN TestAttachmentMimeSubstitution
--- PASS: TestAttachmentMimeSubstitution (0.16s)
=== RUN TestAttachmentForeignID
--- PASS: TestAttachmentForeignID (0.22s)
=== RUN TestAttachmentFromAnotherChat
--- PASS: TestAttachmentFromAnotherChat (1.02s)
=== RUN TestCreateChatRollback
--- PASS: TestCreateChatRollback (0.16s)
=== RUN TestInvalidJSON
--- PASS: TestInvalidJSON (0.00s)
=== RUN TestForeignChat
--- PASS: TestForeignChat (0.60s)
=== RUN TestEmptyMessage
--- PASS: TestEmptyMessage (0.20s)
=== RUN TestDuplicateUsername
--- PASS: TestDuplicateUsername (0.24s)
=== RUN TestPagination
--- PASS: TestPagination (0.31s)
=== RUN TestThumbnail
=== RUN TestThumbnail/landscape
=== RUN TestThumbnail/portrait
=== RUN TestThumbnail/small
=== RUN TestThumbnail/thin
--- PASS: TestThumbnail (2.18s)
--- PASS: TestThumbnail/landscape (0.35s)
--- PASS: TestThumbnail/portrait (0.62s)
--- PASS: TestThumbnail/small (0.40s)
--- PASS: TestThumbnail/thin (0.82s)
=== RUN TestVariantsEXIF
=== RUN TestVariantsEXIF/thumbnail
=== RUN TestVariantsEXIF/optimized
--- PASS: TestVariantsEXIF (1.19s)
--- PASS: TestVariantsEXIF/thumbnail (0.80s)
--- PASS: TestVariantsEXIF/optimized (0.39s)
=== RUN TestCrop
=== RUN TestCrop/landscape
=== RUN TestCrop/portrait
=== RUN TestCrop/small
--- PASS: TestCrop (1.61s)
--- PASS: TestCrop/landscape (0.62s)
--- PASS: TestCrop/portrait (0.39s)
--- PASS: TestCrop/small (0.60s)
=== RUN TestOptimized
=== RUN TestOptimized/landscape
=== RUN TestOptimized/portrait
=== RUN TestOptimized/small
--- PASS: TestOptimized (2.50s)
--- PASS: TestOptimized/landscape (0.84s)
--- PASS: TestOptimized/portrait (1.06s)
--- PASS: TestOptimized/small (0.59s)
=== RUN TestLoginWrongPassword
--- PASS: TestLoginWrongPassword (0.22s)
=== RUN TestLogout
--- PASS: TestLogout (0.18s)
PASS
ok mtusi2026-messenger/student-tests 13.930s
+3
View File
@@ -0,0 +1,3 @@
> make test
python3 tests/smoke.py --base-url "http://localhost:8080"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
+13
View File
@@ -0,0 +1,13 @@
> make pipeline-go
go test -count=1 -tags=nodynamic,pipeline ./student-tests/... -v -args -base-url=http://localhost:8080
=== RUN TestPipelineStaleProcessing
pipeline_fault_test.go:174: PASS attachment=01a1e881-531b-7c12-8bcc-1bb759d11d06: held v1 PUT; v2 ready; late v1 wrote S3 but could not replace v2; stale redelivery acknowledged
--- PASS: TestPipelineStaleProcessing (12.67s)
=== RUN TestPipelineReorderAndDuplicate
pipeline_fault_test.go:245: PASS attachment=01a1e881-8af0-70c3-a95d-6fde917efa7f: v2 completed before v1 delivery; stale v1 and duplicate v2 acknowledged without changes
--- PASS: TestPipelineReorderAndDuplicate (41.43s)
=== RUN TestPipelineCrashBeforeWrite
pipeline_fault_test.go:301: PASS attachment=01a1e882-22d9-749f-ad66-36ecf038165b: SIGKILL before first result PUT; natural lease recovery; same job ready on v2 attempt2
--- PASS: TestPipelineCrashBeforeWrite (26.05s)
PASS
ok mtusi2026-messenger/student-tests 80.150s
+40
View File
@@ -0,0 +1,40 @@
> docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab5-api-1 mtusi-messenger:lab5 "/app/server" api 35 minutes ago Up 35 minutes (healthy) 8080/tcp
mtusi2026lab5-api-2 mtusi-messenger:lab5 "/app/server" api 35 minutes ago Up 35 minutes (healthy) 8080/tcp
mtusi2026lab5-load_balancer-1 nginx:1.31.7-alpine3.24 "/docker-entrypoint.…" load_balancer 35 minutes ago Up 35 minutes 127.0.0.1:8080->8080/tcp
mtusi2026lab5-postgres-1 postgres:18.6 "docker-entrypoint.s…" postgres 35 minutes ago Up 35 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab5-rabbitmq-1 rabbitmq:4.2.9-alpine "/bin/sh -ec 'RABBIT…" rabbitmq 35 minutes ago Up 35 minutes (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp
mtusi2026lab5-redis-1 redis:8.8.3-alpine3.23 "docker-entrypoint.s…" redis 35 minutes ago Up 35 minutes (healthy) 6379/tcp
mtusi2026lab5-s3-1 chrislusf/seaweedfs:4.51 "/entrypoint.sh serv…" s3 35 minutes ago Up 35 minutes (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
mtusi2026lab5-worker-1 mtusi-messenger-worker:lab5 "/app/worker" worker 35 minutes ago Up 35 minutes
> make worker-go
go test -count=1 -tags=worker ./student-tests/... -v -args -base-url=http://localhost:8080
=== RUN TestWorkerPersistenceAndDuplicate
worker_test.go:116: PASS attachment=01a1e86c-a8f6-7816-82aa-f21d58b7d859: queued survives API/broker restart; ready; duplicate acknowledged with unchanged result
--- PASS: TestWorkerPersistenceAndDuplicate (33.88s)
=== RUN TestWorkerRetryExhausted
worker_test.go:161: PASS attachment=01a1e86d-245d-78aa-b370-288b7b9aae01: 5 attempts, failed/retry_exhausted, content/link rejected
--- PASS: TestWorkerRetryExhausted (39.01s)
=== RUN TestWorkerProcessingTimeout
--- PASS: TestWorkerProcessingTimeout (10.11s)
=== RUN TestWorkerReplay
--- PASS: TestWorkerReplay (15.20s)
=== RUN TestWorkerOutboxRecovery
worker_test.go:342: PASS attachment=01a1e86e-2d67-70db-98e7-ea3f137bb7c1: commit, API SIGKILL before publication, automatic outbox recovery, same job ready
--- PASS: TestWorkerOutboxRecovery (33.15s)
=== RUN TestWorkerLeaseRecovery
worker_test.go:425: PASS attachment=01a1e86e-b2b4-7d23-a1cb-0ba40351a02f: SIGKILL after S3 writes, expired lease recovered, same job ready on attempt 2
--- PASS: TestWorkerLeaseRecovery (26.54s)
PASS
ok mtusi2026-messenger/student-tests 157.912s
> docker compose ps
NAME IMAGE COMMAND SERVICE CREATED STATUS PORTS
mtusi2026lab5-api-1 mtusi-messenger:lab5 "/app/server" api 38 minutes ago Up About a minute (healthy) 8080/tcp
mtusi2026lab5-api-2 mtusi-messenger:lab5 "/app/server" api 38 minutes ago Up About a minute (healthy) 8080/tcp
mtusi2026lab5-load_balancer-1 nginx:1.31.7-alpine3.24 "/docker-entrypoint.…" load_balancer 38 minutes ago Up 38 minutes 127.0.0.1:8080->8080/tcp
mtusi2026lab5-postgres-1 postgres:18.6 "docker-entrypoint.s…" postgres 39 minutes ago Up 38 minutes (healthy) 127.0.0.1:5432->5432/tcp
mtusi2026lab5-rabbitmq-1 rabbitmq:4.2.9-alpine "/bin/sh -ec 'RABBIT…" rabbitmq 2 minutes ago Up About a minute (healthy) 4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp
mtusi2026lab5-redis-1 redis:8.8.3-alpine3.23 "docker-entrypoint.s…" redis 39 minutes ago Up 38 minutes (healthy) 6379/tcp
mtusi2026lab5-s3-1 chrislusf/seaweedfs:4.51 "/entrypoint.sh serv…" s3 38 minutes ago Up 38 minutes (healthy) 7333/tcp, 8080/tcp, 8333/tcp, 8888/tcp, 9333/tcp, 18080/tcp, 18888/tcp, 19333/tcp
mtusi2026lab5-worker-1 mtusi-messenger-worker:lab5 "/app/worker" worker 38 minutes ago Up 41 seconds