Files
mtusi2026lab5/backend/src/test/java/ru/mtuci/messenger/IdempotencyIntegrationTest.java
T
ivanstorozhevandCursor 8057852823 Оригинал принимается в S3 и в одну транзакцию с outbox, поэтому ответ 202 уже не зависит от брокера. Worker коммитит смещение Kafka только после записи вариантов в фиксированные ключи, так что повторная доставка не создаёт второй набор.
Автор / группа: ivanstorozhev, БВТ2304
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено: из lab4 перенесены Spring Boot API, PostgreSQL, Redis-кэш сессий, Argon2id, Liquibase через одноразовый сервис migrate, HAProxy без sticky session, две реплики, X-Instance-Id, обязательный Idempotency-Key, scripts/stop-one.sh и scripts/restart.sh, приватный SeaweedFS, таблица attachments и скачивание оригинала через API. Ключ объекта назначает сервер. У API отдельный ключ S3 с правами Read/Write/List; Admin используется только чтобы создать bucket. Объект без строки в базе старше двух минут удаляет фоновая очистка. Добавлены ответ 202, staging, transactional outbox, отдельный worker, Kafka 3.9.1 (KRaft, volume kafka-data), состояния queued/processing/ready/failed, JPEG thumbnail и crop, lossy WebP, retry с backoff и jitter, топик attachments.failed, явный replay и lease. Сообщение брокера содержит только идентификаторы. Подтверждение записи брокером (acks=all) и commit смещения потребителя разделены.

Команды запуска из чистого clone:
cp .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
curl -fsS http://127.0.0.1:8080/health/ready
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
docker compose --env-file .env start api
python3 scripts/grade4-evidence.py

Результаты проверок и ссылка на REPORT.md: подробности и числа в REPORT.md
make check — PASS: offline skeleton structure, local refs and Python syntax.
make test — PASS: lab5 public API scenario.
make test-persistence ACTION_SCRIPT=scripts/restart.sh — PASS: persistence preserved confirmed data and existing session. Хук перезапускает и kafka.
make test-failover ACTION_SCRIPT=scripts/stop-one.sh — PASS: две реплики до отказа, восстановление записи за 1.795 с, 117 успешных записей и 1 ошибка перехода.
python3 scripts/grade4-evidence.py — PASS. Worker остановлен: после рестарта API вложение осталось queued, затем стало ready; thumbnail JPEG 256×160, crop JPEG 128×128, optimized WebP 320×200, оригинал 111817 байт совпал. Конец топика attachments.process вырос 2→3 и после restart kafka остался 3. Пауза outbox пережила kill API, unpublished=1, затем тот же id стал ready. System.exit после записи объектов: RestartCount 0→1, один набор вариантов. Постоянный сбой processing_failed, топик attachments.failed, replay доводит то же вложение до ready, второй replay остаётся ready.
mvn -q test в backend/ — код выхода 0, 22 теста: 202 и варианты, слишком большой файл 413, порча и подмена MIME 415, чужой id и другой чат 404, сирота в S3 удаляется.
Анонимный GET объекта в сети стенда — HTTP 403.

Ограничения / известные ошибки: трек 5 не делался. Один Docker-хост, единственные PostgreSQL, Redis, SeaweedFS, Kafka и HAProxy остаются точками отказа. Replication factor топиков равен 1. Доставка at least once: повтор перезаписывает те же ключи, но это не exactly-once на стороне S3. Если процесс умер после PUT staging и до COMMIT, объект без строки живёт не дольше grace period, затем удаляется. Staging failed-задания хранится сутки; позже replay уже не находит байты. Пока HAProxy не снял backend, часть запросов на останавливаемую реплику завершается ошибкой соединения; повтор с тем же Idempotency-Key безопасен для отправки сообщения.

Источники и использование ИИ: контракт contracts/openapi.json, contracts/README.md, contracts/attachment-states.md, contracts/jobs.schema.json; код lab4; Spring Boot 4.1.1, Spring Data JPA, spring-security-crypto, Spring Data Redis, Spring Kafka, Liquibase, Actuator, MapStruct 1.6.3, OpenAPI Generator 7.17.0, AWS SDK for Java 2.31.50, Thumbnailator 0.4.20, webp-imageio 0.11.0, Bouncy Castle, PostgreSQL 16.10, Redis 7.4.6, HAProxy 3.2.6, SeaweedFS 4.52, Apache Kafka 3.9.1, Testcontainers. Реализация собрана в Cursor.

Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-11-12 19:33:05 +03:00

165 lines
7.0 KiB
Java

package ru.mtuci.messenger;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.boot.test.web.server.LocalServerPort;
import org.springframework.test.context.DynamicPropertyRegistry;
import org.springframework.test.context.DynamicPropertySource;
import ru.mtuci.messenger.repository.MessageRepository;
import ru.mtuci.messenger.support.ApiClient;
import ru.mtuci.messenger.support.LabContainers;
import tools.jackson.databind.JsonNode;
import tools.jackson.databind.json.JsonMapper;
import java.util.ArrayList;
import java.util.Base64;
import java.util.List;
import java.util.Map;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotEquals;
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
class IdempotencyIntegrationTest {
@LocalServerPort
int port;
@Autowired
JsonMapper jsonMapper;
@Autowired
MessageRepository messages;
private ApiClient api;
@DynamicPropertySource
static void containers(DynamicPropertyRegistry registry) {
LabContainers.register(registry);
}
@BeforeEach
void client() {
api = new ApiClient(port, jsonMapper);
}
@Test
void replayConflictAndRejectedKey() {
String password = "Example-only-not-a-real-secret-123";
JsonNode alice = register(name("ia"), password);
String token = login(alice.get("username").asString(), password);
String chatId = chat(token, List.of(alice.get("id").asString()));
String key = "same-" + UUID.randomUUID();
ApiClient.Result rejected = send(token, chatId, "ещё не записано", key.replace("same", "bad key"));
assertEquals(400, rejected.status());
assertFalse(rejected.instanceId().isBlank());
assertEquals(400, api.post("/api/v1/chats/" + chatId + "/messages", token, Map.of("text", "без ключа")).status());
String recover = "recover-" + UUID.randomUUID();
assertEquals(400, send(token, chatId, "", recover).status());
ApiClient.Result first = send(token, chatId, "Привет, мир", recover);
assertEquals(201, first.status());
ApiClient.Result replay = send(token, chatId, "Привет, мир", recover);
assertEquals(201, replay.status());
assertEquals(first.body(), replay.body());
assertEquals(409, send(token, chatId, "другой body", recover).status());
assertEquals(1, messages.countByChatId(UUID.fromString(chatId)));
ApiClient.Result fresh = send(token, chatId, "Привет, мир", key);
assertEquals(201, fresh.status());
assertNotEquals(first.body().get("id").asString(), fresh.body().get("id").asString());
}
@Test
void sameKeyIsIndependentAcrossUsersAndChats() {
String password = "Example-only-not-a-real-secret-123";
JsonNode alice = register(name("ib"), password);
JsonNode bob = register(name("ic"), password);
String aliceToken = login(alice.get("username").asString(), password);
String bobToken = login(bob.get("username").asString(), password);
String shared = chat(aliceToken, List.of(alice.get("id").asString(), bob.get("id").asString()));
String other = chat(aliceToken, List.of(alice.get("id").asString()));
String key = "shared-" + UUID.randomUUID();
ApiClient.Result aliceMessage = send(aliceToken, shared, "общий ключ", key);
ApiClient.Result bobMessage = send(bobToken, shared, "общий ключ", key);
ApiClient.Result otherChat = send(aliceToken, other, "общий ключ", key);
assertEquals(201, aliceMessage.status());
assertEquals(201, bobMessage.status());
assertEquals(201, otherChat.status());
assertNotEquals(aliceMessage.body().get("id").asString(), bobMessage.body().get("id").asString());
assertNotEquals(aliceMessage.body().get("id").asString(), otherChat.body().get("id").asString());
}
@Test
void parallelSameKeyCreatesOneMessage() throws Exception {
String password = "Example-only-not-a-real-secret-123";
JsonNode alice = register(name("ip"), password);
String token = login(alice.get("username").asString(), password);
String chatId = chat(token, List.of(alice.get("id").asString()));
String key = "parallel-" + UUID.randomUUID();
int threads = 8;
ExecutorService pool = Executors.newFixedThreadPool(threads);
CountDownLatch start = new CountDownLatch(1);
try {
List<Future<ApiClient.Result>> futures = new ArrayList<>();
for (int i = 0; i < threads; i++) {
futures.add(pool.submit(() -> {
start.await();
return send(token, chatId, "одно сообщение", key);
}));
}
start.countDown();
JsonNode body = null;
for (Future<ApiClient.Result> future : futures) {
ApiClient.Result result = future.get();
assertEquals(201, result.status());
if (body == null) {
body = result.body();
} else {
assertEquals(body, result.body());
}
}
} finally {
pool.shutdownNow();
}
assertEquals(1, messages.countByChatId(UUID.fromString(chatId)));
}
private ApiClient.Result send(String token, String chatId, String text, String key) {
return api.post("/api/v1/chats/" + chatId + "/messages", token, Map.of("text", text),
Map.of("Idempotency-Key", key));
}
private String chat(String token, List<String> members) {
return api.post("/api/v1/chats", token, Map.of("title", "Идемпотентность", "member_ids", members))
.body().get("id").asString();
}
private JsonNode register(String username, String password) {
ApiClient.Result result = api.post("/api/v1/users", api.user(username, "Алиса", password));
assertEquals(201, result.status());
return result.body();
}
private String login(String username, String password) {
String basic = Base64.getEncoder().encodeToString((username + ":" + password).getBytes());
ApiClient.Result session = api.postBasic("/api/v1/auth/sessions", basic);
assertEquals(201, session.status());
return session.body().get("token").asString();
}
private static String name(String prefix) {
return (prefix + UUID.randomUUID().toString().replace("-", "")).substring(0, 20);
}
}