forked from mtusi2026/mtusi2026lab5
Автор / группа: ivanstorozhev, БВТ2304 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: из lab4 перенесены Spring Boot API, PostgreSQL, Redis-кэш сессий, Argon2id, Liquibase через одноразовый сервис migrate, HAProxy без sticky session, две реплики, X-Instance-Id, обязательный Idempotency-Key, scripts/stop-one.sh и scripts/restart.sh, приватный SeaweedFS, таблица attachments и скачивание оригинала через API. Ключ объекта назначает сервер. У API отдельный ключ S3 с правами Read/Write/List; Admin используется только чтобы создать bucket. Объект без строки в базе старше двух минут удаляет фоновая очистка. Добавлены ответ 202, staging, transactional outbox, отдельный worker, Kafka 3.9.1 (KRaft, volume kafka-data), состояния queued/processing/ready/failed, JPEG thumbnail и crop, lossy WebP, retry с backoff и jitter, топик attachments.failed, явный replay и lease. Сообщение брокера содержит только идентификаторы. Подтверждение записи брокером (acks=all) и commit смещения потребителя разделены. Команды запуска из чистого clone: cp .env.example .env docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build curl -fsS http://127.0.0.1:8080/health/ready make test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh docker compose --env-file .env start api python3 scripts/grade4-evidence.py Результаты проверок и ссылка на REPORT.md: подробности и числа в REPORT.md make check — PASS: offline skeleton structure, local refs and Python syntax. make test — PASS: lab5 public API scenario. make test-persistence ACTION_SCRIPT=scripts/restart.sh — PASS: persistence preserved confirmed data and existing session. Хук перезапускает и kafka. make test-failover ACTION_SCRIPT=scripts/stop-one.sh — PASS: две реплики до отказа, восстановление записи за 1.795 с, 117 успешных записей и 1 ошибка перехода. python3 scripts/grade4-evidence.py — PASS. Worker остановлен: после рестарта API вложение осталось queued, затем стало ready; thumbnail JPEG 256×160, crop JPEG 128×128, optimized WebP 320×200, оригинал 111817 байт совпал. Конец топика attachments.process вырос 2→3 и после restart kafka остался 3. Пауза outbox пережила kill API, unpublished=1, затем тот же id стал ready. System.exit после записи объектов: RestartCount 0→1, один набор вариантов. Постоянный сбой processing_failed, топик attachments.failed, replay доводит то же вложение до ready, второй replay остаётся ready. mvn -q test в backend/ — код выхода 0, 22 теста: 202 и варианты, слишком большой файл 413, порча и подмена MIME 415, чужой id и другой чат 404, сирота в S3 удаляется. Анонимный GET объекта в сети стенда — HTTP 403. Ограничения / известные ошибки: трек 5 не делался. Один Docker-хост, единственные PostgreSQL, Redis, SeaweedFS, Kafka и HAProxy остаются точками отказа. Replication factor топиков равен 1. Доставка at least once: повтор перезаписывает те же ключи, но это не exactly-once на стороне S3. Если процесс умер после PUT staging и до COMMIT, объект без строки живёт не дольше grace period, затем удаляется. Staging failed-задания хранится сутки; позже replay уже не находит байты. Пока HAProxy не снял backend, часть запросов на останавливаемую реплику завершается ошибкой соединения; повтор с тем же Idempotency-Key безопасен для отправки сообщения. Источники и использование ИИ: контракт contracts/openapi.json, contracts/README.md, contracts/attachment-states.md, contracts/jobs.schema.json; код lab4; Spring Boot 4.1.1, Spring Data JPA, spring-security-crypto, Spring Data Redis, Spring Kafka, Liquibase, Actuator, MapStruct 1.6.3, OpenAPI Generator 7.17.0, AWS SDK for Java 2.31.50, Thumbnailator 0.4.20, webp-imageio 0.11.0, Bouncy Castle, PostgreSQL 16.10, Redis 7.4.6, HAProxy 3.2.6, SeaweedFS 4.52, Apache Kafka 3.9.1, Testcontainers. Реализация собрана в Cursor. Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. Контракт и публичные тесты не ослаблены. make check и make test выполнены; приложен реальный вывод. Сценарии отказов своего уровня воспроизведены. Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. README задания сохранён, REPORT.md содержит инструкцию именно моего решения. Co-authored-by: Cursor <cursoragent@cursor.com>
241 lines
11 KiB
Java
241 lines
11 KiB
Java
package ru.mtuci.messenger;
|
|
|
|
import org.junit.jupiter.api.BeforeEach;
|
|
import org.junit.jupiter.api.Test;
|
|
import org.springframework.beans.factory.annotation.Autowired;
|
|
import ru.mtuci.messenger.storage.ObjectStorage;
|
|
import ru.mtuci.messenger.storage.OrphanSweeper;
|
|
import org.springframework.boot.test.context.SpringBootTest;
|
|
import org.springframework.boot.test.web.server.LocalServerPort;
|
|
import org.springframework.test.context.DynamicPropertyRegistry;
|
|
import org.springframework.test.context.DynamicPropertySource;
|
|
import ru.mtuci.messenger.support.ApiClient;
|
|
import ru.mtuci.messenger.support.LabContainers;
|
|
import tools.jackson.databind.JsonNode;
|
|
import tools.jackson.databind.json.JsonMapper;
|
|
|
|
import java.net.URI;
|
|
import java.net.URLEncoder;
|
|
import java.net.http.HttpClient;
|
|
import java.net.http.HttpRequest;
|
|
import java.net.http.HttpResponse;
|
|
import java.nio.charset.StandardCharsets;
|
|
import java.nio.file.Files;
|
|
import java.nio.file.Path;
|
|
import java.security.MessageDigest;
|
|
import java.util.Base64;
|
|
import java.util.HexFormat;
|
|
import java.util.List;
|
|
import java.util.Map;
|
|
import java.time.Instant;
|
|
import java.util.UUID;
|
|
|
|
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
|
|
import static org.junit.jupiter.api.Assertions.assertEquals;
|
|
import static org.junit.jupiter.api.Assertions.assertTrue;
|
|
import static org.junit.jupiter.api.Assertions.fail;
|
|
|
|
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
|
|
class AttachmentIntegrationTest {
|
|
|
|
@LocalServerPort
|
|
int port;
|
|
|
|
@Autowired
|
|
JsonMapper jsonMapper;
|
|
|
|
@Autowired
|
|
ObjectStorage storage;
|
|
|
|
@Autowired
|
|
OrphanSweeper sweeper;
|
|
|
|
private ApiClient api;
|
|
private final HttpClient http = HttpClient.newHttpClient();
|
|
|
|
@DynamicPropertySource
|
|
static void containers(DynamicPropertyRegistry registry) {
|
|
LabContainers.register(registry);
|
|
}
|
|
|
|
@BeforeEach
|
|
void client() {
|
|
api = new ApiClient(port, jsonMapper);
|
|
}
|
|
|
|
@Test
|
|
void uploadIsPrivateAndReadableByAnotherMember() throws Exception {
|
|
String password = "Example-only-not-a-real-secret-123";
|
|
JsonNode alice = register("at", password);
|
|
JsonNode bob = register("bt", password);
|
|
JsonNode eve = register("et", password);
|
|
String aliceToken = login(alice.get("username").asString(), password);
|
|
String bobToken = login(bob.get("username").asString(), password);
|
|
String eveToken = login(eve.get("username").asString(), password);
|
|
String chatId = chat(aliceToken, List.of(alice.get("id").asString(), bob.get("id").asString()));
|
|
String otherChat = chat(aliceToken, List.of(alice.get("id").asString()));
|
|
byte[] png = Files.readAllBytes(Path.of("../tests/fixtures/sample.png"));
|
|
|
|
HttpResponse<String> created = upload(aliceToken, chatId, "sample.png", "image/png", png);
|
|
assertEquals(202, created.statusCode());
|
|
JsonNode attachment = jsonMapper.readTree(created.body());
|
|
assertEquals("queued", attachment.get("status").asString());
|
|
assertEquals(sha256(png), attachment.get("sha256").asString());
|
|
assertEquals(png.length, attachment.get("size_bytes").asInt());
|
|
assertEquals(false, attachment.has("object_key"));
|
|
String attachmentId = attachment.get("id").asString();
|
|
|
|
ApiClient.Result message = api.post("/api/v1/chats/" + chatId + "/messages", aliceToken,
|
|
Map.of("text", "", "attachment_ids", List.of(attachmentId)),
|
|
Map.of("Idempotency-Key", UUID.randomUUID().toString()));
|
|
assertEquals(201, message.status());
|
|
assertEquals(attachmentId, message.body().get("attachment_ids").get(0).asString());
|
|
|
|
JsonNode ready = waitReady(bobToken, attachmentId);
|
|
JsonNode thumbnail = variant(ready, "thumbnail");
|
|
assertEquals(256, thumbnail.get("width").asInt());
|
|
assertEquals(160, thumbnail.get("height").asInt());
|
|
assertEquals("image/jpeg", thumbnail.get("content_type").asString());
|
|
JsonNode crop = variant(ready, "crop");
|
|
assertEquals(128, crop.get("width").asInt());
|
|
assertEquals(128, crop.get("height").asInt());
|
|
JsonNode optimized = variant(ready, "optimized");
|
|
assertEquals("image/webp", optimized.get("content_type").asString());
|
|
assertEquals(320, optimized.get("width").asInt());
|
|
assertEquals(200, optimized.get("height").asInt());
|
|
|
|
HttpResponse<byte[]> download = download(bobToken, attachmentId);
|
|
assertEquals(200, download.statusCode());
|
|
assertEquals("image/png", download.headers().firstValue("Content-Type").orElse(""));
|
|
assertArrayEquals(png, download.body());
|
|
assertEquals(404, api.get("/api/v1/attachments/" + attachmentId, eveToken).status());
|
|
assertEquals(404, download(eveToken, attachmentId).statusCode());
|
|
|
|
HttpResponse<String> badName = upload(aliceToken, chatId, "../secret.png", "image/png", png);
|
|
assertEquals(400, badName.statusCode());
|
|
HttpResponse<String> spoofed = upload(aliceToken, chatId, "photo.png", "image/png", new byte[] {1, 2, 3, 4});
|
|
assertEquals(415, spoofed.statusCode());
|
|
ApiClient.Result foreign = api.post("/api/v1/chats/" + otherChat + "/messages", aliceToken,
|
|
Map.of("text", "", "attachment_ids", List.of(attachmentId)),
|
|
Map.of("Idempotency-Key", UUID.randomUUID().toString()));
|
|
assertEquals(404, foreign.status());
|
|
assertEquals("not_found", foreign.body().get("error").get("code").asString());
|
|
|
|
ApiClient.Result missing = api.post("/api/v1/chats/" + chatId + "/messages", aliceToken,
|
|
Map.of("text", "", "attachment_ids", List.of(UUID.randomUUID().toString())),
|
|
Map.of("Idempotency-Key", UUID.randomUUID().toString()));
|
|
assertEquals(404, missing.status());
|
|
|
|
HttpResponse<String> corrupt = upload(aliceToken, chatId, "broken.png", "image/png",
|
|
new byte[] {(byte) 137, 80, 78, 71, 13, 10, 26, 10, 0, 1, 2});
|
|
assertEquals(415, corrupt.statusCode());
|
|
assertEquals("unsupported_media_type", jsonMapper.readTree(corrupt.body()).get("error").get("code").asString());
|
|
|
|
byte[] jpeg = new byte[] {
|
|
(byte) 0xff, (byte) 0xd8,
|
|
(byte) 0xff, (byte) 0xc0, 0x00, 0x0b, 0x08, 0x00, 0x01, 0x00, 0x01, 0x01, 0x01, 0x11, 0x00,
|
|
(byte) 0xff, (byte) 0xd9
|
|
};
|
|
HttpResponse<String> mime = upload(aliceToken, chatId, "photo.png", "image/png", jpeg);
|
|
assertEquals(415, mime.statusCode());
|
|
|
|
HttpResponse<String> tooBig = upload(aliceToken, chatId, "big.png", "image/png", new byte[10_485_761]);
|
|
assertEquals(413, tooBig.statusCode());
|
|
assertEquals("payload_too_large", jsonMapper.readTree(tooBig.body()).get("error").get("code").asString());
|
|
assertTrue(tooBig.statusCode() < 500);
|
|
}
|
|
|
|
@Test
|
|
void sweepDropsOrphanAndKeepsReferencedObject() throws Exception {
|
|
String password = "Example-only-not-a-real-secret-123";
|
|
JsonNode alice = register("sw", password);
|
|
String token = login(alice.get("username").asString(), password);
|
|
String chatId = chat(token, List.of(alice.get("id").asString()));
|
|
byte[] png = Files.readAllBytes(Path.of("../tests/fixtures/sample.png"));
|
|
HttpResponse<String> created = upload(token, chatId, "sample.png", "image/png", png);
|
|
assertEquals(202, created.statusCode());
|
|
String id = jsonMapper.readTree(created.body()).get("id").asString();
|
|
waitReady(token, id);
|
|
|
|
storage.put("originals/orphan-" + UUID.randomUUID(), new byte[] {9, 9, 9}, "application/octet-stream");
|
|
int removed = sweeper.sweepOlderThan(Instant.now().plusSeconds(120));
|
|
assertTrue(removed >= 1);
|
|
assertEquals(200, download(token, id).statusCode());
|
|
assertTrue(storage.list("originals/").stream().noneMatch(object -> object.key().contains("orphan-")));
|
|
}
|
|
|
|
private JsonNode waitReady(String token, String id) throws Exception {
|
|
long deadline = System.nanoTime() + java.time.Duration.ofSeconds(40).toNanos();
|
|
JsonNode last = null;
|
|
while (System.nanoTime() < deadline) {
|
|
ApiClient.Result result = api.get("/api/v1/attachments/" + id, token);
|
|
assertEquals(200, result.status());
|
|
last = result.body();
|
|
String status = last.get("status").asString();
|
|
if ("ready".equals(status)) {
|
|
return last;
|
|
}
|
|
if ("failed".equals(status)) {
|
|
fail("attachment failed: " + last.get("error_code"));
|
|
}
|
|
Thread.sleep(200);
|
|
}
|
|
fail("attachment did not become ready: " + last);
|
|
return last;
|
|
}
|
|
|
|
private static JsonNode variant(JsonNode attachment, String name) {
|
|
for (JsonNode variant : attachment.get("variants")) {
|
|
if (name.equals(variant.get("name").asString())) {
|
|
return variant;
|
|
}
|
|
}
|
|
fail("missing variant " + name);
|
|
return null;
|
|
}
|
|
|
|
private HttpResponse<String> upload(String token, String chatId, String filename, String type, byte[] body) throws Exception {
|
|
String name = URLEncoder.encode(filename, StandardCharsets.UTF_8);
|
|
HttpRequest request = HttpRequest.newBuilder(URI.create(base() + "/api/v1/chats/" + chatId + "/attachments?filename=" + name))
|
|
.header("Authorization", "Bearer " + token)
|
|
.header("Content-Type", type)
|
|
.POST(HttpRequest.BodyPublishers.ofByteArray(body))
|
|
.build();
|
|
return http.send(request, HttpResponse.BodyHandlers.ofString(StandardCharsets.UTF_8));
|
|
}
|
|
|
|
private HttpResponse<byte[]> download(String token, String attachmentId) throws Exception {
|
|
HttpRequest request = HttpRequest.newBuilder(URI.create(base() + "/api/v1/attachments/" + attachmentId + "/content"))
|
|
.header("Authorization", "Bearer " + token)
|
|
.GET()
|
|
.build();
|
|
return http.send(request, HttpResponse.BodyHandlers.ofByteArray());
|
|
}
|
|
|
|
private String base() {
|
|
return "http://127.0.0.1:" + port;
|
|
}
|
|
|
|
private String chat(String token, List<String> members) {
|
|
return api.post("/api/v1/chats", token, Map.of("title", "Вложения", "member_ids", members)).body().get("id").asString();
|
|
}
|
|
|
|
private JsonNode register(String prefix, String password) {
|
|
String username = (prefix + UUID.randomUUID().toString().replace("-", "")).substring(0, 20);
|
|
ApiClient.Result result = api.post("/api/v1/users", api.user(username, "Алиса", password));
|
|
assertEquals(201, result.status());
|
|
return result.body();
|
|
}
|
|
|
|
private String login(String username, String password) {
|
|
String basic = Base64.getEncoder().encodeToString((username + ":" + password).getBytes(StandardCharsets.UTF_8));
|
|
ApiClient.Result session = api.postBasic("/api/v1/auth/sessions", basic);
|
|
assertEquals(201, session.status());
|
|
return session.body().get("token").asString();
|
|
}
|
|
|
|
private static String sha256(byte[] bytes) throws Exception {
|
|
return HexFormat.of().formatHex(MessageDigest.getInstance("SHA-256").digest(bytes));
|
|
}
|
|
}
|