forked from mtusi2026/mtusi2026lab4
Оценка 4 готово
This commit is contained in:
@@ -1,18 +1,26 @@
|
||||
## Лабораторная 4
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
Автор / группа: Гуреев Дмитрий, БПИ2301
|
||||
Целевая оценка (3/4/5): 4
|
||||
Трек 5, если заявлен: не заявляется
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
Что реализовано и что перенесено: перенесён минимум lab3 (пользователи, чаты, сообщения, пагинация, сессии, идемпотентность). Добавлены: таблица attachments, связь message_attachments, endpoint загрузки/скачивания вложений, S3-хранение байтов в приватном bucket, стриминговый валидатор изображений, реконсилер «осиротевших» объектов с grace period.
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
Команды запуска из чистого clone:
|
||||
1. Скопировать compose.example.yaml в docker-compose.yml, заполнить локальный .env.
|
||||
2. docker compose --env-file .env up -d --build
|
||||
3. Дождаться /health/ready.
|
||||
4. make test BASE_URL=http://localhost:8080
|
||||
|
||||
Результаты проверок и ссылка на REPORT.md: make test проходит (PASS: lab4 public API scenario). REPORT.md содержит доказательства критериев оценки 4.
|
||||
|
||||
Ограничения / известные ошибки: не реализован presigned-upload flow (трек 5), отдельные S3 credentials с ограниченными правами документированы в scripts/minio-init.sh, MinIO консоль (9001) не экспонируется наружу.
|
||||
|
||||
Источники и использование ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации по архитектуре multi-instance, health/readiness, идемпотентности.
|
||||
|
||||
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [x] Контракт и публичные тесты не ослаблены.
|
||||
- [x] make check и make test выполнены; приложен реальный вывод.
|
||||
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
|
||||
@@ -92,7 +92,6 @@ services:
|
||||
- minio_data:/bitnami/minio/data
|
||||
ports:
|
||||
- "127.0.0.1:9000:9000"
|
||||
- "127.0.0.1:9001:9001"
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
|
||||
interval: 5s
|
||||
@@ -125,14 +124,9 @@ services:
|
||||
minio:
|
||||
condition: service_started
|
||||
env_file: .env
|
||||
entrypoint: >
|
||||
/bin/sh -c "
|
||||
sleep 3;
|
||||
mc alias set local http://minio:9000 $${MINIO_ROOT_USER} $${MINIO_ROOT_PASSWORD};
|
||||
mc mb --ignore-existing local/$${S3_BUCKET:-messenger-attachments};
|
||||
mc anonymous set none local/$${S3_BUCKET:-messenger-attachments};
|
||||
echo bucket-ready
|
||||
"
|
||||
volumes:
|
||||
- ../../scripts/minio-init.sh:/minio-init.sh:ro
|
||||
entrypoint: ["/bin/sh", "/minio-init.sh"]
|
||||
networks: [ messenger ]
|
||||
restart: "no"
|
||||
volumes:
|
||||
|
||||
@@ -5,6 +5,8 @@ events {
|
||||
}
|
||||
|
||||
http {
|
||||
client_max_body_size 12M;
|
||||
|
||||
upstream api_backend {
|
||||
least_conn;
|
||||
server api:8080 max_fails=2 fail_timeout=5s;
|
||||
|
||||
@@ -2,8 +2,10 @@ package org.example;
|
||||
|
||||
import org.springframework.boot.SpringApplication;
|
||||
import org.springframework.boot.autoconfigure.SpringBootApplication;
|
||||
import org.springframework.scheduling.annotation.EnableScheduling;
|
||||
|
||||
@SpringBootApplication
|
||||
@EnableScheduling
|
||||
public class LidoApplication {
|
||||
public static void main(String[] args) {
|
||||
SpringApplication.run(LidoApplication.class, args);
|
||||
|
||||
@@ -5,9 +5,11 @@ import org.springframework.stereotype.Component;
|
||||
|
||||
import javax.imageio.ImageIO;
|
||||
import java.awt.image.BufferedImage;
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.io.OutputStream;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.security.MessageDigest;
|
||||
import java.util.Set;
|
||||
|
||||
@@ -20,17 +22,15 @@ public class ImageUploadValidator {
|
||||
private static final Set<String> ALLOWED = Set.of("image/png", "image/jpeg");
|
||||
|
||||
public record ValidatedImage(
|
||||
byte[] bytes,
|
||||
Path tempFile,
|
||||
String contentType,
|
||||
String safeFilename,
|
||||
int width,
|
||||
int height,
|
||||
long sizeBytes,
|
||||
String sha256Hex
|
||||
) {}
|
||||
|
||||
/**
|
||||
* Raw body (не multipart) + filename из query.
|
||||
*/
|
||||
public ValidatedImage validate(String filename, InputStream in) throws IOException {
|
||||
if (in == null) {
|
||||
throw new BadRequestException("Empty body");
|
||||
@@ -38,24 +38,70 @@ public class ImageUploadValidator {
|
||||
|
||||
String safeName = sanitizeFilename(filename);
|
||||
|
||||
byte[] bytes = in.readNBytes((int) MAX_BYTES + 1);
|
||||
if (bytes.length == 0) {
|
||||
throw new BadRequestException("Empty file");
|
||||
}
|
||||
if (bytes.length > MAX_BYTES) {
|
||||
throw new BadRequestException("File too large (max 10 MiB)");
|
||||
byte[] header = new byte[8];
|
||||
int totalRead = 0;
|
||||
int read;
|
||||
while (totalRead < header.length && (read = in.read(header, totalRead, header.length - totalRead)) != -1) {
|
||||
totalRead += read;
|
||||
}
|
||||
|
||||
String detected = detectMime(bytes);
|
||||
if (totalRead == 0) {
|
||||
throw new BadRequestException("Empty file");
|
||||
}
|
||||
|
||||
String detected = detectMime(header, totalRead);
|
||||
if (!ALLOWED.contains(detected)) {
|
||||
throw new BadRequestException("Only PNG and JPEG are allowed");
|
||||
}
|
||||
|
||||
Path tempFile = Files.createTempFile("upload-", ".tmp");
|
||||
MessageDigest digest;
|
||||
try {
|
||||
digest = MessageDigest.getInstance("SHA-256");
|
||||
} catch (Exception e) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
throw new IllegalStateException("SHA-256 not available", e);
|
||||
}
|
||||
|
||||
long sizeBytes = 0;
|
||||
boolean success = false;
|
||||
try (OutputStream out = Files.newOutputStream(tempFile)) {
|
||||
out.write(header, 0, totalRead);
|
||||
digest.update(header, 0, totalRead);
|
||||
sizeBytes += totalRead;
|
||||
|
||||
byte[] buffer = new byte[8192];
|
||||
while ((read = in.read(buffer)) != -1) {
|
||||
sizeBytes += read;
|
||||
if (sizeBytes > MAX_BYTES) {
|
||||
throw new BadRequestException("File too large (max 10 MiB)");
|
||||
}
|
||||
out.write(buffer, 0, read);
|
||||
digest.update(buffer, 0, read);
|
||||
}
|
||||
success = true;
|
||||
} finally {
|
||||
if (!success) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
}
|
||||
}
|
||||
|
||||
if (sizeBytes == 0) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
throw new BadRequestException("Empty file");
|
||||
}
|
||||
|
||||
BufferedImage image;
|
||||
try (InputStream imageIn = new ByteArrayInputStream(bytes)) {
|
||||
image = ImageIO.read(imageIn);
|
||||
try (InputStream imageIn = Files.newInputStream(tempFile)) {
|
||||
try {
|
||||
image = ImageIO.read(imageIn);
|
||||
} catch (IOException e) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
throw new BadRequestException("Invalid image");
|
||||
}
|
||||
}
|
||||
if (image == null) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
throw new BadRequestException("Invalid image");
|
||||
}
|
||||
|
||||
@@ -63,27 +109,26 @@ public class ImageUploadValidator {
|
||||
int height = image.getHeight();
|
||||
long pixels = (long) width * (long) height;
|
||||
if (width <= 0 || height <= 0 || pixels > MAX_PIXELS) {
|
||||
Files.deleteIfExists(tempFile);
|
||||
throw new BadRequestException("Image exceeds pixel limit");
|
||||
}
|
||||
|
||||
return new ValidatedImage(
|
||||
bytes,
|
||||
detected,
|
||||
safeName,
|
||||
width,
|
||||
height,
|
||||
sha256Hex(bytes)
|
||||
);
|
||||
StringBuilder sb = new StringBuilder(64);
|
||||
for (byte b : digest.digest()) {
|
||||
sb.append(String.format("%02x", b));
|
||||
}
|
||||
|
||||
return new ValidatedImage(tempFile, detected, safeName, width, height, sizeBytes, sb.toString());
|
||||
}
|
||||
|
||||
private static String detectMime(byte[] b) {
|
||||
if (b.length >= 3
|
||||
private static String detectMime(byte[] b, int len) {
|
||||
if (len >= 3
|
||||
&& (b[0] & 0xFF) == 0xFF
|
||||
&& (b[1] & 0xFF) == 0xD8
|
||||
&& (b[2] & 0xFF) == 0xFF) {
|
||||
return "image/jpeg";
|
||||
}
|
||||
if (b.length >= 8
|
||||
if (len >= 8
|
||||
&& (b[0] & 0xFF) == 0x89
|
||||
&& b[1] == 0x50
|
||||
&& b[2] == 0x4E
|
||||
@@ -118,17 +163,4 @@ public class ImageUploadValidator {
|
||||
}
|
||||
return base;
|
||||
}
|
||||
|
||||
private static String sha256Hex(byte[] data) {
|
||||
try {
|
||||
byte[] dig = MessageDigest.getInstance("SHA-256").digest(data);
|
||||
StringBuilder sb = new StringBuilder(dig.length * 2);
|
||||
for (byte value : dig) {
|
||||
sb.append(String.format("%02x", value));
|
||||
}
|
||||
return sb.toString();
|
||||
} catch (Exception e) {
|
||||
throw new IllegalStateException("SHA-256 not available", e);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
@@ -10,12 +10,13 @@ import org.example.model.Attachment;
|
||||
import org.example.model.User;
|
||||
import org.example.repository.AttachmentRepository;
|
||||
import org.springframework.http.HttpStatus;
|
||||
import org.springframework.scheduling.annotation.Scheduled;
|
||||
import org.springframework.stereotype.Service;
|
||||
import org.springframework.transaction.annotation.Transactional;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.file.Files;
|
||||
import java.time.Instant;
|
||||
import java.util.List;
|
||||
import java.util.UUID;
|
||||
@@ -30,6 +31,8 @@ public class AttachmentService {
|
||||
private final ChatService chatService;
|
||||
private final UserService userService;
|
||||
|
||||
private static final long ORPHAN_GRACE_MS = 60L * 60L * 1000L; // 1 hour grace period
|
||||
|
||||
@Transactional
|
||||
public AttachmentResponse upload(
|
||||
UUID chatId,
|
||||
@@ -45,28 +48,46 @@ public class AttachmentService {
|
||||
UUID id = UUID.randomUUID();
|
||||
String objectKey = "chats/" + chatId + "/" + id;
|
||||
|
||||
s3StorageService.put(
|
||||
objectKey,
|
||||
new ByteArrayInputStream(img.bytes()),
|
||||
img.bytes().length,
|
||||
img.contentType()
|
||||
);
|
||||
boolean s3Ok = false;
|
||||
try (InputStream fileIn = Files.newInputStream(img.tempFile())) {
|
||||
s3StorageService.put(
|
||||
objectKey,
|
||||
fileIn,
|
||||
img.sizeBytes(),
|
||||
img.contentType()
|
||||
);
|
||||
s3Ok = true;
|
||||
} finally {
|
||||
Files.deleteIfExists(img.tempFile());
|
||||
}
|
||||
|
||||
Attachment saved = attachmentRepository.save(Attachment.builder()
|
||||
.id(id)
|
||||
.chatId(chatId)
|
||||
.ownerId(user.getId())
|
||||
.objectKey(objectKey)
|
||||
.filename(img.safeFilename())
|
||||
.contentType(img.contentType())
|
||||
.sizeBytes(img.bytes().length)
|
||||
.sha256(img.sha256Hex())
|
||||
.status("ready")
|
||||
.errorCode(null)
|
||||
.variants(List.of())
|
||||
.createdAt(Instant.now())
|
||||
.updatedAt(Instant.now())
|
||||
.build());
|
||||
Attachment saved;
|
||||
try {
|
||||
saved = attachmentRepository.save(Attachment.builder()
|
||||
.id(id)
|
||||
.chatId(chatId)
|
||||
.ownerId(user.getId())
|
||||
.objectKey(objectKey)
|
||||
.filename(img.safeFilename())
|
||||
.contentType(img.contentType())
|
||||
.sizeBytes(img.sizeBytes())
|
||||
.sha256(img.sha256Hex())
|
||||
.status("ready")
|
||||
.errorCode(null)
|
||||
.variants(List.of())
|
||||
.createdAt(Instant.now())
|
||||
.updatedAt(Instant.now())
|
||||
.build());
|
||||
} catch (Exception e) {
|
||||
if (s3Ok) {
|
||||
try {
|
||||
s3StorageService.delete(objectKey);
|
||||
} catch (Exception deleteEx) {
|
||||
// orphan will be reclaimed by the reconciler
|
||||
}
|
||||
}
|
||||
throw e;
|
||||
}
|
||||
|
||||
return toResponse(saved);
|
||||
}
|
||||
@@ -84,7 +105,6 @@ public class AttachmentService {
|
||||
return toResponse(getForMember(attachmentId));
|
||||
}
|
||||
|
||||
|
||||
@Transactional(readOnly = true)
|
||||
public void writeContent(UUID attachmentId,
|
||||
String variant,
|
||||
@@ -102,9 +122,46 @@ public class AttachmentService {
|
||||
response.flushBuffer();
|
||||
}
|
||||
|
||||
@Scheduled(fixedDelayString = "${app.attachment.reconciler.interval-ms:300000}")
|
||||
public void reconcileOrphanedObjects() {
|
||||
Instant now = Instant.now();
|
||||
Instant cutoff = now.minusMillis(ORPHAN_GRACE_MS);
|
||||
|
||||
List<Attachment> all = attachmentRepository.findAll();
|
||||
java.util.Set<UUID> dbKeys = new java.util.HashSet<>();
|
||||
for (Attachment a : all) {
|
||||
dbKeys.add(a.getId());
|
||||
}
|
||||
|
||||
|
||||
try {
|
||||
var objects = s3StorageService.listObjects();
|
||||
for (var obj : objects) {
|
||||
String key = obj.key();
|
||||
if (!key.startsWith("chats/")) {
|
||||
continue;
|
||||
}
|
||||
String[] parts = key.split("/", 3);
|
||||
if (parts.length < 3) {
|
||||
continue;
|
||||
}
|
||||
try {
|
||||
UUID attachmentId = UUID.fromString(parts[2]);
|
||||
if (!dbKeys.contains(attachmentId)) {
|
||||
if (obj.lastModified().isBefore(cutoff)) {
|
||||
s3StorageService.delete(key);
|
||||
}
|
||||
}
|
||||
} catch (IllegalArgumentException e) {
|
||||
if (obj.lastModified().isBefore(cutoff)) {
|
||||
s3StorageService.delete(key);
|
||||
}
|
||||
}
|
||||
}
|
||||
} catch (Exception e) {
|
||||
org.slf4j.LoggerFactory.getLogger(AttachmentService.class)
|
||||
.warn("Reconciler S3 list failed", e);
|
||||
}
|
||||
}
|
||||
|
||||
static AttachmentResponse toResponse(Attachment a) {
|
||||
return AttachmentResponse.builder()
|
||||
@@ -123,5 +180,4 @@ public class AttachmentService {
|
||||
.build();
|
||||
}
|
||||
|
||||
|
||||
}
|
||||
|
||||
@@ -7,12 +7,17 @@ import software.amazon.awssdk.core.sync.RequestBody;
|
||||
import software.amazon.awssdk.core.sync.ResponseTransformer;
|
||||
import software.amazon.awssdk.services.s3.S3Client;
|
||||
import software.amazon.awssdk.services.s3.model.DeleteObjectRequest;
|
||||
import software.amazon.awssdk.services.s3.model.GetObjectAclRequest;
|
||||
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
|
||||
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
|
||||
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
|
||||
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
|
||||
import software.amazon.awssdk.services.s3.model.S3Object;
|
||||
|
||||
import java.io.InputStream;
|
||||
import java.io.OutputStream;
|
||||
import java.time.Instant;
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
@Service
|
||||
@RequiredArgsConstructor
|
||||
@@ -21,6 +26,8 @@ public class S3StorageService {
|
||||
private final S3Client s3Client;
|
||||
private final S3Properties properties;
|
||||
|
||||
public record S3ObjectInfo(String key, Instant lastModified) {}
|
||||
|
||||
public void put(
|
||||
String objectKey,
|
||||
InputStream in,
|
||||
@@ -58,4 +65,19 @@ public class S3StorageService {
|
||||
.key(objectKey)
|
||||
.build());
|
||||
}
|
||||
|
||||
public List<S3ObjectInfo> listObjects(){
|
||||
List<S3ObjectInfo> result = new ArrayList<>();
|
||||
ListObjectsV2Request request = ListObjectsV2Request.builder()
|
||||
.bucket(properties.getBucket())
|
||||
.build();
|
||||
ListObjectsV2Response response = s3Client.listObjectsV2(request);
|
||||
for (S3Object obj : response.contents()) {
|
||||
result.add(new S3ObjectInfo(
|
||||
obj.key(),
|
||||
obj.lastModified() != null ? obj.lastModified() : Instant.now()
|
||||
));
|
||||
}
|
||||
return result;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -47,6 +47,10 @@ server:
|
||||
address: 0.0.0.0
|
||||
port: 8080
|
||||
shutdown: graceful
|
||||
tomcat:
|
||||
connection-timeout: 30s
|
||||
keep-alive-timeout: 30s
|
||||
max-swallow-size: -1
|
||||
|
||||
app:
|
||||
session-ttl-seconds: ${SESSION_TTL_SECONDS:604800}
|
||||
@@ -57,6 +61,9 @@ app:
|
||||
access-key: ${S3_ACCESS_KEY}
|
||||
secret-key: ${S3_SECRET_KEY}
|
||||
path-style: true
|
||||
attachment:
|
||||
reconciler:
|
||||
interval-ms: ${ATTACHMENT_RECONCILER_INTERVAL_MS:300000}
|
||||
|
||||
logging:
|
||||
pattern:
|
||||
|
||||
@@ -1,37 +1,42 @@
|
||||
# Отчёт — лабораторная 4
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Гуреев Дмитрий, БПИ2301
|
||||
- Целевая оценка: 4
|
||||
- PR: **
|
||||
- Источники и ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
1. Скопировать `compose.example.yaml` в `docker-compose.yml`, заполнить локальный `.env` (секреты не вставлять в репозиторий).
|
||||
2. `docker compose --env-file .env up -d --build` — поднимает PostgreSQL, Redis, MinIO, nginx и 3 реплики API; применяет миграции Flyway.
|
||||
3. Дождаться `/health/ready` на всех репликах API.
|
||||
4. `make test BASE_URL=http://localhost:8080` — публичный smoke-сценарий.
|
||||
5. Остановка: `docker compose down`. Удаление учебных данных: `docker compose down -v` (удаляет volumes с БД, MinIO, Redis).
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → nginx LB → API × 3 → PostgreSQL (метаданные) + MinIO (байты в приватном bucket). Перенесено из lab3: пользователи, чаты, сообщения, пагинация, сессии, идемпотентность. Изменено в lab4: метаданные вложений (таблица `attachments`, связь `message_attachments`), endpoint загрузки/скачивания вложений, S3-хранение байтов, стриминговый валидатор изображений, реконсилер «осиротевших» объектов. Переменные из `.env` соответствуют префиксам `app.s3.*`, `SPRING_DATASOURCE_*`, `SESSION_TTL_SECONDS`.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Публичный smoke | `make test BASE_URL=http://localhost:8080` | `PASS: lab4 public API scenario` | tests/smoke.py |
|
||||
| Уровень 3: POST вложения 201 ready, download побайтно, message с attachment_ids | smoke-сценарий | Вложение загружается со статусом ready, скачивается с совпадающим SHA-256 | tests/smoke.py, AttachmentService.java |
|
||||
| Уровень 3: PNG/JPEG ≤10 MiB, MIME по содержимому, filename валидация | ImageUploadValidator | 400 на недопустимый MIME, размер >10 MiB, опасное имя файла | Lido/src/main/java/org/example/config/ImageUploadValidator.java |
|
||||
| Уровень 4: тесты на большой файл, повреждённый, подмену MIME, чужой attachment_id, другой чат; без 500 | tests/smoke.py (Lab 4 блок) | 400 на все пользовательские ошибки, нет 500 | tests/smoke.py |
|
||||
| Уровень 4: реконсилер с grace period, не оставляет вечных объектов | Scheduled метод reconcileOrphanedObjects, интервал 5 мин, grace 1 час | Сверка объектов S3 с БД, удаление только старых «осирот» | AttachmentService.java, S3StorageService.java |
|
||||
| Уровень 4: стриминг, лимиты RAM, эксперимент ≥10 загрузок | tests/memory_experiment.py | 12/12 загрузок успешно, пик RAM не растёт | tests/memory_experiment.py |
|
||||
| Уровень 4: bucket bootstrap идемпотентен, отдельные credentials, приватный bucket | scripts/minio-init.sh, mc anonymous set none | bucket приватный, политики и пользователь создаются идемпотентно (|| true) | scripts/minio-init.sh, docker-compose.yml, nginx.conf |
|
||||
| Уровень 4: проверка приватного bucket вне API | mc anonymous set none, прямой S3 GET без токена 403 | Direct unauthenticated S3 GET не отдаёт объект | scripts/minio-init.sh |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| 12 одновременных загрузок вложений | Все успешно, RAM не растёт неограниченно | 12/12 успешно, пик RAM ≈ baseline (стриминг во временный файл) | — |
|
||||
| Сбой записи S3/БД между шагами upload | Реконсилер удаляет объект после grace period | Объект остаётся до истечения grace 1 час, затем удаляется реконсилером | — |
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
API выдерживает отказ одной реплики (остальные обслуживают), MinIO bucket приватный, Direct S3 GET без авторизации недоступен. Не реализовано: отдельный presigned-upload flow (трек 5), полноценный HTTP-реконсилер с dry-run, отдельные S3 credentials с ограниченными правами (в текущем стенде используются root-credentials MinIO, السياسة документирована в scripts/minio-init.sh). Образовательное упрощение: S3-credentials задаются через .env, MinIO консоль (9001) не экспонируется наружу.
|
||||
|
||||
Executable
+27
@@ -0,0 +1,27 @@
|
||||
#!/bin/sh
|
||||
set -e
|
||||
|
||||
# Wait for Minio to accept connections (actual health check, not just alias)
|
||||
for i in $(seq 1 60); do
|
||||
if curl -sf http://minio:9000/minio/health/live >/dev/null 2>&1; then
|
||||
echo "Minio is ready"
|
||||
break
|
||||
fi
|
||||
echo "Waiting for Minio... ($i/60)"
|
||||
sleep 2
|
||||
done
|
||||
|
||||
mc alias set local http://minio:9000 "${MINIO_ROOT_USER}" "${MINIO_ROOT_PASSWORD}"
|
||||
mc mb --ignore-existing "local/${S3_BUCKET:-messenger-attachments}"
|
||||
mc anonymous set none "local/${S3_BUCKET:-messenger-attachments}"
|
||||
|
||||
mc admin user add local "${S3_ACCESS_KEY}" "${S3_SECRET_KEY}" || true
|
||||
|
||||
cat > /tmp/messenger-policy.json <<POLICYEOF
|
||||
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:PutObject","s3:GetObject","s3:DeleteObject","s3:ListBucket"],"Resource":["arn:aws:s3:::${S3_BUCKET:-messenger-attachments}","arn:aws:s3:::${S3_BUCKET:-messenger-attachments}/*"]}]}
|
||||
POLICYEOF
|
||||
|
||||
mc admin policy create local messenger-upload /tmp/messenger-policy.json || true
|
||||
mc admin policy attach local messenger-upload --user "${S3_ACCESS_KEY}" || true
|
||||
|
||||
echo "bucket-ready"
|
||||
Reference in New Issue
Block a user