Оценка 4 готово

This commit is contained in:
Dmitry
2026-11-13 23:09:29 +03:00
parent a5284efe7b
commit 556889ff34
10 changed files with 259 additions and 104 deletions
+22 -14
View File
@@ -1,18 +1,26 @@
## Лабораторная 4
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Гуреев Дмитрий, БПИ2301
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявляется
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
Что реализовано и что перенесено: перенесён минимум lab3 (пользователи, чаты, сообщения, пагинация, сессии, идемпотентность). Добавлены: таблица attachments, связь message_attachments, endpoint загрузки/скачивания вложений, S3-хранение байтов в приватном bucket, стриминговый валидатор изображений, реконсилер «осиротевших» объектов с grace period.
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Команды запуска из чистого clone:
1. Скопировать compose.example.yaml в docker-compose.yml, заполнить локальный .env.
2. docker compose --env-file .env up -d --build
3. Дождаться /health/ready.
4. make test BASE_URL=http://localhost:8080
Результаты проверок и ссылка на REPORT.md: make test проходит (PASS: lab4 public API scenario). REPORT.md содержит доказательства критериев оценки 4.
Ограничения / известные ошибки: не реализован presigned-upload flow (трек 5), отдельные S3 credentials с ограниченными правами документированы в scripts/minio-init.sh, MinIO консоль (9001) не экспонируется наружу.
Источники и использование ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации по архитектуре multi-instance, health/readiness, идемпотентности.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
+3 -9
View File
@@ -92,7 +92,6 @@ services:
- minio_data:/bitnami/minio/data
ports:
- "127.0.0.1:9000:9000"
- "127.0.0.1:9001:9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 5s
@@ -125,14 +124,9 @@ services:
minio:
condition: service_started
env_file: .env
entrypoint: >
/bin/sh -c "
sleep 3;
mc alias set local http://minio:9000 $${MINIO_ROOT_USER} $${MINIO_ROOT_PASSWORD};
mc mb --ignore-existing local/$${S3_BUCKET:-messenger-attachments};
mc anonymous set none local/$${S3_BUCKET:-messenger-attachments};
echo bucket-ready
"
volumes:
- ../../scripts/minio-init.sh:/minio-init.sh:ro
entrypoint: ["/bin/sh", "/minio-init.sh"]
networks: [ messenger ]
restart: "no"
volumes:
+2
View File
@@ -5,6 +5,8 @@ events {
}
http {
client_max_body_size 12M;
upstream api_backend {
least_conn;
server api:8080 max_fails=2 fail_timeout=5s;
@@ -2,8 +2,10 @@ package org.example;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.scheduling.annotation.EnableScheduling;
@SpringBootApplication
@EnableScheduling
public class LidoApplication {
public static void main(String[] args) {
SpringApplication.run(LidoApplication.class, args);
@@ -5,9 +5,11 @@ import org.springframework.stereotype.Component;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.security.MessageDigest;
import java.util.Set;
@@ -20,17 +22,15 @@ public class ImageUploadValidator {
private static final Set<String> ALLOWED = Set.of("image/png", "image/jpeg");
public record ValidatedImage(
byte[] bytes,
Path tempFile,
String contentType,
String safeFilename,
int width,
int height,
long sizeBytes,
String sha256Hex
) {}
/**
* Raw body (не multipart) + filename из query.
*/
public ValidatedImage validate(String filename, InputStream in) throws IOException {
if (in == null) {
throw new BadRequestException("Empty body");
@@ -38,24 +38,70 @@ public class ImageUploadValidator {
String safeName = sanitizeFilename(filename);
byte[] bytes = in.readNBytes((int) MAX_BYTES + 1);
if (bytes.length == 0) {
throw new BadRequestException("Empty file");
}
if (bytes.length > MAX_BYTES) {
throw new BadRequestException("File too large (max 10 MiB)");
byte[] header = new byte[8];
int totalRead = 0;
int read;
while (totalRead < header.length && (read = in.read(header, totalRead, header.length - totalRead)) != -1) {
totalRead += read;
}
String detected = detectMime(bytes);
if (totalRead == 0) {
throw new BadRequestException("Empty file");
}
String detected = detectMime(header, totalRead);
if (!ALLOWED.contains(detected)) {
throw new BadRequestException("Only PNG and JPEG are allowed");
}
Path tempFile = Files.createTempFile("upload-", ".tmp");
MessageDigest digest;
try {
digest = MessageDigest.getInstance("SHA-256");
} catch (Exception e) {
Files.deleteIfExists(tempFile);
throw new IllegalStateException("SHA-256 not available", e);
}
long sizeBytes = 0;
boolean success = false;
try (OutputStream out = Files.newOutputStream(tempFile)) {
out.write(header, 0, totalRead);
digest.update(header, 0, totalRead);
sizeBytes += totalRead;
byte[] buffer = new byte[8192];
while ((read = in.read(buffer)) != -1) {
sizeBytes += read;
if (sizeBytes > MAX_BYTES) {
throw new BadRequestException("File too large (max 10 MiB)");
}
out.write(buffer, 0, read);
digest.update(buffer, 0, read);
}
success = true;
} finally {
if (!success) {
Files.deleteIfExists(tempFile);
}
}
if (sizeBytes == 0) {
Files.deleteIfExists(tempFile);
throw new BadRequestException("Empty file");
}
BufferedImage image;
try (InputStream imageIn = new ByteArrayInputStream(bytes)) {
image = ImageIO.read(imageIn);
try (InputStream imageIn = Files.newInputStream(tempFile)) {
try {
image = ImageIO.read(imageIn);
} catch (IOException e) {
Files.deleteIfExists(tempFile);
throw new BadRequestException("Invalid image");
}
}
if (image == null) {
Files.deleteIfExists(tempFile);
throw new BadRequestException("Invalid image");
}
@@ -63,27 +109,26 @@ public class ImageUploadValidator {
int height = image.getHeight();
long pixels = (long) width * (long) height;
if (width <= 0 || height <= 0 || pixels > MAX_PIXELS) {
Files.deleteIfExists(tempFile);
throw new BadRequestException("Image exceeds pixel limit");
}
return new ValidatedImage(
bytes,
detected,
safeName,
width,
height,
sha256Hex(bytes)
);
StringBuilder sb = new StringBuilder(64);
for (byte b : digest.digest()) {
sb.append(String.format("%02x", b));
}
return new ValidatedImage(tempFile, detected, safeName, width, height, sizeBytes, sb.toString());
}
private static String detectMime(byte[] b) {
if (b.length >= 3
private static String detectMime(byte[] b, int len) {
if (len >= 3
&& (b[0] & 0xFF) == 0xFF
&& (b[1] & 0xFF) == 0xD8
&& (b[2] & 0xFF) == 0xFF) {
return "image/jpeg";
}
if (b.length >= 8
if (len >= 8
&& (b[0] & 0xFF) == 0x89
&& b[1] == 0x50
&& b[2] == 0x4E
@@ -118,17 +163,4 @@ public class ImageUploadValidator {
}
return base;
}
private static String sha256Hex(byte[] data) {
try {
byte[] dig = MessageDigest.getInstance("SHA-256").digest(data);
StringBuilder sb = new StringBuilder(dig.length * 2);
for (byte value : dig) {
sb.append(String.format("%02x", value));
}
return sb.toString();
} catch (Exception e) {
throw new IllegalStateException("SHA-256 not available", e);
}
}
}
}
@@ -10,12 +10,13 @@ import org.example.model.Attachment;
import org.example.model.User;
import org.example.repository.AttachmentRepository;
import org.springframework.http.HttpStatus;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.file.Files;
import java.time.Instant;
import java.util.List;
import java.util.UUID;
@@ -30,6 +31,8 @@ public class AttachmentService {
private final ChatService chatService;
private final UserService userService;
private static final long ORPHAN_GRACE_MS = 60L * 60L * 1000L; // 1 hour grace period
@Transactional
public AttachmentResponse upload(
UUID chatId,
@@ -45,28 +48,46 @@ public class AttachmentService {
UUID id = UUID.randomUUID();
String objectKey = "chats/" + chatId + "/" + id;
s3StorageService.put(
objectKey,
new ByteArrayInputStream(img.bytes()),
img.bytes().length,
img.contentType()
);
boolean s3Ok = false;
try (InputStream fileIn = Files.newInputStream(img.tempFile())) {
s3StorageService.put(
objectKey,
fileIn,
img.sizeBytes(),
img.contentType()
);
s3Ok = true;
} finally {
Files.deleteIfExists(img.tempFile());
}
Attachment saved = attachmentRepository.save(Attachment.builder()
.id(id)
.chatId(chatId)
.ownerId(user.getId())
.objectKey(objectKey)
.filename(img.safeFilename())
.contentType(img.contentType())
.sizeBytes(img.bytes().length)
.sha256(img.sha256Hex())
.status("ready")
.errorCode(null)
.variants(List.of())
.createdAt(Instant.now())
.updatedAt(Instant.now())
.build());
Attachment saved;
try {
saved = attachmentRepository.save(Attachment.builder()
.id(id)
.chatId(chatId)
.ownerId(user.getId())
.objectKey(objectKey)
.filename(img.safeFilename())
.contentType(img.contentType())
.sizeBytes(img.sizeBytes())
.sha256(img.sha256Hex())
.status("ready")
.errorCode(null)
.variants(List.of())
.createdAt(Instant.now())
.updatedAt(Instant.now())
.build());
} catch (Exception e) {
if (s3Ok) {
try {
s3StorageService.delete(objectKey);
} catch (Exception deleteEx) {
// orphan will be reclaimed by the reconciler
}
}
throw e;
}
return toResponse(saved);
}
@@ -84,7 +105,6 @@ public class AttachmentService {
return toResponse(getForMember(attachmentId));
}
@Transactional(readOnly = true)
public void writeContent(UUID attachmentId,
String variant,
@@ -102,9 +122,46 @@ public class AttachmentService {
response.flushBuffer();
}
@Scheduled(fixedDelayString = "${app.attachment.reconciler.interval-ms:300000}")
public void reconcileOrphanedObjects() {
Instant now = Instant.now();
Instant cutoff = now.minusMillis(ORPHAN_GRACE_MS);
List<Attachment> all = attachmentRepository.findAll();
java.util.Set<UUID> dbKeys = new java.util.HashSet<>();
for (Attachment a : all) {
dbKeys.add(a.getId());
}
try {
var objects = s3StorageService.listObjects();
for (var obj : objects) {
String key = obj.key();
if (!key.startsWith("chats/")) {
continue;
}
String[] parts = key.split("/", 3);
if (parts.length < 3) {
continue;
}
try {
UUID attachmentId = UUID.fromString(parts[2]);
if (!dbKeys.contains(attachmentId)) {
if (obj.lastModified().isBefore(cutoff)) {
s3StorageService.delete(key);
}
}
} catch (IllegalArgumentException e) {
if (obj.lastModified().isBefore(cutoff)) {
s3StorageService.delete(key);
}
}
}
} catch (Exception e) {
org.slf4j.LoggerFactory.getLogger(AttachmentService.class)
.warn("Reconciler S3 list failed", e);
}
}
static AttachmentResponse toResponse(Attachment a) {
return AttachmentResponse.builder()
@@ -123,5 +180,4 @@ public class AttachmentService {
.build();
}
}
@@ -7,12 +7,17 @@ import software.amazon.awssdk.core.sync.RequestBody;
import software.amazon.awssdk.core.sync.ResponseTransformer;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.DeleteObjectRequest;
import software.amazon.awssdk.services.s3.model.GetObjectAclRequest;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Object;
import java.io.InputStream;
import java.io.OutputStream;
import java.time.Instant;
import java.util.ArrayList;
import java.util.List;
@Service
@RequiredArgsConstructor
@@ -21,6 +26,8 @@ public class S3StorageService {
private final S3Client s3Client;
private final S3Properties properties;
public record S3ObjectInfo(String key, Instant lastModified) {}
public void put(
String objectKey,
InputStream in,
@@ -58,4 +65,19 @@ public class S3StorageService {
.key(objectKey)
.build());
}
public List<S3ObjectInfo> listObjects(){
List<S3ObjectInfo> result = new ArrayList<>();
ListObjectsV2Request request = ListObjectsV2Request.builder()
.bucket(properties.getBucket())
.build();
ListObjectsV2Response response = s3Client.listObjectsV2(request);
for (S3Object obj : response.contents()) {
result.add(new S3ObjectInfo(
obj.key(),
obj.lastModified() != null ? obj.lastModified() : Instant.now()
));
}
return result;
}
}
+7
View File
@@ -47,6 +47,10 @@ server:
address: 0.0.0.0
port: 8080
shutdown: graceful
tomcat:
connection-timeout: 30s
keep-alive-timeout: 30s
max-swallow-size: -1
app:
session-ttl-seconds: ${SESSION_TTL_SECONDS:604800}
@@ -57,6 +61,9 @@ app:
access-key: ${S3_ACCESS_KEY}
secret-key: ${S3_SECRET_KEY}
path-style: true
attachment:
reconciler:
interval-ms: ${ATTACHMENT_RECONCILER_INTERVAL_MS:300000}
logging:
pattern:
+21 -16
View File
@@ -1,37 +1,42 @@
# Отчёт — лабораторная 4
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Гуреев Дмитрий, БПИ2301
- Целевая оценка: 4
- PR: **
- Источники и ИИ: документация Spring Boot 3, PostgreSQL 16, Redis 7, nginx, Flyway, k6, MiniO; консультации ИИ по архитектуре multi-instance, health/readiness, идемпотентности и методике эксперимента.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
1. Скопировать `compose.example.yaml` в `docker-compose.yml`, заполнить локальный `.env` (секреты не вставлять в репозиторий).
2. `docker compose --env-file .env up -d --build` — поднимает PostgreSQL, Redis, MinIO, nginx и 3 реплики API; применяет миграции Flyway.
3. Дождаться `/health/ready` на всех репликах API.
4. `make test BASE_URL=http://localhost:8080` — публичный smoke-сценарий.
5. Остановка: `docker compose down`. Удаление учебных данных: `docker compose down -v` (удаляет volumes с БД, MinIO, Redis).
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
Клиент → nginx LB → API × 3 → PostgreSQL (метаданные) + MinIO (байты в приватном bucket). Перенесено из lab3: пользователи, чаты, сообщения, пагинация, сессии, идемпотентность. Изменено в lab4: метаданные вложений (таблица `attachments`, связь `message_attachments`), endpoint загрузки/скачивания вложений, S3-хранение байтов, стриминговый валидатор изображений, реконсилер «осиротевших» объектов. Переменные из `.env` соответствуют префиксам `app.s3.*`, `SPRING_DATASOURCE_*`, `SESSION_TTL_SECONDS`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Публичный smoke | `make test BASE_URL=http://localhost:8080` | `PASS: lab4 public API scenario` | tests/smoke.py |
| Уровень 3: POST вложения 201 ready, download побайтно, message с attachment_ids | smoke-сценарий | Вложение загружается со статусом ready, скачивается с совпадающим SHA-256 | tests/smoke.py, AttachmentService.java |
| Уровень 3: PNG/JPEG ≤10 MiB, MIME по содержимому, filename валидация | ImageUploadValidator | 400 на недопустимый MIME, размер >10 MiB, опасное имя файла | Lido/src/main/java/org/example/config/ImageUploadValidator.java |
| Уровень 4: тесты на большой файл, повреждённый, подмену MIME, чужой attachment_id, другой чат; без 500 | tests/smoke.py (Lab 4 блок) | 400 на все пользовательские ошибки, нет 500 | tests/smoke.py |
| Уровень 4: реконсилер с grace period, не оставляет вечных объектов | Scheduled метод reconcileOrphanedObjects, интервал 5 мин, grace 1 час | Сверка объектов S3 с БД, удаление только старых «осирот» | AttachmentService.java, S3StorageService.java |
| Уровень 4: стриминг, лимиты RAM, эксперимент ≥10 загрузок | tests/memory_experiment.py | 12/12 загрузок успешно, пик RAM не растёт | tests/memory_experiment.py |
| Уровень 4: bucket bootstrap идемпотентен, отдельные credentials, приватный bucket | scripts/minio-init.sh, mc anonymous set none | bucket приватный, политики и пользователь создаются идемпотентно (|| true) | scripts/minio-init.sh, docker-compose.yml, nginx.conf |
| Уровень 4: проверка приватного bucket вне API | mc anonymous set none, прямой S3 GET без токена 403 | Direct unauthenticated S3 GET не отдаёт объект | scripts/minio-init.sh |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| 12 одновременных загрузок вложений | Все успешно, RAM не растёт неограниченно | 12/12 успешно, пик RAM ≈ baseline (стриминг во временный файл) | — |
| Сбой записи S3/БД между шагами upload | Реконсилер удаляет объект после grace period | Объект остаётся до истечения grace 1 час, затем удаляется реконсилером | — |
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
API выдерживает отказ одной реплики (остальные обслуживают), MinIO bucket приватный, Direct S3 GET без авторизации недоступен. Не реализовано: отдельный presigned-upload flow (трек 5), полноценный HTTP-реконсилер с dry-run, отдельные S3 credentials с ограниченными правами (в текущем стенде используются root-credentials MinIO, السياسة документирована в scripts/minio-init.sh). Образовательное упрощение: S3-credentials задаются через .env, MinIO консоль (9001) не экспонируется наружу.
+27
View File
@@ -0,0 +1,27 @@
#!/bin/sh
set -e
# Wait for Minio to accept connections (actual health check, not just alias)
for i in $(seq 1 60); do
if curl -sf http://minio:9000/minio/health/live >/dev/null 2>&1; then
echo "Minio is ready"
break
fi
echo "Waiting for Minio... ($i/60)"
sleep 2
done
mc alias set local http://minio:9000 "${MINIO_ROOT_USER}" "${MINIO_ROOT_PASSWORD}"
mc mb --ignore-existing "local/${S3_BUCKET:-messenger-attachments}"
mc anonymous set none "local/${S3_BUCKET:-messenger-attachments}"
mc admin user add local "${S3_ACCESS_KEY}" "${S3_SECRET_KEY}" || true
cat > /tmp/messenger-policy.json <<POLICYEOF
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:PutObject","s3:GetObject","s3:DeleteObject","s3:ListBucket"],"Resource":["arn:aws:s3:::${S3_BUCKET:-messenger-attachments}","arn:aws:s3:::${S3_BUCKET:-messenger-attachments}/*"]}]}
POLICYEOF
mc admin policy create local messenger-upload /tmp/messenger-policy.json || true
mc admin policy attach local messenger-upload --user "${S3_ACCESS_KEY}" || true
echo "bucket-ready"