ЛР2 - БВТ2304 - Клименко - на 4 #177
+3
-16
@@ -1,20 +1,7 @@
|
||||
.git
|
||||
.github
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
secrets
|
||||
certs
|
||||
volumes
|
||||
data
|
||||
backups
|
||||
*.key
|
||||
*.pem
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
.venv
|
||||
__pycache__
|
||||
node_modules
|
||||
**/bin
|
||||
**/obj
|
||||
**/__pycache__
|
||||
evidence
|
||||
.DS_Store
|
||||
|
||||
+2
-9
@@ -1,11 +1,4 @@
|
||||
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
|
||||
# These are logical interface suggestions; map actual framework names in REPORT.md.
|
||||
APP_HOST=0.0.0.0
|
||||
APP_PORT=8080
|
||||
APP_ENV=lab
|
||||
SESSION_TTL_SECONDS=3600
|
||||
# Choose credentials locally. File paths contain no secret values.
|
||||
DATABASE_URL_FILE=/run/secrets/database_url
|
||||
# Optional on 3, required use on 4 in lab2; Redis OR Valkey:
|
||||
SESSION_STORE=postgres
|
||||
CACHE_URL_FILE=/run/secrets/cache_url
|
||||
# Connection strings and cursor key are generated in secrets/ by scripts/setup.py.
|
||||
# PostgreSQL is always the session store; Redis is only a profile cache.
|
||||
|
||||
+3
-29
@@ -1,32 +1,6 @@
|
||||
# Local/private state
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
secrets/
|
||||
certs/private/
|
||||
*.key
|
||||
*.p12
|
||||
*.pfx
|
||||
*.jks
|
||||
*.pem
|
||||
*.tfstate*
|
||||
volumes/
|
||||
data/
|
||||
backups/
|
||||
# Runtime/build artifacts
|
||||
**/bin/
|
||||
**/obj/
|
||||
**/__pycache__/
|
||||
.venv/
|
||||
__pycache__/
|
||||
*.py[cod]
|
||||
node_modules/
|
||||
dist/
|
||||
build/
|
||||
target/
|
||||
bin/
|
||||
obj/
|
||||
coverage/
|
||||
*.log
|
||||
.DS_Store
|
||||
.idea/
|
||||
.vscode/
|
||||
# Keep small, sanitized evidence summaries in evidence/ under version control.
|
||||
# Inspect git diff --cached: ignore rules are not a secret scanner.
|
||||
|
||||
+102
@@ -0,0 +1,102 @@
|
||||
# Вопросы и ответы для защиты Лаб2
|
||||
|
||||
## Короткий рассказ на минуту
|
||||
|
||||
«Я перенёс свой API из первой лабораторной на PostgreSQL. Пользователи, чаты, участники, сообщения и сессии теперь хранятся в БД. Вместо доверенного X-User-Id используется вход по паролю и случайная Bearer-сессия. Пароли хешируются Argon2id. Чат и его участники создаются одной транзакцией. История читается keyset-пагинацией по индексу (chat_id, created_at, id). Redis кэширует только неизменяемые профили; при его отказе читаем из PostgreSQL, а сессии всегда проверяем в БД. Compose использует именованные тома. Сохранность проверяется перезапуском всех трёх сервисов с тем же токеном». Последнее утверждение об успешном тесте произносите только после своего прогона.
|
||||
|
||||
## Основные вопросы
|
||||
|
||||
**1. Чем Лаб2 отличается от Лаб1?**
|
||||
Данные переехали из памяти процесса в PostgreSQL, появилась парольная аутентификация и сохраняемые сессии. API чатов и сообщений в основном прежний, поэтому основная замена выполнена за интерфейсом IMessengerStore.
|
||||
|
||||
**2. Это уже не эфемерный чат?**
|
||||
В этой работе данные специально должны сохраняться после рестарта. Само завершение клиентской сессии не удаляет чат и историю. Logout отзывает только токен. Удаление чатов в обязательном API отсутствует.
|
||||
|
||||
**3. Что такое аутентификация и авторизация?**
|
||||
Аутентификация отвечает «кто делает запрос?» — по сессии получаем user_id. Авторизация — «может ли этот пользователь читать именно этот чат?» — проверяем chat_members. Правильный пароль не даёт доступ ко всем чатам.
|
||||
|
||||
**4. Почему чужой чат возвращает 404, а не 403?**
|
||||
Контракт скрывает существование чужого ресурса: для постороннего отсутствующий и недоступный чат выглядят одинаково.
|
||||
|
||||
**5. Почему нельзя оставить X-User-Id вместе с Bearer?**
|
||||
UUID не секрет и не доказательство личности. Владелец запроса определяется только действительной сессией, иначе можно подменить пользователя заголовком.
|
||||
|
||||
**6. Что такое Basic и почему недостаточно Base64?**
|
||||
Basic переносит username:password в кодированном заголовке. Base64 обратим без ключа. Шифрование транспорта даёт TLS; локальный HTTP здесь предназначен для учебных синтетических данных.
|
||||
|
||||
**7. Почему Argon2id, а не SHA-256 для паролей?**
|
||||
Пароли предсказуемы, поэтому быстрый hash ускоряет атакующему перебор. Argon2id требует памяти и времени. Соль делает одинаковые пароли разными hash и мешает повторно использовать заранее рассчитанные таблицы.
|
||||
|
||||
**8. Зачем SHA-256 для токена, если он плох для пароля?**
|
||||
Токен генерируется случайно с 256 битами энтропии, его нельзя разумно перебирать как человеческий пароль. Hash позволяет проверять токен, не храня готовый Bearer в БД. Пароли и токены имеют разную предсказуемость.
|
||||
|
||||
**9. Это JWT? Где права в токене?**
|
||||
Нет, это opaque token. Он не содержит читаемых утверждений; сервер ищет его hash в sessions. Права на чат проверяются отдельно по членству.
|
||||
|
||||
**10. Где живёт сессия и что будет после Redis FLUSHDB?**
|
||||
Сессия живёт в PostgreSQL. Redis содержит только профиль, поэтому очистка Redis приведёт к чтению профиля из БД и заполнению кэша. Сессия не пропадает и не становится бессрочной.
|
||||
|
||||
**11. Что такое TTL?**
|
||||
Срок жизни. У сессии он фиксируется в expires_at и проверяется по часам БД; у профиля в Redis отдельный TTL 300 секунд. Рестарт не прибавляет время жизни сессии. Истёкшая строка в БД пока может физически оставаться, но доступ не даёт.
|
||||
|
||||
**12. Как logout действует на другие API-реплики?**
|
||||
Удаляет строку сессии в общей БД. Следующая проверка на любой реплике её не найдёт. Кэш профиля не отменяет проверку сессии. Запрос, уже прошедший проверку до logout, может завершиться.
|
||||
|
||||
**13. Что такое транзакция и где она нужна?**
|
||||
Группа действий с общей границей COMMIT/ROLLBACK. При создании чата вставляем чат и всех участников: либо сохраняется всё, либо ничего. Даже если первый участник добавлен, ошибка второго откатит обе записи и чат.
|
||||
|
||||
**14. Почему одного if «username свободен» мало?**
|
||||
Два конкурентных запроса могут оба пройти if. Ограничение UNIQUE в БД решает гонку независимо от числа API-процессов; проигравший INSERT получает конфликт, который превращаем в 409.
|
||||
|
||||
**15. Что подтверждает COMMIT?**
|
||||
Успешное завершение транзакции в PostgreSQL. При стандартных fsync/synchronous_commit гарантии долговечности опираются на WAL и надёжность диска/ОС. Это не резервная копия и не защита от физической потери тома. Клиент может потерять ответ уже после COMMIT.
|
||||
|
||||
**16. Что такое миграции?**
|
||||
Версионируемые изменения схемы. Применённые версии записываются в schema_migrations. При повторном старте уже выполненный SQL не запускается снова. Для изменения схемы добавляют следующий файл, а не редактируют применённый.
|
||||
|
||||
**17. Зачем pool соединений? Почему не одно соединение?**
|
||||
Новое соединение на каждый запрос дорого, а одно последовательное соединение ограничивает конкурентность. Pool переиспользует до 20 подключений на API-процесс. DisposeAsync возвращает подключение в pool. На нескольких репликах суммарный предел умножается на число реплик.
|
||||
|
||||
**18. Как защищает параметризованный запрос?**
|
||||
SQL-команда и значения отправляются отдельно. Текст пользователя интерпретируется как значение, а не SQL-код. Это не отменяет проверку прав, длины и формата.
|
||||
|
||||
**19. Почему keyset вместо OFFSET?**
|
||||
OFFSET требует пройти и отбросить предыдущие строки; глубокие страницы дорожают. Keyset задаёт последнюю позицию и использует индекс для продолжения. Нужен стабильный порядок: время плюс уникальный id.
|
||||
|
||||
**20. Почему индекс именно (chat_id,created_at,id)?**
|
||||
Сначала фильтруем конкретный чат, затем идём по нужному порядку истории и границе курсора. Такой порядок колонок соответствует WHERE и ORDER BY. Обоснование подкрепляем реальным EXPLAIN на 10 000 строках, а не фактом создания индекса.
|
||||
|
||||
**21. Почему берём limit+1?**
|
||||
Чтобы понять, существует ли следующая запись, без отдельного COUNT всей истории. Дополнительную строку клиенту не отдаём; если она есть, выдаём курсор последней возвращённой записи.
|
||||
|
||||
**22. Что будет при одинаковом created_at?**
|
||||
Порядок однозначно определяется UUID. Это порядок сортировки, не строгий порядок COMMIT. Для конкурентно меняющейся истории общего snapshot между страницами нет.
|
||||
|
||||
**23. Что будет при отказе Redis?**
|
||||
Профиль читается из PostgreSQL, запрос может стать медленнее. Readiness остаётся 200, если PostgreSQL работает. Logout продолжает работать. При первом compose up healthcheck Redis входит в порядок запуска; после старта деградация обработана кодом.
|
||||
|
||||
**24. Что будет при отказе PostgreSQL?**
|
||||
Защищённые запросы получают 503, readiness тоже 503, liveness остаётся 200. Даже профиль из Redis не позволяет пропустить проверку сессии. После восстановления БД тот же действующий токен снова работает.
|
||||
|
||||
**25. Чем stop отличается от down -v?**
|
||||
Stop останавливает контейнеры. Down удаляет контейнеры/сеть, сохраняя обычные именованные тома. Down -v намеренно удаляет и тома; это не тест сохранности, а сброс данных.
|
||||
|
||||
**26. Как доказать, что действительно перезапускалась БД?**
|
||||
Показать scope restart.sh и StartedAt контейнеров до и после. Одного PASS persistence недостаточно: тест не может сам доказать, что hook перезапустил все обещанные сервисы.
|
||||
|
||||
**27. Зачем Redis, если PostgreSQL всё равно проверяет сессию?**
|
||||
Redis убирает повторное чтение профиля. Это конкретная, но небольшая роль кэша; он не гарантирует ускорение системы в целом. Для доказательства ускорения нужны измерения с Redis и без него. В этой работе цель — корректная роль кэша, TTL и обход отказа.
|
||||
|
||||
**28. Что не покрывает решение?**
|
||||
HA БД, потерю диска, backup, полноценную защиту от перебора, автоматическую очистку истёкших сессий и идемпотентность сообщений. Успешный smoke не доказывает всё это. Уровень 5 не заявлен.
|
||||
|
||||
## Практическая демонстрация
|
||||
|
||||
1. Показать compose.yaml, миграцию и тома.
|
||||
2. Запустить smoke и пояснить Bearer/проверку членства.
|
||||
3. Запустить persistence и показать StartedAt до/после.
|
||||
4. Открыть результаты race/rollback, expiry и отказов из verify.py.
|
||||
5. Показать EXPLAIN, найти ix_messages_history и actual rows.
|
||||
6. Показать ERRORS.md и честно назвать ограничения.
|
||||
|
||||
Если спрашивают про использование ИИ: «Использовал ChatGPT для разработки и разбора решения. Код, проверки, ограничения и дальнейшую верификацию разбираю и проверяю сам». Не утверждайте, что вы лично написали или выполнили то, чего не делали.
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
FROM mcr.microsoft.com/dotnet/sdk:10.0.403 AS build
|
||||
WORKDIR /source
|
||||
COPY global.json ./
|
||||
COPY src/Messenger/Messenger.csproj src/Messenger/packages.lock.json ./src/Messenger/
|
||||
RUN dotnet restore src/Messenger/Messenger.csproj --locked-mode
|
||||
COPY src/ ./src/
|
||||
RUN dotnet publish src/Messenger/Messenger.csproj -c Release --no-restore -o /out /p:UseAppHost=false
|
||||
FROM mcr.microsoft.com/dotnet/aspnet:10.0.14
|
||||
WORKDIR /app
|
||||
COPY --from=build /out ./
|
||||
ENV APP_HOST=0.0.0.0 APP_PORT=8080 DOTNET_EnableDiagnostics=0
|
||||
USER $APP_UID
|
||||
EXPOSE 8080
|
||||
HEALTHCHECK --interval=5s --timeout=4s --start-period=20s --retries=12 CMD ["dotnet", "Messenger.dll", "--healthcheck"]
|
||||
ENTRYPOINT ["dotnet", "Messenger.dll"]
|
||||
@@ -0,0 +1,30 @@
|
||||
# Журнал проблем и решений
|
||||
|
||||
Здесь разделены проблемы переноса, реально встреченные ошибки окружения и сценарии, для которых пока нет результата. Предполагаемые отказы не выдаются за воспроизведённые.
|
||||
|
||||
| Проблема | Причина | Решение | Проверка / статус |
|
||||
|---|---|---|---|
|
||||
| Данные Лаб1 исчезают при рестарте | Dictionary принадлежит процессу | Реализация IMessengerStore на PostgreSQL, именованный volume | Код собран; реальный persistence ожидает Docker |
|
||||
| X-User-Id позволяет выдавать себя за другого | Это намеренное учебное упрощение Лаб1 | BearerCurrentUser + серверные сессии; заголовок X-User-Id не используется | Сценарий в verify.py, HTTP ещё не запускался |
|
||||
| Старый курсор после рестарта не проверится | CursorCodec генерировал случайный HMAC-ключ при создании | Сохраняемый CURSOR_KEY_FILE; одинаковый ключ для процессов | Unit-проверка нового экземпляра прошла; полный рестарт ещё проверить |
|
||||
| Риск частично созданного чата | Несколько INSERT без общей транзакции | INSERT чата и участников внутри одной транзакции | verify.py проверит SQL count=0 после неизвестного участника |
|
||||
| Проверка username перед INSERT не устраняет гонку | Два запроса могут одновременно увидеть «свободно» | UNIQUE в БД, перехват SQLSTATE 23505 → 409 | Два конкурентных запроса в verify.py; ожидается 201+409 |
|
||||
| Риск усечения длинного Unicode-пароля в некоторых bcrypt-схемах | Ограничение пароля по байтам у ряда реализаций | Argon2id, проверка code points, без усечения UTF-8 | Реальная unit-проверка длинного пароля и изменённого суффикса PASS |
|
||||
| Кэш сессий может продолжить принимать отозванный токен | Устаревшее значение кэша | Не кэшируем разрешение сессии; PostgreSQL проверяется каждый раз | Структура кода; проверка logout при отказе Redis подготовлена |
|
||||
| Случайный порядок/повторы при одинаковом времени | Одно время не уникально | Сортировка (created_at,id), tuple comparison и индекс | SQL синтаксис проверен; HTTP/EXPLAIN ожидают Docker |
|
||||
| В среде подготовки нет dotnet | SDK не был установлен | Скачан SDK 10.0.403 во временную папку | Build Release: 0 warnings, 0 errors |
|
||||
| Установщик SDK написал Extraction failed | tar пытался назначить владельца uid 2001, запрещённого окружением | Извлечённые файлы оказались работоспособны; проверены dotnet --version, restore, build, запуск unit checks | Это особенность среды подготовки; пользователю в Docker не нужна такая установка |
|
||||
| apt update сначала завершился ошибкой setgroups | В среде разрешён только uid 0 | Пакеты скачаны без смены пользователя; это не решило невозможность запуска PostgreSQL от непривилегированного пользователя | PostgreSQL не запускался; тесты перенесены в Compose |
|
||||
| Попытка отдельного user namespace не разрешена | Ограничение uid mapping среды | Не менять систему и не подменять поведение PostgreSQL; использовать ПК с Docker | Полные интеграционные результаты не заявлены |
|
||||
| Во временной Python-команде статической проверки была SyntaxError | Лишняя сложная строка сравнения путей со скобками | Удалена лишняя строка, оставлено прямое сравнение bytes | Повторный проход SQL/YAML/публичных файлов PASS |
|
||||
|
||||
## Важные ограничения, а не исправленные ошибки
|
||||
|
||||
- Docker отсутствует в среде подготовки. Compose, публичный smoke, полный рестарт, expiry через HTTP, реальные отказы, race/rollback и EXPLAIN ещё не выполнялись.
|
||||
- Нет HA PostgreSQL, backup/restore и репликации. Пережить рестарт с сохранённым volume — не то же самое, что пережить потерю диска.
|
||||
- Нет идемпотентности отправки: повтор POST после неизвестного исхода может создать дубль. Это появится в Лаб3.
|
||||
- Кэш профилей корректен для текущего неизменяемого профиля; для edit/delete потребуется инвалидация.
|
||||
- Время БД не задаёт строгий порядок COMMIT конкурентных сообщений.
|
||||
- Пароли Argon2id и секреты не превращают локальный HTTP в защищённый удалённый сервис. TLS нужен для удалённой демонстрации.
|
||||
|
||||
После прогона на ПК допишите сюда реальные ошибки запуска и их исправления, если они появятся. Не заменяйте «не проверено» на PASS без результата.
|
||||
+122
@@ -0,0 +1,122 @@
|
||||
# Как работает Лаб2
|
||||
|
||||
## Связь с первой лабораторной
|
||||
|
||||
В Лаб1 запросы уже умели создавать пользователя, чат, сообщения и читать историю страницами. Но данные жили в Dictionary внутри процесса, а X-User-Id позволял выбрать любого пользователя. После остановки процесса всё исчезало.
|
||||
|
||||
В Лаб2 маршруты и модели сохранены. Меняются реализация хранилища и способ получения текущего пользователя. Это и есть польза интерфейсов: endpoint вызывает `IMessengerStore`, не зная, Dictionary там или PostgreSQL. `ICurrentUser` теперь проверяет Bearer, а не доверяет заголовку с UUID.
|
||||
|
||||
## Устройство
|
||||
|
||||
```mermaid
|
||||
flowchart TD
|
||||
Client["Клиент: curl или Python"] --> API["ASP.NET Core API"]
|
||||
API --> PG["PostgreSQL: данные и сессии"]
|
||||
API --> Redis["Redis: кэш профилей, TTL 300 с"]
|
||||
PG --> Volume["Именованный том PostgreSQL"]
|
||||
Redis --> CacheVolume["Том Redis, AOF"]
|
||||
```
|
||||
|
||||
PostgreSQL — источник истины. Redis ускоряет повторное получение профиля (id, username, display_name, created_at). Проверка действительности сессии ВСЕГДА идёт в PostgreSQL, даже когда профиль есть в Redis. История сообщений не кэшируется: подтверждённая запись сразу видна при следующем чтении из БД.
|
||||
|
||||
Выбор кэша намеренно небольшой. Профиль в текущем API нельзя изменять или удалять, поэтому нет гонки обновления профиля и устаревшего значения. Ключ `profile:v1:<uuid>`, TTL 300 секунд. Cache miss → SELECT → заполнение кэша. Отказ Redis → тот же SELECT без кэша. После FLUSHDB сессия остаётся действительной, профиль будет прочитан и закэширован заново. Если появится редактирование пользователей, понадобится политика инвалидации; нынешнюю схему нельзя без изменений считать корректной для mutable-профилей. Выигрыш производительности здесь не измерен и не обещается.
|
||||
|
||||
## Путь одного сообщения
|
||||
|
||||
1. Клиент отправляет POST `/api/v1/chats/{id}/messages` с Bearer и JSON `{"text":"Привет"}`.
|
||||
2. Middleware назначает X-Request-Id, чтобы связать запрос, ответ и лог.
|
||||
3. `BearerCurrentUser` извлекает токен; `Sessions` вычисляет SHA-256 токена и ищет неистёкшую сессию в PostgreSQL.
|
||||
4. Из сессии берётся user_id. Профиль читается из Redis или БД. Переданный клиентом X-User-Id не участвует.
|
||||
5. Endpoint проверяет доступ к чату и входной JSON. sender_id клиент не задаёт.
|
||||
6. SQL делает INSERT только при существующем членстве. Составной внешний ключ дополнительно запрещает запись от неучастника.
|
||||
7. После завершения INSERT в autocommit приложение возвращает 201 с записью из RETURNING.
|
||||
|
||||
До ответа 201 запрос должен дойти до успешного завершения операции БД. При потере соединения после COMMIT, но до ответа клиент может не знать, что запись состоялась. В Лаб2 нет идемпотентности повторной отправки; это тема Лаб3.
|
||||
|
||||
## Таблицы и связи
|
||||
|
||||
| Таблица | Содержание | Основная защита |
|
||||
|---|---|---|
|
||||
| users | Профиль и hash пароля | PK id, UNIQUE username, CHECK формата |
|
||||
| chats | Название и время создания | PK id |
|
||||
| chat_members | Связь пользователя и чата | PK(chat_id,user_id), два FK |
|
||||
| messages | Текст, автор, чат, время | PK id, FK чат, FK(chat_id,sender_id) |
|
||||
| sessions | SHA-256 токена, пользователь, срок | PK token_hash, FK user_id |
|
||||
| schema_migrations | Применённые версии схемы | PK version |
|
||||
|
||||
PK — первичный ключ, уникальный идентификатор строки. FK — внешний ключ, ссылка на существующую строку. UNIQUE — ограничение уникальности. Эти правила действуют при любой API-реплике; обычный lock в C# защищал бы только один процесс.
|
||||
|
||||
Создание чата — транзакция: сначала INSERT chats, затем несколько INSERT chat_members, затем COMMIT. Если неизвестный участник нарушает FK, исключение превращается в 400; `await using` освобождает незавершённую транзакцию с rollback. Поэтому не остаётся пустой родительский чат. Проверка специально обращается к SQL и считает строки по уникальному названию.
|
||||
|
||||
## Пароли и сессии
|
||||
|
||||
При регистрации пароль пропускается через библиотечный Argon2id: соль 16 случайных байт, память 64 MiB, 3 итерации, параллелизм 2, результат 32 байта. В БД сохраняется `argon2id-v1$<salt>$<hash>`; v1 фиксирует эти параметры в коде. Это собственная простая упаковка, не стандартная PHC-строка. При смене параметров нужен новый version и совместимая проверка старых записей.
|
||||
|
||||
Соль не секретная: она делает одинаковые пароли разными hash. Argon2id намеренно дорогой, чтобы затруднить перебор украденной БД. Одновременно выполняются максимум два KDF на API-процесс; ожидание слота — до 2 секунд, затем 503. Это ограничивает память KDF, но не заменяет полноценную защиту входа от перебора. Проверка неизвестного username тоже выполняет KDF. Сравнение результатов — FixedTimeEquals.
|
||||
|
||||
Login использует Basic: Base64 от UTF-8 `username:password`. Разделяем только по первому двоеточию, поэтому двоеточия в пароле разрешены. Base64 не шифрование. В учебном локальном стенде используются синтетические данные; для удалённого доступа нужен HTTPS.
|
||||
|
||||
Токен создаётся криптографическим генератором из 32 байт (256 бит). Это opaque token: клиент не извлекает из него user_id и права. В sessions хранится только SHA-256 токена. Здесь быстрый SHA-256 уместен: токен случайный, обладает высокой энтропией; пользовательский пароль требует дорогого KDF. Токен не JWT.
|
||||
|
||||
Expiry вычисляет PostgreSQL: `clock_timestamp()+TTL`. Проверка сравнивает expires_at с часами БД. Время не продлевается при использовании или рестарте. Logout удаляет строку сессии. Любой следующий запрос с этим токеном получает 401. Уже начавшийся запрос, прошедший проверку до logout, может завершиться — глобальной отмены таких запросов нет. Истёкшие строки не дают доступ, но пока остаются в таблице; для длительной эксплуатации нужен периодический DELETE по expires_at.
|
||||
|
||||
## Пагинация без чтения всей истории
|
||||
|
||||
Индекс `messages(chat_id,created_at,id)` соответствует запросу:
|
||||
|
||||
```sql
|
||||
SELECT id,chat_id,sender_id,text,created_at
|
||||
FROM messages
|
||||
WHERE chat_id=$1 AND (created_at,id)>($2,$3)
|
||||
ORDER BY created_at,id
|
||||
LIMIT $4;
|
||||
```
|
||||
|
||||
Первым фиксируется чат, затем БД переходит к позиции после курсора и берёт `limit+1`. Лишняя строка нужна только чтобы понять, есть ли следующая страница. Клиент получает не более limit строк. OFFSET не используется. Для первой страницы начальная граница — минимальное время.
|
||||
|
||||
CursorCodec кодирует scope, время и UUID, подписывая HMAC-SHA256. Scope включает id чата (или пользователя для списка чатов), поэтому чужой cursor не подходит. Base64 не скрывает значения, но клиент должен считать курсор непрозрачным; подпись защищает от изменений. Ключ сохраняется в `secrets/cursor_key`, поэтому после рестарта курсоры работают. Время берётся из RETURNING БД, с PostgreSQL-точностью микросекунд: не конструируем курсор по более точному времени до INSERT.
|
||||
|
||||
Сортировка по времени и UUID задаёт порядок даже при одинаковом времени. Для неизменной истории пропусков и повторов нет. Для конкурентных INSERT нет общего snapshot между HTTP-запросами: поздно закоммиченная строка с временем до уже пройденного курсора может не попасть в текущий обход. Перевод часов назад имеет похожее ограничение. Это не строгая очередь и не порядок COMMIT.
|
||||
|
||||
`explain.sql` вставляет 10 000 сообщений в транзакции, запускает ANALYZE и EXPLAIN (ANALYZE, BUFFERS) для глубокой страницы, затем ROLLBACK. Читать результат нужно так: имя индекса показывает выбранный путь; actual rows — сколько вернули; Buffers — работа с буферами; execution time — время данного запуска, не универсальная производительность. Индекс ускоряет SELECT, но занимает место и увеличивает работу INSERT.
|
||||
|
||||
## Карта файлов и используемые библиотеки
|
||||
|
||||
| Файл/библиотека | Для чего |
|
||||
|---|---|
|
||||
| Program.cs | DI, конфигурация, logging, миграции, запуск HTTP |
|
||||
| Api/Endpoints.cs | Связывает маршруты, проверку входа, идентификацию и хранилище |
|
||||
| Api/Input.cs | Строгие JSON-поля, UUID, Unicode, limit |
|
||||
| Api/ApiMiddleware.cs | Единый формат ошибок, request_id, безопасные логи |
|
||||
| Api/CurrentUser.cs | Только Bearer, без доверия X-User-Id |
|
||||
| Storage/PostgresMessengerStore.cs | SQL, транзакция чата, keyset, кэш профилей |
|
||||
| Storage/Sessions.cs | Login, срок сессии, проверка и logout |
|
||||
| Storage/Passwords.cs | Ограниченный по параллелизму Argon2id |
|
||||
| Storage/Migrations.cs | Транзакционное применение версий под advisory lock |
|
||||
| Npgsql 9.0.4 | Драйвер PostgreSQL, pool, параметры SQL |
|
||||
| StackExchange.Redis 2.8.31 | Один общий multiplexer для Redis |
|
||||
| Konscious.Security.Cryptography.Argon2 1.3.1 | Реализация Argon2id |
|
||||
| tests/client.py | Предоставленный преподавателем HTTP-клиент и проверки схем |
|
||||
|
||||
Singleton означает один экземпляр сервиса на процесс. NpgsqlDataSource и Redis multiplexer рассчитаны на совместное использование. Singleton хранилища не означает одно соединение: операция берёт соединение из pool и возвращает через DisposeAsync. Максимум pool — 20, connection timeout — 3 секунды, command timeout — 3 секунды. Несколько последовательных операций могут суммарно занять больше 3 секунд. Для Redis connect/async timeout — 1 секунда, backlog отключён; фактический timeout зависит от обслуживания таймеров клиента.
|
||||
|
||||
Все пользовательские данные идут через SQL-параметры `$1`, `$2`, … . Конкатенация в ChatSelect соединяет только постоянные SQL-фрагменты, а не текст пользователя. Локальные проверочные SQL используют сгенерированные UUID/hex-метки, не внешний ввод.
|
||||
|
||||
## Миграции и запуск
|
||||
|
||||
Compose поднимает PostgreSQL, Redis, API. Именованные тома переживают удаление контейнеров. API ждёт healthchecks при первоначальном старте и перед HTTP применяет миграции. `schema_migrations` хранит имя версии; повторный запуск пропускает применённый файл. Advisory transaction lock сериализует одновременный запуск миграций несколькими API. Уже применённый SQL не редактируют: добавляют 002 и далее. Контроль checksum миграций пока не реализован.
|
||||
|
||||
Логическое соответствие настроек: APP_HOST/APP_PORT управляют внутренним HTTP; внешний APP_PORT из .env управляет port mapping. APP_ENV — метка в логе. SESSION_TTL_SECONDS — срок новой сессии. DATABASE_URL_FILE и CACHE_URL_FILE — пути к секретам, а не URL прямо в compose. DATABASE_URL содержит Npgsql connection string. CURSOR_KEY_FILE — добавленный секрет подписи курсоров. SESSION_STORE из skeleton не нужен: сессии всегда PostgreSQL, что явно выбрано в реализации.
|
||||
|
||||
Readiness требует PostgreSQL; Redis — необязательная для корректности зависимость после старта. Liveness не проверяет БД. При потере БД защищённый запрос возвращает 503: мы не превращаем отсутствие проверки в успешную аутентификацию. Redis в compose включён с AOF everysec и томом, но возможная потеря последней секунды кэша не теряет сессии или сообщения: их источник истины — PostgreSQL.
|
||||
|
||||
## Источники
|
||||
|
||||
- https://www.npgsql.org/doc/basic-usage.html
|
||||
- https://www.npgsql.org/doc/connection-string-parameters.html
|
||||
- https://github.com/StackExchange/StackExchange.Redis/blob/main/docs/Configuration.md
|
||||
- https://github.com/kmaragon/Konscious.Security.Cryptography
|
||||
- https://www.postgresql.org/docs/17/tutorial-transactions.html
|
||||
- https://www.postgresql.org/docs/17/using-explain.html
|
||||
- https://www.rfc-editor.org/rfc/rfc7617
|
||||
- Контракт, README и публичные tests из приложенного архива Лаб2.
|
||||
@@ -1,37 +1,80 @@
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Клименко Степан, БВТ2304.
|
||||
- Целевая оценка: **4**.
|
||||
- Commit/PR: заполнить после публикации.
|
||||
- Помощь ИИ: ChatGPT использован для реализации, пояснений и подготовки проверок. Фактически выполненные локальные проверки отделены от ещё не выполненных интеграционных.
|
||||
- Библиотеки: Npgsql 9.0.4, StackExchange.Redis 2.8.31, Konscious.Security.Cryptography.Argon2 1.3.1; точные транзитивные зависимости — packages.lock.json. Python-проверки используют стандартную библиотеку (полная OpenAPI-валидация — requirements-dev.txt).
|
||||
|
||||
## Запуск из чистого clone
|
||||
## Запуск из чистой копии
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Подробные команды: [START_HERE.md](START_HERE.md). Основной путь — Kubuntu + Docker Compose v2 + Python 3.9+, локальный порт 8080. SDK build-image 10.0.403, ASP.NET runtime 10.0.14, PostgreSQL 17.6-bookworm, Redis 7.4.5-bookworm. Образы закреплены тегами, не digest; это ограничение воспроизводимости.
|
||||
|
||||
```sh
|
||||
python3 scripts/setup.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait --wait-timeout 120
|
||||
chmod +x scripts/restart.sh
|
||||
python3 scripts/verify.py
|
||||
```
|
||||
|
||||
Setup генерирует локальные секреты без вывода значений; повторно не перезаписывает их. Миграции выполняются API до открытия HTTP. Контейнеры PostgreSQL и Redis не публикуют порты на хост. API опубликован только на loopback. Secrets исключены из Git и Docker build context. Безопасная остановка — docker compose stop; намеренное удаление всех учебных данных — docker compose down -v.
|
||||
|
||||
Если SDK нужен локально: dotnet build src/Messenger -c Release; unit checks: dotnet run --project tests_own/UnitChecks -c Release. Docker-сборка использует restore --locked-mode.
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → API → PostgreSQL. Redis — cache-aside для неизменяемых профилей, TTL 300 с. PostgreSQL хранит пользователей/пароли, чаты, членство, сообщения, hash токенов и expiry; является источником истины. Сессии не кэшируются. При потере Redis профиль читается из БД, при потере БД — 503 без обхода аутентификации.
|
||||
|
||||
## Доказательства критериев
|
||||
Из Лаб1 перенесены Domain-модели, endpoints чатов/сообщений, строгая валидация, формат ошибок и интерфейс хранилища. Добавлены password при регистрации, Basic login, Bearer business API, logout и PostgreSQL-store. Случайный ключ курсоров заменён сохраняемым секретом. X-User-Id не участвует в идентификации.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
Схема и ограничения: [EXPLANATION.md](EXPLANATION.md), `Migrations/001_initial.sql`. Чат+участники — одна транзакция. Регистрация и сообщение — атомарный INSERT с autocommit. Ограничения PK/FK/UNIQUE действуют в БД. Миграции — общая транзакция с advisory lock и реестром версий.
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
SQL параметризован. Npgsql pool максимум 20; connection и command timeout 3 с. Multiplexer Redis — singleton, connect/async timeout 1 с, backlog fail-fast. Argon2id ограничен двумя параллельными вычислениями на процесс с ожиданием слота до 2 с. Время всех последовательных операций запроса не обязано укладываться в один command timeout.
|
||||
|
||||
Настройки .env и secrets описаны в EXPLANATION.md. SESSION_STORE из исходного skeleton заменён однозначным решением: PostgreSQL. Readiness зависит от PostgreSQL, liveness только от процесса. Подтверждённые сообщения читаются из primary, без кэша истории и без read replica.
|
||||
|
||||
## Фактически выполнено при подготовке
|
||||
|
||||
| Проверка | Наблюдение | Доказательство |
|
||||
|---|---|---|
|
||||
| dotnet build src/Messenger -c Release --no-restore | PASS, 0 warnings / 0 errors | evidence/build.txt |
|
||||
| dotnet run --project tests_own/UnitChecks -c Release | 8 проверок Argon2id, Unicode и курсоров PASS | evidence/unit.txt |
|
||||
| python3 scripts/check_contract.py | PASS структуры skeleton и Python | evidence/offline.txt |
|
||||
| python3 scripts/validate_openapi.py | PASS полной схемы OpenAPI 3.1 | evidence/openapi.txt |
|
||||
| dotnet publish -c Release --no-restore | PASS, миграция присутствует в publish/Migrations | evidence/publish.txt |
|
||||
| dotnet restore --locked-mode | PASS, зависимости согласованы с lock | evidence/restore-locked.txt |
|
||||
| python3 scripts/check_extra.py (pglast/PyYAML); сравнение публичных файлов | SQL/YAML синтаксически корректны; tests/ и contracts/ не изменены | evidence/static-sql-compose.txt |
|
||||
|
||||
**Ограничение:** Build и SQL parser не подтверждают runtime-корректность запросов, инфраструктуры и сетевых отказов. Следующая таблица — план проверок, а не полученные PASS.
|
||||
|
||||
## Доказательства критериев — заполнить после прогона на ПК
|
||||
|
||||
| Критерий | Команда/сценарий | Наблюдение сейчас | Будущий файл |
|
||||
|---|---|---|---|
|
||||
| Публичный smoke / минимум Лаб1 с новой auth | py tests/smoke.py, также запускается из verify.py | Публичный сценарий Лаб2 пройден | evidence/smoke.py.txt |
|
||||
| Данные и действующие сессии после полного рестарта | py -X utf8 scripts/verify.py → persistence | После перезапуска подтверждённое сообщение доступно с прежним токеном | evidence/resilience.py.txt |
|
||||
| API+PostgreSQL+Redis действительно перезапущены | Windows hook restart_windows.cmd → restart.py | Время StartedAt изменилось у API, PostgreSQL и Redis; все вернулись в running | evidence/restart-before.txt, restart-after.txt |
|
||||
| Миграции с нуля и без повторов | Проверка после полного рестарта | В schema_migrations осталась одна применённая версия | evidence/acceptance.json |
|
||||
| Гонка username | Два одновременных запроса с одинаковым username | Ровно один ответ 201, второй — 409 | evidence/acceptance.json |
|
||||
| Rollback чата | Создание чата с неизвестным участником | Ответ 400; SQL-проверка обнаружила 0 оставшихся чатов с тестовым названием | evidence/acceptance.json |
|
||||
| Ошибочный пароль / игнорирование X-User-Id | Неверный пароль, подмена X-User-Id, длинный Unicode-пароль | Неверные credentials отклонены; заголовок не меняет пользователя; длинный пароль работает | evidence/acceptance.json |
|
||||
| Logout при отказе Redis | Остановка Redis, чтение профиля, logout, повторный запрос | Чтение работает через PostgreSQL; отозванный токен получает 401 | evidence/acceptance.json |
|
||||
| Expiry короткой сессии | API с SESSION_TTL_SECONDS=2, ожидание 3 секунды | Истёкший токен получает 401 | evidence/acceptance.json |
|
||||
| Отказ PostgreSQL | stop postgres → business/ready 503, live 200; start → прежний токен работает | Защищённый запрос и readiness возвращают 503, liveness — 200 | evidence/acceptance.json |
|
||||
| Продолжение прежнего cursor после рестарта | Чтение следующей страницы прежним курсором | Страница до и после перезапуска совпала | evidence/acceptance.json |
|
||||
| Индекс истории на ≥10 000 сообщениях | scripts/explain.sql через verify.py | 10 000 сообщений; Index Scan using ix_messages_history; 51 строка; Execution Time: 0.020 ms | evidence/explain.txt |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Проверяемые ожидания: Redis не является обязательным для корректности; PostgreSQL обязателен; подтверждённые записи и действующие токены сохраняются при остановке всех сервисов без удаления томов. Методика — scripts/verify.py. Failures проверяются остановкой контейнера, а не физическим сбоем диска. Время отказа БД проверяется ограниченным бюджетом 15 с для трёх последовательных HTTP-вызовов, Redis — 10 с. Это бюджет сценария, не измеренный production SLA.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
SQL-эксперимент использует 10 000 синтетических сообщений одного чата, глубокую keyset-страницу, ANALYZE и EXPLAIN (ANALYZE, BUFFERS); fixture откатывается. До реального запуска не заявляем выбранный план и миллисекунды. verify.py требует увидеть индекс ix_messages_history в фактическом плане.
|
||||
|
||||
Заполнить после запуска: ОС/CPU/RAM ПК, версии docker/compose, длительность проверок, наблюдения отказов. Нагрузочные RPS/p50/p95/p99 пока не измерялись и не выдумываются. Если нужны: `python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json`. Генератор closed-loop и измеряет latency только успешных запросов; одного запуска недостаточно для вывода о максимальной нагрузке.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Нет HA, backup/restore, идемпотентности сообщений, общей snapshot-пагинации, редактирования профиля и автоматической очистки истёкших сессий. Долговечность зависит от сохранности PostgreSQL volume и настроек fsync/WAL. Redis AOF everysec может потерять недавний кэш при аварии, но не источник истины. Кэш даёт конкретную роль Redis, а не доказанное ускорение. Тест рестарта не доказывает переживание потери питания или диска.
|
||||
|
||||
Первичные источники перечислены в EXPLANATION.md; ошибки и способы решения — ERRORS.md; подготовка к защите — DEFENSE.md.
|
||||
|
||||
@@ -0,0 +1,64 @@
|
||||
# Лаб2: с чего начать
|
||||
|
||||
Цель — уровень **4**, C# / ASP.NET Core 10, PostgreSQL и Redis.
|
||||
|
||||
**Статус:** C# собран; локальные проверки перечислены в `evidence/`. Полный Docker-стенд в среде подготовки не запускался. До успешного выполнения `scripts/verify.py` нельзя говорить, что лабораторная полностью проверена или оценка 4 доказана.
|
||||
|
||||
## Запуск на Kubuntu (рекомендуемый путь)
|
||||
|
||||
Распакуйте архив в отдельную папку, не поверх Лаб1. Откройте терминал в корне, где лежит `compose.yaml`.
|
||||
|
||||
Нужны Docker с Compose v2, Python 3.9+, интернет для скачивания образов/NuGet. Системный .NET не нужен: сборка внутри Docker. Порт 8080 должен быть свободен. Если там ещё Лаб1, остановите её: `docker stop mtusi-messenger-lab1`. Это сохраняет контейнер Лаб1.
|
||||
|
||||
```sh
|
||||
python3 scripts/setup.py
|
||||
docker compose config --quiet
|
||||
docker compose up -d --build --wait --wait-timeout 120
|
||||
python3 tests/smoke.py
|
||||
```
|
||||
|
||||
Затем полная проверка (автоматически собирает/запускает стенд и выполняет все сценарии):
|
||||
|
||||
```sh
|
||||
chmod +x scripts/restart.sh
|
||||
python3 scripts/verify.py
|
||||
```
|
||||
|
||||
Она занимает несколько минут, создаёт синтетические данные, кратковременно останавливает БД/Redis/API и восстанавливает их. Во время проверки не работайте с этим стендом из других терминалов. Обязательный обычный TTL — 3600; короткий TTL включается и возвращается автоматически. Не запускайте это против чужого/рабочего сервиса.
|
||||
|
||||
При успехе пришлите `evidence/acceptance.json`, `evidence/explain.txt`, `evidence/resilience.py.txt` и `evidence/restart-before.txt` / `restart-after.txt`. При неуспехе — текст ошибки и вывод `docker compose ps`; если ошибка сборки — последние строки `docker compose build`. `.env` и `secrets/` присылать не нужно.
|
||||
|
||||
Если первая сборка очень долгая, выполните отдельно `docker compose build`, затем повторите запуск. Для диагностики: `docker compose logs --tail=100 api`. Приложение не пишет пароли и токены в логи.
|
||||
|
||||
## Проверки отдельно
|
||||
|
||||
```sh
|
||||
make check
|
||||
make test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
# Без make:
|
||||
python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh
|
||||
# План SQL без Python-runner:
|
||||
docker compose exec -T postgres psql -X -U messenger -d messenger -v ON_ERROR_STOP=1 < scripts/explain.sql
|
||||
```
|
||||
|
||||
`make validate` требует `pip install -r requirements-dev.txt` в виртуальном окружении. Если нужен локальный C# build: установите SDK из `global.json` (10.0.403), затем `dotnet build src/Messenger -c Release` и `dotnet run --project tests_own/UnitChecks -c Release`. SDK 9 не собирает target net10.0.
|
||||
|
||||
## Остановка
|
||||
|
||||
`docker compose stop` останавливает процессы, данные остаются. `docker compose up -d` запускает их снова. `docker compose down` удаляет контейнеры и сеть, но сохраняет именованные тома.
|
||||
|
||||
**Только для намеренного полного сброса учебных данных:** `docker compose down -v`. После этого пользователи, чаты, сообщения и сессии исчезнут. Не выполняйте эту команду в тесте сохранности.
|
||||
|
||||
`secrets/` храните вместе с проектом. Повторный setup сохраняет существующие значения. Удаление secrets при сохранённом томе PostgreSQL создаст новые реквизиты, которые не совпадут с паролем уже созданной БД. В таком случае нужно восстановить прежние secrets, а не просто снова запускать setup.
|
||||
|
||||
На Windows полный сценарий с `restart.sh` выполняйте в WSL2 с Docker Desktop integration. Python в Windows без WSL не сможет напрямую выполнить POSIX shell hook. Kubuntu уже подходит.
|
||||
|
||||
## Что читать
|
||||
|
||||
1. `EXPLANATION.md` — что изменилось и как работает код.
|
||||
2. `ERRORS.md` — обнаруженные проблемы, исправления и ограничения проверки.
|
||||
3. `DEFENSE.md` — вопросы и ответы для защиты.
|
||||
4. `REPORT.md` — технический отчёт; после проверки дописать реальные результаты и автора/группу.
|
||||
|
||||
Оригинальные публичные `tests/`, контракт и задание сохранены без изменений. `scripts/verify.py` — дополнительные проверки, не замена публичных.
|
||||
@@ -0,0 +1,48 @@
|
||||
name: mtusi-lab2
|
||||
services:
|
||||
api:
|
||||
build: .
|
||||
ports: ["127.0.0.1:${APP_PORT:-8080}:8080"]
|
||||
environment:
|
||||
APP_HOST: 0.0.0.0
|
||||
APP_PORT: 8080
|
||||
APP_ENV: lab
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_KEY_FILE: /run/secrets/cursor_key
|
||||
secrets: [database_url, cache_url, cursor_key]
|
||||
depends_on:
|
||||
postgres: {condition: service_healthy}
|
||||
redis: {condition: service_healthy}
|
||||
restart: unless-stopped
|
||||
postgres:
|
||||
image: postgres:17.6-bookworm
|
||||
environment:
|
||||
POSTGRES_USER: messenger
|
||||
POSTGRES_DB: messenger
|
||||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||||
secrets: [postgres_password]
|
||||
volumes: ["postgres-data:/var/lib/postgresql/data"]
|
||||
healthcheck:
|
||||
test: [CMD-SHELL, "pg_isready -U messenger -d messenger"]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
redis:
|
||||
image: redis:7.4.5-bookworm
|
||||
command: [redis-server, --appendonly, "yes", --appendfsync, everysec, --maxmemory, 64mb, --maxmemory-policy, allkeys-lru]
|
||||
volumes: ["redis-data:/data"]
|
||||
healthcheck:
|
||||
test: [CMD, redis-cli, ping]
|
||||
interval: 2s
|
||||
timeout: 3s
|
||||
retries: 30
|
||||
volumes:
|
||||
postgres-data:
|
||||
redis-data:
|
||||
secrets:
|
||||
postgres_password: {file: ./secrets/postgres_password}
|
||||
database_url: {file: ./secrets/database_url}
|
||||
cache_url: {file: ./secrets/cache_url}
|
||||
cursor_key: {file: ./secrets/cursor_key}
|
||||
@@ -0,0 +1,6 @@
|
||||
# Статус доказательств
|
||||
|
||||
В этом архиве выполнены только build, locked restore, publish, unit checks и статические проверки.
|
||||
acceptance.json, explain.txt, smoke.py.txt и resilience.py.txt появятся после запуска scripts/verify.py на ПК.
|
||||
Их отсутствие намеренно: успешные результаты интеграционных тестов не выдумывались.
|
||||
Unit tests проверяют криптографию и курсоры, а не SQL/HTTP.
|
||||
@@ -0,0 +1,18 @@
|
||||
{
|
||||
"passed": [
|
||||
"smoke.py",
|
||||
"wrong password and X-User-Id bypass rejected",
|
||||
"concurrent username registration: exactly one 201 and one 409",
|
||||
"failed member insertion rolled back parent chat (SQL count=0)",
|
||||
"long Unicode password with colon",
|
||||
"Redis profile cache TTL and recovery after flush",
|
||||
"Redis unavailable: SQL fallback; logout still effective",
|
||||
"Postgres unavailable: bounded 503, liveness 200",
|
||||
"resilience.py",
|
||||
"existing signed cursor works across full restart",
|
||||
"migration repeated safely across full restart",
|
||||
"SESSION_TTL_SECONDS=2 expires without logout",
|
||||
"EXPLAIN ANALYZE BUFFERS: indexed deep page on 10000 rows"
|
||||
],
|
||||
"completed": true
|
||||
}
|
||||
@@ -0,0 +1,7 @@
|
||||
Messenger -> /workspace/scratch/d5a36e7fed20/output/mtusi2026lab2-ready/src/Messenger/bin/Release/net10.0/Messenger.dll
|
||||
|
||||
Build succeeded.
|
||||
0 Warning(s)
|
||||
0 Error(s)
|
||||
|
||||
Time Elapsed 00:00:01.14
|
||||
Binary file not shown.
@@ -0,0 +1,17 @@
|
||||
BEGIN
|
||||
INSERT 0 1
|
||||
INSERT 0 1
|
||||
INSERT 0 1
|
||||
INSERT 0 10000
|
||||
ANALYZE
|
||||
fixture_rows=10000
|
||||
Limit (cost=0.29..14.47 rows=51 width=68) (actual time=0.006..0.010 rows=51 loops=1)
|
||||
Buffers: shared hit=3
|
||||
-> Index Scan using ix_messages_history on messages (cost=0.29..280.02 rows=1006 width=68) (actual time=0.005..0.008 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '20000000-0000-0000-0000-000000000001'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 00:00:09+00'::timestamp with time zone, '00000000-0000-0000-0000-000000000000'::uuid)))
|
||||
Buffers: shared hit=3
|
||||
Planning:
|
||||
Buffers: shared hit=18
|
||||
Planning Time: 0.044 ms
|
||||
Execution Time: 0.020 ms
|
||||
ROLLBACK
|
||||
@@ -0,0 +1 @@
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
@@ -0,0 +1 @@
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
@@ -0,0 +1,2 @@
|
||||
Messenger -> /workspace/scratch/d5a36e7fed20/output/mtusi2026lab2-ready/src/Messenger/bin/Release/net10.0/Messenger.dll
|
||||
Messenger -> /tmp/lab-publish/
|
||||
@@ -0,0 +1,2 @@
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
@@ -0,0 +1,3 @@
|
||||
/mtusi-lab2-api-1 2026-11-12T17:12:12.868125369Z running
|
||||
/mtusi-lab2-postgres-1 2026-11-12T17:12:10.098361519Z running
|
||||
/mtusi-lab2-redis-1 2026-11-12T17:12:10.093157288Z running
|
||||
@@ -0,0 +1,3 @@
|
||||
/mtusi-lab2-api-1 2026-11-12T17:11:54.050668081Z running
|
||||
/mtusi-lab2-postgres-1 2026-11-12T17:12:07.715708659Z running
|
||||
/mtusi-lab2-redis-1 2026-11-12T17:12:03.91829352Z running
|
||||
@@ -0,0 +1,2 @@
|
||||
Determining projects to restore...
|
||||
Restored /workspace/scratch/d5a36e7fed20/output/mtusi2026lab2-ready/src/Messenger/Messenger.csproj (in 809 ms).
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,5 @@
|
||||
PASS: SQL parses 001_initial.sql
|
||||
PASS: SQL parses explain.sql
|
||||
PASS: SQL parser checked 14 literal queries; not database execution
|
||||
PASS: Compose YAML parses and topology checks; docker compose not run
|
||||
PASS: public tests and contracts unchanged byte-for-byte
|
||||
@@ -0,0 +1,9 @@
|
||||
PASS: Argon2id verifies Unicode password >72 bytes
|
||||
PASS: Argon2id rejects changed suffix (no truncation)
|
||||
PASS: unknown account rejected after KDF
|
||||
PASS: random salt changes password hash
|
||||
PASS: cursor survives codec recreation with same key
|
||||
PASS: foreign chat cursor rejected
|
||||
PASS: corrupt cursor rejected
|
||||
PASS: password input counts Unicode code points
|
||||
Unit checks only: PostgreSQL, Redis and HTTP not tested here.
|
||||
@@ -0,0 +1 @@
|
||||
{"sdk":{"version":"10.0.403","rollForward":"disable"}}
|
||||
@@ -0,0 +1,20 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Optional static SQL/YAML check: pip install pglast PyYAML. Does not execute SQL."""
|
||||
from pathlib import Path
|
||||
import re
|
||||
import yaml
|
||||
from pglast import parse_sql
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
for file in (root/'src/Messenger/Migrations').glob('*.sql'):
|
||||
parse_sql(file.read_text())
|
||||
print('PASS SQL syntax:',file.name)
|
||||
parse_sql((root/'scripts/explain.sql').read_text())
|
||||
for file in (root/'src/Messenger').rglob('*.cs'):
|
||||
for query in re.findall(r'"((?:SELECT|INSERT INTO|DELETE FROM|CREATE TABLE)[^"\n]+)"',file.read_text()):
|
||||
if not query.endswith('FROM chats c '): parse_sql(query)
|
||||
config=yaml.safe_load((root/'compose.yaml').read_text())
|
||||
assert set(config['services'])=={'api','postgres','redis'}
|
||||
assert len(config['volumes'])==2
|
||||
assert 'ports' not in config['services']['postgres']
|
||||
assert 'ports' not in config['services']['redis']
|
||||
print('PASS literal SQL and Compose YAML syntax; runtime NOT tested')
|
||||
@@ -0,0 +1,17 @@
|
||||
-- All synthetic rows are rolled back. EXPLAIN ANALYZE really runs SELECT.
|
||||
BEGIN;
|
||||
INSERT INTO users(id,username,display_name,password_hash) VALUES('10000000-0000-0000-0000-000000000001','plan_'||substr(md5(random()::text),1,20),'Plan fixture','not-a-login-hash');
|
||||
INSERT INTO chats(id,title) VALUES('20000000-0000-0000-0000-000000000001','EXPLAIN temporary fixture');
|
||||
INSERT INTO chat_members VALUES('20000000-0000-0000-0000-000000000001','10000000-0000-0000-0000-000000000001');
|
||||
INSERT INTO messages(id,chat_id,sender_id,text,created_at)
|
||||
SELECT md5('lab2-plan-'||g)::uuid,'20000000-0000-0000-0000-000000000001','10000000-0000-0000-0000-000000000001','fixture '||g,
|
||||
timestamptz '2026-01-01 00:00:00+00'+g*interval '1 millisecond'
|
||||
FROM generate_series(1,10000) AS g;
|
||||
ANALYZE messages;
|
||||
SELECT 'fixture_rows='||count(*) FROM messages WHERE chat_id='20000000-0000-0000-0000-000000000001';
|
||||
EXPLAIN (ANALYZE, BUFFERS)
|
||||
SELECT id,chat_id,sender_id,text,created_at FROM messages
|
||||
WHERE chat_id='20000000-0000-0000-0000-000000000001'
|
||||
AND (created_at,id)>(timestamptz '2026-01-01 00:00:09+00','00000000-0000-0000-0000-000000000000'::uuid)
|
||||
ORDER BY created_at,id LIMIT 51;
|
||||
ROLLBACK;
|
||||
@@ -0,0 +1,36 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Restart all lab2 services, preserving named volumes; safe evidence only."""
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
EVIDENCE=ROOT/'evidence'
|
||||
|
||||
def run(*args, timeout=75):
|
||||
return subprocess.run(args,cwd=ROOT,check=True,capture_output=True,
|
||||
encoding='utf-8',errors='replace',timeout=timeout).stdout
|
||||
|
||||
def snapshot(name):
|
||||
ids=run('docker','compose','ps','-a','-q').split()
|
||||
if len(ids)!=3:
|
||||
raise RuntimeError('Expected three lab2 containers before/after restart')
|
||||
data=run('docker','inspect','--format','{{.Name}} {{.State.StartedAt}} {{.State.Status}}',*ids)
|
||||
(EVIDENCE/name).write_text(data,encoding='utf-8')
|
||||
|
||||
def main():
|
||||
EVIDENCE.mkdir(exist_ok=True)
|
||||
snapshot('restart-before.txt')
|
||||
run('docker','compose','stop','--timeout','5','api','postgres','redis',timeout=25)
|
||||
run('docker','compose','up','-d','--wait','--wait-timeout','60',timeout=70)
|
||||
snapshot('restart-after.txt')
|
||||
print('Restarted API, PostgreSQL and Redis; named volumes preserved.')
|
||||
|
||||
if __name__=='__main__':
|
||||
try: main()
|
||||
except Exception as ex:
|
||||
EVIDENCE.mkdir(exist_ok=True)
|
||||
# Do not dump Docker configuration, environment or secret values.
|
||||
message='Restart failed: '+type(ex).__name__+'; inspect docker compose ps and local service logs.'
|
||||
(EVIDENCE/'restart-error.txt').write_text(message+'\n',encoding='utf-8')
|
||||
print(message,file=sys.stderr)
|
||||
sys.exit(1)
|
||||
@@ -0,0 +1,9 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
mkdir -p evidence
|
||||
# Safe inspect fields only: never serialize Config.Env or secret content.
|
||||
docker compose ps -q | xargs -r docker inspect --format '{{.Name}} {{.State.StartedAt}}' > evidence/restart-before.txt
|
||||
docker compose stop api postgres redis
|
||||
docker compose up -d --wait --wait-timeout 75
|
||||
docker compose ps -q | xargs -r docker inspect --format '{{.Name}} {{.State.StartedAt}}' > evidence/restart-after.txt
|
||||
@@ -0,0 +1,7 @@
|
||||
@echo off
|
||||
if defined LAB2_PYTHON goto configured
|
||||
py -X utf8 "%~dp0restart.py"
|
||||
exit /b %errorlevel%
|
||||
:configured
|
||||
"%LAB2_PYTHON%" -X utf8 "%~dp0restart.py"
|
||||
exit /b %errorlevel%
|
||||
@@ -0,0 +1,21 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Create local secrets once. Never print their contents or rotate existing values."""
|
||||
import base64, secrets, shutil
|
||||
from pathlib import Path
|
||||
root=Path(__file__).resolve().parents[1]
|
||||
directory=root/'secrets'
|
||||
directory.mkdir(exist_ok=True,mode=0o700)
|
||||
password_file=directory/'postgres_password'
|
||||
if not password_file.exists():
|
||||
password_file.write_text(secrets.token_hex(24))
|
||||
password=password_file.read_text().strip()
|
||||
values={'database_url':f'Host=postgres;Port=5432;Database=messenger;Username=messenger;Password={password}',
|
||||
'cache_url':'redis:6379','cursor_key':base64.b64encode(secrets.token_bytes(32)).decode()}
|
||||
for name,value in values.items():
|
||||
p=directory/name
|
||||
if not p.exists(): p.write_text(value)
|
||||
# Compose file-backed secrets must be readable by non-root API UID.
|
||||
# Parent directory is owner-only on the host; no secret files enter the image.
|
||||
for p in directory.iterdir(): p.chmod(0o444)
|
||||
if not (root/'.env').exists(): shutil.copyfile(root/'.env.example',root/'.env')
|
||||
print('Local configuration ready (existing secrets preserved).')
|
||||
@@ -0,0 +1,145 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Acceptance runner for a LOCAL disposable teaching stack; never prints tokens/secrets.
|
||||
Run from any directory: python3 scripts/verify.py
|
||||
Requires Docker Compose, Python 3.9+. Preserves named volumes and restores normal TTL.
|
||||
"""
|
||||
import base64
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import uuid
|
||||
ROOT=Path(__file__).resolve().parents[1]
|
||||
sys.path.insert(0,str(ROOT/'tests'))
|
||||
from client import Client, check
|
||||
EVIDENCE=ROOT/'evidence'
|
||||
EVIDENCE.mkdir(exist_ok=True)
|
||||
BASE=os.environ.get('BASE_URL','http://127.0.0.1:8080')
|
||||
results=[]
|
||||
|
||||
def record(name):
|
||||
results.append(name)
|
||||
print('PASS: '+name,flush=True)
|
||||
(EVIDENCE/'acceptance.json').write_text(json.dumps({'passed':results,'completed':False},indent=2))
|
||||
|
||||
def compose(*args,env=None):
|
||||
print('Docker Compose: '+args[0],flush=True)
|
||||
return subprocess.run(['docker','compose',*args],cwd=ROOT,env=env,check=True,capture_output=True,text=True,encoding="utf-8",errors="replace").stdout
|
||||
|
||||
def sql(statement):
|
||||
return subprocess.run(['docker','compose','exec','-T','postgres','psql','-X','-U','messenger','-d','messenger','-v','ON_ERROR_STOP=1','-At'],input=statement,cwd=ROOT,check=True,capture_output=True,text=True,encoding="utf-8",errors="replace").stdout.strip()
|
||||
|
||||
def wait():
|
||||
c=Client(BASE)
|
||||
deadline=time.monotonic()+90
|
||||
while time.monotonic()<deadline:
|
||||
try: c.call('GET','/health/ready'); return
|
||||
except Exception: time.sleep(1)
|
||||
raise AssertionError('Readiness timeout')
|
||||
|
||||
def run_public(name,*args):
|
||||
print('Running '+name,flush=True)
|
||||
p=subprocess.run([sys.executable,"-X","utf8",str(ROOT/'tests'/name),'--base-url',BASE,*args],cwd=ROOT,capture_output=True,text=True,encoding="utf-8",errors="replace")
|
||||
(EVIDENCE/(name+'.txt')).write_text(p.stdout+p.stderr,encoding='utf-8')
|
||||
check(p.returncode==0,name+' failed; see evidence')
|
||||
record(name)
|
||||
|
||||
def main():
|
||||
(EVIDENCE/'acceptance.json').write_text(json.dumps({'passed':[], 'completed':False},indent=2),encoding='utf-8')
|
||||
os.environ['LAB2_PYTHON']=sys.executable
|
||||
print('Preparing local stack; full verification will temporarily stop services.',flush=True)
|
||||
subprocess.run([sys.executable,'-X','utf8','scripts/setup.py'],cwd=ROOT,check=True)
|
||||
compose('up','-d','--build','--wait','--wait-timeout','120')
|
||||
wait()
|
||||
run_public('smoke.py')
|
||||
c=Client(BASE)
|
||||
alice,bob,eve,chat=c.bootstrap()
|
||||
bad=base64.b64encode((alice['registration']['username']+':wrong-password').encode()).decode()
|
||||
c.call('POST','/api/v1/auth/sessions',401,headers={'Authorization':'Basic '+bad})
|
||||
c.call('GET','/api/v1/users/me',401,headers={'X-User-Id':alice['id']})
|
||||
me=c.call('GET','/api/v1/users/me',actor=alice,headers={'X-User-Id':eve['id']},schema='User')['json']
|
||||
check(me['id']==alice['id'],'X-User-Id changed bearer identity')
|
||||
record('wrong password and X-User-Id bypass rejected')
|
||||
# Exactly two simultaneous KDF requests fit the documented admission bound.
|
||||
body={'username':'race_'+uuid.uuid4().hex[:20],'display_name':'Race','password':'race-password-12345'}
|
||||
def create(_): return Client(BASE).call('POST','/api/v1/users',[201,409],body=body)['status']
|
||||
with ThreadPoolExecutor(max_workers=2) as pool: codes=list(pool.map(create,range(2)))
|
||||
check(sorted(codes)==[201,409],'username race not serialized by UNIQUE')
|
||||
record('concurrent username registration: exactly one 201 and one 409')
|
||||
title='rollback_'+uuid.uuid4().hex
|
||||
c.call('POST','/api/v1/chats',400,actor=alice,body={'title':title,'member_ids':[alice['id'],str(uuid.uuid4())]})
|
||||
check(sql("SELECT count(*) FROM chats WHERE title='"+title+"';")=='0','orphan chat after failed transaction')
|
||||
record('failed member insertion rolled back parent chat (SQL count=0)')
|
||||
# Unicode password is >72 UTF-8 bytes; colon is valid in Basic password.
|
||||
reg={'username':'unicode_'+uuid.uuid4().hex[:16],'display_name':'Тест','password':'🔑'*90+':пароль'}
|
||||
c.call('POST','/api/v1/users',201,body=reg)
|
||||
basic=base64.b64encode((reg['username']+':'+reg['password']).encode()).decode()
|
||||
c.call('POST','/api/v1/auth/sessions',201,headers={'Authorization':'Basic '+basic},schema='Session')
|
||||
record('long Unicode password with colon')
|
||||
# Cache is warmed by authenticated requests. Verify actual key and TTL, not only configuration.
|
||||
c.call('GET','/api/v1/users/me',actor=alice)
|
||||
ttl=int(compose('exec','-T','redis','redis-cli','TTL','profile:v1:'+alice['id']).strip())
|
||||
check(0<ttl<=300,'Redis profile cache missing TTL')
|
||||
compose('exec','-T','redis','redis-cli','FLUSHDB')
|
||||
c.call('GET','/api/v1/users/me',actor=alice)
|
||||
record('Redis profile cache TTL and recovery after flush')
|
||||
try:
|
||||
compose('stop','redis')
|
||||
start=time.monotonic()
|
||||
c.call('GET','/api/v1/users/me',actor=alice)
|
||||
c.call('GET','/health/ready')
|
||||
check(time.monotonic()-start<10,'Redis fallback exceeded budget')
|
||||
c.call('DELETE','/api/v1/auth/sessions/current',204,actor=alice)
|
||||
c.call('GET','/api/v1/users/me',401,actor=alice)
|
||||
record('Redis unavailable: SQL fallback; logout still effective')
|
||||
finally: compose('start','redis')
|
||||
try:
|
||||
compose('stop','postgres')
|
||||
start=time.monotonic()
|
||||
c.call('GET','/api/v1/users/me',503,actor=bob)
|
||||
c.call('GET','/health/ready',503)
|
||||
c.call('GET','/health/live',200)
|
||||
check(time.monotonic()-start<15,'Postgres failure exceeded budget')
|
||||
record('Postgres unavailable: bounded 503, liveness 200')
|
||||
finally: compose('start','postgres'); wait()
|
||||
# Same token must work after the failure.
|
||||
c.call('GET','/api/v1/users/me',actor=bob)
|
||||
from urllib.parse import quote
|
||||
c.message(bob,chat,'cursor persistence A')
|
||||
c.message(bob,chat,'cursor persistence B')
|
||||
page=c.call('GET','/api/v1/chats/'+chat['id']+'/messages?limit=1',actor=bob,schema='MessagePage')['json']
|
||||
next_path='/api/v1/chats/'+chat['id']+'/messages?limit=1&cursor='+quote(page['next_cursor'],safe='')
|
||||
expected=c.call('GET',next_path,actor=bob,schema='MessagePage')['json']
|
||||
run_public('resilience.py','--mode','persistence','--action-script',('scripts/restart_windows.cmd' if os.name=='nt' else 'scripts/restart.sh'))
|
||||
actual=c.call('GET',next_path,actor=bob,schema='MessagePage')['json']
|
||||
check(actual==expected,'cursor became invalid or changed page after restart')
|
||||
record('existing signed cursor works across full restart')
|
||||
check(sql('SELECT count(*) FROM schema_migrations;')=='1','migration repeated')
|
||||
record('migration repeated safely across full restart')
|
||||
try:
|
||||
env=dict(os.environ,SESSION_TTL_SECONDS='2')
|
||||
compose('up','-d','--no-deps','--force-recreate','api',env=env); wait()
|
||||
short=Client(BASE).user('expiry')
|
||||
time.sleep(3)
|
||||
c.call('GET','/api/v1/users/me',401,actor=short)
|
||||
record('SESSION_TTL_SECONDS=2 expires without logout')
|
||||
finally:
|
||||
compose('up','-d','--no-deps','--force-recreate','api'); wait()
|
||||
plan=sql((ROOT/'scripts/explain.sql').read_text(encoding='utf-8'))
|
||||
(EVIDENCE/'explain.txt').write_text(plan+'\n',encoding='utf-8')
|
||||
check('ix_messages_history' in plan and 'Index' in plan,'history index not selected; inspect explain.txt')
|
||||
record('EXPLAIN ANALYZE BUFFERS: indexed deep page on 10000 rows')
|
||||
(EVIDENCE/'acceptance.json').write_text(json.dumps({'passed':results,'completed':True},indent=2))
|
||||
print('ALL CHECKS PASSED. Evidence saved. Keep it for REPORT.md.')
|
||||
|
||||
if __name__=='__main__':
|
||||
try: main()
|
||||
except subprocess.CalledProcessError as ex:
|
||||
# Build logs may be useful, but dependency commands may contain private values.
|
||||
print('FAIL: external command failed (exit '+str(ex.returncode)+'). Inspect docker compose logs locally.',file=sys.stderr)
|
||||
sys.exit(1)
|
||||
except Exception as ex:
|
||||
print('FAIL: '+str(ex),file=sys.stderr); sys.exit(1)
|
||||
@@ -0,0 +1,9 @@
|
||||
#!/usr/bin/env python3
|
||||
import time, urllib.request
|
||||
for attempt in range(90):
|
||||
try:
|
||||
with urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=4) as r:
|
||||
if r.status==200: print('Ready'); break
|
||||
except (OSError, TimeoutError): pass
|
||||
time.sleep(1)
|
||||
else: raise SystemExit('API did not become ready')
|
||||
@@ -0,0 +1,52 @@
|
||||
using System.Diagnostics;
|
||||
using System.Text.Json;
|
||||
using Messenger.Domain;
|
||||
namespace Messenger.Api;
|
||||
|
||||
public sealed class ApiMiddleware(RequestDelegate next, ILogger<ApiMiddleware> logger)
|
||||
{
|
||||
public async Task InvokeAsync(HttpContext ctx, IHostApplicationLifetime life)
|
||||
{
|
||||
var requestId = Guid.NewGuid().ToString("N");
|
||||
ctx.Response.Headers["X-Request-Id"] = requestId;
|
||||
var started = Stopwatch.GetTimestamp();
|
||||
try
|
||||
{
|
||||
if (life.ApplicationStopping.IsCancellationRequested)
|
||||
throw new ApiException(503, "unavailable", "Stopping.");
|
||||
await next(ctx);
|
||||
}
|
||||
catch (ApiException ex) { await Error(ctx, ex.Status, ex.Code, ex.Message, requestId); }
|
||||
catch (Exception ex) when (ex is Npgsql.NpgsqlException or TimeoutException)
|
||||
{
|
||||
logger.LogWarning("Database unavailable; request_id={RequestId}", requestId);
|
||||
await Error(ctx,503,"unavailable","Storage temporarily unavailable.",requestId);
|
||||
}
|
||||
catch (JsonException) { await Error(ctx, 400, "invalid_request", "Invalid JSON.", requestId); }
|
||||
catch (BadHttpRequestException ex)
|
||||
{
|
||||
var large = ex.StatusCode == 413;
|
||||
await Error(ctx, large ? 413 : 400, large ? "payload_too_large" : "invalid_request", "Invalid request body.", requestId);
|
||||
}
|
||||
catch (OperationCanceledException) when (ctx.RequestAborted.IsCancellationRequested) { }
|
||||
catch (Exception ex)
|
||||
{
|
||||
// Exception messages can contain input. Log only the type, not the body/stack.
|
||||
logger.LogError("Unhandled {ExceptionType}; request_id={RequestId}", ex.GetType().Name, requestId);
|
||||
await Error(ctx, 500, "internal_error", "Internal server error.", requestId);
|
||||
}
|
||||
finally
|
||||
{
|
||||
var route = (ctx.GetEndpoint() as RouteEndpoint)?.RoutePattern.RawText ?? "unmatched";
|
||||
logger.LogInformation("HTTP {Method} {Route} status={Status} elapsed_ms={Elapsed:F2} request_id={RequestId}",
|
||||
ctx.Request.Method, route, ctx.Response.StatusCode, Stopwatch.GetElapsedTime(started).TotalMilliseconds, requestId);
|
||||
}
|
||||
}
|
||||
private static Task Error(HttpContext ctx, int status, string code, string message, string id)
|
||||
{
|
||||
ctx.Response.StatusCode = status;
|
||||
if(status==401) ctx.Response.Headers.WWWAuthenticate = ctx.Request.Path == "/api/v1/auth/sessions"
|
||||
? "Basic realm=\"messenger\", charset=\"UTF-8\"" : "Bearer realm=\"messenger\"";
|
||||
return ctx.Response.WriteAsJsonAsync(new { error = new { code, message, request_id = id } });
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,16 @@
|
||||
using Messenger.Domain;
|
||||
using Messenger.Storage;
|
||||
namespace Messenger.Api;
|
||||
public interface ICurrentUser { Task<User> RequireAsync(HttpContext context); }
|
||||
public sealed class BearerCurrentUser(Sessions sessions):ICurrentUser
|
||||
{
|
||||
public static string Token(HttpContext ctx)
|
||||
{
|
||||
var h=ctx.Request.Headers.Authorization;
|
||||
if(h.Count!=1 || !h[0]!.StartsWith("Bearer ",StringComparison.OrdinalIgnoreCase)) throw ApiException.Unauthorized();
|
||||
var token=h[0]![7..];
|
||||
if(token.Length is <1 or >256 || token.Any(char.IsWhiteSpace)) throw ApiException.Unauthorized();
|
||||
return token;
|
||||
}
|
||||
public Task<User> RequireAsync(HttpContext context)=>sessions.Require(Token(context));
|
||||
}
|
||||
@@ -0,0 +1,78 @@
|
||||
using Messenger.Domain;
|
||||
using Messenger.Storage;
|
||||
namespace Messenger.Api;
|
||||
|
||||
public static class Endpoints
|
||||
{
|
||||
public static void MapMessenger(this WebApplication app)
|
||||
{
|
||||
app.MapGet("/health/live", () => Results.Ok(new { status = "ok" }));
|
||||
app.MapGet("/health/ready", async (IHostApplicationLifetime life, Npgsql.NpgsqlDataSource db) =>
|
||||
{
|
||||
if (life.ApplicationStopping.IsCancellationRequested) throw new ApiException(503, "unavailable", "Stopping.");
|
||||
await using var cmd = db.CreateCommand("SELECT 1");
|
||||
await cmd.ExecuteScalarAsync();
|
||||
return Results.Ok(new { status = "ok" });
|
||||
});
|
||||
app.MapPost("/api/v1/users", async (HttpContext ctx, IMessengerStore store) =>
|
||||
{
|
||||
using var body = await Input.Body(ctx.Request, "username", "display_name", "password");
|
||||
var user = await store.CreateUserAsync(Input.Username(body.RootElement), Input.Text(body.RootElement, "display_name", 100), Input.Password(body.RootElement));
|
||||
return Results.Json(user, statusCode: 201);
|
||||
});
|
||||
app.MapPost("/api/v1/auth/sessions", async (HttpContext ctx, Sessions sessions) =>
|
||||
{
|
||||
if (ctx.Request.ContentLength > 0 || ctx.Request.Headers.ContainsKey("Transfer-Encoding")) throw ApiException.Invalid();
|
||||
var h=ctx.Request.Headers.Authorization;
|
||||
if(h.Count!=1 || !h[0]!.StartsWith("Basic ",StringComparison.OrdinalIgnoreCase)) throw ApiException.Unauthorized();
|
||||
string credentials;
|
||||
try { credentials=new System.Text.UTF8Encoding(false,true).GetString(Convert.FromBase64String(h[0]![6..])); }
|
||||
catch(Exception ex) when(ex is FormatException or System.Text.DecoderFallbackException) { throw ApiException.Unauthorized(); }
|
||||
var colon=credentials.IndexOf(':');
|
||||
if(colon<0 || credentials.Length>1024) throw ApiException.Unauthorized();
|
||||
var username=credentials[..colon]; var password=credentials[(colon+1)..];
|
||||
if(password.EnumerateRunes().Count() is <12 or >128) throw ApiException.Unauthorized();
|
||||
return Results.Json(await sessions.Login(username,password),statusCode:201);
|
||||
});
|
||||
app.MapDelete("/api/v1/auth/sessions/current", async (HttpContext ctx, ICurrentUser current, Sessions sessions) =>
|
||||
{
|
||||
await current.RequireAsync(ctx);
|
||||
await sessions.Revoke(BearerCurrentUser.Token(ctx));
|
||||
return Results.NoContent();
|
||||
});
|
||||
app.MapGet("/api/v1/users/me", async (HttpContext ctx, ICurrentUser current) => Results.Ok(await current.RequireAsync(ctx)));
|
||||
app.MapPost("/api/v1/chats", async (HttpContext ctx, ICurrentUser current, IMessengerStore store) =>
|
||||
{
|
||||
var actor = await current.RequireAsync(ctx);
|
||||
using var body = await Input.Body(ctx.Request, "title", "member_ids");
|
||||
var chat = await store.CreateChatAsync(actor.Id, Input.Text(body.RootElement, "title", 100), Input.Members(body.RootElement));
|
||||
return Results.Json(chat, statusCode: 201);
|
||||
});
|
||||
app.MapGet("/api/v1/chats", async (HttpContext ctx, ICurrentUser current, IMessengerStore store) =>
|
||||
{
|
||||
var actor = await current.RequireAsync(ctx);
|
||||
return Results.Ok(await store.ListChatsAsync(actor.Id, Input.Page(ctx.Request)));
|
||||
});
|
||||
app.MapGet("/api/v1/chats/{chat_id}", async (string chat_id, HttpContext ctx, ICurrentUser current, IMessengerStore store) =>
|
||||
{
|
||||
var actor = await current.RequireAsync(ctx);
|
||||
return Results.Ok(await store.GetChatAsync(actor.Id, Input.Id(chat_id)));
|
||||
});
|
||||
app.MapGet("/api/v1/chats/{chat_id}/messages", async (string chat_id, HttpContext ctx, ICurrentUser current, IMessengerStore store) =>
|
||||
{
|
||||
var actor = await current.RequireAsync(ctx);
|
||||
var id = Input.Id(chat_id);
|
||||
await store.GetChatAsync(actor.Id, id); // Access before parsing query.
|
||||
return Results.Ok(await store.ListMessagesAsync(actor.Id, id, Input.Page(ctx.Request)));
|
||||
});
|
||||
app.MapPost("/api/v1/chats/{chat_id}/messages", async (string chat_id, HttpContext ctx, ICurrentUser current, IMessengerStore store) =>
|
||||
{
|
||||
var actor = await current.RequireAsync(ctx);
|
||||
var id = Input.Id(chat_id);
|
||||
await store.GetChatAsync(actor.Id, id); // A stranger must not learn anything from body validation.
|
||||
using var body = await Input.Body(ctx.Request, "text");
|
||||
return Results.Json(await store.AddMessageAsync(actor.Id, id, Input.Text(body.RootElement, "text", 4000)), statusCode: 201);
|
||||
});
|
||||
app.MapFallback((HttpContext _) => Task.FromException(ApiException.NotFound()));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,95 @@
|
||||
using System.Globalization;
|
||||
using System.Text;
|
||||
using System.Text.Json;
|
||||
using System.Text.RegularExpressions;
|
||||
using Messenger.Domain;
|
||||
namespace Messenger.Api;
|
||||
|
||||
public static class Input
|
||||
{
|
||||
public static async Task<JsonDocument> Body(HttpRequest request, params string[] fields)
|
||||
{
|
||||
if (!request.HasJsonContentType()) throw new ApiException(415, "unsupported_media_type", "JSON required.");
|
||||
var doc = await JsonDocument.ParseAsync(request.Body, cancellationToken: request.HttpContext.RequestAborted);
|
||||
try
|
||||
{
|
||||
if (doc.RootElement.ValueKind != JsonValueKind.Object) throw ApiException.Invalid();
|
||||
var seen = new HashSet<string>(StringComparer.Ordinal);
|
||||
foreach (var property in doc.RootElement.EnumerateObject())
|
||||
if (!fields.Contains(property.Name) || !seen.Add(property.Name)) throw ApiException.Invalid();
|
||||
if (seen.Count != fields.Length) throw ApiException.Invalid();
|
||||
return doc;
|
||||
}
|
||||
catch (InvalidOperationException) { doc.Dispose(); throw ApiException.Invalid(); }
|
||||
catch { doc.Dispose(); throw; }
|
||||
}
|
||||
public static string Text(JsonElement body, string name, int max)
|
||||
{
|
||||
var value = body.GetProperty(name);
|
||||
if (value.ValueKind != JsonValueKind.String) throw ApiException.Invalid();
|
||||
var text = String(value);
|
||||
if (string.IsNullOrWhiteSpace(text)) throw ApiException.Invalid();
|
||||
// string.Length counts UTF-16 units; an emoji usually occupies two units.
|
||||
var count = 0;
|
||||
var remaining = text.AsSpan();
|
||||
while (!remaining.IsEmpty)
|
||||
{
|
||||
if (Rune.DecodeFromUtf16(remaining, out _, out var consumed) != System.Buffers.OperationStatus.Done)
|
||||
throw ApiException.Invalid();
|
||||
count++;
|
||||
remaining = remaining[consumed..];
|
||||
}
|
||||
if (count > max) throw ApiException.Invalid();
|
||||
return text;
|
||||
}
|
||||
private static string String(JsonElement value)
|
||||
{
|
||||
// System.Text.Json can defer UTF-8/surrogate validation until GetString.
|
||||
try { return value.GetString()!; }
|
||||
catch (InvalidOperationException) { throw ApiException.Invalid(); }
|
||||
}
|
||||
public static string Password(JsonElement body)
|
||||
{
|
||||
var value=Text(body,"password",128);
|
||||
if(value.EnumerateRunes().Count()<12) throw ApiException.Invalid();
|
||||
return value;
|
||||
}
|
||||
public static string Username(JsonElement body)
|
||||
{
|
||||
var name = Text(body, "username", 32);
|
||||
if (!Regex.IsMatch(name, @"\A[a-z0-9_]{3,32}\z", RegexOptions.CultureInvariant)) throw ApiException.Invalid();
|
||||
return name;
|
||||
}
|
||||
public static Guid Id(string? raw)
|
||||
{
|
||||
if (!Guid.TryParseExact(raw, "D", out var id)) throw ApiException.Invalid();
|
||||
return id;
|
||||
}
|
||||
public static IReadOnlyList<Guid> Members(JsonElement body)
|
||||
{
|
||||
var value = body.GetProperty("member_ids");
|
||||
if (value.ValueKind != JsonValueKind.Array || value.GetArrayLength() is < 1 or > 100) throw ApiException.Invalid();
|
||||
var ids = new List<Guid>();
|
||||
foreach (var item in value.EnumerateArray())
|
||||
{
|
||||
if (item.ValueKind != JsonValueKind.String) throw ApiException.Invalid();
|
||||
ids.Add(Id(String(item)));
|
||||
}
|
||||
if (ids.Distinct().Count() != ids.Count) throw ApiException.Invalid();
|
||||
return ids;
|
||||
}
|
||||
public static PageRequest Page(HttpRequest request)
|
||||
{
|
||||
var limit = 50;
|
||||
if (request.Query.TryGetValue("limit", out var value))
|
||||
if (value.Count != 1 || !int.TryParse(value[0], NumberStyles.None, CultureInfo.InvariantCulture, out limit)
|
||||
|| limit is < 1 or > 100) throw ApiException.Invalid();
|
||||
string? cursor = null;
|
||||
if (request.Query.TryGetValue("cursor", out var c))
|
||||
{
|
||||
if (c.Count != 1 || string.IsNullOrEmpty(c[0])) throw ApiException.Invalid();
|
||||
cursor = c[0];
|
||||
}
|
||||
return new PageRequest(limit, cursor);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
namespace Messenger.Domain;
|
||||
|
||||
public interface IOrderedEntity
|
||||
{
|
||||
Guid Id { get; }
|
||||
DateTime CreatedAt { get; }
|
||||
}
|
||||
public sealed record User(Guid Id, string Username, string DisplayName, DateTime CreatedAt) : IOrderedEntity;
|
||||
public sealed record Chat(Guid Id, string Title, IReadOnlyList<Guid> MemberIds, DateTime CreatedAt) : IOrderedEntity;
|
||||
public sealed record Message(Guid Id, Guid ChatId, Guid SenderId, string Text, DateTime CreatedAt) : IOrderedEntity;
|
||||
public sealed record Page<T>(IReadOnlyList<T> Items, string? NextCursor);
|
||||
public sealed record PageRequest(int Limit, string? Cursor);
|
||||
|
||||
// Business failures carry stable API codes, never exception details or user text.
|
||||
public sealed class ApiException(int status, string code, string message) : Exception(message)
|
||||
{
|
||||
public int Status { get; } = status;
|
||||
public string Code { get; } = code;
|
||||
public static ApiException Invalid() => new(400, "invalid_request", "Invalid request.");
|
||||
public static ApiException Unauthorized() => new(401, "unauthorized", "User identification required.");
|
||||
public static ApiException NotFound() => new(404, "not_found", "Object not found.");
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk.Web">
|
||||
<PropertyGroup>
|
||||
<TargetFramework>net10.0</TargetFramework>
|
||||
<Nullable>enable</Nullable>
|
||||
<ImplicitUsings>enable</ImplicitUsings>
|
||||
<TreatWarningsAsErrors>true</TreatWarningsAsErrors>
|
||||
<RestorePackagesWithLockFile>true</RestorePackagesWithLockFile>
|
||||
</PropertyGroup>
|
||||
<ItemGroup>
|
||||
<PackageReference Include="Npgsql" Version="9.0.4" />
|
||||
<PackageReference Include="StackExchange.Redis" Version="2.8.31" />
|
||||
<PackageReference Include="Konscious.Security.Cryptography.Argon2" Version="1.3.1" />
|
||||
<Content Include="Migrations/*.sql" CopyToOutputDirectory="PreserveNewest" />
|
||||
</ItemGroup>
|
||||
</Project>
|
||||
@@ -0,0 +1,23 @@
|
||||
CREATE TABLE users (
|
||||
id uuid PRIMARY KEY, username text NOT NULL UNIQUE CHECK (username ~ '^[a-z0-9_]{3,32}$'),
|
||||
display_name text NOT NULL CHECK (char_length(display_name) BETWEEN 1 AND 100),
|
||||
password_hash text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp()
|
||||
);
|
||||
CREATE TABLE chats (id uuid PRIMARY KEY, title text NOT NULL, created_at timestamptz NOT NULL DEFAULT clock_timestamp());
|
||||
CREATE TABLE chat_members (
|
||||
chat_id uuid NOT NULL REFERENCES chats(id), user_id uuid NOT NULL REFERENCES users(id),
|
||||
PRIMARY KEY(chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX ix_members_user ON chat_members(user_id,chat_id);
|
||||
CREATE INDEX ix_chats_order ON chats(created_at,id);
|
||||
CREATE TABLE messages (
|
||||
id uuid PRIMARY KEY, chat_id uuid NOT NULL REFERENCES chats(id), sender_id uuid NOT NULL,
|
||||
text text NOT NULL CHECK (char_length(text) BETWEEN 1 AND 4000),
|
||||
created_at timestamptz NOT NULL DEFAULT clock_timestamp(),
|
||||
FOREIGN KEY(chat_id,sender_id) REFERENCES chat_members(chat_id,user_id)
|
||||
);
|
||||
CREATE INDEX ix_messages_history ON messages(chat_id,created_at,id);
|
||||
CREATE TABLE sessions (
|
||||
token_hash text PRIMARY KEY, user_id uuid NOT NULL REFERENCES users(id), expires_at timestamptz NOT NULL
|
||||
);
|
||||
CREATE INDEX ix_sessions_expiry ON sessions(expires_at);
|
||||
@@ -0,0 +1,54 @@
|
||||
using System.Text.Json;
|
||||
using Messenger;
|
||||
using Npgsql;
|
||||
using StackExchange.Redis;
|
||||
using Messenger.Api;
|
||||
using Messenger.Storage;
|
||||
|
||||
// A built-in health probe avoids installing curl and extra packages into runtime.
|
||||
if (args.Contains("--healthcheck"))
|
||||
{
|
||||
try
|
||||
{
|
||||
using var client = new HttpClient { Timeout = TimeSpan.FromSeconds(2) };
|
||||
var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080";
|
||||
var response = await client.GetAsync($"http://127.0.0.1:{port}/health/ready");
|
||||
return response.IsSuccessStatusCode ? 0 : 1;
|
||||
}
|
||||
catch { return 1; }
|
||||
}
|
||||
var builder = WebApplication.CreateBuilder(args);
|
||||
var host = builder.Configuration["APP_HOST"] ?? "0.0.0.0";
|
||||
var portText = builder.Configuration["APP_PORT"] ?? "8080";
|
||||
if (!int.TryParse(portText, out var appPort) || appPort is < 1 or > 65535)
|
||||
throw new InvalidOperationException("APP_PORT must be 1..65535.");
|
||||
builder.WebHost.UseUrls($"http://{host}:{appPort}");
|
||||
builder.WebHost.ConfigureKestrel(options => options.Limits.MaxRequestBodySize = 1024 * 1024);
|
||||
builder.Services.Configure<HostOptions>(options => options.ShutdownTimeout = TimeSpan.FromSeconds(5));
|
||||
builder.Services.ConfigureHttpJsonOptions(options => options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower);
|
||||
builder.Logging.ClearProviders();
|
||||
builder.Logging.AddJsonConsole();
|
||||
builder.Logging.AddFilter("Microsoft.AspNetCore", LogLevel.Warning);
|
||||
builder.Services.AddSingleton<CursorCodec>();
|
||||
var connection = new NpgsqlConnectionStringBuilder(Settings.Secret("DATABASE_URL"))
|
||||
{ MaxPoolSize=20, Timeout=3, CommandTimeout=3, IncludeErrorDetail=false };
|
||||
builder.Services.AddSingleton(NpgsqlDataSource.Create(connection.ConnectionString));
|
||||
var redisOptions=ConfigurationOptions.Parse(Settings.Secret("CACHE_URL"));
|
||||
redisOptions.AbortOnConnectFail=false;
|
||||
redisOptions.ConnectTimeout=1000;
|
||||
redisOptions.AsyncTimeout=1000;
|
||||
redisOptions.ConnectRetry=0;
|
||||
redisOptions.BacklogPolicy=BacklogPolicy.FailFast;
|
||||
builder.Services.AddSingleton<IConnectionMultiplexer>(await ConnectionMultiplexer.ConnectAsync(redisOptions));
|
||||
builder.Services.AddSingleton<Passwords>();
|
||||
builder.Services.AddSingleton<Sessions>();
|
||||
builder.Services.AddSingleton<IMessengerStore, PostgresMessengerStore>();
|
||||
builder.Services.AddSingleton<ICurrentUser, BearerCurrentUser>();
|
||||
var app = builder.Build();
|
||||
await Migrations.Apply(app.Services.GetRequiredService<NpgsqlDataSource>());
|
||||
_ = app.Services.GetRequiredService<Sessions>(); // validate TTL before accepting traffic
|
||||
app.UseMiddleware<ApiMiddleware>();
|
||||
app.MapMessenger();
|
||||
app.Logger.LogInformation("Messenger starting; app_env={Environment}", builder.Configuration["APP_ENV"] ?? "lab");
|
||||
await app.RunAsync();
|
||||
return 0;
|
||||
@@ -0,0 +1,7 @@
|
||||
namespace Messenger;
|
||||
public static class Settings
|
||||
{
|
||||
public static string Secret(string name) => Environment.GetEnvironmentVariable(name + "_FILE") is { } file
|
||||
? File.ReadAllText(file).Trim() : Environment.GetEnvironmentVariable(name)
|
||||
?? throw new InvalidOperationException($"Missing {name} configuration.");
|
||||
}
|
||||
@@ -0,0 +1,50 @@
|
||||
using System.Security.Cryptography;
|
||||
using System.Text;
|
||||
using Messenger.Domain;
|
||||
namespace Messenger.Storage;
|
||||
|
||||
public sealed class CursorCodec
|
||||
{
|
||||
// Same secret survives restarts and is shared by API replicas.
|
||||
private readonly byte[] key = Convert.FromBase64String(Settings.Secret("CURSOR_KEY"));
|
||||
|
||||
public string Encode(string scope, IOrderedEntity item)
|
||||
{
|
||||
var data = Encoding.UTF8.GetBytes($"{scope}|{item.CreatedAt.Ticks}|{item.Id:D}");
|
||||
return Convert.ToBase64String(data) + "." + Convert.ToBase64String(HMACSHA256.HashData(key, data));
|
||||
}
|
||||
|
||||
public (long Ticks, Guid Id) Decode(string cursor, string scope)
|
||||
{
|
||||
try
|
||||
{
|
||||
if (cursor.Length > 1024) throw ApiException.Invalid();
|
||||
var parts = cursor.Split('.');
|
||||
if (parts.Length != 2) throw ApiException.Invalid();
|
||||
var data = Convert.FromBase64String(parts[0]);
|
||||
var signature = Convert.FromBase64String(parts[1]);
|
||||
if (!CryptographicOperations.FixedTimeEquals(signature, HMACSHA256.HashData(key, data)))
|
||||
throw ApiException.Invalid();
|
||||
var fields = Encoding.UTF8.GetString(data).Split('|');
|
||||
if (fields.Length != 3 || fields[0] != scope || !long.TryParse(fields[1], out var ticks)
|
||||
|| ticks < DateTime.MinValue.Ticks || ticks > DateTime.MaxValue.Ticks
|
||||
|| !Guid.TryParseExact(fields[2], "D", out var id)) throw ApiException.Invalid();
|
||||
return (ticks, id);
|
||||
}
|
||||
catch (FormatException) { throw ApiException.Invalid(); }
|
||||
}
|
||||
|
||||
public Page<T> Read<T>(IEnumerable<T> source, string scope, PageRequest request) where T : IOrderedEntity
|
||||
{
|
||||
var ordered = source.OrderBy(x => x.CreatedAt).ThenBy(x => x.Id).AsEnumerable();
|
||||
if (request.Cursor is not null)
|
||||
{
|
||||
var after = Decode(request.Cursor, scope);
|
||||
ordered = ordered.Where(x => x.CreatedAt.Ticks > after.Ticks ||
|
||||
(x.CreatedAt.Ticks == after.Ticks && x.Id.CompareTo(after.Id) > 0));
|
||||
}
|
||||
var batch = ordered.Take(request.Limit + 1).ToArray();
|
||||
var items = batch.Take(request.Limit).ToArray();
|
||||
return new Page<T>(items, batch.Length > request.Limit ? Encode(scope, items[^1]) : null);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,15 @@
|
||||
using Messenger.Domain;
|
||||
namespace Messenger.Storage;
|
||||
|
||||
// Each method is one atomic operation. A future SQL implementation must preserve
|
||||
// these boundaries (including membership checks), not merely replace dictionaries.
|
||||
public interface IMessengerStore
|
||||
{
|
||||
Task<User> CreateUserAsync(string username, string displayName, string password);
|
||||
Task<User?> FindUserAsync(Guid id);
|
||||
Task<Chat> CreateChatAsync(Guid actor, string title, IReadOnlyList<Guid> members);
|
||||
Task<Chat> GetChatAsync(Guid actor, Guid chat);
|
||||
Task<Page<Chat>> ListChatsAsync(Guid actor, PageRequest page);
|
||||
Task<Message> AddMessageAsync(Guid actor, Guid chat, string text);
|
||||
Task<Page<Message>> ListMessagesAsync(Guid actor, Guid chat, PageRequest page);
|
||||
}
|
||||
@@ -0,0 +1,25 @@
|
||||
using Npgsql;
|
||||
namespace Messenger.Storage;
|
||||
public static class Migrations
|
||||
{
|
||||
public static async Task Apply(NpgsqlDataSource db)
|
||||
{
|
||||
await using var conn = await db.OpenConnectionAsync();
|
||||
await using var tx = await conn.BeginTransactionAsync();
|
||||
await using (var cmd = new NpgsqlCommand("SELECT pg_advisory_xact_lock(202602); CREATE TABLE IF NOT EXISTS schema_migrations(version text PRIMARY KEY, applied_at timestamptz NOT NULL DEFAULT now())", conn, tx))
|
||||
await cmd.ExecuteNonQueryAsync();
|
||||
foreach (var file in Directory.GetFiles(Path.Combine(AppContext.BaseDirectory, "Migrations"), "*.sql").Order())
|
||||
{
|
||||
var version = Path.GetFileName(file);
|
||||
await using var check = new NpgsqlCommand("SELECT count(*) FROM schema_migrations WHERE version=$1", conn, tx);
|
||||
check.Parameters.AddWithValue(version);
|
||||
if ((long)(await check.ExecuteScalarAsync())! != 0) continue;
|
||||
await using var migration = new NpgsqlCommand(await File.ReadAllTextAsync(file), conn, tx);
|
||||
await migration.ExecuteNonQueryAsync();
|
||||
await using var mark = new NpgsqlCommand("INSERT INTO schema_migrations(version) VALUES ($1)", conn, tx);
|
||||
mark.Parameters.AddWithValue(version);
|
||||
await mark.ExecuteNonQueryAsync();
|
||||
}
|
||||
await tx.CommitAsync();
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,35 @@
|
||||
using System.Security.Cryptography;
|
||||
using System.Text;
|
||||
using Konscious.Security.Cryptography;
|
||||
namespace Messenger.Storage;
|
||||
public sealed class Passwords
|
||||
{
|
||||
// Bound concurrent memory consumption: 2 * 64 MiB; reject overload, don't queue forever.
|
||||
private readonly SemaphoreSlim gate = new(2);
|
||||
private static async Task<byte[]> Derive(string password, byte[] salt)
|
||||
{
|
||||
using var kdf = new Argon2id(Encoding.UTF8.GetBytes(password))
|
||||
{ Salt = salt, MemorySize = 65536, Iterations = 3, DegreeOfParallelism = 2 };
|
||||
return await kdf.GetBytesAsync(32);
|
||||
}
|
||||
private async Task<byte[]> Bounded(string password, byte[] salt)
|
||||
{
|
||||
if (!await gate.WaitAsync(TimeSpan.FromSeconds(2)))
|
||||
throw new Domain.ApiException(503, "unavailable", "Authentication busy.");
|
||||
try { return await Derive(password, salt); }
|
||||
finally { gate.Release(); }
|
||||
}
|
||||
public async Task<string> Hash(string password)
|
||||
{
|
||||
var salt = RandomNumberGenerator.GetBytes(16);
|
||||
return "argon2id-v1$" + Convert.ToBase64String(salt) + "$" + Convert.ToBase64String(await Bounded(password, salt));
|
||||
}
|
||||
public async Task<bool> Verify(string password, string? encoded)
|
||||
{
|
||||
// Unknown users still perform the same expensive KDF.
|
||||
var fields = encoded?.Split('$');
|
||||
var salt = fields is null ? new byte[16] : Convert.FromBase64String(fields[1]);
|
||||
var actual = await Bounded(password, salt);
|
||||
return fields is not null && CryptographicOperations.FixedTimeEquals(actual, Convert.FromBase64String(fields[2]));
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,118 @@
|
||||
using Messenger.Domain;
|
||||
using Npgsql;
|
||||
using StackExchange.Redis;
|
||||
using System.Text.Json;
|
||||
namespace Messenger.Storage;
|
||||
|
||||
public sealed class PostgresMessengerStore(NpgsqlDataSource db, CursorCodec cursors, Passwords passwords,
|
||||
IConnectionMultiplexer redis, ILogger<PostgresMessengerStore> logger) : IMessengerStore
|
||||
{
|
||||
internal static NpgsqlCommand Command(NpgsqlConnection conn, string sql, params object[] args)
|
||||
{
|
||||
var cmd = new NpgsqlCommand(sql, conn);
|
||||
foreach (var arg in args) cmd.Parameters.AddWithValue(arg);
|
||||
return cmd;
|
||||
}
|
||||
internal static User UserRow(NpgsqlDataReader r) => new(r.GetGuid(0), r.GetString(1), r.GetString(2), r.GetDateTime(3));
|
||||
public async Task<User> CreateUserAsync(string username, string displayName, string password)
|
||||
{
|
||||
var hash = await passwords.Hash(password);
|
||||
await using var conn = await db.OpenConnectionAsync();
|
||||
await using var cmd = Command(conn, "INSERT INTO users(id,username,display_name,password_hash) VALUES($1,$2,$3,$4) RETURNING id,username,display_name,created_at", Guid.NewGuid(), username, displayName, hash);
|
||||
try { await using var r = await cmd.ExecuteReaderAsync(); await r.ReadAsync(); return UserRow(r); }
|
||||
catch (PostgresException ex) when (ex.SqlState == "23505")
|
||||
{ throw new ApiException(409,"conflict","Username is already used."); }
|
||||
}
|
||||
public async Task<User?> FindUserAsync(Guid id)
|
||||
{
|
||||
var cache = redis.GetDatabase();
|
||||
var key = "profile:v1:" + id;
|
||||
try
|
||||
{
|
||||
var value = await cache.StringGetAsync(key);
|
||||
if (value.HasValue && JsonSerializer.Deserialize<User>(value.ToString()) is { } cached && cached.Id == id) return cached;
|
||||
}
|
||||
catch (Exception ex) when (ex is RedisException or TimeoutException or JsonException)
|
||||
{ logger.LogWarning("Profile cache read unavailable; fallback to PostgreSQL"); }
|
||||
await using var conn = await db.OpenConnectionAsync();
|
||||
await using var cmd = Command(conn, "SELECT id,username,display_name,created_at FROM users WHERE id=$1", id);
|
||||
await using var r = await cmd.ExecuteReaderAsync();
|
||||
var user = await r.ReadAsync() ? UserRow(r) : null;
|
||||
if (user is not null)
|
||||
{
|
||||
try { await cache.StringSetAsync(key, JsonSerializer.Serialize(user), TimeSpan.FromMinutes(5)); }
|
||||
catch (Exception ex) when (ex is RedisException or TimeoutException)
|
||||
{ logger.LogWarning("Profile cache write unavailable"); }
|
||||
}
|
||||
return user;
|
||||
}
|
||||
public async Task<Chat> CreateChatAsync(Guid actor, string title, IReadOnlyList<Guid> members)
|
||||
{
|
||||
if (!members.Contains(actor) || members.Distinct().Count()!=members.Count) throw ApiException.Invalid();
|
||||
await using var conn = await db.OpenConnectionAsync();
|
||||
await using var tx = await conn.BeginTransactionAsync();
|
||||
var id = Guid.NewGuid();
|
||||
// Intentionally insert parent first: unknown member must roll back this row too.
|
||||
await using var insert = Command(conn, "INSERT INTO chats(id,title) VALUES($1,$2) RETURNING created_at", id,title);
|
||||
var created = (DateTime)(await insert.ExecuteScalarAsync())!;
|
||||
try
|
||||
{
|
||||
foreach (var member in members)
|
||||
{
|
||||
await using var cmd = Command(conn,"INSERT INTO chat_members(chat_id,user_id) VALUES($1,$2)",id,member);
|
||||
await cmd.ExecuteNonQueryAsync();
|
||||
}
|
||||
await tx.CommitAsync();
|
||||
}
|
||||
catch (PostgresException ex) when (ex.SqlState == "23503") { throw ApiException.Invalid(); }
|
||||
return new Chat(id,title,members.Order().ToArray(),created);
|
||||
}
|
||||
private const string ChatSelect = "SELECT c.id,c.title,c.created_at,ARRAY(SELECT user_id FROM chat_members WHERE chat_id=c.id ORDER BY user_id) FROM chats c ";
|
||||
private static Chat ChatRow(NpgsqlDataReader r) => new(r.GetGuid(0),r.GetString(1),r.GetFieldValue<Guid[]>(3),r.GetDateTime(2));
|
||||
public async Task<Chat> GetChatAsync(Guid actor, Guid chat)
|
||||
{
|
||||
await using var conn = await db.OpenConnectionAsync();
|
||||
await using var cmd = Command(conn,ChatSelect+"WHERE c.id=$1 AND EXISTS(SELECT 1 FROM chat_members WHERE chat_id=c.id AND user_id=$2)",chat,actor);
|
||||
await using var r = await cmd.ExecuteReaderAsync();
|
||||
return await r.ReadAsync() ? ChatRow(r) : throw ApiException.NotFound();
|
||||
}
|
||||
private (DateTime, Guid) After(PageRequest page,string scope)
|
||||
{
|
||||
if (page.Cursor is null) return (DateTime.SpecifyKind(DateTime.MinValue,DateTimeKind.Utc),Guid.Empty);
|
||||
var (ticks,id)=cursors.Decode(page.Cursor,scope);
|
||||
return (new DateTime(ticks,DateTimeKind.Utc),id);
|
||||
}
|
||||
private Page<T> Finish<T>(List<T> rows,PageRequest page,string scope) where T:IOrderedEntity
|
||||
{
|
||||
var more=rows.Count>page.Limit;
|
||||
if(more) rows.RemoveAt(rows.Count-1);
|
||||
return new(rows,more?cursors.Encode(scope,rows[^1]):null);
|
||||
}
|
||||
public async Task<Page<Chat>> ListChatsAsync(Guid actor, PageRequest page)
|
||||
{
|
||||
var scope=$"chats:{actor:D}"; var (time,id)=After(page,scope);
|
||||
await using var conn=await db.OpenConnectionAsync();
|
||||
await using var cmd=Command(conn,ChatSelect+"WHERE EXISTS(SELECT 1 FROM chat_members WHERE chat_id=c.id AND user_id=$1) AND (c.created_at,c.id)>($2,$3) ORDER BY c.created_at,c.id LIMIT $4",actor,time,id,page.Limit+1);
|
||||
await using var r=await cmd.ExecuteReaderAsync(); var rows=new List<Chat>();
|
||||
while(await r.ReadAsync()) rows.Add(ChatRow(r));
|
||||
return Finish(rows,page,scope);
|
||||
}
|
||||
public async Task<Message> AddMessageAsync(Guid actor, Guid chat, string text)
|
||||
{
|
||||
await using var conn=await db.OpenConnectionAsync();
|
||||
await using var cmd=Command(conn,"INSERT INTO messages(id,chat_id,sender_id,text) SELECT $1,$2,$3,$4 WHERE EXISTS(SELECT 1 FROM chat_members WHERE chat_id=$2 AND user_id=$3) RETURNING id,chat_id,sender_id,text,created_at",Guid.NewGuid(),chat,actor,text);
|
||||
await using var r=await cmd.ExecuteReaderAsync();
|
||||
return await r.ReadAsync()?MessageRow(r):throw ApiException.NotFound();
|
||||
}
|
||||
private static Message MessageRow(NpgsqlDataReader r)=>new(r.GetGuid(0),r.GetGuid(1),r.GetGuid(2),r.GetString(3),r.GetDateTime(4));
|
||||
public async Task<Page<Message>> ListMessagesAsync(Guid actor, Guid chat, PageRequest page)
|
||||
{
|
||||
await GetChatAsync(actor,chat);
|
||||
var scope=$"messages:{chat:D}"; var(time,id)=After(page,scope);
|
||||
await using var conn=await db.OpenConnectionAsync();
|
||||
await using var cmd=Command(conn,"SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id=$1 AND (created_at,id)>($2,$3) ORDER BY created_at,id LIMIT $4",chat,time,id,page.Limit+1);
|
||||
await using var r=await cmd.ExecuteReaderAsync(); var rows=new List<Message>();
|
||||
while(await r.ReadAsync()) rows.Add(MessageRow(r));
|
||||
return Finish(rows,page,scope);
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,41 @@
|
||||
using System.Security.Cryptography;
|
||||
using System.Text;
|
||||
using Messenger.Domain;
|
||||
using Npgsql;
|
||||
namespace Messenger.Storage;
|
||||
public sealed class Sessions(NpgsqlDataSource db, Passwords passwords, IMessengerStore store, IConfiguration config)
|
||||
{
|
||||
private readonly int ttl = ReadTtl(config);
|
||||
private static int ReadTtl(IConfiguration config) => int.TryParse(config["SESSION_TTL_SECONDS"]??"3600",out var value) && value is >=1 and <=2592000
|
||||
?value:throw new InvalidOperationException("Invalid SESSION_TTL_SECONDS");
|
||||
public static string Digest(string token)=>Convert.ToHexString(SHA256.HashData(Encoding.UTF8.GetBytes(token)));
|
||||
public async Task<object> Login(string username,string password)
|
||||
{
|
||||
User? user=null; string? hash=null;
|
||||
await using(var conn=await db.OpenConnectionAsync())
|
||||
await using(var cmd=PostgresMessengerStore.Command(conn,"SELECT id,username,display_name,created_at,password_hash FROM users WHERE username=$1",username))
|
||||
await using(var r=await cmd.ExecuteReaderAsync())
|
||||
if(await r.ReadAsync()){user=PostgresMessengerStore.UserRow(r);hash=r.GetString(4);}
|
||||
if(!await passwords.Verify(password,hash) || user is null) throw ApiException.Unauthorized();
|
||||
var token=Convert.ToBase64String(RandomNumberGenerator.GetBytes(32));
|
||||
await using var c=await db.OpenConnectionAsync();
|
||||
await using var insert=PostgresMessengerStore.Command(c,"INSERT INTO sessions(token_hash,user_id,expires_at) VALUES($1,$2,clock_timestamp()+$3*interval '1 second') RETURNING expires_at",Digest(token),user.Id,ttl);
|
||||
var expires=(DateTime)(await insert.ExecuteScalarAsync())!;
|
||||
return new {token,token_type="Bearer",expires_at=expires,user};
|
||||
}
|
||||
public async Task<User> Require(string token)
|
||||
{
|
||||
Guid? id;
|
||||
await using(var conn=await db.OpenConnectionAsync())
|
||||
await using(var cmd=PostgresMessengerStore.Command(conn,"SELECT user_id FROM sessions WHERE token_hash=$1 AND expires_at>clock_timestamp()",Digest(token)))
|
||||
id=await cmd.ExecuteScalarAsync() as Guid?;
|
||||
if(id is null) throw ApiException.Unauthorized();
|
||||
return await store.FindUserAsync(id.Value)??throw ApiException.Unauthorized();
|
||||
}
|
||||
public async Task Revoke(string token)
|
||||
{
|
||||
await using var conn=await db.OpenConnectionAsync();
|
||||
await using var cmd=PostgresMessengerStore.Command(conn,"DELETE FROM sessions WHERE token_hash=$1",Digest(token));
|
||||
await cmd.ExecuteNonQueryAsync();
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,41 @@
|
||||
{
|
||||
"version": 1,
|
||||
"dependencies": {
|
||||
"net10.0": {
|
||||
"Konscious.Security.Cryptography.Argon2": {
|
||||
"type": "Direct",
|
||||
"requested": "[1.3.1, )",
|
||||
"resolved": "1.3.1",
|
||||
"contentHash": "T+OAGwzYYXftahpOxO7J4xA5K6urxwGnWQf3M+Jpi+76Azv/0T3M5SuN+h7/QvXuiqNw3ZEZ5QqVLI5ygDAylw==",
|
||||
"dependencies": {
|
||||
"Konscious.Security.Cryptography.Blake2": "1.1.1"
|
||||
}
|
||||
},
|
||||
"Npgsql": {
|
||||
"type": "Direct",
|
||||
"requested": "[9.0.4, )",
|
||||
"resolved": "9.0.4",
|
||||
"contentHash": "68BASXH0FAEuL/J4J0eRfYC8/3vzqQTmoW8zDzNf0JgaVxc7LZeEkS6jaG0ib3voFLxY5ZiCwJG+uQM+mzuu0Q=="
|
||||
},
|
||||
"StackExchange.Redis": {
|
||||
"type": "Direct",
|
||||
"requested": "[2.8.31, )",
|
||||
"resolved": "2.8.31",
|
||||
"contentHash": "RCHVQa9Zke8k0oBgJn1Yl6BuYy8i6kv+sdMObiH60nOwD6QvWAjxdDwOm+LO78E8WsGiPqgOuItkz98fPS6haQ==",
|
||||
"dependencies": {
|
||||
"Pipelines.Sockets.Unofficial": "2.2.8"
|
||||
}
|
||||
},
|
||||
"Konscious.Security.Cryptography.Blake2": {
|
||||
"type": "Transitive",
|
||||
"resolved": "1.1.1",
|
||||
"contentHash": "odwOyzj/J/lHJZNwFWJGU/LRecBShupAJ2S8TQqZfhUe9niHzu/voBYK5wuVKsvSpzbfupKQYZguVyIk1sgOkQ=="
|
||||
},
|
||||
"Pipelines.Sockets.Unofficial": {
|
||||
"type": "Transitive",
|
||||
"resolved": "2.2.8",
|
||||
"contentHash": "zG2FApP5zxSx6OcdJQLbZDk2AVlN2BNQD6MorwIfV6gVj0RRxWPEp2LXAxqDGZqeNV1Zp0BNPcNaey/GXmTdvQ=="
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,26 @@
|
||||
using Messenger.Storage;
|
||||
using Messenger.Domain;
|
||||
using Messenger.Api;
|
||||
using System.Security.Cryptography;
|
||||
using System.Text.Json;
|
||||
static void Check(bool condition,string label){if(!condition)throw new Exception(label);Console.WriteLine("PASS: "+label);}
|
||||
var passwords=new Passwords();
|
||||
var unicode=string.Concat(Enumerable.Repeat("🔑",90))+":пароль";
|
||||
var encoded=await passwords.Hash(unicode);
|
||||
Check(await passwords.Verify(unicode,encoded),"Argon2id verifies Unicode password >72 bytes");
|
||||
Check(!await passwords.Verify(unicode+"x",encoded),"Argon2id rejects changed suffix (no truncation)");
|
||||
Check(!await passwords.Verify(unicode,null),"unknown account rejected after KDF");
|
||||
Check(encoded!=await passwords.Hash(unicode),"random salt changes password hash");
|
||||
Environment.SetEnvironmentVariable("CURSOR_KEY",Convert.ToBase64String(RandomNumberGenerator.GetBytes(32)));
|
||||
var codec=new CursorCodec();
|
||||
var message=new Message(Guid.NewGuid(),Guid.NewGuid(),Guid.NewGuid(),"test",DateTime.UtcNow);
|
||||
var scope="messages:"+message.ChatId;
|
||||
var cursor=codec.Encode(scope,message);
|
||||
Check(new CursorCodec().Decode(cursor,scope)==(message.CreatedAt.Ticks,message.Id),"cursor survives codec recreation with same key");
|
||||
try{codec.Decode(cursor,"messages:"+Guid.NewGuid());throw new Exception("accepted wrong scope");}
|
||||
catch(ApiException ex){Check(ex.Status==400,"foreign chat cursor rejected");}
|
||||
try{codec.Decode("!"+cursor[1..],scope);throw new Exception("accepted corrupted cursor");}
|
||||
catch(ApiException ex){Check(ex.Status==400,"corrupt cursor rejected");}
|
||||
using var body=JsonDocument.Parse(JsonSerializer.Serialize(new {password=unicode}));
|
||||
Check(Input.Password(body.RootElement)==unicode,"password input counts Unicode code points");
|
||||
Console.WriteLine("Unit checks only: PostgreSQL, Redis and HTTP not tested here.");
|
||||
@@ -0,0 +1,4 @@
|
||||
<Project Sdk="Microsoft.NET.Sdk">
|
||||
<PropertyGroup><OutputType>Exe</OutputType><TargetFramework>net10.0</TargetFramework><ImplicitUsings>enable</ImplicitUsings><Nullable>enable</Nullable><TreatWarningsAsErrors>true</TreatWarningsAsErrors></PropertyGroup>
|
||||
<ItemGroup><ProjectReference Include="../../src/Messenger/Messenger.csproj" /></ItemGroup>
|
||||
</Project>
|
||||
Reference in New Issue
Block a user