Исправить U+0000 и гонку готовности PostgreSQL; добавить проверки
Application / application (pull_request) Canceled after 0s
Skeleton contracts / contracts (pull_request) Canceled after 0s

This commit is contained in:
2026-10-23 12:26:15 +03:00
parent 400e62ffdc
commit 01ecc8567e
20 changed files with 1123 additions and 717 deletions
+5 -1
View File
@@ -2,12 +2,16 @@
Автор: Майорова Софья, БВТ2301. Целевая оценка 5, трек 2 — план запроса и восстановление.
ЛР 1 отправлена: https://gitflic.ru/project/vmd/mtusi2026lab1/merge-request/140
Собственная реализация lab1 перенесена на PostgreSQL. Добавлены версионируемая миграция, PK/FK/UNIQUE, атомарное создание чата, ограниченный connection pool и таймауты. Регистрация использует scrypt, Basic выдаёт opaque Bearer-сессию; сессии с expiry и logout хранятся в PostgreSQL. Redis реально кэширует публичные профили с TTL; отказ кэша не отменяет проверку сессии в БД и не мешает работе.
Проверки: `make check validate`, `make test`, восемь собственных тестов, сохранность данных и прежнего токена после рестарта API/PostgreSQL/Redis, expiry=2 с, logout, неправильный пароль, гонка username, rollback, отказы Redis/PostgreSQL и восстановление. Найденный собственными тестами OOM при параллельном scrypt исправлен ограничением KDF, повторный тест проходит при прежнем лимите 256 MiB.
Проверки: `make check validate`, `make test`, девять собственных тестов, сохранность данных и прежнего токена после рестарта API/PostgreSQL/Redis, expiry=2 с, logout, неправильный пароль, гонка username, rollback, отказы Redis/PostgreSQL и восстановление. Найденный собственными тестами OOM при параллельном scrypt исправлен ограничением KDF, повторный тест проходит при прежнем лимите 256 MiB.
Исследование на 100000 сообщений в десяти чатах разного размера: два индекса, EXPLAIN ANALYZE BUFFERS, пять повторов чтения, три измерения записи с COMMIT и WAL. Backup восстановлен в другой PostgreSQL-контейнер на новом volume; количества, пять выбранных сообщений и SHA-256 всей истории совпали. Полные планы, результаты и ограничения — в `evidence/index-study.json` и `REPORT.md`.
Исправлены замечания ревью: U+0000 сохраняется без потерь в display_name/title/text через UTF-8 BYTEA и миграцию 002; девятый тест проверяет полный round trip, кэш и границы длины. Проверен полный restart с NUL-содержащими строками. Restore ожидает TCP-готовность финального PostgreSQL; три новых независимых volume восстановлены с полной сверкой 100000 сообщений и контрольной строкой с U+0000. Вывод в evidence/review-*.
Запуск из чистого clone: `python3 scripts/bootstrap.py`, `docker compose up -d --build --wait`, `make check test test-student`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-dependencies`, `make research`.
- [x] Минимум предыдущей работы сохранён с переходом на сессии.
+26 -18
View File
@@ -37,7 +37,7 @@ make validate PYTHON=.venv/bin/python
`Клиент → API → PostgreSQL`; Redis кэширует неизменяемые публичные профили `User`. PostgreSQL — источник истины для пользователей, чатов, участников, сообщений и сессий. История сообщений никогда не берётся из Redis: успешный COMMIT виден следующему чтению. Удаления/редактирования профилей в контракте нет, поэтому cache-aside профиля не нарушает read-after-write истории.
Схема в `migrations/001_initial.sql`:
Схема в `migrations/001_initial.sql`; миграция `002_unicode_nul.sql` сохраняет существующие строки и переводит display_name/title/text в UTF-8 BYTEA:
- `users`: UUID PK, UNIQUE username, display_name, scrypt hash, server timestamp.
- `chats`: UUID PK, title, created_at, last_message_at.
@@ -46,6 +46,8 @@ make validate PYTHON=.venv/bin/python
- `sessions`: PK SHA-256 случайного токена, FK user_id, expiry и индекс expiry. SHA-256 здесь индексирует высокоэнтропийный токен, **не пароль**.
- `schema_migrations`: применённые имена версий. Advisory transaction lock исключает одновременное применение миграции несколькими API.
PostgreSQL TEXT не поддерживает U+0000, хотя контракт допускает его в Unicode-строке. Три пользовательских поля хранятся как UTF-8 bytes в BYTEA, на границе API кодируются/декодируются без потерь. Python проверяет длину в code points (100/100/4000); ограничения БД дополнительно ограничивают UTF-8 размер 400/400/16000 байт. Username, password_hash и данные сессий остаются TEXT. Миграция конвертирует прежние строки через convert_to. [TEXT](https://www.postgresql.org/docs/17/datatype-character.html), [BYTEA](https://www.postgresql.org/docs/17/datatype-binary.html).
Создание чата, проверка всех участников и вставка членства — одна транзакция. Ошибка неизвестного участника после INSERT чата откатывает весь составной объект; собственный тест проверяет отсутствие даже невидимого orphan через SQL COUNT.
Запись сообщения и увеличение `last_message_at` — одна транзакция. UPDATE строки чата сериализует timestamp внутри чата; сервер выбирает max(часы, предыдущий timestamp + 1 мкс). Это сохраняет порядок keyset при конкурентных отправках и переводе часов назад. Уровень изоляции — PostgreSQL READ COMMITTED; snapshot между HTTP-страницами не обещается.
@@ -77,16 +79,16 @@ API ограничен 1 CPU / 256 MiB; PostgreSQL — 1 CPU / 512 MiB; Redis
## Доказательства критериев
Дополнительно выполнен чистый локальный `git clone` сдаваемого решения: сборка из клона и все применимые smoke/собственные тесты прошли. Для lab2 стенд создан на новом пустом volume, миграция применена один раз и persistence-сценарий пройден с прежним токеном. Вывод: `evidence/clean-clone.txt`.
После исправлений выполнен новый чистый локальный git clone, сборка и запуск на новом пустом volume. Применены обе миграции 001/002; публичный smoke и все девять собственных тестов проходят: `evidence/review-clean-clone.txt`. Первичный прогон до ревью сохранён в `evidence/clean-clone.txt`. Сохранность и отказы текущей версии дополнительно проверены: `evidence/review-persistence.txt`, `evidence/review-dependencies.txt`.
| Критерий | Команда / сценарий | Реальный результат | Файл |
| --- | --- | --- | --- |
| Offline / OpenAPI | `make check`, `make validate` | PASS | `evidence/check.txt`, `evidence/validation.txt` |
| Обязательный API | `make test` | PASS lab2 | `evidence/smoke.txt` |
| Негативные сценарии и Unicode | `make test-student` | 8 тестов, все PASS | `evidence/student-tests.txt` |
| Негативные сценарии и Unicode | `make test-student` | 9 тестов, все PASS, включая U+0000 | `evidence/review-tests.txt` |
| Конкурентные сообщения / cursor | тот же набор, 100 POST / 10 клиентов | 100 уникальных ID, без потерь | тот же файл |
| Гонка username | тот же набор | ровно один 201, девять 409 | тот же файл |
| FK/UNIQUE/миграции с нуля | первый `compose up`, повторные старты | таблицы созданы; версия 001 применена один раз | `migrations/001_initial.sql`, `evidence/runtime.json` |
| FK/UNIQUE/миграции с нуля | первый `compose up`, повторные старты | версии 001/002 применены; исследование создаёт схему с нуля | `migrations/`, `evidence/review-restore-runs.json` |
| Атомарность составного чата | `make test-dependencies`, SQL COUNT до/после | rollback, количество chats не изменилось | `evidence/dependencies.json` |
| Сохранность данных и прежнего токена | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS после рестарта API + PostgreSQL + Redis | `evidence/persistence.txt` |
| Реальность restart hook | сравнение StartedAt и volumes всех трёх services | процессы новые по времени старта, том PostgreSQL тот же | `evidence/restart-before.json`, `evidence/restart-after.json` |
@@ -103,18 +105,18 @@ API ограничен 1 CPU / 256 MiB; PostgreSQL — 1 CPU / 512 MiB; Redis
Гипотеза: индекс только по chat_id заставляет отфильтровывать/сортировать значительную часть большого чата при глубоком cursor. B-tree `(chat_id, created_at, id)` позволит читать limit+1 сразу из нужного диапазона; за это придётся платить размером индекса и записью WAL.
`student-tests/index_study.py` создаёт **отдельную синтетическую БД**, не заполняет рабочие чаты тестового API. Размеры десяти чатов: **70000, 20000, 5000, 2000, 1000, 800, 500, 300, 200, 200** — суммарно 100000. Текст — 64 символа, UUID случайные, timestamp с шагом 1 мкс. Сравниваются `messages_history(chat_id)` и `messages_history(chat_id, created_at, id)`; PK(id) и прочие ограничения одинаковы.
`student-tests/index_study.py` создаёт **отдельную синтетическую БД**, не заполняет рабочие чаты тестового API. Размеры десяти чатов: **70000, 20000, 5000, 2000, 1000, 800, 500, 300, 200, 200** — суммарно 100000. Текст — 64 байта UTF-8. Одна контрольная строка содержит U+0000 и имеет UUID=0, чтобы обязательно попасть в образцы backup/restore; остальные UUID случайные. Timestamp с шагом 1 мкс. Сравниваются `messages_history(chat_id)` и `messages_history(chat_id, created_at, id)`; PK(id) и прочие ограничения одинаковы.
Запрос совпадает с API keyset: фильтр chat_id и `(created_at,id)>cursor`, ORDER BY created_at,id, LIMIT 51. Для чатов 70000, 20000 и 200 cursor ставится на 80% истории. Перед замером — ANALYZE и один прогрев; затем пять `EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON)`, без отключения seqscan и других подсказок планировщику. Сохранены все планы, включая buffers. Поочерёдно меняется один индекс.
| Индекс | Сообщений в чате | Медиана Execution Time, мс |
| --- | --- | --- |
| chat_only | 70000 | 26.665 |
| chat_only | 20000 | 7.168 |
| chat_only | 200 | 0.073 |
| composite | 70000 | 0.057 |
| composite | 20000 | 0.072 |
| composite | 200 | 0.065 |
| chat_only | 70000 | 4.463 |
| chat_only | 20000 | 1.273 |
| chat_only | 200 | 0.020 |
| composite | 70000 | 0.011 |
| composite | 20000 | 0.011 |
| composite | 200 | 0.008 |
Для большого чата простой индекс приводит к полному/широкому проходу и сортировке, составной — к ограниченному индексному диапазону. Для маленького чата разница близка к шуму. Сам API использует составной индекс из миграции.
@@ -122,8 +124,8 @@ API ограничен 1 CPU / 256 MiB; PostgreSQL — 1 CPU / 512 MiB; Redis
| Индекс | Размер индекса, байт | Медиана COPY+COMMIT 1000 строк, мс | Медиана WAL, байт |
| --- | --- | --- | --- |
| chat_only | 753664 | 88.455 | 245480 |
| composite | 6127616 | 329.823 | 322672 |
| chat_only | 753664 | 9.849 | 241648 |
| composite | 6127616 | 9.935 | 311584 |
Большой индекс ускоряет чтение, но увеличивает занимаемое место и WAL. Время записи в этих коротких последовательных прогонах заметно колеблется, на него влияют checkpoint, кэш, COPY, CPU quota и фоновые процессы; три повтора не дают универсального коэффициента замедления. Порядок вариантов фиксирован, cold-cache I/O не исследовался. Это анализ query plan и компромисса индекса, не измерение HTTP RPS всего приложения.
@@ -133,23 +135,29 @@ API ограничен 1 CPU / 256 MiB; PostgreSQL — 1 CPU / 512 MiB; Redis
1. Запускает исследование в отдельной БД; делает `pg_dump -Fc` согласованного снимка.
2. Создаёт **другой PostgreSQL-контейнер с новым именованным volume**, тем же закреплённым образом и собственным каталогом данных; порты хоста не публикуются.
3. Выполняет `pg_restore --exit-on-error` в новую пустую БД.
3. Ожидает TCP-готовность на 127.0.0.1, затем выполняет `pg_restore -h 127.0.0.1 --exit-on-error` в новую пустую БД. Временный Unix-socket сервер инициализации не проходит эту проверку.
4. Сравнивает количества users/chats/chat_members/messages/sessions, пять выбранных сообщений и SHA-256 **всех 100000 сообщений** в порядке UUID, включая поля сообщений. В research fixture sessions=0; сохранность действующей сессии отдельно доказана persistence-тестом.
5. Сохраняет JSON-сводку, останавливает restore-контейнер; backup и новый volume оставляет для проверки.
Размер dump: 2655979 байт. Dump: 1.102 с; bootstrap нового PostgreSQL: 2.588 с; собственно pg_restore: 1.742 с. Bootstrap + восстановление: 4.330 с, **без времени последующей проверки checksum**. Это время локального учебного набора, не RTO большого сервиса.
Размер dump: 2655198 байт. Dump: 0.280 с; bootstrap нового PostgreSQL: 0.820 с; pg_restore: 0.267 с. Bootstrap + восстановление: 1.087 с, без последующей проверки checksum. Это локальный учебный набор, не RTO большого сервиса.
Исходный volume: `mtusi-lab2_postgres_data`; новый: `mtusi-lab2-restore_70a1c2c75a5c-data`. Различные ID процессов/контейнеров и обе сверки приведены в JSON. Бэкап не коммитится.
Восстановленный SHA-256 истории: `0f90589eece3910789d2eae40d5685c80cdf9f93e414aca19893851e85ffb071`.
Исходный volume: `mtusi-lab2_postgres_data`; новый: `mtusi-lab2-restore_4bc6680354a1-data`. Разные ID контейнеров и полный результат сверки — в JSON. Backup не коммитится.
Восстановленный SHA-256 истории: `8c3e317ab75daa8a5e97641eac51e3a349cffe2293bb83bc2ba22ce602cbf112`.
### Отказы и ограничения durability
При потере Redis обязательных данных не теряется, кэш восстановим. В тесте чтение/запись/проверки при выключенном Redis заняли 0.297 с суммарно. При выключенном PostgreSQL первый защищённый запрос вернул 503 за 0.007 с; анонимный доступ не разрешался. После возврата зависимостей исходная сессия работала.
При потере Redis обязательных данных не теряется, кэш восстановим. В тесте чтение/запись/проверки при выключенном Redis заняли 0.050 с суммарно. При выключенном PostgreSQL первый защищённый запрос вернул 503 за 0.004 с; анонимный доступ не разрешался. После возврата зависимостей исходная сессия работала.
Рестарт контейнера с сохранённым volume не теряет подтверждённые данные при обычных настройках PostgreSQL fsync/synchronous_commit. Он не доказывает устойчивость к поломке диска/host или потере volume. Резервная копия даёт состояние на момент snapshot pg_dump: сообщения после этого снимка будут потеряны при восстановлении только из данного backup. PITR/WAL archiving, репликация PostgreSQL и HA не реализованы. Readiness честно становится 503 без БД.
Учебные ограничения: один PostgreSQL и один API; DB-role bootstrap владеет учебной БД, ограничение его production-прав не сделано. Накопленные истёкшие сессии не обслуживаются, но фоновый cleanup таблицы пока не добавлен. Redis не кэширует историю и не сокращает обязательную проверку сессии в БД. Общий HTTP-слой не предназначен для публичного Internet-deployment без TLS/reverse proxy.
## Исправления по замечаниям преподавателя
- U+0000: миграция 002 и lossless UTF-8 BYTEA для трёх строковых полей. Новый black-box тест проверяет NUL, буквальную последовательность backslash-u0000, emoji, границу 4000 code points, профиль из login/БД/Redis, title и чтение истории. Девять собственных тестов и публичный smoke проходят: `evidence/review-tests.txt`.
- Сохранность: профиль, чат и сообщение с U+0000 без изменений прочитаны после рестарта API/PostgreSQL/Redis, прежний Bearer действителен: `evidence/review-unicode-persistence.txt`.
- Гонка init-сервера: readiness и restore используют TCP. Три последовательных полных исследования с новыми контейнерами и томами прошли; каждый раз совпали counts, выбранные строки (включая NUL) и SHA-256 всей истории: `evidence/review-research.txt`, `evidence/review-restore-runs.json`. Метрики выше обновлены по последнему прогону текущей схемы.
## Коротко для защиты
COMMIT подтверждает транзакцию; устойчивость зависит от WAL, fsync, synchronous_commit и сохранности носителя. Аутентификация определяет пользователя по Bearer, членство отдельно определяет доступ к чату. Flush/restart Redis затрагивает только кэш профилей; сессии остаются в PostgreSQL. Password KDF намеренно затратен и использует соль, быстрый checksum для паролей не подходит.
+1 -1
View File
@@ -30,7 +30,7 @@ services:
volumes:
- postgres_data:/var/lib/postgresql/data
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
interval: 3s
timeout: 2s
retries: 20
+2 -2
View File
@@ -1,9 +1,9 @@
{
"composite_operation_rollback": true,
"redis_user_cache_ttl_seconds": 60,
"redis_outage_seconds": 0.2969403329999998,
"redis_outage_seconds": 0.05048745900000007,
"redis_recovered_without_relogin": true,
"postgres_outage_response_seconds": 0.006768832999999752,
"postgres_outage_response_seconds": 0.004356375000000412,
"postgres_recovered_without_relogin": true,
"short_ttl_expired": true
}
+554 -674
View File
File diff suppressed because it is too large Load Diff
+5 -5
View File
@@ -1,15 +1,15 @@
[
{
"service": "api",
"container_id": "03414eeb9af4",
"started_at": "2026-10-23T06:53:58.384822282Z",
"container_id": "6b9b8576b1cd",
"started_at": "2026-10-23T09:20:44.739602998Z",
"status": "running",
"volumes": []
},
{
"service": "postgres",
"container_id": "f8be6202d5e4",
"started_at": "2026-10-23T06:53:51.683479639Z",
"container_id": "07430ea862b6",
"started_at": "2026-10-23T09:20:41.28275813Z",
"status": "running",
"volumes": [
"mtusi-lab2_postgres_data"
@@ -18,7 +18,7 @@
{
"service": "redis",
"container_id": "5fecf0c5edd1",
"started_at": "2026-10-23T06:53:51.383818051Z",
"started_at": "2026-10-23T09:20:41.313335565Z",
"status": "running",
"volumes": [
"b72dab0a9ef82932abd5655e09a614b5c99b3a7cef959426f05ad0a2ed7dbc79"
+5 -5
View File
@@ -1,15 +1,15 @@
[
{
"service": "api",
"container_id": "03414eeb9af4",
"started_at": "2026-10-23T06:53:29.066897456Z",
"container_id": "6b9b8576b1cd",
"started_at": "2026-10-23T09:19:48.119673288Z",
"status": "running",
"volumes": []
},
{
"service": "postgres",
"container_id": "f8be6202d5e4",
"started_at": "2026-10-23T06:53:24.074466953Z",
"container_id": "07430ea862b6",
"started_at": "2026-10-23T09:19:48.24800751Z",
"status": "running",
"volumes": [
"mtusi-lab2_postgres_data"
@@ -18,7 +18,7 @@
{
"service": "redis",
"container_id": "5fecf0c5edd1",
"started_at": "2026-10-23T06:53:23.920707731Z",
"started_at": "2026-10-23T09:19:48.06854916Z",
"status": "running",
"volumes": [
"b72dab0a9ef82932abd5655e09a614b5c99b3a7cef959426f05ad0a2ed7dbc79"
+75
View File
@@ -0,0 +1,75 @@
Image mtusi-lab2-api Building
#1 [internal] load local bake definitions
#1 reading from stdin 656B done
#1 DONE 0.0s
#2 [internal] load build definition from Dockerfile
#2 transferring dockerfile: 739B done
#2 DONE 0.0s
#3 [internal] load metadata for docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0
#3 DONE 0.0s
#4 [internal] load .dockerignore
#4 transferring context: 132B done
#4 DONE 0.0s
#5 [internal] load build context
#5 transferring context: 12.71kB done
#5 DONE 0.0s
#6 [1/7] FROM docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0
#6 resolve docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0 done
#6 DONE 0.0s
#7 [4/7] COPY requirements.txt ./
#7 CACHED
#8 [2/7] WORKDIR /app
#8 CACHED
#9 [3/7] RUN groupadd --gid 10001 app && useradd --uid 10001 --gid app --no-create-home app
#9 CACHED
#10 [5/7] RUN pip install --no-cache-dir -r requirements.txt
#10 CACHED
#11 [6/7] COPY src/ ./src/
#11 DONE 0.0s
#12 [7/7] COPY migrations/ ./migrations/
#12 DONE 0.0s
#13 exporting to image
#13 exporting layers 0.0s done
#13 exporting manifest sha256:4629666110b9f12ff95b707e9aafdd14712e1eacef6918851f271840c4a0a7dc done
#13 exporting config sha256:7c4d81b7399c8d2e57ab11ad9087b262cbdc4f79ce3298db7087079e530ce18a done
#13 exporting attestation manifest sha256:7e311d74504e1fe4150d50a931487c137683dce1c5ae5c6779c0493722acd01a done
#13 exporting manifest list sha256:0712b708d3a29530642a2c22dea53064fbfdfedc9537a18f3a04ba343e11da7f done
#13 naming to docker.io/library/mtusi-lab2-api:latest done
#13 unpacking to docker.io/library/mtusi-lab2-api:latest done
#13 DONE 0.1s
#14 resolving provenance for metadata file
#14 DONE 0.0s
Image mtusi-lab2-api Built
Container mtusi-lab2-postgres-1 Recreate
Container mtusi-lab2-postgres-1 Recreated
Container mtusi-lab2-api-1 Recreate
Container mtusi-lab2-api-1 Recreated
Container mtusi-lab2-postgres-1 Starting
Container mtusi-lab2-redis-1 Starting
Container mtusi-lab2-postgres-1 Started
Container mtusi-lab2-redis-1 Started
Container mtusi-lab2-redis-1 Waiting
Container mtusi-lab2-postgres-1 Waiting
Container mtusi-lab2-redis-1 Healthy
Container mtusi-lab2-postgres-1 Healthy
Container mtusi-lab2-api-1 Starting
Container mtusi-lab2-api-1 Started
Container mtusi-lab2-api-1 Waiting
Container mtusi-lab2-postgres-1 Waiting
Container mtusi-lab2-redis-1 Waiting
Container mtusi-lab2-redis-1 Healthy
Container mtusi-lab2-postgres-1 Healthy
Container mtusi-lab2-api-1 Healthy
+116
View File
@@ -0,0 +1,116 @@
Local configuration ready; secrets were not printed.
Image mtusi-lab2-review-50a92603-api Building
#1 [internal] load local bake definitions
#1 reading from stdin 704B done
#1 DONE 0.0s
#2 resolving provenance for metadata file
#2 DONE 0.0s
#3 [internal] load build definition from Dockerfile
#3 transferring dockerfile: 739B done
#3 DONE 0.0s
#4 [internal] load metadata for docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0
#4 DONE 0.0s
#5 [internal] load .dockerignore
#5 transferring context: 132B done
#5 DONE 0.0s
#6 [internal] load build context
#6 transferring context: 25.73kB done
#6 DONE 0.0s
#7 [1/7] FROM docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0
#7 resolve docker.io/library/python:3.12.8-slim-bookworm@sha256:2199a62885a12290dc9c5be3ca0681d367576ab7bf037da120e564723292a2f0 done
#7 DONE 0.0s
#8 [2/7] WORKDIR /app
#8 CACHED
#9 [4/7] COPY requirements.txt ./
#9 CACHED
#10 [5/7] RUN pip install --no-cache-dir -r requirements.txt
#10 CACHED
#11 [6/7] COPY src/ ./src/
#11 CACHED
#12 [3/7] RUN groupadd --gid 10001 app && useradd --uid 10001 --gid app --no-create-home app
#12 CACHED
#13 [7/7] COPY migrations/ ./migrations/
#13 CACHED
#14 exporting to image
#14 exporting layers done
#14 exporting manifest sha256:9de8694da45da73001c72c27f49f41b2b32dda6f170fb0ce738ced563c2c9471 done
#14 exporting config sha256:21388fc537a563dea4b9d14946bc95036d2ca3727ebed78cdeb410843e7f3700 done
#14 exporting attestation manifest sha256:ced1e33e702d25de0036f12d77f8ba1e49335255d54c60a9de74a012000fc609 done
#14 exporting manifest list sha256:6e728a75c92839d45b87038fbbe85f2db96e887e3614496fcc34a4ede2824c42 done
#14 naming to docker.io/library/mtusi-lab2-review-50a92603-api:latest done
#14 unpacking to docker.io/library/mtusi-lab2-review-50a92603-api:latest done
#14 DONE 0.0s
Image mtusi-lab2-review-50a92603-api Built
Network mtusi-lab2-review-50a92603_default Creating
Network mtusi-lab2-review-50a92603_default Created
Volume mtusi-lab2-review-50a92603_postgres_data Creating
Volume mtusi-lab2-review-50a92603_postgres_data Created
Container mtusi-lab2-review-50a92603-redis-1 Creating
Container mtusi-lab2-review-50a92603-postgres-1 Creating
Container mtusi-lab2-review-50a92603-postgres-1 Created
Container mtusi-lab2-review-50a92603-redis-1 Created
Container mtusi-lab2-review-50a92603-api-1 Creating
Container mtusi-lab2-review-50a92603-api-1 Created
Container mtusi-lab2-review-50a92603-postgres-1 Starting
Container mtusi-lab2-review-50a92603-redis-1 Starting
Container mtusi-lab2-review-50a92603-postgres-1 Started
Container mtusi-lab2-review-50a92603-redis-1 Started
Container mtusi-lab2-review-50a92603-postgres-1 Waiting
Container mtusi-lab2-review-50a92603-redis-1 Waiting
Container mtusi-lab2-review-50a92603-postgres-1 Healthy
Container mtusi-lab2-review-50a92603-redis-1 Healthy
Container mtusi-lab2-review-50a92603-api-1 Starting
Container mtusi-lab2-review-50a92603-api-1 Started
Container mtusi-lab2-review-50a92603-api-1 Waiting
Container mtusi-lab2-review-50a92603-postgres-1 Waiting
Container mtusi-lab2-review-50a92603-redis-1 Waiting
Container mtusi-lab2-review-50a92603-redis-1 Healthy
Container mtusi-lab2-review-50a92603-postgres-1 Healthy
Container mtusi-lab2-review-50a92603-api-1 Healthy
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
python3 tests/smoke.py --base-url "http://127.0.0.1:18086"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
BASE_URL="http://127.0.0.1:18086" python3 -m unittest discover -s student-tests -p test_api.py -v
test_concurrent_messages_and_pagination (test_api.APIContract) ... ok
test_cursor_scope_and_validation (test_api.APIContract) ... ok
test_foreign_chat (test_api.APIContract) ... ok
test_invalid_chat_creation (test_api.APIContract) ... ok
test_malformed_json_and_extra_fields (test_api.APIContract) ... ok
test_registration_race (test_api.APIContract) ... ok
test_unicode_limits (test_api.APIContract) ... ok
test_unicode_nul_round_trip (test_api.APIContract) ... ok
test_unicode_password_basic_and_logout (test_api.APIContract) ... ok
----------------------------------------------------------------------
Ran 9 tests in 3.405s
OK
PASS: clean local clone, fresh Compose project/volume, migrations 001+002, public smoke and all nine student tests.
Container mtusi-lab2-review-50a92603-api-1 Stopping
Container mtusi-lab2-review-50a92603-api-1 Stopped
Container mtusi-lab2-review-50a92603-api-1 Removing
Container mtusi-lab2-review-50a92603-api-1 Removed
Container mtusi-lab2-review-50a92603-postgres-1 Stopping
Container mtusi-lab2-review-50a92603-redis-1 Stopping
Container mtusi-lab2-review-50a92603-redis-1 Stopped
Container mtusi-lab2-review-50a92603-redis-1 Removing
Container mtusi-lab2-review-50a92603-redis-1 Removed
Container mtusi-lab2-review-50a92603-postgres-1 Stopped
Container mtusi-lab2-review-50a92603-postgres-1 Removing
Container mtusi-lab2-review-50a92603-postgres-1 Removed
Network mtusi-lab2-review-50a92603_default Removing
Network mtusi-lab2-review-50a92603_default Removed
+16
View File
@@ -0,0 +1,16 @@
python3 student-tests/dependencies.py
Container mtusi-lab2-redis-1 Stopping
Container mtusi-lab2-redis-1 Stopped
Container mtusi-lab2-redis-1 Starting
Container mtusi-lab2-redis-1 Started
Container mtusi-lab2-redis-1 Waiting
Container mtusi-lab2-redis-1 Healthy
Container mtusi-lab2-postgres-1 Stopping
Container mtusi-lab2-postgres-1 Stopped
Container mtusi-lab2-postgres-1 Starting
Container mtusi-lab2-postgres-1 Started
Container mtusi-lab2-postgres-1 Waiting
Container mtusi-lab2-postgres-1 Healthy
Container mtusi-lab2-expiry-29f426d1 Creating
Container mtusi-lab2-expiry-29f426d1 Created
PASS: rollback, real Redis TTL/cache, Redis outage, PostgreSQL outage/recovery and session expiry.
+3
View File
@@ -0,0 +1,3 @@
python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
+21
View File
@@ -0,0 +1,21 @@
Fresh restore run 1
Container mtusi-lab2-api-run-2c95cff15d63 Creating
Container mtusi-lab2-api-run-2c95cff15d63 Created
Container mtusi-lab2-api-run-dd11ae88dd79 Creating
Container mtusi-lab2-api-run-dd11ae88dd79 Created
PASS: 100000 messages; two indexes; write costs; backup/restore counts, samples and full checksum match.
Backup seconds: 0.281 Restore seconds: 0.268
Fresh restore run 2
Container mtusi-lab2-api-run-60ccc9d0034f Creating
Container mtusi-lab2-api-run-60ccc9d0034f Created
Container mtusi-lab2-api-run-2292e9ea796b Creating
Container mtusi-lab2-api-run-2292e9ea796b Created
PASS: 100000 messages; two indexes; write costs; backup/restore counts, samples and full checksum match.
Backup seconds: 0.304 Restore seconds: 0.289
Fresh restore run 3
Container mtusi-lab2-api-run-f8267d018f9d Creating
Container mtusi-lab2-api-run-f8267d018f9d Created
Container mtusi-lab2-api-run-b73f035b1b8c Creating
Container mtusi-lab2-api-run-b73f035b1b8c Created
PASS: 100000 messages; two indexes; write costs; backup/restore counts, samples and full checksum match.
Backup seconds: 0.28 Restore seconds: 0.267
+209
View File
@@ -0,0 +1,209 @@
[
{
"run": 1,
"backup": {
"format": "pg_dump custom",
"bytes": 2655885,
"dump_seconds": 0.2805722919999998,
"bootstrap_seconds": 0.8350770000000001,
"restore_seconds": 0.2675151250000001,
"restored_database": "restore_8e3b0298c2c4",
"source_container_id": "07430ea862b6",
"restore_container_id": "db6ae0750cc8",
"fresh_restore_volume": "mtusi-lab2-restore_8e3b0298c2c4-data",
"source_volume": [
"mtusi-lab2_postgres_data"
],
"matching_counts": true,
"matching_all_messages_sha256": true,
"matching_selected_messages": true,
"restored_snapshot": {
"counts": {
"users": 1,
"chats": 10,
"chat_members": 10,
"messages": 100000,
"sessions": 0
},
"messages_sha256": "3c38a0e32acafed71651826488fb514af7371e7d43bbfeb08f73aed17d68ea4f",
"selected_messages": [
{
"id": "00000000-0000-0000-0000-000000000000",
"chat_id": "12a8a7fe-93db-49a5-a5bf-f19f24392ffd",
"sender_id": "538d79bc-a7f0-4e96-8698-4ab577ed37c9",
"text": "\\x41004278787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00+00:00"
},
{
"id": "0000234c-4b36-4929-a3d8-31b88d3944ed",
"chat_id": "12a8a7fe-93db-49a5-a5bf-f19f24392ffd",
"sender_id": "538d79bc-a7f0-4e96-8698-4ab577ed37c9",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.033386+00:00"
},
{
"id": "801769f9-9185-4fef-996a-754fe04331e8",
"chat_id": "5d7a1ad8-8b31-4976-971a-eee92058b8e1",
"sender_id": "538d79bc-a7f0-4e96-8698-4ab577ed37c9",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.002124+00:00"
},
{
"id": "ffff5474-757f-457f-8bd5-894401da2910",
"chat_id": "12a8a7fe-93db-49a5-a5bf-f19f24392ffd",
"sender_id": "538d79bc-a7f0-4e96-8698-4ab577ed37c9",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.059892+00:00"
},
{
"id": "ffffa45b-75ea-4839-a5bd-fb0a85ba0d29",
"chat_id": "12a8a7fe-93db-49a5-a5bf-f19f24392ffd",
"sender_id": "538d79bc-a7f0-4e96-8698-4ab577ed37c9",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.048116+00:00"
}
]
}
},
"messages": 100000,
"nul_sample_verified": true
},
{
"run": 2,
"backup": {
"format": "pg_dump custom",
"bytes": 2654444,
"dump_seconds": 0.303841,
"bootstrap_seconds": 0.8235868330000002,
"restore_seconds": 0.28861237500000003,
"restored_database": "restore_dc75cd9655c0",
"source_container_id": "07430ea862b6",
"restore_container_id": "9a2e73441fcf",
"fresh_restore_volume": "mtusi-lab2-restore_dc75cd9655c0-data",
"source_volume": [
"mtusi-lab2_postgres_data"
],
"matching_counts": true,
"matching_all_messages_sha256": true,
"matching_selected_messages": true,
"restored_snapshot": {
"counts": {
"users": 1,
"chats": 10,
"chat_members": 10,
"messages": 100000,
"sessions": 0
},
"messages_sha256": "27b5a42196b56676462b626f38f28da114bcc7da0d4c584d4239e0286df4ab4b",
"selected_messages": [
{
"id": "00000000-0000-0000-0000-000000000000",
"chat_id": "a8efc6c4-bc38-4460-862a-01a5b31db242",
"sender_id": "410288f9-4285-4b2c-9d5d-8ff651324300",
"text": "\\x41004278787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00+00:00"
},
{
"id": "00003164-09c1-41f2-be94-4c59dac29663",
"chat_id": "a8efc6c4-bc38-4460-862a-01a5b31db242",
"sender_id": "410288f9-4285-4b2c-9d5d-8ff651324300",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.048618+00:00"
},
{
"id": "7f75439b-8443-451b-bd19-2fe5e0592b3b",
"chat_id": "a8efc6c4-bc38-4460-862a-01a5b31db242",
"sender_id": "410288f9-4285-4b2c-9d5d-8ff651324300",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.013799+00:00"
},
{
"id": "ffff6737-a2c0-479f-bc93-c68bdf9ceea7",
"chat_id": "f7079b99-bdba-46ac-a651-1c2a451fcad2",
"sender_id": "410288f9-4285-4b2c-9d5d-8ff651324300",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.017859+00:00"
},
{
"id": "ffffd4f9-50c9-4e50-a320-2b4afa0e0dec",
"chat_id": "a8efc6c4-bc38-4460-862a-01a5b31db242",
"sender_id": "410288f9-4285-4b2c-9d5d-8ff651324300",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.068415+00:00"
}
]
}
},
"messages": 100000,
"nul_sample_verified": true
},
{
"run": 3,
"backup": {
"format": "pg_dump custom",
"bytes": 2655198,
"dump_seconds": 0.2799740420000001,
"bootstrap_seconds": 0.8203773750000001,
"restore_seconds": 0.266880542,
"restored_database": "restore_4bc6680354a1",
"source_container_id": "07430ea862b6",
"restore_container_id": "aff2a0068a4c",
"fresh_restore_volume": "mtusi-lab2-restore_4bc6680354a1-data",
"source_volume": [
"mtusi-lab2_postgres_data"
],
"matching_counts": true,
"matching_all_messages_sha256": true,
"matching_selected_messages": true,
"restored_snapshot": {
"counts": {
"users": 1,
"chats": 10,
"chat_members": 10,
"messages": 100000,
"sessions": 0
},
"messages_sha256": "8c3e317ab75daa8a5e97641eac51e3a349cffe2293bb83bc2ba22ce602cbf112",
"selected_messages": [
{
"id": "00000000-0000-0000-0000-000000000000",
"chat_id": "16d5e714-6c35-4ad8-8e2f-b097a33a346a",
"sender_id": "f34b3772-5504-4f6f-861b-f22d07f10181",
"text": "\\x41004278787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00+00:00"
},
{
"id": "0000cf54-fd5c-4b78-9b83-5fdacc223d82",
"chat_id": "16d5e714-6c35-4ad8-8e2f-b097a33a346a",
"sender_id": "f34b3772-5504-4f6f-861b-f22d07f10181",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.039523+00:00"
},
{
"id": "7fc2eae6-055d-4a9d-b3b7-4e09c7d735ea",
"chat_id": "16d5e714-6c35-4ad8-8e2f-b097a33a346a",
"sender_id": "f34b3772-5504-4f6f-861b-f22d07f10181",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.037757+00:00"
},
{
"id": "fffe1a30-0346-4b72-b709-eb9c695c1993",
"chat_id": "16d5e714-6c35-4ad8-8e2f-b097a33a346a",
"sender_id": "f34b3772-5504-4f6f-861b-f22d07f10181",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.040077+00:00"
},
{
"id": "fffe9bca-2d05-4455-ab60-8d0d4d519df4",
"chat_id": "16d5e714-6c35-4ad8-8e2f-b097a33a346a",
"sender_id": "f34b3772-5504-4f6f-861b-f22d07f10181",
"text": "\\x78787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878787878",
"created_at": "2026-01-01T00:00:00.014042+00:00"
}
]
}
},
"messages": 100000,
"nul_sample_verified": true
}
]
+21
View File
@@ -0,0 +1,21 @@
../.venv/bin/python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
../.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
../.venv/bin/python tests/smoke.py --base-url "http://localhost:8080"
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
BASE_URL="http://localhost:8080" ../.venv/bin/python -m unittest discover -s student-tests -p test_api.py -v
test_concurrent_messages_and_pagination (test_api.APIContract.test_concurrent_messages_and_pagination) ... ok
test_cursor_scope_and_validation (test_api.APIContract.test_cursor_scope_and_validation) ... ok
test_foreign_chat (test_api.APIContract.test_foreign_chat) ... ok
test_invalid_chat_creation (test_api.APIContract.test_invalid_chat_creation) ... ok
test_malformed_json_and_extra_fields (test_api.APIContract.test_malformed_json_and_extra_fields) ... ok
test_registration_race (test_api.APIContract.test_registration_race) ... ok
test_unicode_limits (test_api.APIContract.test_unicode_limits) ... ok
test_unicode_nul_round_trip (test_api.APIContract.test_unicode_nul_round_trip) ... ok
test_unicode_password_basic_and_logout (test_api.APIContract.test_unicode_password_basic_and_logout) ... ok
----------------------------------------------------------------------
Ran 9 tests in 2.631s
OK
+7
View File
@@ -0,0 +1,7 @@
Container mtusi-lab2-postgres-1 Restarting
Container mtusi-lab2-redis-1 Restarting
Container mtusi-lab2-api-1 Restarting
Container mtusi-lab2-redis-1 Started
Container mtusi-lab2-api-1 Started
Container mtusi-lab2-postgres-1 Started
PASS: U+0000 and literal backslash-u0000 preserved in display_name/title/text after API/PostgreSQL/Redis restart; original Bearer still valid.
+17
View File
@@ -0,0 +1,17 @@
-- PostgreSQL TEXT cannot contain U+0000. Store validated UTF-8 losslessly in BYTEA.
-- API validation keeps the contract's code-point limits; these bounds cap bytes.
ALTER TABLE users
DROP CONSTRAINT users_display_name_check
, ALTER COLUMN display_name TYPE BYTEA USING convert_to(display_name, 'UTF8')
, ADD CONSTRAINT users_display_name_bytes CHECK (octet_length(display_name) BETWEEN 1 AND 400)
;
ALTER TABLE chats
DROP CONSTRAINT chats_title_check
, ALTER COLUMN title TYPE BYTEA USING convert_to(title, 'UTF8')
, ADD CONSTRAINT chats_title_bytes CHECK (octet_length(title) BETWEEN 1 AND 400)
;
ALTER TABLE messages
DROP CONSTRAINT messages_text_check
, ALTER COLUMN text TYPE BYTEA USING convert_to(text, 'UTF8')
, ADD CONSTRAINT messages_text_bytes CHECK (octet_length(text) BETWEEN 1 AND 16000)
;
+4 -4
View File
@@ -26,7 +26,7 @@ def setting(name):
def public(row):
return {k: (str(v) if isinstance(v, uuid.UUID) else v.isoformat(timespec='microseconds').replace('+00:00', 'Z') if isinstance(v, dt.datetime) else v) for k, v in row.items() if k != 'password_hash'}
return {k: (v.decode('utf-8') if isinstance(v, bytes) else str(v) if isinstance(v, uuid.UUID) else v.isoformat(timespec='microseconds').replace('+00:00', 'Z') if isinstance(v, dt.datetime) else v) for k, v in row.items() if k != 'password_hash'}
def password_hash(password, salt=None):
@@ -97,7 +97,7 @@ class Store:
INSERT INTO users (id, username, display_name, password_hash)
VALUES (%s, %s, %s, %s)
RETURNING id, username, display_name, created_at
''', (uuid.uuid4(), name, display, hashed)).fetchone()
''', (uuid.uuid4(), name, display.encode('utf-8'), hashed)).fetchone()
return public(row)
def login(self, headers):
@@ -194,7 +194,7 @@ class Store:
invalid()
with self.connection() as conn:
chat_id = uuid.uuid4()
conn.execute('INSERT INTO chats (id, title) VALUES (%s, %s)', (chat_id, title))
conn.execute('INSERT INTO chats (id, title) VALUES (%s, %s)', (chat_id, title.encode('utf-8')))
# Checking after INSERT exercises rollback of the whole composite operation.
found = conn.execute('SELECT id FROM users WHERE 1=1 AND id = ANY(%s::uuid[])', (members,)).fetchall()
if len(found) != len(members):
@@ -236,7 +236,7 @@ class Store:
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
VALUES (%s, %s, %s, %s, %s)
RETURNING id, chat_id, sender_id, text, created_at
''', (uuid.uuid4(), chat_id, actor['id'], content, stamp)).fetchone()
''', (uuid.uuid4(), chat_id, actor['id'], content.encode('utf-8'), stamp)).fetchone()
return public(row)
def history(self, actor, chat_id, limit, cursor, scope):
+10 -5
View File
@@ -43,19 +43,23 @@ def main():
with psycopg.connect(url, autocommit=True) as admin:
admin.execute(sql.SQL('CREATE DATABASE {}').format(sql.Identifier(database)))
conn = psycopg.connect(make_conninfo(url, dbname=database))
conn.execute((ROOT / 'migrations/001_initial.sql').read_text())
for migration in sorted((ROOT / 'migrations').glob('*.sql')):
conn.execute(migration.read_text())
user = uuid.uuid4()
conn.execute('INSERT INTO users (id, username, display_name, password_hash) VALUES (%s, %s, %s, %s)', (user, 'research_user', 'Synthetic', 'not-an-authenticatable-password'))
conn.execute('INSERT INTO users (id, username, display_name, password_hash) VALUES (%s, %s, %s, %s)', (user, 'research_user', b'Synthetic', 'not-an-authenticatable-password'))
sizes = [70000, 20000, 5000, 2000, 1000, 800, 500, 300, 200, 200]
chats = [uuid.uuid4() for _ in sizes]
base = dt.datetime(2026, 1, 1, tzinfo=dt.timezone.utc)
for chat in chats:
conn.execute('INSERT INTO chats (id, title) VALUES (%s, %s)', (chat, 'Synthetic'))
conn.execute('INSERT INTO chats (id, title) VALUES (%s, %s)', (chat, b'Synthetic'))
conn.execute('INSERT INTO chat_members (chat_id, user_id) VALUES (%s, %s)', (chat, user))
with conn.cursor().copy('COPY messages (id, chat_id, sender_id, text, created_at) FROM STDIN') as copy:
for chat, count in zip(chats, sizes):
for i in range(count):
copy.write_row((uuid.uuid4(), chat, user, 'x' * 64, base + dt.timedelta(microseconds=i)))
first = chat == chats[0] and i == 0
mid = uuid.UUID(int=0) if first else uuid.uuid4()
content = b'A\x00B' + b'x' * 61 if first else b'x' * 64
copy.write_row((mid, chat, user, content, base + dt.timedelta(microseconds=i)))
conn.commit()
results = []
query = '''
@@ -93,7 +97,7 @@ def main():
started = time.perf_counter()
with conn.cursor().copy('COPY messages (id, chat_id, sender_id, text, created_at) FROM STDIN') as copy:
for i, mid in enumerate(ids):
copy.write_row((mid, chats[0], user, 'write-cost', base + dt.timedelta(seconds=1, microseconds=i)))
copy.write_row((mid, chats[0], user, b'write-cost', base + dt.timedelta(seconds=1, microseconds=i)))
conn.commit()
elapsed = (time.perf_counter() - started) * 1000
wal = conn.execute('SELECT pg_wal_lsn_diff(pg_current_wal_insert_lsn(), %s::pg_lsn)', (before,)).fetchone()[0]
@@ -104,6 +108,7 @@ def main():
results.append(dict(variant=variant, index_bytes=index_size, reads=reads, writes=writes))
captured = snapshot(conn)
assert captured['counts']['messages'] == 100000
assert captured['selected_messages'][0]['text'] == '\\x' + (b'A\x00B' + b'x' * 61).hex()
version = conn.execute('SELECT version()').fetchone()[0]
conn.close()
print(json.dumps(dict(database=database, postgresql=version, sizes=sizes, query=query, repeats=5, results=results, snapshot=captured)))
+4 -2
View File
@@ -34,13 +34,15 @@ started_bootstrap = time.perf_counter()
restore_id = subprocess.check_output(['docker', 'run', '-d', '--name', restore_container, '--network', network, '--cpus=1', '--memory=512m', '-e', 'POSTGRES_USER=messenger', '-e', 'POSTGRES_DB=' + restore, '-e', 'POSTGRES_PASSWORD_FILE=/run/secrets/postgres_password', '--mount', 'type=volume,src=' + restore_volume + ',dst=/var/lib/postgresql/data', '--mount', 'type=bind,src=' + str(ROOT / 'secrets/postgres_password') + ',dst=/run/secrets/postgres_password,readonly', image], text=True).strip()
try:
deadline = time.monotonic() + 45
while subprocess.run(['docker', 'exec', restore_container, 'pg_isready', '-U', 'messenger', '-d', restore], stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL).returncode:
# The entrypoint's temporary init server accepts Unix sockets only.
# TCP becomes ready only after initialization has finished and it is replaced.
while subprocess.run(['docker', 'exec', restore_container, 'pg_isready', '-h', '127.0.0.1', '-U', 'messenger', '-d', restore], stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL).returncode:
assert time.monotonic() < deadline, 'new PostgreSQL did not become ready'
time.sleep(0.3)
bootstrap_seconds = time.perf_counter() - started_bootstrap
started = time.perf_counter()
with backup.open('rb') as data:
subprocess.run(['docker', 'exec', '-i', restore_container, 'pg_restore', '-U', 'messenger', '--no-owner', '--exit-on-error', '-d', restore], stdin=data, check=True)
subprocess.run(['docker', 'exec', '-i', restore_container, 'pg_restore', '-h', '127.0.0.1', '-U', 'messenger', '--no-owner', '--exit-on-error', '-d', restore], stdin=data, check=True)
restore_seconds = time.perf_counter() - started
verified = json.loads(subprocess.check_output(RUN + ['-e', 'RESEARCH_DATABASE=' + restore, '-e', 'RESEARCH_HOST=' + restore_container, 'api', 'python', 'student-tests/index_study.py', '--verify'], text=True))
finally:
+22
View File
@@ -29,6 +29,28 @@ class APIContract(unittest.TestCase):
self.assertEqual(result['text'], '👩' * 4000)
self.client.call('POST', self.path + '/messages', 400, actor=self.alice, body={'text': '👩' * 4001})
def test_unicode_nul_round_trip(self):
import base64
value = 'A\x00B\\u0000👩'
registration = dict(self.alice['registration'], username='nul_' + uuid.uuid4().hex[:20], display_name=value)
user = self.client.call('POST', '/api/v1/users', 201, body=registration, schema='User')['json']
self.assertEqual(user['display_name'], value)
credential = base64.b64encode((registration['username'] + ':' + registration['password']).encode()).decode()
session = self.client.call('POST', '/api/v1/auth/sessions', 201, headers={'Authorization': 'Basic ' + credential}, schema='Session')['json']
self.assertEqual(session['user'], user)
actor = {'id': user['id'], 'token': session['token']}
# Exercise the database path and then the Redis profile cache.
for _ in range(2):
self.assertEqual(self.client.call('GET', '/api/v1/users/me', actor=actor, schema='User')['json'], user)
chat = self.client.call('POST', '/api/v1/chats', 201, actor=actor, body={'title': value, 'member_ids': [actor['id']]}, schema='Chat')['json']
self.assertEqual(chat['title'], value)
self.assertEqual(self.client.call('GET', '/api/v1/chats/' + chat['id'], actor=actor, schema='Chat')['json'], chat)
contents = [value, '\x00' * 4000, '👩' * 3999 + '\x00']
for content in contents:
self.assertEqual(self.client.message(actor, chat, content)['json']['text'], content)
history = self.client.call('GET', '/api/v1/chats/' + chat['id'] + '/messages', actor=actor, schema='MessagePage')['json']
self.assertEqual([message['text'] for message in history['items']], contents)
def test_foreign_chat(self):
for suffix in ('', '/messages'):
self.client.call('GET', self.path + suffix, 404, actor=self.eve)