fix: видимость записи при отказе Redis, пароль из пробелов

- версия истории чата хранится в PostgreSQL (chats.version, миграция 0003)
  и растёт в одной транзакции с сообщением; ключ кэша включает её, поэтому
  ошибка любой команды Redis не может вернуть устаревшую историю
- членство и версия читаются одним запросом; INCR/GET версии в Redis удалены
- пароль из одних пробельных символов -> 400 (unit-тест validatePassword)
- student-tests/regressions.py: сценарий проверки с Redis ACL -incr и пароль
- CI: тот же тест против кода до исправления; все серии трека 1 заново
This commit is contained in:
2026-10-24 02:24:22 +03:00
parent 7cd55064d6
commit bab82c7bc0
22 changed files with 247 additions and 61 deletions
+46 -3
View File
@@ -51,6 +51,40 @@ jobs:
name: evidence-levels-3-4
path: evidence/
# Доказательство, что регрессионный тест ловит ошибку из замечания проверки:
# тот же тест против кода ДО исправления (commit 7cd5506) с настоящим Redis.
regression-before-fix:
name: Регрессия против кода до исправления (ожидается FAIL)
runs-on: ubuntu-24.04
timeout-minutes: 20
steps:
- uses: actions/checkout@v4
with:
fetch-depth: 0
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- name: Стенд из commit 7cd5506 + текущий тест
run: |
git worktree add ../before-fix 7cd5506
cp student-tests/regressions.py ../before-fix/student-tests/
cd ../before-fix
chmod +x scripts/*.sh && sh scripts/init-secrets.sh
docker compose --env-file .env up -d --build --wait
mkdir -p "$GITHUB_WORKSPACE/evidence"
out="$GITHUB_WORKSPACE/evidence/regressions_before_fix.txt"
echo "-- код commit 7cd5506 (до исправления), тест из текущего commit" > "$out"
for part in cache password; do
echo "-- --only $part" >> "$out"
if python student-tests/regressions.py --only $part >> "$out" 2>&1; then echo "exit=0" >> "$out"; else echo "exit=$?" >> "$out"; fi
done
cat "$out"
- uses: actions/upload-artifact@v4
if: always()
with:
name: evidence-before-fix
path: evidence/regressions_before_fix.txt
track1:
name: Трек 1 — ${{ matrix.series }}
runs-on: ubuntu-24.04
@@ -58,12 +92,20 @@ jobs:
strategy:
fail-fast: false
matrix:
# Серии A, B, D уже измерены прогоном 39970452644 (данные в evidence/track1);
# второй прогон добавляет C (причинность узкого места) и E (рост реплик после улучшения).
# Прогон 3: все серии заново на исправленном коде (версия кэша в PostgreSQL).
include:
- series: A_fixed_total
configs: ""
levels: "4,16,64"
- series: B_scale_out
configs: "1x0.50,2x0.50,4x0.50"
levels: "4,16,64"
- series: C_shared_resources
configs: ""
levels: "16,64"
- series: D_improvement
configs: ""
levels: "32,64"
- series: E_scale_out_after_fix
configs: ""
levels: "4,16,64"
@@ -98,7 +140,7 @@ jobs:
# поэтому все артефакты дополнительно публикуются в ветку lab3-results.
publish:
name: Публикация результатов в ветку lab3-results
needs: [levels-3-4, track1]
needs: [levels-3-4, regression-before-fix, track1]
if: always()
runs-on: ubuntu-24.04
permissions:
@@ -117,6 +159,7 @@ jobs:
{ echo "source_commit=${{ github.sha }}"
echo "run=${{ github.server_url }}/${{ github.repository }}/actions/runs/${{ github.run_id }}"
echo "levels_3_4=${{ needs.levels-3-4.result }}"
echo "regression_before_fix=${{ needs.regression-before-fix.result }}"
echo "track1=${{ needs.track1.result }}"; } > collected/RUN.txt
cp -r collected/. .
rm -rf collected
+21
View File
@@ -98,6 +98,27 @@ func (r *ChatRepository) IsMember(ctx context.Context, chatID, userID string) (b
return false, fmt.Errorf("check chat exists: %w", err)
}
// MemberVersion одним запросом возвращает версию истории чата и признак членства.
// Несуществующий чат — ErrNotFound.
func (r *ChatRepository) MemberVersion(ctx context.Context, chatID, userID string) (int64, bool, error) {
const q = `
SELECT c.version,
EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = $2::uuid)
FROM chats c
WHERE c.id = $1::uuid
`
var version int64
var member bool
err := r.pool.QueryRow(ctx, q, chatID, userID).Scan(&version, &member)
if err != nil {
if errors.Is(err, pgx.ErrNoRows) {
return 0, false, repository.ErrNotFound
}
return 0, false, fmt.Errorf("select chat version: %w", err)
}
return version, member, nil
}
func (r *ChatRepository) ListByMember(ctx context.Context, userID string, cursor time.Time, cursorID string, limit int) ([]*domain.Chat, error) {
const qChats = `
SELECT c.id, c.title, c.created_at
+6
View File
@@ -71,6 +71,12 @@ func (r *MessageRepository) CreateIdempotent(ctx context.Context, msg *domain.Me
return nil, false, fmt.Errorf("insert idempotency key: %w", err)
}
if tag.RowsAffected() == 1 {
// Версия истории растёт атомарно с сообщением: после COMMIT любое чтение
// увидит новую версию и не попадёт в кэш, записанный до этого сообщения.
const bumpVersion = `UPDATE chats SET version = version + 1 WHERE id = $1::uuid`
if _, err := tx.Exec(ctx, bumpVersion, msg.ChatID); err != nil {
return nil, false, fmt.Errorf("bump chat version: %w", err)
}
if err := tx.Commit(ctx); err != nil {
return nil, false, fmt.Errorf("commit tx: %w", err)
}
+25 -43
View File
@@ -12,23 +12,27 @@ import (
"github.com/charawein/mtusi2026lab3/internal/domain"
)
// Режимы инвалидации кэша истории (CACHE_INVALIDATION):
// - "scan" (поведение lab2): ключ без версии; запись делает INCR версии и
// удаляет ключи чата через SCAN — O(размер keyspace) запросов к Redis на запись;
// - "version": версия чата входит в ключ; запись делает только INCR, старые
// ключи становятся недостижимыми и истекают по TTL. O(1) на запись.
// Ключ кэша истории всегда содержит версию чата из PostgreSQL (chats.version),
// которая растёт в одной транзакции с сообщением. Поэтому после подтверждённой
// записи следующее чтение идёт по новому ключу, даже если Redis отказал в
// любой команде: устаревшие ключи просто истекают по TTL.
//
// CACHE_INVALIDATION влияет только на стоимость записи (эксперимент трека 1):
// - "version": запись не обращается к Redis;
// - "scan": дополнительно удаляет ключи чата через SCAN, как в lab2 —
// O(размер keyspace/100) запросов к Redis на запись. На корректность не влияет.
const (
InvalidationScan = "scan"
InvalidationVersion = "version"
)
type MessageCache struct {
client *redis.Client
versionedKeys bool
client *redis.Client
scanOnSet bool
}
func NewMessageCache(client *redis.Client, mode string) *MessageCache {
return &MessageCache{client: client, versionedKeys: mode != InvalidationScan}
return &MessageCache{client: client, scanOnSet: mode == InvalidationScan}
}
type cacheEntry struct {
@@ -36,38 +40,12 @@ type cacheEntry struct {
NextCursor string `json:"next_cursor"`
}
func (c *MessageCache) cacheKey(chatID string, version int64, cursor string, limit int) string {
if c.versionedKeys {
return fmt.Sprintf("messages:%s:v%d:%s:%d", chatID, version, cursor, limit)
}
return fmt.Sprintf("messages:%s:%s:%d", chatID, cursor, limit)
}
func versionKey(chatID string) string {
return "chat_version:" + chatID
}
// GetVersion возвращает текущую версию чата. 0, если ключа нет.
func (c *MessageCache) GetVersion(ctx context.Context, chatID string) int64 {
v, err := c.client.Get(ctx, versionKey(chatID)).Int64()
if err != nil {
return 0
}
return v
}
// IncrVersion увеличивает версию чата. Используется в Send для инвалидации.
func (c *MessageCache) IncrVersion(ctx context.Context, chatID string) int64 {
v, err := c.client.Incr(ctx, versionKey(chatID)).Result()
if err != nil {
slog.Warn("redis incr version failed", "chat_id", chatID, "err", err)
return 0
}
return v
func cacheKey(chatID string, version int64, cursor string, limit int) string {
return fmt.Sprintf("messages:%s:v%d:%s:%d", chatID, version, cursor, limit)
}
func (c *MessageCache) Get(ctx context.Context, chatID string, version int64, cursor string, limit int) ([]*domain.Message, string, bool) {
raw, err := c.client.Get(ctx, c.cacheKey(chatID, version, cursor, limit)).Bytes()
raw, err := c.client.Get(ctx, cacheKey(chatID, version, cursor, limit)).Bytes()
if err != nil {
return nil, "", false
}
@@ -85,18 +63,22 @@ func (c *MessageCache) Set(ctx context.Context, chatID string, version int64, cu
slog.Warn("marshal cache entry failed", "err", err)
return
}
if err := c.client.Set(ctx, c.cacheKey(chatID, version, cursor, limit), raw, 30*time.Second).Err(); err != nil {
if err := c.client.Set(ctx, cacheKey(chatID, version, cursor, limit), raw, 30*time.Second).Err(); err != nil {
// Redis недоступен — не падаем, работаем без кэша.
slog.Warn("redis set failed", "chat_id", chatID, "err", err)
}
}
// OnWrite вызывается после успешной записи сообщения, до ответа клиенту.
// Ошибки Redis игнорируются — при недоступности кэш устареет по TTL.
// OnWrite вызывается после успешной записи сообщения. Свежесть чтения уже
// обеспечена ростом chats.version в транзакции записи; в режиме scan здесь
// только воспроизводится стоимость удаления старых ключей (lab2), и ошибка
// Redis не может сделать историю устаревшей.
func (c *MessageCache) OnWrite(ctx context.Context, chatID string) {
c.IncrVersion(ctx, chatID)
if !c.versionedKeys {
_ = c.Invalidate(ctx, chatID)
if !c.scanOnSet {
return
}
if err := c.Invalidate(ctx, chatID); err != nil {
slog.Warn("redis scan invalidation failed", "chat_id", chatID, "err", err)
}
}
+2
View File
@@ -32,6 +32,8 @@ type ChatRepository interface {
Create(ctx context.Context, chat *domain.Chat) error
GetByID(ctx context.Context, id string) (*domain.Chat, error)
IsMember(ctx context.Context, chatID, userID string) (bool, error)
// MemberVersion — версия истории чата (растёт с каждым сообщением) и членство.
MemberVersion(ctx context.Context, chatID, userID string) (version int64, member bool, err error)
ListByMember(ctx context.Context, userID string, cursor time.Time, cursorID string, limit int) ([]*domain.Chat, error)
}
+7 -15
View File
@@ -84,7 +84,7 @@ func (s *MessageService) Send(ctx context.Context, senderID, chatID, text, idemp
return stored, nil
}
// Инвалидация: увеличение версии чата (+ SCAN-удаление в режиме scan).
// Версия чата уже увеличена в транзакции записи; здесь только режим scan.
if s.cache != nil {
s.cache.OnWrite(ctx, chatID)
}
@@ -102,7 +102,9 @@ func (s *MessageService) List(ctx context.Context, callerID, chatID, cursor stri
return nil, "", ErrInvalidInput
}
ok, err := s.chats.IsMember(ctx, chatID, callerID)
// Членство и версия истории — одним запросом к PostgreSQL. Версия читается
// до истории, поэтому под ключом версии v лежат данные не старее v.
version, ok, err := s.chats.MemberVersion(ctx, chatID, callerID)
if err != nil {
if errors.Is(err, repository.ErrNotFound) {
return nil, "", ErrNotFound
@@ -113,15 +115,9 @@ func (s *MessageService) List(ctx context.Context, callerID, chatID, cursor stri
return nil, "", ErrNotFound
}
// Проверяем кэш. Если версия изменилась между GetVersion и Get — не используем.
var versionBefore int64
if s.cache != nil {
versionBefore = s.cache.GetVersion(ctx, chatID) // ← GetVersion не возвращает ошибку, ок
if items, next, hit := s.cache.Get(ctx, chatID, versionBefore, cursor, limit); hit { // ← Get: при ошибке false
// Проверяем, что версия не изменилась с момента Set
if s.cache.GetVersion(ctx, chatID) == versionBefore {
return items, next, nil
}
if items, next, hit := s.cache.Get(ctx, chatID, version, cursor, limit); hit {
return items, next, nil
}
}
@@ -150,12 +146,8 @@ func (s *MessageService) List(ctx context.Context, callerID, chatID, cursor stri
next = encodeCursor(chatID, last.CreatedAt, last.ID)
}
// Записываем в кэш только если версия не изменилась за время чтения БД.
if s.cache != nil {
versionAfter := s.cache.GetVersion(ctx, chatID)
if versionBefore == versionAfter {
s.cache.Set(ctx, chatID, versionBefore, cursor, limit, items, next)
}
s.cache.Set(ctx, chatID, version, cursor, limit, items, next)
}
return items, next, nil
}
+5
View File
@@ -8,7 +8,12 @@ import (
var usernameRe = regexp.MustCompile(`^[a-z0-9_]{3,32}$`)
// validatePassword: 12–128 code points и не только пробельные символы
// (обязательная строка по контракту не может состоять из одних пробелов).
func validatePassword(s string) bool {
if strings.TrimSpace(s) == "" {
return false
}
n := utf8.RuneCountInString(s)
return n >= 12 && n <= 128
}
+39
View File
@@ -0,0 +1,39 @@
package service
import (
"strings"
"testing"
)
func TestValidatePassword(t *testing.T) {
cases := []struct {
name string
in string
want bool
}{
{"обычный", "correct-horse-12", true},
{"ровно 12", strings.Repeat("a", 12), true},
{"128 code points", strings.Repeat("я", 128), true},
{"двоеточие допустимо", "pass:word:1234", true},
{"пробелы внутри допустимы", " pass word ", true},
{"короче 12", strings.Repeat("a", 11), false},
{"длиннее 128", strings.Repeat("a", 129), false},
{"12 пробелов", strings.Repeat(" ", 12), false},
{"пробельные символы разных видов", strings.Repeat(" \t\n ", 4), false},
{"пусто", "", false},
}
for _, c := range cases {
if got := validatePassword(c.in); got != c.want {
t.Errorf("%s: validatePassword(%q) = %v, want %v", c.name, c.in, got, c.want)
}
}
}
func TestValidateText(t *testing.T) {
if validateText(strings.Repeat(" ", 5)) {
t.Error("whitespace-only text must be rejected")
}
if !validateText("привет") {
t.Error("normal text must be accepted")
}
}
+1
View File
@@ -0,0 +1 @@
ALTER TABLE chats DROP COLUMN IF EXISTS version;
+7
View File
@@ -0,0 +1,7 @@
-- migrations/0003_chat_version.sql
-- Версия истории чата: увеличивается в той же транзакции, что и вставка сообщения.
-- Входит в ключ кэша истории, поэтому видимость подтверждённой записи не зависит
-- от доступности Redis. Только добавление столбца с DEFAULT — совместимо с
-- работающей предыдущей версией API (expand).
ALTER TABLE chats ADD COLUMN version BIGINT NOT NULL DEFAULT 0;
+7
View File
@@ -35,6 +35,13 @@ $PY tests/smoke.py --base-url "$BASE" | tee evidence/smoke.txt
step "конкурентная идемпотентность"
$PY student-tests/idempotency_concurrent.py --base-url "$BASE" --output evidence/idempotency_concurrent.json | tail -1
step "регрессии: видимость записи при отказе Redis (ACL), пароль из пробелов"
{ echo "-- CACHE_INVALIDATION=version (по умолчанию)"; $PY student-tests/regressions.py --base-url "$BASE"; } > evidence/regressions.txt 2>&1
CACHE_INVALIDATION=scan docker compose up -d --wait api >/dev/null 2>&1
{ echo "-- CACHE_INVALIDATION=scan (реплики пересозданы)"; $PY student-tests/regressions.py --base-url "$BASE"; } >> evidence/regressions.txt 2>&1
docker compose up -d --wait api >/dev/null 2>&1
cat evidence/regressions.txt
step "публичный failover (2 прогона, между ними restore)"
for n in 1 2; do
{ $PY tests/resilience.py --mode failover --action-script "$STOP" --base-url "$BASE" || echo "FAILED"; \
+81
View File
@@ -0,0 +1,81 @@
#!/usr/bin/env python3
"""Регрессии по замечаниям проверки lab3.
1. Видимость подтверждённой записи при отказе Redis в командах инвалидации:
чат с двумя сообщениями → закэшировать историю → в Redis запретить команды
через ACL (сначала только INCR, затем INCR+DEL+UNLINK+SCAN) → отправить
третье сообщение → каждое следующее чтение через LB обязано вернуть его.
2. Пароль из одних пробельных символов при регистрации → 400.
Нужен запущенный Docker-стенд (redis-cli вызывается через docker compose exec).
ACL всегда восстанавливается в finally. --only cache|password запускает одну часть.
"""
import subprocess
import sys
import uuid
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'tests')) # публичный client.py
from client import Client, arguments, check, run
from resilience import history
ROOT = Path(__file__).resolve().parents[1]
WHITESPACE_PASSWORDS = (' ' * 12, '\t' * 12, '  ' * 8)
def redis_cli(*args):
r = subprocess.run(['docker', 'compose', 'exec', '-T', 'redis', 'redis-cli', *args],
cwd=ROOT, capture_output=True, text=True, timeout=30)
check(r.returncode == 0, 'redis-cli failed: ' + r.stderr.strip())
return r.stdout.strip()
def visibility_case(c, alice, bob, chat, denied):
path = '/api/v1/chats/' + chat['id'] + '/messages?limit=50'
before = [m['id'] for m in history(c, bob, chat)]
# Прогреваем кэш на обеих репликах.
for _ in range(4):
c.call('GET', path, actor=bob, schema='MessagePage')
redis_cli('ACL', 'SETUSER', 'default', *('-' + cmd for cmd in denied))
try:
sent = c.message(alice, chat, 'после запрета ' + '+'.join(denied))['json']
# Каждое следующее чтение (через любую реплику) видит подтверждённую запись.
for i in range(6):
page = c.call('GET', path, actor=bob, schema='MessagePage')
ids = [m['id'] for m in page['json']['items']]
check(sent['id'] in ids, 'read %d after 201 misses confirmed message (denied: %s)' % (i, denied))
# Порядок (created_at до секунды, id): новое сообщение той же секунды может
# встать раньше старых, поэтому проверяем наличие, а не префикс.
check(set(before) <= set(ids), 'previously confirmed messages missing')
finally:
# reset — чтобы снять и точечные запреты, независимо от порядка правил.
redis_cli('ACL', 'SETUSER', 'default', 'reset', 'on', 'nopass', '~*', '&*', '+@all')
return len(before) + 1
def main():
def configure(p):
p.add_argument('--only', choices=['password', 'cache'], default=None)
args = arguments('Regression checks for lab3 review findings', configure)
c = Client(args.base_url, args.ca_file)
# 2. Пароль из пробельных символов (пробелы, табуляции, неразрывные пробелы).
if args.only in (None, 'password'):
for pw in WHITESPACE_PASSWORDS:
c.call('POST', '/api/v1/users', 400,
body={'username': 'ws_' + uuid.uuid4().hex[:10], 'display_name': 'WS', 'password': pw})
print('PASS: whitespace-only password rejected with 400 (3 variants)')
if args.only == 'password':
return
# 1. Видимость записи при отказе Redis.
alice, bob, _, chat = c.bootstrap()
c.message(alice, chat, 'первое')
c.message(bob, chat, 'второе')
n = visibility_case(c, alice, bob, chat, ['incr'])
print('PASS: Redis ACL -incr: message visible on every next read (%d in history)' % n)
n = visibility_case(c, alice, bob, chat, ['incr', 'del', 'unlink', 'scan'])
print('PASS: Redis ACL -incr -del -unlink -scan: message visible on every next read (%d in history)' % n)
if __name__ == '__main__':
run(main)