53 Commits
Author SHA1 Message Date
Artyom c835302f70 Merge completed lab 5 for Gitea submission
Preserve the exact lab 5 tree and original history from c7b8feb805.
Connect it to the instructor master for a cross-fork pull request.
2026-11-08 00:57:05 +03:00
Artyom c7b8feb805 Validate bounded PNG rendering and finalize lab 5 evidence 2026-11-07 02:25:23 +03:00
Artyom 74c33160ac Update lab 5 report after PNG memory review 2026-11-07 01:53:09 +03:00
Artyom 6096aa7948 Archive the bounded PNG memory change 2026-11-07 00:48:46 +03:00
Artyom 1a80205249 Bound PNG transparency buffers within worker memory limits 2026-11-07 00:47:22 +03:00
Artyom 429f12d0bc Propose bounded PNG rendering memory as an OpenSpec change 2026-11-07 00:41:52 +03:00
Artyom fb682bc384 Include raw PostgreSQL outage log in validation evidence 2026-11-07 00:31:13 +03:00
Artyom 8b84ebf6d6 Record final validation and boundary PNG memory failure 2026-11-07 00:30:38 +03:00
Artyom b30e2f6a84 Finalize lab 5 report and evidence provenance after review 2026-11-07 00:13:31 +03:00
Artyom 42575281b3 fix: preserve PNG transparency at original sample depth 2026-11-06 23:51:58 +03:00
Artyom 6e97bdbe96 Archive the critical lab5 review fixes change 2026-11-06 23:34:44 +03:00
Artyom 3fad49d6b9 Preserve infrastructure redeliveries and flatten PNG transparency 2026-11-06 23:33:51 +03:00
Artyom ef55f9ac0a Propose critical lab5 review fixes as an openspec change 2026-11-06 23:29:25 +03:00
Artyom 544b9c78d3 Verify late forward fixes and archive lab 5 regression evidence 2026-11-06 23:16:36 +03:00
Artyom 0e92111661 Port final lab 4 validation and session revocation fixes 2026-11-06 22:33:31 +03:00
Artyom f88e9ba43c Document verified lab 5 grades and archive the versioned pipeline 2026-11-06 12:11:44 +03:00
Artyom 9ba3076fa8 Preserve active staging and read published originals on reprocessing 2026-11-06 10:59:33 +03:00
Artyom 2e428cf8e6 Fix cold worker claim result mapping with Core updates 2026-11-06 10:35:08 +03:00
Artyom 1212c562d2 Identify the underlying job parameter conversion failure 2026-11-06 10:18:04 +03:00
Artyom 5f6169c06c Expose safe database error codes for failed job claims 2026-11-06 10:10:38 +03:00
Artyom 886d4b8bc2 Await terminal state of reordered pipeline versions 2026-11-06 09:50:51 +03:00
Artyom 389c159681 Handle structured missing-object responses in pipeline inventory 2026-11-06 09:49:20 +03:00
Artyom ac6c55809f Complete versioned attachment processing and fault invariants 2026-11-06 09:46:43 +03:00
Artyom e9e1ce576c Propose completing the versioned attachment pipeline 2026-11-06 09:39:58 +03:00
Artyom 6656280b2c Verify lab 5 grade 4 recovery and worker limits 2026-11-06 09:37:20 +03:00
Artyom e9ce6d0afa Scope retention fault injection to the synthetic attachment 2026-11-06 09:31:58 +03:00
Artyom b159899d73 Prepare lab 5 grade 4 recovery verification 2026-11-06 09:28:01 +03:00
Artyom 47ffb2d10b Verify lab 5 grade 3 on the SQLAlchemy stack 2026-11-06 09:27:12 +03:00
Artyom 24a51744f5 Record source revisions and stopped containers in pipeline evidence 2026-11-06 09:16:57 +03:00
Artyom f1ecb74dc4 Propose verifying lab 5 grade 3 on SQLAlchemy 2026-11-06 09:16:40 +03:00
Artyom 02228a2847 Archive the lab 4 foundation forward change 2026-11-06 09:13:42 +03:00
Artyom 1217da5f5e Forward the lab 4 foundation and migrate the lab 5 pipeline to SQLAlchemy 2026-11-06 09:12:25 +03:00
Artyom ae9f60fe1f Propose forwarding the lab 4 foundation as an openspec change 2026-11-06 08:58:00 +03:00
ArtyomandClaude Opus 5.5 64d5c6746e Archive the crop, optimized, worker limits and job recovery change
The change add-lab5-variants-and-recovery is archived as
2026-10-29-add-lab5-variants-and-recovery with archived and lab: 5 in
.openspec.yaml. Specs are synced: lab5-image-variants and
lab5-job-recovery are created, lab5-attachment-pipeline (four
requirements) and lab4-attachments (metadata and download) are updated.
Level 4 is closed by make level4 (evidence/level4.json) and the rows
4.1-4.4 of REPORT.md.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:39:39 +03:00
ArtyomandClaude Opus 5.5 573220e12a Record level 4 evidence and fill in the report
evidence/level4.json: all 17 scenarios of levels 3 and 4 and the eight
invariants pass on 0b85edf; evidence/operator.txt shows the failed
registry, a replay to ready, a noop replay, an expired replay and the
DLQ. Smoke, topology, level3, persistence, failover, lab 4 scenarios,
limits, student tests and contract checks are refreshed on the same
commit. REPORT.md describes the variants, worker limits, jitter, lease
renewal, crash points, replay and retention, adds rows 4.1-4.4, the
level 4 failure experiments and the updated limitations.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:39:20 +03:00
ArtyomandClaude Opus 5.5 0b85edfdea Build the application image before compose plans the stand
up --build decided which containers to recreate before the build
finished, so relay and worker, which reuse the API image without a build
section of their own, kept running the previous image after a code
change. make up now builds first and then starts the stand, and every
service runs the same fresh image.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:21:08 +03:00
ArtyomandClaude Opus 5.5 b9d28d190e Run the level 4 scenarios with one command
make level4 runs the level 3 and level 4 scenarios of the pipeline suite
and the invariants into evidence/level4.json. New scenarios: worker_limits
(a 40 Mpx render under a 0.5 s timeout and a 200 MiB address space fails
with processing_failed while the worker keeps running, then succeeds with
the default limits under the container limit), retry_backoff_jitter
(delays from the job journal stay within [d/2, d] and differ) and
failed_retention (failed staging is kept, removed after the retention,
then replay answers expired). The stalled holder must be fenced and the
republished copy must be a no-op. The faults override passes the stall,
render limits and retention through; the admin CLI is python -m
messenger.admin. make failed, make replay ID=... and make dlq are the
operator entry points; the lab 4 target becomes lab4-level4. CI runs
level4 instead of level3. The registry prints ISO timestamps.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:19:28 +03:00
ArtyomandClaude Opus 5.5 b568fcf9c9 Add the failed registry, an explicit replay and failed staging retention
python -m messenger.admin is a new process assembly over the attachments
zone with only a database: "failed" lists failed jobs (served by the new
partial index jobs_failed_idx), "replay --attachment-id" moves a failed
attachment back to queued with the same job_id, attempt 1 and a fresh
outbox row, writing a replayed event with the operator. A ready, queued
or processing attachment is a noop (replay_noop event), a failed one
whose staging is already gone is expired. Every request is audited.

The relay now also removes the staging object of a failed attachment
once STAGING_RETENTION_SECONDS have passed since it failed; replay and
the cleanup take the same row lock.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:12:19 +03:00
ArtyomandClaude Opus 5.5 ecb4827e75 Renew job leases, spread retries with jitter and add crash points
Leases: the worker renews its lease before the first side effect and
every JOB_TIMEOUT_SECONDS/3 while the variants are produced; a renewal
that finds the lease taken cancels the work (and its render process)
and settles the job as fenced without writing anything.

Retries: the delay before attempt n+1 is drawn from [d/2, d] with
d = min(cap, base * 2^(n-1)) (equal jitter), the next attempt time is
computed by PostgreSQL and the delay is kept in the job event.

Faults: the Faults port is async; relay reaches after_commit_before_publish
and after_publish_before_confirm, worker reaches after_claim_before_side_effect,
stall_after_claim (once, FAULT_STALL_SECONDS), after_s3_write_before_commit
and after_commit_before_ack. Crashes are os._exit(137).

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:08:31 +03:00
ArtyomandClaude Opus 5.5 f2242eb39d Render variants in killable processes with time and memory limits
The renderer adapter keeps one single-process pool per WORKER_CONCURRENCY
slot. A render that exceeds RENDER_TIMEOUT_SECONDS is killed and its slot
is respawned, the render process has RLIMIT_AS = RENDER_MEMORY_MB on
Linux, so both limits end in ImageTooDemanding, a permanent
processing_failed. A render process killed from outside is a transient
error. A cancelled render (lost lease, shutdown) kills its process too.
The worker container limit grows to 1g: two 448 MiB render processes
plus the worker itself.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:02:16 +03:00
ArtyomandClaude Opus 5.5 431b82fd43 Render crop and optimized variants next to the thumbnail
The worker decodes the original once (JPEG draft down to the optimized
box, EXIF orientation applied in place, alpha composed on white) and
encodes three variants: the 256 px thumbnail, a centred 128x128 JPEG crop
that may upscale and a WebP fitted into 1280x1280 without upscaling,
quality 80, method 4. No EXIF, ICC or XMP is written. The byte limit is
checked before decoding. ready is set by the transaction that stores all
three rows, so a partial set is never published.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 03:00:11 +03:00
ArtyomandClaude Opus 5.5 045d631c12 Propose crop, optimized, worker limits and job recovery as an openspec change
Level 4 of the lab 5 rubric: crop and optimized variants, byte, pixel,
time and memory limits of the worker, crash points for the failure
windows 2-5 with automatic recovery, backoff with jitter and error
classification, a failed registry with an explicit replay, lease renewal
and failed staging retention. New capabilities lab5-image-variants and
lab5-job-recovery, deltas to lab5-attachment-pipeline and lab4-attachments.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:44:02 +03:00
ArtyomandClaude Opus 5.5 adb29a2afc Archive the asynchronous attachments change
Grade 3 of lab 5 is closed. Upload answers 202 queued only after the
original is staged in the private bucket and the attachment, its job
and the outbox row are committed together; a separate relay publishes
the outbox to a durable quorum queue with publisher confirms and
returns expired leases; a separate FastStream worker claims a job
under a lease, publishes the original and the 256 px JPEG thumbnail,
commits fenced by the lease token and acks only after the commit.
Transient errors retry up to JOB_MAX_ATTEMPTS and end in
retry_exhausted, undecodable images fail at once with invalid_image,
and a redelivered job changes nothing. The defence demonstration
(worker down, upload, message, API, relay and broker restarts, worker
up, ready) and the lab 4 minimum pass on a stand raised from empty
volumes.

The lab5-attachment-pipeline and lab5-job-delivery capabilities join
the main specs, and the upload, content, message and restart
requirements of lab 1, lab 3 and lab 4 are updated in place.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:31:34 +03:00
ArtyomandClaude Opus 5.5 a55bc716c4 Record level 3 evidence and fill in the report
Every grade 3 item of lab 5 is proven on a stand raised from empty
volumes at fe26938: the public smoke passes with 202 queued and a real
256x160 JPEG thumbnail; the suite runs its six grade 3 scenarios and
eight invariants green, including worker down with both API replicas,
the relay and the broker restarted while the job stays in the queue,
a redelivered finished job that changes nothing, an S3 outage that
recovers on attempt 2 and five transient failures that end in
retry_exhausted; the stand evidence shows the queued job with
delivery mode 2, the job id as message id and exactly the contract
fields, 409 before ready and a clean SIGTERM of the relay and the
worker; persistence restarts all eight services with their volumes,
failover keeps 134 writes without errors, and the lab 4 scenarios,
S3 checks, upload faults and container policy still pass.

The report describes the clean clone start, the processes and the
source of truth, what is stored at the moment of 202, the outbox and
relay, the claim, fencing and ack order of the worker, the retry
policy, the failure windows, the broker topology and permissions, the
roles table and the mapping of .env.example.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:31:07 +03:00
ArtyomandClaude Opus 5.5 fe2693870e Add the level 3 pipeline scenarios and the stand evidence
Bring the stdlib suite and image generator of the lab 5 preparation:
make suite-preflight checks services, readiness, schema columns, broker
topology and the faults override, and make level3 runs the grade 3
scenarios (smoke through the pipeline, worker down with API, relay and
broker restarts, duplicate delivery after ready, poison image, S3
outage with recovery, retries up to JOB_MAX_ATTEMPTS) and checks the
invariants into evidence/level3.json. make pipeline-evidence shows the
queued job on the broker while the worker is stopped, its properties
and contract payload, the 409 before ready and SIGTERM of the relay and
the worker; make topology dumps queues, consumers with prefetch,
permissions and users.

The lab 4 failover and S3 outage scenarios and the upload fault suite
now expect 202 and wait for ready, the stack evidence lists the broker
and its client packages, and the CI acceptance job runs the pipeline
scenarios and the SIGTERM check of the new processes.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:19:13 +03:00
ArtyomandClaude Opus 5.5 c55fb1b998 Run the broker, the relay and the worker in the stand
Embed the checked lab 5 preparation: RabbitMQ 4.1.8 pinned by digest
with a fixed node hostname, a volume, a read-only root and 512 MiB,
whose topology (vhost messenger, exchange attachments, quorum queue
attachments.process with a dead letter exchange, delivery limit 10 and
reject-publish overflow) and users come from definitions imported on
every boot. The relay may only write to the exchange, the worker may
only read the queue, configure belongs to the operator, there is no
guest, and the management UI is published on 127.0.0.1 only. The relay
and the worker run from the application image with a heartbeat health
check, init, a read-only root and their own limits; the worker gets its
own S3 user that reads staging and writes originals and variants, and
s3-init creates it idempotently. The API has no broker credentials.

make secrets also creates the broker passwords, URLs, hashed users and
the worker S3 keys; the restart hook now stops the balancer, the API,
the relay and the worker and restarts PostgreSQL, Valkey, S3 and the
broker with their volumes; worker.sh and broker.sh stop, start and
inspect the processes for the failure demonstrations; the limits
policy covers the new services and the loopback UI port.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:19:04 +03:00
ArtyomandClaude Opus 5.5 34741dc2d2 Refuse failed attachments in messages through a zone port
The messaging zone asks a new AttachmentStates port whether any listed
attachment of the chat has failed and answers 409 conflict before the
message is stored; queued and processing attachments can still be
sent right after the upload. The check runs only on the first execution
of a key, so a replay returns the original 201 even if the attachment
failed later. main.py wires the port to the attachments directory, so
neither zone reads the other's tables.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:09:31 +03:00
ArtyomandClaude Opus 5.5 b152b6e07e Process attachment jobs through an outbox, a relay and a worker
Upload now stages the checked original under staging/, and one
transaction moves the intent to queued, inserts the job (pipeline
version 1, attempt 1), its outbox row and an audit event; the 202 is
the in-memory snapshot, never a reread. Content answers 409 until the
attachment is ready, the thumbnail variant is served from the
published version and absent variants are 404.

The relay publishes outbox rows through FastStream with publisher
confirms, mandatory routing and persistent delivery, marks a row only
after the broker acked it, returns jobs whose lease expired and deletes
the staging object of ready attachments. The worker consumes the
quorum queue through a FastStream subscriber that declares nothing,
takes prefetch from WORKER_CONCURRENCY and acks manually after the
result commit, rejects messages off jobs.schema.json to the dead letter
exchange and requeues after an infrastructure error. A job is claimed
under a lease token; the original is copied to originals/ and a
256 px JPEG thumbnail is written under a content-addressed key; the
commit is fenced by the token, inserts variants with ON CONFLICT DO
NOTHING and publishes only a newer pipeline version. A transient error
reschedules the same job with an exponential delay and a new outbox
row, the last attempt fails with retry_exhausted, an undecodable image
fails at once with invalid_image, and a redelivered finished job is a
recorded no-op.

The worker and the relay are assembled in worker.py and relay.py with
the dishka FastStream integration and the platform providers of the
API; the shared core imports neither FastStream nor aio-pika. Tests
cover the thumbnail geometry and rendering, the job message against
the contract, the pipeline against PostgreSQL (duplicates, parallel
copies, retries, the attempt bound, leases and fencing) and the broker
adapters against a throwaway RabbitMQ with the stand's topology and
permissions.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 01:08:06 +03:00
ArtyomandClaude Opus 5.5 64fdaa03f2 Add the jobs, outbox and variants schema as an additive migration
Migration 0004 widens the attachment states to queued, processing and
failed, adds the staging and original keys, the published pipeline
version and the error code, and moves the lab 4 object key into them
while leaving the old column nullable until a contract step. New tables
hold the variants under the effect key (attachment, pipeline version,
name), the jobs with attempt, claims and lease, the outbox rows the
relay publishes and the audit of job transitions. Partial indexes serve
the relay scan of unpublished rows, the search for expired leases and
the staging cleanup.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 00:43:34 +03:00
ArtyomandClaude Opus 5.5 d9bcc7324b Propose asynchronous attachment processing as an openspec change
Plan grade 3 of lab 5: upload answers 202 queued after the original is
in a private staging prefix and the attachment, its job and an outbox
row are committed in one transaction; a separate relay publishes the
outbox to a RabbitMQ quorum queue with publisher confirms and returns
jobs with an expired lease; a separate worker on FastStream claims a
job under a lease, publishes the original and a 256 px JPEG thumbnail,
commits the result fenced by the lease token and acks only after the
commit, retries transient errors up to JOB_MAX_ATTEMPTS and fails
undecodable images at once. Content answers 409 until ready and a
failed attachment cannot be sent.

The change adds the lab5-attachment-pipeline and lab5-job-delivery
capabilities and deltas to lab4-attachments, lab4-upload-resilience,
lab1-messenger-history and lab3-load-balancing.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 00:42:15 +03:00
ArtyomandClaude Opus 5.5 540fcb35ba Carry over the lab 4 solution
Bring the application, own tests, Dockerfile, toolchain, compose stack,
HAProxy, k6 and RustFS configuration, migrations, hooks, evidence and
scenario scripts and the CI job from the lab 4 solution commit d2744bc,
merge the lab 4 Makefile targets into the lab 5 skeleton Makefile
without touching its targets, and append the lab 4 solution variables
to the skeleton .env.example. The package and the application follow
the contract version 1.5.0, and the image and the throwaway test
containers are tagged lab5 so they do not collide with a lab 4 stand on
the same host.

This is the starting point of the lab 5 cycle: lint, own tests and the
offline skeleton check pass before any lab 5 change.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 00:34:03 +03:00
ArtyomandClaude Opus 5.5 1210dd899c Carry over the agent context and openspec history from lab 4
Bring the Claude Code settings, the lint hook, the opsx commands and
skills, the architecture notes, the lab 1 to lab 4 specs and the
archived lab 1 to lab 4 changes into the lab 5 skeleton, so lab 5
continues the same spec history instead of starting from scratch. The
files come from the lab 4 solution commit d2744bc.

Rewrite AGENTS.md and the openspec context and rules for lab 5: upload
answers 202 queued after the original is in a private staging prefix
and the attachment, the job and the outbox row are committed in one
transaction, a separate relay publishes the outbox to RabbitMQ with
publisher confirms, a separate worker built from the same image
consumes the queue through FastStream with a manual ack after the
result commit, PostgreSQL stays the source of truth for job states,
Out of scope moves to labs 6-7, track 1 and broker HA, and the rules
add the failure windows between PostgreSQL and the broker, the effect
key and the lease to specs and designs.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
2026-10-29 00:32:37 +03:00
Mikhail Verkovykh 276dbdad8a Подготовить skeleton лабораторной 5 по мессенджеру 2026-09-10 18:01:35 +03:00
705 changed files with 36532 additions and 292309 deletions
+3 -23
View File
@@ -23,17 +23,12 @@ WORKER_CONCURRENCY=2
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
STAGING_RETENTION_SECONDS=86400
OTEL_SERVICE_NAME=messenger-api
# Worker must set a distinct service.name.
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
# Solution-specific: published LB ports, replica limits, workers and pool per replica,
# LB queue per replica, drain window before closing the listener on SIGTERM, PostgreSQL
# limits, load generator limits (profile bench), cursor key file. API_PORT/SHORTTTL_PORT of lab2 are gone:
# only the load balancer is published.
LB_HTTP_PORT=18086
LB_STATS_PORT=26085
LB_HTTP_PORT=18085
LB_STATS_PORT=25085
API_CPUS=1
API_MEMORY=512m
WEB_CONCURRENCY=2
@@ -63,7 +58,7 @@ MALLOC_MMAP_THRESHOLD_=131072
# Solution-specific for lab5: RabbitMQ management UI on 127.0.0.1, backoff base of a transient
# retry (doubles per attempt up to 60 s), relay poll and sweep intervals, worker limits and the
# PostgreSQL pool of relay and worker. FAULT_POINT is set only by infra/compose.faults.yaml.
BROKER_MANAGEMENT_PORT=26086
BROKER_MANAGEMENT_PORT=25086
JOB_BACKOFF_BASE_SECONDS=2
OUTBOX_POLL_SECONDS=1
SWEEP_INTERVAL_SECONDS=5
@@ -76,21 +71,6 @@ PIPELINE_DB_POOL_MAX_SIZE=4
RENDER_TIMEOUT_SECONDS=30
RENDER_MEMORY_MB=448
RENDER_TASKS_PER_CHILD=100
# Solution-specific for lab6: host ports of Prometheus, Loki, Tempo and Grafana (127.0.0.1 only),
# Prometheus retention, OTLP export timeout in seconds, metric export interval in ms, SDK queue
# sizes, the bounded flush on shutdown; OTEL_SDK_DISABLED=true turns the SDK and instrumentations off.
# relay and worker get OTEL_SERVICE_NAME messenger-relay and messenger-worker in compose.yaml.
PROMETHEUS_PORT=26090
LOKI_PORT=26310
TEMPO_PORT=26320
GRAFANA_PORT=26300
PROMETHEUS_RETENTION=7d
OTEL_SDK_DISABLED=false
OTEL_EXPORTER_OTLP_TIMEOUT=2
OTEL_METRIC_EXPORT_INTERVAL=10000
OTEL_BSP_MAX_QUEUE_SIZE=2048
OTEL_BLRP_MAX_QUEUE_SIZE=2048
TELEMETRY_SHUTDOWN_SECONDS=2
# Minimal client transfer rate, bytes/s: every body byte moved in either direction extends the
# request deadline by 1/rate, so slow but steady uploads and downloads outlive REQUEST_TIMEOUT_SECONDS.
MIN_TRANSFER_RATE_BYTES=131072
+1 -1
View File
@@ -1,4 +1,4 @@
## Лабораторная 6
## Лабораторная 5
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
+60 -45
View File
@@ -1,75 +1,90 @@
## Что это за репозиторий
Skeleton лабораторной 6 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`, включая `contracts/observability.md`) и публичные black-box проверки (`tests/`). Реализация API, relay, worker, Dockerfile, compose-стенд, конфигурация балансировщика, S3, брокера и стека наблюдаемости, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 6 построено переносом решения лабы 5.
Skeleton лабораторной 5 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, worker, relay, Dockerfile, compose-стенд, конфигурация балансировщика, S3 и брокера, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 5 построено переносом решения лабы 4.
Лаба 6: наблюдаемость всей системы, включая фоновую обработку. Бизнес-API не меняется (контракт 1.6.0). API, relay и worker инициализируют **OpenTelemetry SDK** в каждом процессе после fork (gunicorn-воркер, процесс relay, процесс worker) и отдают OTLP/HTTP в **OTel Collector** (`otelcol-contrib`); Collector раскладывает метрики в **Prometheus 3** (OTLP-приём), логи в **Loki 3** (OTLP `/otlp`), трассы в **Tempo 2**; **Grafana 12** только показывает и связывает их, datasources и dashboards приходят из provisioning в Git. HTTP-метрики и server spans даёт инструментация FastAPI, client spans БД — инструментация asyncpg под SQLAlchemy 2.0.45 async (ORM/Core, async_sessionmaker, DeclarativeBase); миграции — Alembic 1.16.5, consumer spans — `RabbitTelemetryMiddleware` FastStream. Логи идут через порт `Logger` (structlog → stdout JSON и OTLP) с `trace_id`/`span_id`, без тел сообщений и секретов. Остаётся всё из лаб 1–5: HAProxy перед ≥2 репликами, PostgreSQL, Valkey, RustFS, RabbitMQ, outbox, relay, worker с арендой и вариантами, хуки остановки реплики и рестарта стенда.
Лаба 5: приём вложения отделён от тяжёлой обработки. `POST /api/v1/chats/{chat_id}/attachments` проверяет файл как в лабе 4, кладёт оригинал в приватный префикс `staging/` bucket **RustFS** и одной транзакцией PostgreSQL фиксирует вложение `queued`, задание (`jobs`) и строку **transactional outbox**; только после этого отвечает `202` со снимком `queued`. Отдельный сервис `relay` публикует outbox в **RabbitMQ 4.1** (quorum queue, DLX, publisher confirms, `mandatory`, persistent), отдельный сервис `worker` (тот же образ, свой entrypoint) потребляет очередь через **FastStream** поверх aio-pika с ручным `ack` строго после `COMMIT` результата, захватывает задание арендой (`lease_token`), публикует оригинал в `originals/` и строит варианты Pillow. Источник истины состояний — PostgreSQL, брокер — транспорт и будильник. Остаётся всё из лаб 1–4: HAProxy перед ≥2 репликами, `X-Instance-Id`, `Idempotency-Key`, Basic → Bearer, хуки остановки реплики и рестарта стенда.
Текущий доступ к PostgreSQL — **SQLAlchemy 2.0.45 async**, `postgresql+asyncpg`, `async_sessionmaker`, ORM/Core и `DeclarativeBase`; миграции — **Alembic 1.16.5**, каталог `alembic/versions/`, async `alembic/env.py`. Compose-service `migrate` выполняет `alembic upgrade head` под advisory lock с проверкой legacy-схемы. Сырой asyncpg и прежние SQL-миграции не являются текущей архитектурой.
## Команды
```sh
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.6.0
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.5.0
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 и jobs.schema.json (venv с requirements-dev.txt)
make install # uv sync --group dev
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker)
make secrets # локальные secrets/* (БД, кэш, S3, broker, Grafana) и .env
make up # docker compose build, затем up -d --wait: хранилища, broker, стек наблюдаемости → migrate, s3-init → api ×2, relay, worker → lb
make obs-validate # otelcol validate, promtool check config, loki/tempo verify, JSON dashboards
make telemetry-check # Grafana provisioning, запрос → лог → трасса, job → трасса и лог worker, утечки
make test # публичный smoke через LB (через scripts/lab6.sh: http://127.0.0.1:18086)
make secrets # локальные secrets/* (PostgreSQL, Valkey, S3 root/API/worker, RabbitMQ) и .env
make up # docker compose build, затем up -d --wait (relay и worker пересоздаются на новом образе): хранилища и broker → migrate, s3-init → api ×2, relay, worker → lb
make test # публичный smoke через LB (BASE_URL=http://127.0.0.1:18085)
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
make restore # вернуть остановленные реплики и дождаться их в ротации LB
make level3 # сценарии уровня «3» лабы 5 (scripts/pipeline_suite.py) → evidence/level3.json
make down # остановка без удаления данных; make reset-data — намеренное удаление volumes
make worker-stop / worker-start # демонстрация «worker недоступен»
make queues # очереди брокера: ready, unacked, consumers
make level3 # сценарии уровня «3» suite (scripts/pipeline_suite.py) → evidence/level3.json
make level4 # сценарии уровней «3» и «4» suite и инварианты → evidence/level4.json
make track2 TRACK2_OUTPUT=evidence/local-track2.json # 13 сценариев и 8 инвариантов трека 2
make reprocess ID=… PIPELINE_VERSION=2 # новая версия обработки доступного исходника
make failed / make replay ID=… / make dlq # реестр failed, явный replay, просмотр DLQ (python -m messenger.admin, rabbitmqadmin)
make down # остановка своего project без удаления постоянных volumes
```
Команды стенда выше запускаются через `scripts/lab6.sh`, например `scripts/lab6.sh make up`. Локальные `make check validate lint` запускаются напрямую; `make student-test` создаёт одноразовые Docker-зависимости и не выполняется в документационной фазе.
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Адреса Prometheus, Loki, Tempo и Grafana для `scripts/obs_check.py` — переменные `PROMETHEUS_URL`, `LOKI_URL`, `TEMPO_URL`, `GRAFANA_URL` (по умолчанию стандартные порты на `127.0.0.1`).
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей и вложения.
## Архитектура skeleton
- `lab.json` — единственный источник номера лабы (6). От него зависят `scripts/check_contract.py` (`info.version == 1.6.0`) и `tests/client.py` (ветки `LAB>=5`: upload `202 queued`, ожидание `ready` до 60 с, ровно один `thumbnail` 256×160). Публичных проверок телеметрии нет: наблюдаемость доказывается своими скриптами и `evidence/`.
- `tests/` байт в байт как в лабе 5. `contracts/openapi.json` отличается только `info.title` и `info.version`.
- `contracts/observability.md` — нормативный набор сигналов (уровни «3» и «4»), resource attributes, запрещённые labels метрик и запрещённое содержимое telemetry, alerts и инциденты. `infra/otel/README.md` — что лежит в Git (Collector, storage, provisioning, dashboards, rules).
- `contracts/infrastructure.json` — роли лабы 5 плюс `otel_collector`, `telemetry_storage` (метрики, логи, трассы, persistent volume) и `grafana` (provisioning в Git). `compose.example.yaml` — только worksheet ролей.
- `lab.json` — единственный источник номера лабы (5). От него зависят `scripts/check_contract.py` (`info.version == 1.5.0`) и `tests/client.py` (ветки `LAB>=5`: upload отвечает `202 queued`, сообщение с вложением сразу, ожидание `ready` до 60 с от второго участника, ровно один вариант `thumbnail` 256×160 настоящим JPEG).
- `tests/` байт в байт как в лабе 4; поведение переключает только `lab.json`. `tests/resilience.py` после хука рестарта запрашивает метаданные и оригинал один раз с таймаутом 2 с.
- `contracts/jobs.schema.json` — формат сообщения брокера (7 обязательных полей, без bytes, URL, ключей S3 и filename); `contracts/attachment-states.md` — машина состояний и окна отказа.
- `contracts/infrastructure.json` — роли `api`, `postgres`, `load_balancer`, `s3`, `broker` (persistent volume, at-least-once), `worker` (отдельный процесс). `compose.example.yaml` — только worksheet ролей.
## Ключевые правила контракта (lab6)
## Ключевые правила контракта (lab5)
- Resource attributes: `service.name` (`messenger-api`, `messenger-worker`, `messenger-relay`), `service.version`, `service.instance.id` (уникален на процесс: `<hostname>-<pid>`), `deployment.environment.name=lab`.
- Метрики не получают labels `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`, сырой URL, filename, текст; маршрут — шаблон (`/api/v1/chats/{chat_id}/messages`). HTTP duration — histogram в секундах (`http.server.request.duration`, `OTEL_SEMCONV_STABILITY_OPT_IN=http`).
- Логи: timestamp, severity, `service.name`, `event`, `trace_id`/`span_id` при активном span. В telemetry никогда не попадают пароли, `Authorization`, токен сессии, тело сообщения, байты изображения, filename, ключи и подписанные URL; захват HTTP-заголовков выключен, Collector дополнительно редактирует подозрительные ключи.
- Экспорт телеметрии никогда не блокирует запрос: только `Batch*Processor` и `PeriodicExportingMetricReader`, короткий таймаут OTLP. `/health/ready` не зависит от Collector, хранилищ телеметрии и Grafana. `OTEL_SDK_DISABLED=true` выключает SDK целиком.
- Тело ошибки остаётся `{"error":{"code","message","request_id"}}` с `additionalProperties: false`: `trace_id` в тело и схемы не добавляется.
- Сохраняются правила lab5 (outbox, `202 queued`, `ack` после `COMMIT`, ключ эффекта, `409` на `/content` до `ready`), lab4, lab3 (`X-Instance-Id`, `Idempotency-Key`), lab2 и lab1.
- Upload: те же лимиты и коды, что в лабе 4 (`413`, `415`, `400`, `404`), но успех — `202 Attachment` со снимком `status=queued`, `variants=[]`, `error_code=null`; снимок берётся из записанного объекта, а не перечитывается после публикации. `202` — только после записи оригинала в `staging/` и `COMMIT` вложения, задания и outbox.
- Состояния: `queued → processing → ready | failed`; `processing → queued` при временной ошибке или истёкшей аренде; `failed → queued` только явным replay. `ready` не откатывается. `ready` выставляется, только когда записаны оригинал и все обещанные уровнем варианты.
- `/content` для `queued`, `processing`, `failed` — `409 conflict` для любого `variant`, включая `original`; неизвестный `variant` — `400`; отсутствующий вариант `ready`-вложения — `404`; посторонний — `404`. Варианты: `thumbnail` JPEG вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом, размеры вниз, минимум 1 px.
- Сообщение: вложение `queued`/`processing` прикрепляется (`201`), `failed` — `409`, вложение другого чата или неизвестное — `404`.
- Сообщение брокера — ровно поля `jobs.schema.json`; `job_id` не меняется при redelivery, `attempt` растёт только при управляемом повторе через outbox. Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
- Сохраняются правила lab4 (сырые байты, тип по содержимому, скачивание только через API без redirect), lab3 (`X-Instance-Id`, `Idempotency-Key`, LB не повторяет upload), lab2 (`Basic` только на входе, `Bearer` дальше, `WWW-Authenticate` по пути) и lab1 (формат ошибки, посторонний → `404`, keyset `(created_at, id)`, время RFC 3339 с `Z`).
## Правила работы с репозиторием
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, `infra/README.md`, `infra/otel/README.md`, рубрику. Расхождение оформляется вопросом преподавателю.
- Код — `src/messenger/`, миграции — `alembic/versions/`, async `alembic/env.py`, one-shot `alembic upgrade head`; работа с БД — только SQLAlchemy ORM/Core, asyncpg используется как драйвер, конфигурация LB, нагрузки, S3, брокера и наблюдаемости — `infra/` (`infra/otel`, `infra/prometheus`, `infra/loki`, `infra/tempo`, `infra/grafana`), хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
- Код — `src/messenger/`, миграции — `alembic/versions/`, конфигурация LB, нагрузки, S3 и брокера — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
- Наружу публикуются только LB, UI брокера, Prometheus, Loki, Tempo и Grafana на `127.0.0.1`; порты реплик API, OTLP и self-metrics Collector не публикуются. Порты задаются переменными `.env`/shell: API 18086, HAProxy stats 26085, broker UI 26086, Prometheus 26090, Loki 26310, Tempo 26320, Grafana 26300. Для команд стенда используй `scripts/lab6.sh`, который согласует project, порты, URL проверок и NO_PROXY.
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, сопоставление сигналов `observability.md` реальным именам метрик. PASS без команды не доказательство.
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, пароли Grafana, ключи S3, пароли брокера, volumes, дампы.
- Порты реплик API, S3, AMQP наружу не публикуются: только LB и UI брокера на `127.0.0.1`. API к брокеру не подключается. Клиенты брокера не объявляют очереди: топология — в `infra/rabbitmq/definitions.json`, права configure есть только у оператора.
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`).
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, ключи S3, пароли брокера, volumes, дампы.
- Проверять документацию используемых библиотек через Context7. Изменения реализации проходят OpenSpec propose/apply/archive. `openspec/config.yaml` уже описывает SQLAlchemy/Alembic и ЛР5; оставшееся в design правило `201` относится к прежней загрузке ЛР4, нормативный успех ЛР5 — `202`.
- Автор работы — Костылев Артём, БПИ2303. Не приписывать авторство Claude. Публикация только в private MTUCI-Labs и только назначенным агентом фазы PUBLICATION; вне неё не делать push и не отправлять Telegram.
## Порядок этапов и Docker
- Только runner управляет агентами: один переносит основу и последовательно реализует 3 → 4 → 5 с evidence, затем отдельные review → fix только major → re-review, отчёт, один агент нагрузки и публикации. Review/отчёт предыдущей лабы могут идти параллельно реализации следующей. Самостоятельно фоновых агентов не запускать, runner/state не менять.
- Major — доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса или провал обязательного сценария. Остальное — minor: сохранять в findings и ограничениях REPORT, не исправлять без назначения и не блокировать этапы. Обязательный FAIL нельзя объявлять PASS.
- Менять только назначенную лабу; другую читать лишь через предоставленный snapshot. Перед итоговым review переносить применимые поздние исправления. Сохранять WIP; `reset/clean` и удаление пользовательских данных запрещены.
- Разрешены основной project `mtusi2026lab5` в основном репозитории или `hlpipe-lab5-*` с working_dir под ним либо `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. API — 18085, остальные порты — 25000–25999; текущие значения stats/UI — 25085/25086. Учитывать Compose env, не печатать секреты.
- Обычные Docker-этапы работают совместно на отдельных project/портах/volumes; финальная нагрузка получает эксклюзивный доступ через runner. Останавливать только свой стенд, в конце — без `-v`. Фон и условия замеров фиксировать; пригодные серии сохранять, повторять только отсутствующие, затронутые или непригодные.
- Отчётная фаза меняет только `REPORT.md`, `AGENTS.md`, `evidence/**/*.md`; не меняет код, конфиги, OpenSpec и сырые измерения. Docker, динамические/нагрузочные прогоны и полный `make student-test` в этой фазе запрещены; лёгкие check/validate/lint и OpenSpec validation допустимы.
## Состояние доказательств после ревью
Индекс — [evidence/README.md](evidence/README.md), отчёт — [REPORT.md](REPORT.md). Текущий код после исправления памяти и независимого re-review — `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Последняя полная динамическая квалификация — `0e921116610d289716af0a40ec823376eb8bbcbc` (D); предыдущее review — `42575281b352d35bda17ee7601bae5548a996e91` (R). От D к R менялись renderer PNG и policy RabbitMQ; от R к M из runtime изменён только renderer. Старые PASS не обозначать прогоном M.
Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) завершила реальный PostgreSQL outage: 12 requeue → ready без replay, policy `delivery-limit=-1` на сохранённом volume, DLQ не выросла. HTTP PNG: 8 fixtures / 48 сравнений вариантов v1/v2 PASS. Delivery subset: 12 сценариев / 8 инвариантов PASS. Student-test: 980 passed / 1 Linux-only skip. Исторический аудит — [evidence/load-validation.md](evidence/load-validation.md), результаты V — [evidence/final-validation-2026-11-07/RESULTS.md](evidence/final-validation-2026-11-07/RESULTS.md).
**Прежний major закрыт динамически на F `74c33160ac01618f70e9e1c6a121a5e45c3c7155` (runtime = M).** Четыре исходных PNG 8000×5000 и grayscale16 без tRNS прошли Linux с импортами worker при 448 MiB/30 с и HTTP 202 → ready в v1/v2. Два одновременных HTTP jobs: peak 844.41 MiB / 1 GiB, OOM=0. Boundary: 8 сценариев / 8 инвариантов, 11 ID / 59 объектов; малая HTTP-матрица: 8 fixtures / 48 сравнений / 8 инвариантов, 8 ID / 56 объектов. Принудительные лимиты, обычное задание после каждого отказа и cleanup после sweep — PASS. Student-test: 984 passed / 2 Linux-only skipped / 19 deselected; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохранены, лимиты не увеличивались.
Актуальные команды и сырьё — [evidence/final-memory-validation-2026-11-07/RESULTS.md](evidence/final-memory-validation-2026-11-07/RESULTS.md), аудит применимости — [evidence/load-validation.md](evidence/load-validation.md). Полные track2, PostgreSQL outage и delivery subset приняты без повторения: соответствующий runtime не менялся. Стенд F остановлен, четыре volumes сохранены. Validation завершена; push/Telegram не выполнялись, публикация требует отдельного сообщения координатора с точным SHA. Документационные коммиты после F не меняют измеренный runtime.
Семь minor последнего review сохраняются в REPORT: crash_publish_confirm фактически после confirm до COMMIT outbox; limits.py имеет ложный FAIL порядка secrets; reconcile_track.py ожидает upload 201 ЛР4; failed upgrade v2 нельзя отдельно повторить при ready v1; UTC/elapsed run2/3 расходятся; design-правило config сохранило 201; JobMessage допускает преобразования типов и null вне jobs.schema.json. Последний minor воспроизведён reviewer в четырёх offline-пробах (bus/ack вместо reject); штатный relay формирует корректные сообщения, критичного последствия не установлено. Происхождение — [аудит обновления отчёта](evidence/report-memory-audit-2026-11-07.md). Корневые старые evidence до SQLAlchemy остаются историей.
## Уровни оценки
Решение заявлено на **«5»** с треком 1 «Цена наблюдаемости»; таблица доказательств — в `REPORT.md`.
Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Критерии подтверждены совокупностью сохранённых серий D/V и адресной validation F; прежний major закрыт, семь minor сохранены. Таблица доказательств и границы применимости — в `REPORT.md`.
- **3** — минимум lab5 работает при включённой телеметрии; Collector, Prometheus, Loki, Tempo и Grafana в общем стенде с volumes и provisioning из Git; API, relay и worker отдают OTLP; RPS/errors/duration API, jobs по исходу и duration worker; структурные логи с `trace_id`/`span_id`; реальные server и consumer spans; импортируемые dashboards; нет секретов и тел в telemetry; запрос → трасса и лог, job → трасса и лог worker.
- **4** — W3C trace context API → outbox → broker → worker (producer/consumer), цепочка до S3/DB с retry; p50/p95/p99 из histogram, доля ошибок, queue depth и возраст старейшей job, DB pool, saturation worker, CPU/RAM; SLI/SLO, alert rules error rate и queue lag (firing → resolved); memory_limiter, batch, ограниченные очереди, отказ хранилищ телеметрии; два разобранных инцидента.
- **5** — трек 1: telemetry off / on / head sampling / tail sampling / сбалансированная конфигурация при одинаковой open-loop нагрузке — latency с клиента, CPU/RAM вне телеметрии, объём ingest, потери spans и захват вброшенных ошибок и медленных запросов.
## Актуальное состояние и границы этапов
- Автор: Костылев Артём, БПИ2303. Итоговый отчёт — [REPORT.md](REPORT.md), индекс — [evidence/README.md](evidence/README.md).
- Актуальный runtime и измеритель: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; успешное независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. Поздние исправления ЛР5 доведены до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`, решения по путям — [forward-port.md](evidence/forward-port.md).
- Текущий набор — `evidence/forward-published/`: 995 passed, 2 skipped, 19 deselected в сохранённом полном suite; 15 пригодных серий, 12000 запросов, balanced −92,2% медианного Tempo ingest, 48/48 error и 48/48 slow. Исторические `grade3/grade4/track5` не выдаются за измерение позднего кода. Незатронутые storage/history проверки переиспользуются только с основанием из `preserved-mechanisms.json`.
- Пять minor после ревью — [review-summary.md](evidence/review-summary.md) и ограничения REPORT. Исправлять только major: доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса, неработающий обязательный сценарий. Minor сохранять, не блокировать ими отчёт/release; не объявлять неуспешный тест успешным.
- Этапы запускает только runner: один агент переноса/уровней 3→4→5/evidence → review (отдельный fix major и re-review при необходимости) → отдельный отчёт → один агент нагрузки и публикации. Ревью/отчёт предыдущей лабы может идти параллельно реализации следующей. Самостоятельно фоновых агентов не создавать, runner/state не менять.
- Обычные Docker-этапы используют отдельные project/порты/volumes совместно с другими лабами; эксклюзивный доступ получает только финальная нагрузка/release. Разрешён `mtusi2026lab6` в основном репозитории либо `hlpipe-lab6-*` в каталоге под ним или `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. Чужие контейнеры не трогать; в конце остановить свои без удаления постоянных volumes. Не выполнять reset/clean и удаление пользовательских данных.
- Фон и условия измерения фиксировать. Пригодные сохранённые серии переиспользовать после проверки SHA/diff; повторять лишь отсутствующие, неуспешные или признанные непригодными. Изменение только документации не требует новой нагрузки.
- Отчётная фаза меняет только REPORT.md, AGENTS.md и Markdown внутри evidence; OpenSpec/config, код и raw measurements не меняет. `openspec/config.yaml` уже содержит актуальный стек; циклы propose/apply/archive закрыты, проверка — `openspec validate --all --strict --no-interactive`.
- Публикация только в private MTUCI-Labs на явно назначенном этапе PUBLICATION. Самостоятельные push и Telegram вне назначенной фазы запрещены; для разрешённого Telegram — только `telegram-send`. ЛР1/2 заморожены; другие репозитории читать только через предоставленный snapshot.
- **3** — `202 queued` после staging и `COMMIT` задания с outbox; отдельные `broker`, `relay`, `worker` в стенде; durable quorum queue, publisher confirm, ручной `ack` после `COMMIT`; состояния `queued/processing/ready/failed`, оригинал в `originals/` и thumbnail; ограниченный retry (`JOB_MAX_ATTEMPTS=5`) и `failed` с `error_code`; повтор job без второго набора вариантов; worker остановлен → upload → сообщение → рестарт API и broker → worker → `ready`; минимум lab4 сохранён.
- **4** — crop и optimized WebP, лимиты worker по байтам, пикселям, времени и памяти, crash между `COMMIT` и publish, backoff с jitter и классификация ошибок, DLQ и replay, crash после записи объекта до `ack`, lease и fencing для зависшего `processing`, prefetch, очистка staging.
- **5** — трек 2: `pipeline_version` 1 и 2, монотонная публикация, автоматический fault-injection (дубль, reorder, crash до и после side effect, устаревшая job) и проверка инвариантов одной командой.
+1 -1
View File
@@ -1,4 +1,4 @@
# Памятка преподавателю — лабораторная 6
# Памятка преподавателю — лабораторная 5
## Что подготовлено
+1 -22
View File
@@ -10,14 +10,11 @@ COMPOSE ?= docker compose
RATE ?= 100
FROM_REV ?=
SHIFT ?= 0
SCRIPTS_PY = scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
SCRIPTS_PY = scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py \
scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
SCENARIO ?= failover-upload
PSQL = $(COMPOSE) exec -T postgres psql -U messenger -d messenger -X -q
OBS_CHECK = $(PYTHON) scripts/obs_check.py
APP_METRICS = {job=~"messenger-.*"}
TRACK2_OUTPUT ?= evidence/track2.json
TRACK2_SCENARIOS = smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version
PIPELINE_VERSION ?= 2
@@ -31,7 +28,6 @@ PYTEST_ARGS ?=
scenario s3-check attachments-evidence upload-faults upload-memory \
images queues topology worker-stop worker-start broker-restart suite-preflight level3 \
pipeline-evidence level4 replay failed dlq \
obs-validate telemetry-check \
faults-evidence retry-check reconcile reconcile-demo reconcile-cost load-evidence \
clean-clone-evidence overload-leftovers
@@ -48,8 +44,6 @@ help:
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
@echo "lab5: queues, topology, worker-stop/worker-start, broker-restart, images, suite-preflight, level3, level4"
@echo "lab5 оператор: failed (реестр), replay ID=<attachment_id>, dlq (просмотр DLQ без извлечения)"
@echo "lab6: obs-validate (конфиги Collector, Prometheus, Loki, Tempo, dashboards); telemetry-check → evidence/*.json"
@echo "retry-check: потерянный ответ на живой и на убитой реплике, повтор тем же ключом"
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
@@ -105,7 +99,6 @@ student-test:
secrets:
sh scripts/secrets.sh
sh scripts/broker-secrets.sh
sh scripts/secrets-lab6.sh
up: secrets
$(COMPOSE) build
@@ -284,20 +277,6 @@ pipeline-evidence:
$(PYTHON) scripts/pipeline_evidence.py --base-url "$(BASE_URL)" > evidence/pipeline-stand.txt; \
status=$$?; cat evidence/pipeline-stand.txt; exit $$status
obs-validate:
sh scripts/obs-validate.sh
telemetry-check:
$(OBS_CHECK) grafana > evidence/grafana.json
$(OBS_CHECK) dashboards --strict > evidence/dashboards.json
$(OBS_CHECK) request --base-url "$(BASE_URL)" > evidence/trace-request.json
$(OBS_CHECK) job --base-url "$(BASE_URL)" > evidence/trace-job.json
$(OBS_CHECK) leaks --base-url "$(BASE_URL)" > evidence/leaks.json
$(OBS_CHECK) query 'count by (__name__, job) ($(APP_METRICS))' \
'count by (http_route, http_request_method) (http_server_request_duration_seconds_count)' \
'count by (job_type, outcome) (messenger_jobs_processed_total)' > evidence/cardinality.json
@echo "telemetry-check: evidence/grafana.json dashboards.json trace-request.json trace-job.json leaks.json cardinality.json"
.PHONY: track2 reprocess
track2:
+33 -33
View File
@@ -1,6 +1,6 @@
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
# Лабораторная 5. Очереди и асинхронная обработка изображений
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
@@ -8,41 +8,42 @@
## Откуда начинаем
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
## Что сделать
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
## Оценка «3»: работающий минимум
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
## Оценка «4»: уровень стажёра/джуна
Весь уровень 3 **и все** пункты ниже:
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
## Оценка «5»: исследование и доказанный результат
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
## Как начать и проверить
@@ -78,28 +79,27 @@ Smoke не выставляет оценку автоматически. Про
## Сценарий защиты
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
## Что должно быть в PR
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
## Вопросы на защите
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
- Почему chat_id в labels может исчерпать хранилище?
- Как очередь переносит причинную связь между процессами?
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
- Чем publisher confirm отличается от consumer ack?
- Что именно уже сохранено в момент 202?
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
## Первичные материалы
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
+182 -221
View File
@@ -1,281 +1,242 @@
# Отчёт — лабораторная 6
# Отчёт — лабораторная работа 5
Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.
Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений».
Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора.
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация выполняется отдельным этапом, здесь не заявлены.
Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на **`74c33160ac01618f70e9e1c6a121a5e45c3c7155` (F, runtime = M)**: 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.
Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md), [финальный аудит нагрузки](evidence/load-validation.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены.
## Запуск из чистого clone
## Воспроизведение из чистого clone
Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в [uv.lock](uv.lock), образы — тегом и digest в [Dockerfile](Dockerfile) и [compose.yaml](compose.yaml).
Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M.
`REPOSITORY_URL` оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались.
Вместо `<PRIVATE_REPOSITORY_URL>` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.
```sh
git clone "$REPOSITORY_URL" mtusi2026lab6
cd mtusi2026lab6
git switch -c solution/bpi2303-kostylev origin/main
uv python install 3.14
uv sync --locked --group dev
git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
cd mtusi2026lab5
git checkout 6096aa7948b8b666aa3892397a96d044a55f02c6
export COMPOSE_PROJECT_NAME=mtusi2026lab5
export COMPOSE_FILE=compose.yaml
export API_IMAGE=mtusi-messenger:lab5-reviewed
export LB_HTTP_PORT=18085
export LB_STATS_PORT=25085
export BROKER_MANAGEMENT_PORT=25086
export BASE_URL=http://127.0.0.1:18085
export NO_PROXY=localhost,127.0.0.1,::1
uv sync --frozen --group dev
make check validate lint
openspec validate --all --strict --no-interactive
scripts/lab6.sh make secrets
scripts/lab6.sh docker compose config --quiet
scripts/lab6.sh make up
scripts/lab6.sh make ps
curl --fail http://127.0.0.1:18086/health/ready
scripts/lab6.sh make obs-validate
scripts/lab6.sh make test
scripts/lab6.sh make telemetry-check
scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh
scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh
scripts/lab6.sh make restore
scripts/lab6.sh make down
openspec validate --all --strict
make secrets
docker compose --env-file .env config --quiet
make up
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
make restore
make student-test
make images
make suite-preflight
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
make down
```
`make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`.
`make up` собирает образ и ждёт готовности хранилищ, успешных одноразовых `migrate` и `s3-init`, затем API ×2, relay, worker и LB. `migrate` выполняет **`alembic upgrade head`**. `make secrets` создаёт локальные секреты и `.env`, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только `127.0.0.1`. Экспорты выше имеют приоритет над Compose `.env` и предотвращают случайный выбор старых портов.
Полные собственные тесты запускаются отдельно: `scripts/lab6.sh make student-test`. Обвязка задаёт обход localhost через `NO_PROXY`, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в [финальном аудите](evidence/load-validation.md). Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
`make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят.
`make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes.
### Порты и настройки
Все опубликованные порты привязаны к `127.0.0.1`; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. [scripts/lab6.sh](scripts/lab6.sh) задаёт project, порты, URL проверок и `NO_PROXY`, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell.
| Назначение | Переменная | Host port |
| --- | --- | ---: |
| API через HAProxy | `LB_HTTP_PORT` | 18086 |
| HAProxy stats | `LB_STATS_PORT` | 26085 |
| RabbitMQ management | `BROKER_MANAGEMENT_PORT` | 26086 |
| Prometheus | `PROMETHEUS_PORT` | 26090 |
| Loki | `LOKI_PORT` | 26310 |
| Tempo query | `TEMPO_PORT` | 26320 |
| Grafana | `GRAFANA_PORT` | 26300 |
Grafana: пользователь `admin`, пароль из локального `secrets/grafana_admin_password`; его значение не входит в отчёт. Provisioning создаёт datasources `prometheus`, `loki`, `tempo` и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs.
| Настройки из `.env.example` | Фактическое применение |
| --- | --- |
| `APP_HOST`, `APP_PORT`, `APP_ENV` | Логические поля skeleton; Compose не передаёт их приложению. Образ слушает `HOST=0.0.0.0`, `PORT=8080`; окружение OTel задаёт `deployment.environment.name=lab` |
| `SESSION_STORE=postgres`, `CACHE_URL_FILE`, `SESSION_TTL_SECONDS` | PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через `SESSION_STORE` нет; TTL по умолчанию 3600 s |
| `DATABASE_URL_FILE`, `CURSOR_SECRET_FILE`, S3 `*_FILE` | Compose монтирует роли в `/run/secrets`; SQLAlchemy переводит DSN в `postgresql+asyncpg` |
| `BROKER_URL_FILE` | В relay и worker одинаковый путь `/run/secrets/broker_url`, но разные secrets `broker_url_api` / `broker_url_worker` и права |
| `API_REPLICAS`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE` | 2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по `PIPELINE_DB_POOL_MAX_SIZE=4` |
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `WORKER_CONCURRENCY` | 10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB |
| `OTEL_*`, `TELEMETRY_SHUTDOWN_SECONDS` | OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через `OTEL_SDK_DISABLED=true` |
| `OTEL_TRACE_RATIO`, `OTEL_COLLECTOR_CONFIG`, `COST_EXPERIMENT` | Дополнительные Compose-параметры: по умолчанию 1, `collector.yaml`, false. Генератор включает fault hook лишь на серию и восстанавливает default в `finally` |
Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=<attachment_id>` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID=<attachment_id> PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется.
## Архитектура и решения
```mermaid
flowchart LR
Client[Клиент] --> LB[HAProxy]
LB --> API[API ×2]
API --> PG[(PostgreSQL)]
API --> Cache[(Valkey)]
API --> S3[(RustFS / S3)]
PG --> Relay[Outbox relay]
Relay --> Broker[(RabbitMQ)]
Broker --> Worker[FastStream worker]
Worker --> PG
Worker --> S3
API -. OTLP .-> Collector[OTel Collector]
Relay -. OTLP .-> Collector
Worker -. OTLP .-> Collector
Collector --> Prom[(Prometheus)]
Collector --> Loki[(Loki)]
Collector --> Tempo[(Tempo)]
Grafana[Grafana] --> Prom
Grafana --> Loki
Grafana --> Tempo
```text
Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
→ COMMIT queued + jobs + outbox → 202
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
confirm manual ack ↑ после COMMIT
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT
```
Python 3.14; SQLAlchemy **2.0.45 async**, Alembic **1.16.5**, FastAPI, dishka, structlog, FastStream **0.7.8** + aio-pika **10.2.1**; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: [runtime.json](evidence/forward-published/runtime.json).
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; **SQLAlchemy 2.0.45 async**, драйвер asyncpg 0.32.0, **Alembic 1.16.5**; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в [uv.lock](uv.lock); сохранённая проверка runtime — [runtime.txt](evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt). Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в [compose.yaml](compose.yaml).
Зоны `identity`, `messaging`, `attachments` разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. `shared` содержит только платформу. `main.py`, `relay.py`, `worker.py` собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных.
Три зоны `identity`, `messaging`, `attachments` имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. `shared` содержит платформу, а сборка — `main.py`, `relay.py`, `worker.py`, `admin.py`. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет `test_bounded_contexts.py`.
Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: `DeclarativeBase`, `create_async_engine`, `async_sessionmaker`, отдельная `AsyncSession` на UoW. `asyncpg` остаётся драйвером и точкой инструментации. Миграции — [alembic/env.py](alembic/env.py) и [alembic/versions](alembic/versions): async engine, `run_sync`, advisory lock, legacy adoption, транзакция на ревизию, head `0007` для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет.
**SQLAlchemy и миграции.** [Database/UoW](src/messenger/shared/infrastructure/postgres.py) используют `create_async_engine`, `postgresql+asyncpg`, `async_sessionmaker`, `AsyncSession` и явный `commit()`; ORM-модели основаны на `DeclarativeBase`. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. [alembic/env.py](alembic/env.py) запускает миграции через async engine и `run_sync`, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность [alembic/versions](alembic/versions): `0001_init` → `0002_idempotency_keys` → `0003_attachments` → `0004_jobs` → `0005_failed_registry` → `0006_attachment_quarantine`. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.
Upload возвращает `202 queued` после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack **после COMMIT**; lease/fencing и ключ эффекта `(attachment_id, pipeline_version, variant)` не допускают повторной публикации результата. До ready `/content` отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once.
**Граница 202.** Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный `staging/`. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок `queued`, `variants=[]`, `error_code=null`. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.
ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. `traceparent`/`tracestate` сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт `RabbitTelemetryMiddleware`. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans.
**Outbox.** Relay выбирает доступные строки по частичному `outbox_pending_idx (available_at, id) WHERE published_at IS NULL` с `FOR UPDATE SKIP LOCKED`. Публикация persistent/mandatory с publisher confirms предшествует отметке `published_at` в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.
Экспорт выполняют `BatchSpanProcessor`, `BatchLogRecordProcessor`, `PeriodicExportingMetricReader`; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. `Logger` ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже.
**Worker и эффект.** FastStream использует `AckPolicy.MANUAL`, `RabbitMessage`, prefetch=2 при `WORKER_CONCURRENCY=2`. Worker берёт доверенные ключи S3 из БД, захватывает job арендой `lease_token`, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — `(attachment_id, pipeline_version, name)`; уникальные ограничения, versioned S3-ключи с хешем и условие `published_version < new_version` предотвращают второй набор и откат новой публикации. `ack()` вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и `nack(requeue=True)`.
## Доказательства критериев
**Повторы.** После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают `invalid_image`/`processing_failed`, исчерпание — `retry_exhausted`. Просроченный processing возвращает relay через `jobs_lease_idx`; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Сообщение, отвергнутое моделью `JobMessage`, отправляется в DLQ; модель не полностью эквивалентна `jobs.schema.json` из-за преобразования типов и nullable-поля (minor ниже). Реестр failed и replay доступны через CLI.
Команды в таблице выполняются с префиксом `scripts/lab6.sh`, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. **Актуальный набор — `forward-published`**; исторические исключения помечены явно и применяются только к неизменным механизмам согласно [preserved-mechanisms.json](evidence/forward-published/preserved-mechanisms.json).
В R policy `delivery-limit=-1` сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел `JOB_MAX_ATTEMPTS=5` остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — [evidence](evidence/final-validation-2026-11-07/postgres-outage-retry.json); уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.
**Изображения и ресурсы.** Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.
Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux `RLIMIT_AS=448 MiB` на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали `processing_failed` на первой попытке; Linux-пробник подтверждает `MemoryError` внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Это исходное доказательство major на V; исправление M ещё не подтверждено на той же Linux/HTTP-границе.
**Исправление памяти M.** Преобразования цвета и RGB-маски вычисляются плитками 256×256; глобальные resize/fit остаются после сборки изображения, чтобы не создавать границы плиток. Low-byte core закрывается перед high-byte decode, маски — до EXIF/resize, grayscale-исходник — после сборки RGB. `Image.close()` уничтожает pixel core; обычный выход из контекста изображения закрывает файл, но сохраняет core — [Pillow 13.0.0](https://github.com/python-pillow/Pillow/blob/13.0.0/docs/reference/open_files.rst). Сохранённое сравнение 132 вариантов побайтно совпало с V, но новые затраты Linux-процесса этим не измерены.
**Очистка.** Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор `reconcile_track.py` для квалификации ЛР5 непригоден.
## Проверки и таблица критериев
Исторические динамические PASS относятся к **D**, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на M. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.
| Критерий | Команда / сценарий | Наблюдение | Файл |
| --- | --- | --- | --- |
| Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) |
| Собственные регрессии, SQLAlchemy/Alembic | `scripts/lab6.sh make student-test` | Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | [прежний полный](evidence/forward-published/student-test.txt), [свежий полный](evidence/validation/student-test.txt), [повтор S3](evidence/validation/student-test-s3-retry.txt), [разбор](evidence/load-validation.md) |
| 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) |
| 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) |
| 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) |
| 3: отказ реплики и возврат | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy | [failover.txt](evidence/forward-published/failover.txt), [restore.txt](evidence/forward-published/restore.txt) |
| 3: воспроизводимый общий стенд | `make up`; `make obs-validate` | Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны | [up.txt](evidence/forward-published/up.txt), [obs-config.txt](evidence/forward-published/obs-config.txt), [runtime.json](evidence/forward-published/runtime.json) |
| 3: история наблюдаемости в volumes | `python3 scripts/obs_recovery.py` | Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
| 3: API → лог → trace, реальные server/client spans | `python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086` | `request.handled`, trace/span IDs; 7 spans, включая HTTP server и DB client | [telemetry-request.txt](evidence/forward-published/telemetry-request.txt) |
| 3: worker → лог → trace, consumer spans | `python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086` | Attachment ready, 52 spans, `job.processed` / `audit.job_settled` с одним trace_id | [telemetry-job.txt](evidence/forward-published/telemetry-job.txt) |
| 3: RED API, jobs outcome/duration, provisioning | `python3 scripts/obs_check.py dashboards --strict` | 32 targets, problems=[], реальные series; два dashboard JSON в Git | [dashboards.txt](evidence/forward-published/dashboards.txt), [dashboards](infra/grafana/dashboards) |
| 3: низкая кардинальность / resource attributes | `python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})'` | Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels | [исторические series неизменных инструментов](evidence/grade4/cardinality-series.json), [свежие dashboard queries](evidence/forward-published/dashboards.txt) |
| 3: отсутствие запрещённых данных | `python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086` | 0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта | [telemetry-leaks.txt](evidence/forward-published/telemetry-leaks.txt), [minor M1](evidence/review-summary.md) |
| 4: W3C API → outbox → broker → worker → S3/DB | `python3 scripts/obs_incidents.py chain` | 55 spans, producer/consumer, итог done | [incident-chain.txt](evidence/forward-published/incident-chain.txt) |
| 4: та же цепочка с retry | `python3 scripts/obs_incidents.py retry` | 86 spans; `retry_scheduled` → `done`, один trace | [incident-retry.txt](evidence/forward-published/incident-retry.txt) |
| 4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready | `python3 scripts/obs_check.py dashboards --strict` | Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже | [dashboards.txt](evidence/forward-published/dashboards.txt), [recording rules](infra/prometheus/rules/messenger.recording.yml) |
| 4: SLI/SLO, error rate alert | `python3 scripts/obs_incidents.py database` | SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved | [incident-database.txt](evidence/forward-published/incident-database.txt), [alert rules](infra/prometheus/rules/messenger.alerts.yml) |
| 4: queue lag alert и восстановление | `python3 scripts/obs_incidents.py worker` | 8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 | [incident-worker.txt](evidence/forward-published/incident-worker.txt) |
| 4: ограниченные очереди, отказ telemetry storage | `python3 scripts/obs_incidents.py storage` | Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 | [storage-incident.txt](evidence/grade4/storage-incident.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
| 4: readiness и shutdown при отказе Collector | `python3 scripts/obs_recovery.py` | Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt) |
| Поздние исправления сессий/HTTP | `.venv/bin/python student-tests/tools/forward_network.py`; stack pytest из логов | Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 | [network.txt](evidence/forward-published/network.txt), [cache-outage.txt](evidence/forward-published/cache-outage.txt) |
| Поздние исправления доставки/изображений | `env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage` (также `png-http`, `png-boundary`) | 12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 | [postgres-outage.json](evidence/forward-published/postgres-outage.json), [png-http.json](evidence/forward-published/png-http.json), [png-boundary.json](evidence/forward-published/png-boundary.json) |
| 5: off/on/head/tail/balanced, цена и сохранность | `python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json` | 15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow | [методика](evidence/forward-published/cost/method.md), [comparison.json](evidence/forward-published/cost/comparison.json), [результаты](evidence/forward-published/cost/results.md) |
| OpenSpec propose/apply/archive | `openspec list --json`; `openspec validate --all --strict --no-interactive` | 0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы | [архивы](openspec/changes/archive), [spec-sync.json](evidence/forward-published/spec-sync.json), [проверка отчёта](evidence/report-audit.md) |
| Контракт, синтаксис, типы | `make check validate lint` | PASS на F; приложение этим не проверяется | [checks](evidence/final-memory-validation-2026-11-07/checks.txt) |
| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно | [student-test.txt](evidence/final-memory-validation-2026-11-07/student-test.txt), [Linux](evidence/final-memory-validation-2026-11-07/linux.json) |
| Предыдущее исправление tRNS | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) |
| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) |
| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [OpenSpec](evidence/final-memory-validation-2026-11-07/openspec.txt) |
| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB на F | [smoke.txt](evidence/final-memory-validation-2026-11-07/smoke.txt) |
| 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) |
| 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) |
| 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
| Все уровни 3/4 в suite | `python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json` | 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов | [Команда](evidence/forward-final-2026-11-06/level4-command.txt), [JSON](evidence/forward-final-2026-11-06/level4.json) |
| 5: трек 2 | `make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json`, N=1,2,3 | 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику | [run1](evidence/forward-final-2026-11-06/track-run1.json), [run2](evidence/forward-final-2026-11-06/track-run2.json), [run3](evidence/forward-final-2026-11-06/track-run3.json) |
| Поздние исправления ЛР4 | `forward_network.py`, целевые stack-тесты и fixture HAProxy | Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 | [network](evidence/forward-final-2026-11-06/network-regressions.txt), [upload](evidence/forward-final-2026-11-06/upload-negative.txt), [cache](evidence/forward-final-2026-11-06/cache-outage.txt), [HAProxy](evidence/forward-final-2026-11-06/haproxy-errors.txt) |
`restart.sh` останавливает `lb api relay worker`, перезапускает `postgres valkey s3 broker`, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. `restore.txt` непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным `obs_recovery.py`. Старый запуск из чистого clone на `2903d9d` — [clean-clone.txt](evidence/grade3/clean/clean-clone.txt); он не является свежим clean-clone прогоном позднего кода.
## Отказы: время и сохранность
### Сигналы и запросы
Источник — D: [level4.json](evidence/forward-final-2026-11-06/level4.json) и публичные логи выше. Времена suite — **длительности всего сценария**, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.
Resource: `service.name=messenger-api|messenger-relay|messenger-worker`, `service.version=1.6.0`, уникальный `service.instance.id=<hostname>-<pid>`, `deployment.environment.name=lab`. В Prometheus ресурс виден через `job`, `instance` и `target_info`; в Loki — нормализованные поля, включая `service_name`. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик.
| Воздействие / команда suite | Фактически остановленный контейнер | Наблюдение | Время / потери |
| --- | --- | --- | --- |
| `worker_down_broker_restart` | `mtusi2026lab5-worker-1`, `3924574b030d`, exited 0 | 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z | 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0 |
| Persistence, `scripts/restart.sh` | `mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}`; точные ID в events | Данные, сессия и оригинал сохранены | Команда 12.835 с; потерь подтверждённых данных не обнаружено |
| Failover, `scripts/stop-one.sh` | `mtusi2026lab5-api-2`, exited 0 | 131 запись, 0 ошибок | Первая запись 2.791 с; потерь 0 |
| `crash_commit_publish` | `mtusi2026lab5-relay-1`, `57ef736182d7`, exited 137 | Неопубликованный outbox → ready с прежней job | Сценарий 9.5 с; потерь 0 |
| `crash_publish_confirm` | `mtusi2026lab5-relay-1`, `9f63b40078d5`, exited 137 | **После confirm**, до COMMIT отметки outbox; повтор публикации без второго эффекта | Сценарий 9.6 с; потерь 0; потеря confirm не проверялась |
| `crash_after_s3_before_commit` | `mtusi2026lab5-worker-1`, `c74820bbdab3`, exited 137 | Processing, 0 строк вариантов; повтор → ready | Сценарий 12.6 с; потерь 0 |
| `crash_after_commit_before_ack` | `mtusi2026lab5-worker-1`, `5accc3314905`, exited 137 | Ready до падения; redelivery без нового набора | Сценарий 10.3 с; потерь 0 |
| `lease_expiry_fencing` | Worker задержан, не остановлен | claimed(1) → lease_expired(2) → done(2) → fenced(1) | Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет |
| `s3_outage_recovers` | S3 остановлен сценарием; отдельного ps с ID в этом JSON нет | После восстановления done на попытке 2 | Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена |
| `retry_exhausted` / `replay_failed` | Fault-injection, контейнеры не требуется останавливать | 5 попыток → failed; явный replay → ready, повтор → noop | Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job |
| `worker_limits` | Worker остаётся running | 40 Мп: принудительные время/память → failed; штатный режим → ready | 15.4 с на сценарий; ошибок процесса worker не зафиксировано |
| Логический сигнал контракта | Реальное имя / поля | Единицы и измерения / запрос |
| --- | --- | --- |
| HTTP requests | `http_server_request_duration_seconds_count` | counter наблюдений histogram; `http_request_method`, `http_route`, `http_response_status_code`; `sum(messenger:http_requests:rate2m)` — RPS; recording rule формирует `status_class` |
| HTTP duration | `http_server_request_duration_seconds_bucket` | секунды; `histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m])))`; для p50/p99 заменить 0.95 |
| HTTP errors | `messenger:http_errors:ratio_rate2m` | 5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами |
| Jobs processed / failed | `messenger_jobs_processed_total` | доставки, `job_type`, `outcome`; `sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m]))`; outcome содержит done/retry_scheduled/failed и другие ветки |
| Job duration | `messenger_job_duration_seconds_bucket` | секунды обработки доставки, `job_type`, `outcome`; percentile из суммы bucket rates |
| Time to ready | `messenger_job_time_to_ready_seconds_bucket` | секунды от Job.created_at до done после commit, `job_type`; учитывает ожидание и retries |
| Queue depth / oldest age | `messenger_queue_depth`, `messenger_queue_oldest_age_seconds` | jobs / секунды, `queue_name=attachments.process`; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready |
| DB pool | `messenger_db_pool_used`, `_waiting`, `_capacity` | занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов |
| Worker saturation | `messenger_worker_busy`, `messenger_worker_capacity` | активные deliveries / доступная capacity; отношение сумм даёт долю занятости |
| Process CPU / RAM | `process_cpu_time_seconds_total`, `process_memory_usage_bytes` | `sum by(job)(rate(process_cpu_time_seconds_total[2m]))` — cores; `sum by(job)(process_memory_usage_bytes)` — bytes RSS; CPU renderer-детей не входит |
| Logs | timestamp, severity, resource service.name, event, trace_id, span_id | `request.handled`, `job.processed`; LogQL `{service_name="messenger-api"} | trace_id="<trace_id>"`; поля OTel представлены structured metadata |
| Traces | SERVER, PRODUCER, CONSUMER, CLIENT | Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning |
Историческая остановка стенда D: `make down` без `-v`, затем пустой список контейнеров project и четыре сохранённых volume — [down.txt](evidence/forward-final-2026-11-06/down.txt), [stopped-containers.txt](evidence/forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](evidence/forward-final-2026-11-06/retained-volumes.txt). В финальной validation стенд снова остановлен без `-v`; контейнеров project нет, четыре volume сохранены — [down](evidence/final-validation-2026-11-07/down.txt), [проверка](evidence/final-validation-2026-11-07/stopped-containers.txt), [volumes](evidence/final-validation-2026-11-07/retained-volumes.txt).
HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK.
## Трек 2: гипотеза, методика и числа
## Эксперименты и отказы
**Гипотеза.** At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.
### SLI/SLO и диагностика
**Методика.** На D выполнены три последовательных `make track2`. Каждый повтор создаёт 13 новых вложений и включает контроль `smoke_pipeline`, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В `reorder_attempts` меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.
API availability: `1 − 5xx/все бизнес-HTTP` за **1 h**, цель **≥99%**, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля **завершённых** jobs с time-to-ready **≤30 s** за **1 h**, цель **≥95%**; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO.
После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: `terminal`, `single_effect`, `no_ready_rollback`, `monotonic_publication`, `bytes_match_metadata`, `bounded_attempts`, `no_orphans`, `no_lost_202`. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. `no_orphans` относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.
`MessengerHighErrorRate`: доля 5xx >5% за 1 min, `for: 15s`. `MessengerQueueLag`: max age >15 s и depth >0, `for: 15s`. Проверка rules каждые 5 s; доставка наружу не требуется. [Runbooks](infra/prometheus/runbooks.md) связывают alert с запросами и действиями.
| Повтор на D | Сценарии PASS | Инварианты PASS | Уникальные 202 | Объекты S3 | Команда и первичные данные |
| --- | --- | --- | --- | --- | --- |
| 1 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run1.txt), [json](evidence/forward-final-2026-11-06/track-run1.json) |
| 2 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run2.txt), [json](evidence/forward-final-2026-11-06/track-run2.json) |
| 3 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run3.txt), [json](evidence/forward-final-2026-11-06/track-run3.json) |
| Всего | 39 | 24 | 39 | 174 | [summary.json](evidence/forward-final-2026-11-06/summary.json) |
| Воздействие и доказательство | Ожидание и наблюдение | Время / потери |
| --- | --- | --- |
| Остановка worker; [свежий лог](evidence/forward-published/incident-worker.txt) | API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved | UTC 06.11: stop 23:47:05, firing 23:47:49 (**44 s**), restore 23:47:52, resolved 23:48:04 (**12 s** после возврата). Все 8 jobs обработаны |
| Ограниченная SQL-блокировка users; [свежий лог](evidence/forward-published/incident-database.txt) | 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms | UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (**43 s**), resolved 23:49:54 (**55 s**). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся |
| S3 временно недоступен; [retry](evidence/forward-published/incident-retry.txt) | Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit | Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено |
| PostgreSQL недоступен worker; [JSON](evidence/forward-published/postgres-outage.json) | 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay | Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены |
| Остановка одной API-реплики; [failover](evidence/forward-published/failover.txt) | 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились | Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s |
| Рестарт приложений и business stores; [persistence](evidence/forward-published/persistence.txt) | Сессия и подтверждённые данные сохранены; volumes не удаляются | 14,386 s на весь сценарий; отдельный RTO не измерен |
| Остановка Prometheus/Loki/Tempo; **исторический** [storage](evidence/grade4/storage-incident.txt), неизменные механизмы | Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM | UTC 06.11: 18:14:29–18:16:16 (**107 s**), проверка закончилась 18:16:39. 72/74 traces найдены, **2 потеряны**; RAM 252,7/256 MiB (98,7%) |
| Остановка Collector / рестарт telemetry stores; **исторический** [recovery](evidence/grade3/telemetry-recovery.txt) | Ready=200, smoke PASS, ранее сохранённая история доступна | API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта |
Во всех трёх повторах `stale_after_new_version` сохраняет одинаковый публичный снимок v2 до/после поздней v1. В `reorder_versions` v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:
Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен.
При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана.
### Трек 1: цена наблюдаемости
Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик.
Измеряемый SHA: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, image ID `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET `/api/v1/users/me` по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в [conditions-start.json](evidence/forward-published/cost/conditions-start.json), снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется.
| Режим | SDK / выбор traces | Метрики |
| --- | --- | --- |
| off | SDK полностью выключен | Нет метрик приложения; self-scrapes storage продолжаются |
| on | Все server roots и их дочерние spans | Каждые 10 s |
| head | ParentBased root ratio 10% | Каждые 10 s |
| tail | Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных | Каждые 10 s |
| balanced | Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных | Каждые 30 s |
По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем **40 s open-loop, 20 arrivals/s, 800 запросов**, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего **12 000 запросов**, 11 760 ожидаемых 200 и 240 намеренных 503, **0 неожиданных ответов**. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput.
Команда серии и разбор всех параметров — [method.md](evidence/forward-published/cost/method.md). CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу.
Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку.
| Режим | p50 / p95 / p99, ms | normal p95, ms [min;max] | CPU app / obs / stores+LB, cores | RAM app / obs / stores+LB, MiB (median peak) |
| Вариант | Геометрия | v1, байт | v2, байт | SHA v1 / v2 |
| --- | --- | --- | --- | --- |
| off | 8,052 / 12,102 / 358,732 | 11,583 [11,572;11,856] | 0,1404 / 0,0256 / 0,1085 | 655,5 / 1013,3 / 419,9 |
| on | 7,460 / 13,148 / 359,469 | 12,709 [12,554;12,993] | 0,1726 / 0,0287 / 0,1030 | 706,8 / 1058,5 / 425,5 |
| head | 9,195 / 13,116 / 358,373 | 12,556 [12,354;12,652] | 0,1657 / 0,0261 / 0,1023 | 723,8 / 1076,1 / 347,1 |
| tail | 8,942 / 13,281 / 359,109 | 12,781 [12,555;12,920] | 0,1717 / 0,0272 / 0,1026 | 721,0 / 1021,2 / 430,6 |
| balanced | 8,269 / 13,230 / 359,753 | 12,895 [12,833;13,031] | 0,1749 / 0,0258 / 0,1030 | 707,1 / 1027,9 / 423,1 |
| crop | 128×128 | 1820 | 2142 | `97bf1400b30a28c1` / `5b6fb2a66216f8ca` |
| optimized | 320×200 | 2462 | 2790 | `1090d84ed8411226` / `fe520c978bd45fc8` |
| thumbnail | 256×160 | 4679 | 5628 | `7bc40bf315c8e18e` / `fa0db661078d4da9` |
Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. **PG_MEMORY в измерении 768m, в `.env.example` — 1g**: для повторения именно этих условий задайте `PG_MEMORY=768m` до `make up`. Остальные значения сверяйте с [runtime.json](evidence/forward-published/runtime.json).
Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.
| Режим | Tempo / Loki, KiB (median) | Prom samples (median) | SDK ended / sent spans (median) | Найдено normal /2304 | error /48 | slow /48 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| off | 0,0 / 0,0 | 33118 | 0 / 0 | 0 | 0 | 0 |
| on | 1662,2 / 288,3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 |
| head | 176,2 / 288,4 | 37234 | 543 / 543 | 237 | 6 | 3 |
| tail | 251,8 / 289,7 | 36657 | 5492 / 699 | 235 | 48 | 48 |
| balanced | 130,2 / 289,8 | 34459 | 5486 / 352 | 101 | 48 | 48 |
**Условия.** Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project `mtusi2026lab5`, образ `mtusi-messenger:lab5-forward`, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. [conditions-before.json](evidence/forward-final-2026-11-06/conditions-before.json) и [conditions-track-start.json](evidence/forward-final-2026-11-06/conditions-track-start.json) не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.
Во всех пригодных сериях **SDK ended = Collector accepted**, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов.
У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — [clock-observation.json](evidence/forward-final-2026-11-06/clock-observation.json). Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.
**Balanced снизил медианный Tempo ingest на 92,2% относительно on**, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s.
Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R.
![Повторы, медианы и диапазоны цены наблюдаемости](evidence/forward-published/cost/comparison.png)
## Ограничения
[Сырые серии и comparison.json](evidence/forward-published/cost/comparison.json), [сводка](evidence/forward-published/cost/results.md), [аудит пригодности](evidence/forward-published/cost/measurement-audit.json). Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в [invalid-series.json](evidence/forward-published/cost/invalid-series.json) и [invalid-time-gap](evidence/forward-published/cost/invalid-time-gap); повторены только эти две серии. Причина разрыва времени достоверно не установлена.
Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате `lab5-release-load0-round1`; в отчётном этапе его offline-пробы не повторялись:
Проверенный запуск balanced:
| Файл | Ограничение / доказательство |
| --- | --- |
| `src/messenger/attachments/application/pipeline.py:230` | `after_publish_before_confirm` вызывается после `publish()`, уже получившего Basic.Ack. `crash_publish_confirm` проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. [findings.json](evidence/review-trns-depth-2026-11-06/findings.json). |
| `scripts/limits.py:10` | Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. [Сохранённый запуск](evidence/sqlalchemy-2026-11-06/grade3/limits.txt) имеет exit_code=1; PASS ему не присваивается. |
| `scripts/reconcile_track.py:396` | Демонстратор ждёт upload 201 и `attachments/` из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. [findings.json](evidence/forward-final-2026-11-06/findings.json). |
| `src/messenger/attachments/application/pipeline.py:304` | Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка `test_failed_new_version_keeps_ready_original` — [student-test.txt](evidence/forward-final-2026-11-06/student-test.txt). |
| `evidence/forward-final-2026-11-06/clock-observation.json` | Расхождение часов в run2/3; время не используется для performance-выводов. |
| `openspec/config.yaml:130` | Унаследованное design-правило указывает upload 201 вместо нормативного 202. Конфиг вне scope отчётной фазы. |
| `src/messenger/attachments/entrypoints/schemas.py:67` | Модель допускает `attempt="1"`, `pipeline_version=true`, числовой `created_at` и `traceparent=null` вне `jobs.schema.json`. В четырёх offline-пробах ревью вызваны bus/ack, reject=0. Штатный relay формирует корректные сообщения; критичного последствия не установлено. [Источник и границы проверки](evidence/report-memory-audit-2026-11-07.md). |
```sh
OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker
```
Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.
После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.
`openspec/config.yaml` проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось `201` для PostgreSQL+S3. Для upload ЛР5 нормативен `202` после staging и COMMIT, как в `contracts/`. Эта документационная неточность не меняет HTTP-реализацию.
### Финальная validation перед публикацией
## Историческая validation V: завершённые проверки и исходный major
На входном HEAD `1e00d861a803a6d49ef443175b8231cbf048fc02` аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. **Нагрузку повторно не запускали.** [Аудит](evidence/load-validation.md) содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.
Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — [load-validation.md](evidence/load-validation.md). Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.
Свежие `make check validate lint` и OpenSpec strict (26 specs) прошли. Свежий полный `make student-test` завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с `NO_PROXY`: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.
## Ограничения и следующие шаги
Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:
| ID | Ограничение и последствие | Файлы / доказательства |
| Проверка на V | Реальный результат | Доказательство |
| --- | --- | --- |
| M1 | Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена | [obs_check.py](scripts/obs_check.py), [telemetry.py](src/messenger/shared/infrastructure/telemetry.py), [leaks](evidence/forward-published/telemetry-leaks.txt) |
| M2 | Унаследованные allowlists `make limits` и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно | [limits.py](scripts/limits.py), [workflow](.github/workflows/application.yml), [runtime](evidence/forward-published/runtime.json) |
| M3 | API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий | [alerts](infra/prometheus/rules/messenger.alerts.yml), [неуспешный старый опыт](evidence/grade4/database-incident.txt), [свежий SQL-lock](evidence/forward-published/incident-database.txt) |
| M4 | Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа | [collector.yaml](infra/otel/collector.yaml), [compose](compose.yaml), [storage](evidence/grade4/storage-incident.txt) |
| M5 | Whitespace в SVG и сыром stdout: ревью получило `git show --check` exit 2, 2320 замечаний. Это косметика артефактов; `make lint` исходников проходит | [comparison.svg](evidence/forward-published/cost/comparison.svg), [whitespace-check.txt](evidence/forward-published/whitespace-check.txt) |
| `make check validate lint`, OpenSpec | PASS; 22 спецификации, changes=[] | [checks](evidence/final-validation-2026-11-07/checks.txt), [OpenSpec](evidence/final-validation-2026-11-07/openspec.txt) |
| Сборка и публичный `make test` | PASS; образ содержит reviewed images.py, версии закреплены | [build](evidence/final-validation-2026-11-07/build.txt), [runtime](evidence/final-validation-2026-11-07/image-runtime.txt), [smoke](evidence/final-validation-2026-11-07/smoke.txt) |
| Policy на существующем volume и реальная остановка PostgreSQL | PostgreSQL `9f62ea9d176b` exited; 12 `job.requeued`; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS. Сценарий 21.815 с, вся команда 27.330 с; принятое вложение сохранено | [команда](evidence/final-validation-2026-11-07/postgres-outage-retry.txt), [JSON](evidence/final-validation-2026-11-07/postgres-outage-retry.json) |
| tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF | 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/png-http.txt), [JSON](evidence/final-validation-2026-11-07/png-http.json) |
| Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay | 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed | [команда](evidence/final-validation-2026-11-07/delivery-targeted.txt), [JSON](evidence/final-validation-2026-11-07/delivery-targeted.json) |
| PNG tRNS 8000×5000 при 448 MiB / 30 с | **4 FAIL**: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден | [команда](evidence/final-validation-2026-11-07/png-limits.txt), [JSON](evidence/final-validation-2026-11-07/png-limits.json), [fixtures](evidence/final-validation-2026-11-07/fixtures) |
| Принудительные timeout/memory и последующее обычное задание | PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше | [png-limits.json](evidence/final-validation-2026-11-07/png-limits.json) |
| Повторная read-only сверка после staging sweep | PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён | [cleanup-recheck](evidence/final-validation-2026-11-07/cleanup-recheck.json) |
Полный текст и происхождение замечаний — [review-summary.md](evidence/review-summary.md). Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен.
**Исходный major на V:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.
Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов.
Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены.
Старые `grade3`, `grade4`, `track5`, `level3.json` привязаны к своим SHA в [индексе](evidence/README.md); прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения.
Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md).
Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись.
## Исправление M и завершённая адресная validation F
[Результаты исправления](evidence/review-png-memory-2026-11-07/RESULTS.md) сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал:
| PNG tRNS | До, байт | После, байт |
| --- | ---: | ---: |
| grayscale 2 | 7 882 250 | 4 596 485 |
| grayscale 4 | 7 882 250 | 4 596 485 |
| grayscale 16 | 7 882 250 | 5 384 710 |
| RGB16 | 9 458 700 | 5 517 575 |
Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — [regression-before.txt](evidence/review-png-memory-2026-11-07/regression-before.txt), после — [offline-tests.txt](evidence/review-png-memory-2026-11-07/offline-tests.txt). Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше.
Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — [load-validation](evidence/load-validation.md), команды и методика — [RESULTS](evidence/final-memory-validation-2026-11-07/RESULTS.md).
| Критерий / команда | Результат F | Доказательство |
| --- | --- | --- |
| `linux-runner.py`: импорты worker, RLIMIT_AS=448 MiB, 30 с | Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS | [команда](evidence/final-memory-validation-2026-11-07/linux.txt), [JSON](evidence/final-memory-validation-2026-11-07/linux.json) |
| `targeted.py png-boundary`: LB/API/relay/broker/worker | 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-boundary.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
| Два одновременных HTTP jobs, v1/v2 | Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 | [concurrent-rgb16](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
| Принудительные 0.01 с / 200 MiB и следующие обычные задания | Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены | [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json), [условия после](evidence/final-memory-validation-2026-11-07/conditions-after.json) |
| `targeted.py png-http`: точный tRNS, Adam7/filter=4/EXIF=6 | 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-http.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-http.json) |
| Sweep и SQL/S3 inventory обеих серий | Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла | Инварианты в двух JSON выше |
Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах.
Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. [Начальные условия](evidence/final-memory-validation-2026-11-07/conditions.json), [итоговые](evidence/final-memory-validation-2026-11-07/conditions-after.json). Стенд F остановлен через `make down` без `-v`: [команда](evidence/final-memory-validation-2026-11-07/down.txt), [пустой project](evidence/final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](evidence/final-memory-validation-2026-11-07/retained-volumes.txt). Push и Telegram не выполнялись.
## Вопросы защиты
1. **Чем отличаются три сигнала?** Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку.
2. **Почему нельзя chat_id в labels?** Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces.
3. **Как связаны API и worker?** W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД.
4. **Почему ack после COMMIT?** Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing.
5. **Почему SQLAlchemy и Alembic?** ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его.
6. **Почему среднее не заменяет p99?** Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile.
7. **Как отличили DB от медленного handler?** В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert.
8. **Почему head потерял ошибки, а balanced сохранил?** Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector.
9. **Почему наблюдаемость может теряться без потери сообщения?** Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API.
10. **Что доказано треком?** Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны.
- **Что сохранено к 202?** Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
- **Confirm и ack — в чём разница?** Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
- **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
- **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
- **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы.
## Источники и помощь
Нормы: [README](README.md), [контракт наблюдаемости](contracts/observability.md), [API](contracts/openapi.json), [COURSE](COURSE.md). Архитектура портов/UoW — [конспект Персиваля—Грегори](openspec/notes/architecture-patterns-python.md). Код и проверенные конфигурации версионируются в этом репозитории.
SQLAlchemy async sessions/engine и Alembic async `run_sync` сверены с [SQLAlchemy 2.0](https://docs.sqlalchemy.org/en/20/orm/extensions/asyncio.html) и [Alembic cookbook](https://alembic.sqlalchemy.org/en/latest/cookbook.html#using-asyncio-with-alembic). Context7 в этом этапе ответил `Monthly quota exceeded`, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence.
Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта.
Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.
-19
View File
@@ -1,19 +0,0 @@
import sqlalchemy as sa
from alembic import op
from sqlalchemy.dialects.postgresql import JSONB
revision = "0007_trace_context"
down_revision = "0006_attachment_quarantine"
branch_labels = None
depends_on = None
def upgrade() -> None:
for table in ("jobs", "outbox"):
op.add_column(
table, sa.Column("trace_context", JSONB(), nullable=False, server_default="{}")
)
def downgrade() -> None:
raise RuntimeError("Downgrade would delete trace correlation data")
+1 -4
View File
@@ -1,7 +1,7 @@
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
# Service names below are logical roles, not imposed container names.
x-lab-number: 6
x-lab-number: 5
x-required-roles:
- api
- postgres
@@ -9,9 +9,6 @@ x-required-roles:
- s3
- broker
- worker
- otel_collector
- telemetry_storage
- grafana
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
services: {}
+5 -197
View File
@@ -44,34 +44,8 @@ x-pipeline: &pipeline
broker:
condition: service_healthy
x-otel-env: &otel-env
OTEL_TRACE_RATIO: ${OTEL_TRACE_RATIO:-1}
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
OTEL_EXPORTER_OTLP_ENDPOINT: ${OTEL_EXPORTER_OTLP_ENDPOINT:-http://otel-collector:4318}
OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf}
OTEL_EXPORTER_OTLP_TIMEOUT: ${OTEL_EXPORTER_OTLP_TIMEOUT:-2}
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
OTEL_SEMCONV_STABILITY_OPT_IN: http
OTEL_METRIC_EXPORT_INTERVAL: ${OTEL_METRIC_EXPORT_INTERVAL:-10000}
OTEL_BSP_MAX_QUEUE_SIZE: ${OTEL_BSP_MAX_QUEUE_SIZE:-2048}
OTEL_BLRP_MAX_QUEUE_SIZE: ${OTEL_BLRP_MAX_QUEUE_SIZE:-2048}
TELEMETRY_SHUTDOWN_SECONDS: ${TELEMETRY_SHUTDOWN_SECONDS:-2}
x-obs-logging: &obs-logging
driver: json-file
options:
max-size: 10m
max-file: "3"
x-obs-hardening: &obs-hardening
restart: unless-stopped
stop_grace_period: 10s
cap_drop: [ALL]
security_opt: ["no-new-privileges:true"]
logging: *obs-logging
x-pipeline-env: &pipeline-env
<<: [*s3-env, *otel-env]
<<: *s3-env
DATABASE_URL_FILE: /run/secrets/database_url
BROKER_URL_FILE: /run/secrets/broker_url
DB_POOL_MAX_SIZE: ${PIPELINE_DB_POOL_MAX_SIZE:-4}
@@ -116,8 +90,8 @@ services:
API_SERVER_MAXCONN: ${API_SERVER_MAXCONN:-64}
volumes: [./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
ports:
- "127.0.0.1:${LB_HTTP_PORT:-18086}:8080"
- "127.0.0.1:${LB_STATS_PORT:-26085}:8404"
- "127.0.0.1:${LB_HTTP_PORT:-18085}:8080"
- "127.0.0.1:${LB_STATS_PORT:-25085}:8404"
networks: [edge, backend]
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
@@ -142,14 +116,12 @@ services:
<<: *app
build: .
environment:
<<: [*s3-env, *otel-env]
OTEL_SERVICE_NAME: ${OTEL_SERVICE_NAME:-messenger-api}
<<: *s3-env
DATABASE_URL_FILE: /run/secrets/database_url
CACHE_URL_FILE: /run/secrets/cache_url
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
COST_EXPERIMENT: ${COST_EXPERIMENT:-false}
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-2}
DB_POOL_MAX_SIZE: ${DB_POOL_MAX_SIZE:-8}
REQUEST_TIMEOUT_SECONDS: ${REQUEST_TIMEOUT_SECONDS:-8}
@@ -354,7 +326,7 @@ services:
security_opt: ["no-new-privileges:true"]
cap_drop: [ALL]
ports:
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-26086}:15672"
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-25086}:15672"
networks: [backend, edge]
volumes:
- broker-data:/var/lib/rabbitmq
@@ -382,7 +354,6 @@ services:
command: ["python", "-m", "messenger.relay"]
environment:
<<: *pipeline-env
OTEL_SERVICE_NAME: messenger-relay
OUTBOX_POLL_SECONDS: ${OUTBOX_POLL_SECONDS:-1}
SWEEP_INTERVAL_SECONDS: ${SWEEP_INTERVAL_SECONDS:-5}
secrets:
@@ -400,7 +371,6 @@ services:
command: ["python", "-m", "messenger.worker"]
environment:
<<: *pipeline-env
OTEL_SERVICE_NAME: messenger-worker
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
RENDER_TIMEOUT_SECONDS: ${RENDER_TIMEOUT_SECONDS:-30}
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-448}
@@ -428,161 +398,6 @@ services:
resources:
limits: {cpus: "${K6_CPUS:-2}", memory: "${K6_MEMORY:-512m}"}
healthtools:
image: busybox:1.37.0-musl@sha256:5cec3fc171c87218698e85a52af7087de727372aae264a787b8112901a5b0092
command: ["cp", "/bin/busybox", "/hc/busybox"]
restart: "no"
network_mode: none
volumes:
- healthtools:/hc
logging: *obs-logging
otel-collector:
<<: *obs-hardening
image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849
command: ["--config=/etc/otelcol/${OTEL_COLLECTOR_CONFIG:-collector.yaml}"]
networks: [backend, edge]
environment:
GOMEMLIMIT: 200MiB
volumes:
- ./infra/otel:/etc/otelcol:ro
- healthtools:/hc:ro
depends_on:
healthtools:
condition: service_completed_successfully
healthcheck:
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:13133/"]
interval: 10s
timeout: 3s
retries: 6
start_period: 10s
start_interval: 2s
deploy:
resources:
limits: {cpus: "0.50", memory: 256M}
prometheus:
<<: *obs-hardening
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=${PROMETHEUS_RETENTION:-7d}
- --storage.tsdb.retention.size=1GB
- --web.enable-otlp-receiver
- --enable-feature=exemplar-storage
networks: [backend, edge]
volumes:
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
- prometheus-data:/prometheus
ports:
- "127.0.0.1:${PROMETHEUS_PORT:-26090}:9090"
healthcheck:
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
interval: 10s
timeout: 3s
retries: 6
start_period: 15s
start_interval: 2s
deploy:
resources:
limits: {cpus: "0.50", memory: 512M}
loki:
<<: *obs-hardening
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
command: ["-config.file=/etc/loki/loki.yaml"]
networks: [edge]
environment:
GOMEMLIMIT: 300MiB
volumes:
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
- loki-data:/loki
- healthtools:/hc:ro
depends_on:
healthtools:
condition: service_completed_successfully
ports:
- "127.0.0.1:${LOKI_PORT:-26310}:3100"
healthcheck:
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3100/ready"]
interval: 10s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 2s
deploy:
resources:
limits: {cpus: "0.50", memory: 384M}
tempo:
<<: *obs-hardening
image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38
command: ["-config.file=/etc/tempo/tempo.yaml"]
networks: [edge]
environment:
GOMEMLIMIT: 300MiB
volumes:
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
- tempo-data:/var/tempo
- healthtools:/hc:ro
depends_on:
healthtools:
condition: service_completed_successfully
ports:
- "127.0.0.1:${TEMPO_PORT:-26320}:3200"
healthcheck:
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3200/ready"]
interval: 10s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 2s
deploy:
resources:
limits: {cpus: "0.50", memory: 384M}
grafana:
<<: *obs-hardening
image: grafana/grafana:12.4.14@sha256:ae509d9ae8c1021ca32ec370a9ca975d40165eda9fccd1e1102d317ff8787cd7
networks: [edge]
environment:
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
GF_USERS_ALLOW_SIGN_UP: "false"
GF_AUTH_ANONYMOUS_ENABLED: "false"
GF_ANALYTICS_REPORTING_ENABLED: "false"
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
GF_NEWS_NEWS_FEED_ENABLED: "false"
GF_PLUGINS_PREINSTALL_DISABLED: "true"
GF_LOG_LEVEL: warn
secrets: [grafana_admin_password]
volumes:
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
- ./infra/grafana/dashboards:/etc/grafana/dashboards:ro
- grafana-data:/var/lib/grafana
depends_on:
prometheus:
condition: service_started
loki:
condition: service_started
tempo:
condition: service_started
ports:
- "127.0.0.1:${GRAFANA_PORT:-26300}:3000"
healthcheck:
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:3000/api/health"]
interval: 10s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 2s
deploy:
resources:
limits: {cpus: "0.50", memory: 384M}
secrets:
postgres_password:
file: ./secrets/postgres_password
@@ -614,8 +429,6 @@ secrets:
file: ./secrets/broker_url_api
broker_url_worker:
file: ./secrets/broker_url_worker
grafana_admin_password:
file: ./secrets/grafana_admin_password
s3_reconciler_access_key_id:
file: ./secrets/s3_reconciler_access_key_id
s3_reconciler_secret_access_key:
@@ -626,11 +439,6 @@ volumes:
valkeydata:
s3data:
broker-data:
healthtools:
prometheus-data:
loki-data:
tempo-data:
grafana-data:
networks:
edge:
+1 -27
View File
@@ -1,5 +1,5 @@
{
"lab": 6,
"lab": 5,
"kind": "requirements, not runnable deployment",
"required_for_grade_3": [
{
@@ -43,32 +43,6 @@
{
"role": "worker",
"separate_process": true
},
{
"role": "otel_collector",
"signals": [
"metrics",
"logs",
"traces"
]
},
{
"role": "telemetry_storage",
"signals": [
"metrics",
"logs",
"traces"
],
"possible_combination": [
"Prometheus",
"Loki",
"Tempo"
],
"persistent_volume": true
},
{
"role": "grafana",
"provisioning_in_git": true
}
],
"optional_components": [
-28
View File
@@ -1,28 +0,0 @@
# Контракт наблюдаемости
Ниже логические сигналы. Допустимы стандартные semantic conventions выбранного SDK и их native metric names: зафиксируйте соответствие в `REPORT.md`, dashboard обязан ссылаться на реально существующие имена/единицы. Переименование SDK не повод дублировать одну метрику двумя инструментами. Версии SDK, semantic conventions, Collector distribution и backend закрепляются в решении.
| Сигнал | Минимальные поля/измерения | Уровень |
| --- | --- | --- |
| HTTP requests | method, route template, status class; counter | 3 |
| HTTP duration | histogram в секундах или документированное преобразование из ms | 3 |
| Jobs processed / failed | job type, outcome, counter | 3 |
| Job processing duration | job type, outcome, histogram | 3 |
| API и worker logs | timestamp, severity, service.name, event, trace_id, span_id при активном span | 3 |
| API и worker traces | реальные server/consumer spans, duration, outcome; не искусственный статический trace | 3 |
| Queue depth / oldest job age | queue name, количество / секунды | 4 |
| Pool/saturation | DB pool used/waiting, worker busy/capacity, process/container CPU/RAM | 4 |
| Сквозная связь upload → publish → consume → S3/DB | W3C traceparent/tracestate; parent-child или link по выбранной семантике | 4 |
| End-to-end time to ready | от durable acceptance до публикации ready, histogram | 4 |
Resource attributes: `service.name` (messenger-api / messenger-worker), `service.version`, `service.instance.id`, `deployment.environment.name=lab`. Список имён может отличаться, если явно сопоставлен. `X-Request-Id` коррелирует HTTP-ошибку с логом; trace_id — не замена всех request IDs.
**Не labels метрик:** user_id, chat_id, message_id, attachment_id, request_id, raw URL, filename, текст. Для маршрута используйте `/api/v1/chats/{chat_id}/messages`, не реальный UUID. В логах/трассах допустимы ограниченные технические ID для учебных синтетических данных, если обоснована необходимость; пароли, Authorization, session token, body сообщения, картинка, private key и signed URL запрещены.
Для HTTP error ratio заранее определите numerator/denominator: например 5xx/все бизнес-запросы, исключая health; не смешивайте неверный пароль клиента с отказом БД. p95 агрегируется из histogram buckets всех нужных реплик, а не средних p95. Границы buckets должны соответствовать ожидаемым задержкам. Backlog — не queue processing latency.
В Git находятся Collector config, backend configs, datasources/dashboard provisioning, dashboard JSON и на 4 alert rules. У alerts есть условие, окно, порог, `for` при необходимости, описание и локальный runbook. Отправка сообщений в почту/мессенджер не требуется.
Минимальные контролируемые инциденты для 4: (1) остановить worker и увидеть рост возраста задач; (2) сделать DB медленной/недоступной и отличить её от медленного HTTP handler по trace/метрикам. После восстановления backlog уменьшается, alerts resolved. Третий сценарий — недоступность backend telemetry: SDK/Collector ограничивают RAM/очередь, API сохраняет работу, потери telemetry считаются и объясняются.
Collector — получатель/обработчик/экспортёр, не долговременная БД. Grafana — интерфейс и запросы к источникам. Логи можно отправлять OTLP в совместимый backend; не закладывайте удалённый/устаревший exporter без проверки текущей сборки. См. [Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [Trace Context](https://www.w3.org/TR/trace-context/) и [histograms](https://prometheus.io/docs/practices/histograms/).
+2 -2
View File
@@ -1,8 +1,8 @@
{
"openapi": "3.1.0",
"info": {
"title": "MTUSI Messenger — лабораторная 6",
"version": "1.6.0",
"title": "MTUSI Messenger — лабораторная 5",
"version": "1.5.0",
"description": "Нормативный минимум на 3. Семантика: contracts/README.md. Расширения на 4/5 не должны менять этот API. Наличие кода ошибки в схеме не требует реализовать факультативную причину его выдачи."
},
"servers": [
+37 -53
View File
@@ -1,64 +1,48 @@
# Индекс доказательств ЛР6
# Индекс доказательств ЛР5
Автор: Костылев Артём, БПИ2303. Итог: [REPORT.md](../REPORT.md), заявлены уровни 3/4 и трек 1 «Цена наблюдаемости». **Основной актуальный набор — `forward-published/`**. Имя каталога описывает перенос опубликованного источника ЛР5 и не означает публикацию ЛР6.
Актуальный [REPORT.md](../REPORT.md) обновлён после независимого ревью **6096aa7948b8b666aa3892397a96d044a55f02c6 (M)**. Предыдущее review — **42575281b352d35bda17ee7601bae5548a996e91 (R)**; полные динамические серии — **0e921116610d289716af0a40ec823376eb8bbcbc (D)**. Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) подтвердила PostgreSQL outage, delivery subset и HTTP tRNS, но выявила четыре FAIL на 40 Мп PNG при штатной памяти.
## Происхождение и актуальность
В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **прежний major закрыт Linux/HTTP validation F** (`74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime = M): пять граничных PNG, concurrency=2, принудительные лимиты и HTTP 8/48 PASS. 984 student tests passed / 2 Linux-only skips; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), исходная инструкция адресных проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md).
| Набор | SHA и назначение | Как использовать |
## Как читать каталог
| Файлы / каталог | Код и роль доказательства | Применимость |
| --- | --- | --- |
| [forward-port.md](forward-port.md), [source-inventory.json](forward-published/source-inventory.json) | ЛР5 `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071` → `c7b8feb805d151e878d77b0dff47320a9436b172`; все 281 путь diff учтены | Карта позднего переноса, исключения и причина повторения измерений |
| [forward-published](forward-published) | Runtime/измеритель `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; evidence-коммит/ревью `6ca1c7549978af3127966540385195ab0587f2e1` | Свежие доказательства после исправлений; runtime между этими SHA не менялся |
| [grade3/notes.md](grade3/notes.md), [level3.json](level3.json) | **Исторический код** `95511002b12510178a3cc2a22566b43e2b2b6c81`; чистый clone `2903d9d` | Не свежие smoke/нагрузка. История telemetry и независимость от Collector переиспользуются только для незатронутых механизмов |
| [grade4/notes.md](grade4/notes.md) | **Исторический код** `44d81fd80ee13faa42bca069245ee0943f88b2df`, retry harness `447a6507f973596e612f40c1484dda922bf0e50d`; storage incident `cd9d91550aa4eeba31489e07b71ee2767acfc7d8` | Отказ storage и кардинальность применимы в пределах [preserved-mechanisms.json](forward-published/preserved-mechanisms.json); chain/retry/alerts заменены свежими |
| [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен |
| [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью |
| [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались |
| [load-validation.md](load-validation.md) | Финальная validation поверх `1e00d861a803a6d49ef443175b8231cbf048fc02` | Аудит применимости всех 15 серий, свежие проверки в [validation](validation); новых нагрузочных запусков нет, публикация не выполнялась |
| [Адресная validation M](final-memory-validation-2026-11-07/RESULTS.md) | F, runtime = M | Linux 448 MiB/30 с, пять 40 Мп PNG × v1/v2; HTTP boundary 8 сценариев / 8 инвариантов и малая матрица 8/48 / 8 инвариантов; 19 ID / 115 объектов; major закрыт, семь minor сохранены |
| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP выполняет следующий каталог validation F |
| [Аудит обновления отчёта](report-memory-audit-2026-11-07.md) | M + только документация | Лёгкие проверки, аудит новых хешей/чисел/ссылок; семь minor последнего review, без новых динамических прогонов |
| [Финальная validation](final-validation-2026-11-07/RESULTS.md), [аудит нагрузки](load-validation.md) | V, runtime = R | 980 tests, HTTP PNG и real DB outage; 12 адресных сценариев PASS; четыре 40 Мп PNG FAIL, один major; полный track2 не повторён |
| [Первый аудит отчёта](report-audit-2026-11-07.md) | R + изменения документации, до validation V и исправления M | Реальные лёгкие проверки того этапа, ссылки, хеши, арифметика; без Docker и новых динамических тестов |
| [forward-final-2026-11-06/RESULTS.md](forward-final-2026-11-06/RESULTS.md) | D, полная динамическая квалификация после поздних исправлений ЛР4 | Основная измеренная база: 819 passed / 1 skip, smoke/persistence/failover, уровень 4 и три повтора трека 2; до исправлений R |
| [review-trns-depth-2026-11-06/RESULTS.md](review-trns-depth-2026-11-06/RESULTS.md) | R, исправление глубины PNG tRNS | 430 unit + 20 границ, 114 совместимых вариантов, fixtures и 34 хеша; offline, не Linux/HTTP-квалификация |
| [review-fixes-2026-11-06/RESULTS.md](review-fixes-2026-11-06/RESULTS.md) | Реализация `3fad49d6b913afb122d2c1348ea8d9f99e25cc27`, архив `6e97bdbe9638c5a53951337fce639a1a0db7f92e` | История первого исправления: policy сохранена в R, renderer затем дополнен. 57 тестов не доказывали все tRNS; поздние major и исправление описаны в следующем каталоге |
| [forward-port.md](forward-port.md), [source-inventory.json](forward-final-2026-11-06/source-inventory.json), [forward-audit.json](forward-final-2026-11-06/forward-audit.json) | Перенос ЛР4 `d7478726a85791c21e065d58f610735a9e687433` → `4ed889c1e4008e3f6040ae2534bef99262d3b8ce` | Решения по 253 файлам и 25 хешей на D. Сверяется snapshot, не другой живой репозиторий |
| [sqlalchemy-2026-11-06/grade3/NOTES.md](sqlalchemy-2026-11-06/grade3/NOTES.md) | `24a51744f521aa585e50a931d0a0219d2e960197` | История после перехода на SQLAlchemy, до исправлений track2/forward/review; topology/ack — дополнительное свидетельство, не текущая policy |
| [sqlalchemy-2026-11-06/grade4/NOTES.md](sqlalchemy-2026-11-06/grade4/NOTES.md) | `e9ce6d0afacadc16f1666f4bb7d54d3d7377a269` | Исторический уровень 4; `level4-retry.json` — успешный повтор; исходные неуспешные результаты не переименовываются в PASS |
| [sqlalchemy-2026-11-06/track2/NOTES.md](sqlalchemy-2026-11-06/track2/NOTES.md) | Несколько промежуточных SHA внутри логов | История диагностики и исправлений; для итоговых чисел используется qualified, затем D |
| [sqlalchemy-2026-11-06/track2/qualified/RESULTS.md](sqlalchemy-2026-11-06/track2/qualified/RESULTS.md) | `9ba3076fa8ba707de932e053fc22f455d83b3210` | Старая квалификация 39/174 до позднего forward: run1, run2, run3-retry. Прерванный run3 исключён, повторена только эта серия |
| Все корневые `*.txt` и `*.json` в `evidence/` | Историческая реализация до SQLAlchemy/Alembic, даты/старые SHA — внутри файлов и истории Git | **Не подтверждают R, D или M.** Не использовать старые порты, asyncpg-мигратор, результаты и формулировки как текущие |
[closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода.
Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение завершено на F; старые документы не переписаны.
## Карта актуального набора
## Основные первичные данные D
| Что проверено | Команда / средство | Доказательства |
| --- | --- | --- |
| Конфигурация, образы, условия и limits | `scripts/lab6.sh make up`; снимки runtime/host | [up.txt](forward-published/up.txt), [runtime.json](forward-published/runtime.json), [conditions-before.json](forward-published/conditions-before.json) |
| Структура, схемы, ruff/ty | `make check validate lint` | [quality.txt](forward-published/quality.txt), [final-quality.txt](forward-published/final-quality.txt) |
| Полный собственный suite | `make student-test` | [student-test.txt](forward-published/student-test.txt): 995 passed, 2 skipped, 19 deselected; запуск до runtime-коммита на WIP поверх `97feb04…`, зафиксированном затем в `bc1d7aa…` |
| Public API, persistent stores, failover | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make restore` | [smoke](forward-published/smoke.txt), [persistence](forward-published/persistence.txt), [failover](forward-published/failover.txt), [restore](forward-published/restore.txt), [final-smoke](forward-published/final-smoke.txt) |
| Поздние auth/cache/HTTP регрессии | `student-tests/tools/forward_network.py`, stack tests, точные команды внутри логов | [network](forward-published/network.txt), [cache-outage](forward-published/cache-outage.txt), [HAProxy errors](forward-published/haproxy-errors.txt), [negative upload](forward-published/upload-negative.txt) |
| Requeue при отказе PostgreSQL | `student-tests/tools/forward_runtime.py postgres-outage` | [JSON](forward-published/postgres-outage.json), [команда](forward-published/postgres-outage.txt), [worker](forward-published/postgres-outage-worker.txt), [broker policy](forward-published/policy.txt) |
| PNG корректность и ограничения памяти | `student-tests/tools/forward_runtime.py png-http` / `png-boundary` | [png-http.json](forward-published/png-http.json), [png-http.txt](forward-published/png-http.txt), [png-boundary.json](forward-published/png-boundary.json), [png-boundary.txt](forward-published/png-boundary.txt) |
| Pipeline, retry, COMMIT/ack, DLQ | `scripts/pipeline_suite.py --level 4 --only …` (9 кейсов, полный вызов в txt) | [pipeline.json](forward-published/pipeline.json), [pipeline.txt](forward-published/pipeline.txt) |
| Конфиги наблюдаемости и dashboard queries | `make obs-validate`; `scripts/obs_check.py dashboards --strict` | [obs-config](forward-published/obs-config.txt), [dashboards](forward-published/dashboards.txt) |
| Корреляция request/job | `scripts/obs_check.py request` / `job` | [telemetry-request](forward-published/telemetry-request.txt), [telemetry-job](forward-published/telemetry-job.txt) |
| Контроль запрещённых значений | `scripts/obs_check.py leaks` | [telemetry-leaks](forward-published/telemetry-leaks.txt); ограничение Loki metadata — M1 в review-summary |
| Upload trace и retry до результата | `scripts/obs_incidents.py chain` / `retry` | [chain](forward-published/incident-chain.txt), [retry](forward-published/incident-retry.txt): 55/86 spans |
| Worker/DB incidents, alerts | `scripts/obs_incidents.py worker` / `database` | [worker](forward-published/incident-worker.txt), [database](forward-published/incident-database.txt): firing → resolved |
| История и outage telemetry (исторический код) | `scripts/obs_recovery.py`; `scripts/obs_incidents.py storage` | [recovery](grade3/telemetry-recovery.txt), [storage](grade4/storage-incident.txt), [обоснование неизменности](forward-published/preserved-mechanisms.json) |
| OpenSpec | `openspec validate --all --strict --no-interactive`, sync/archive | [validation](forward-published/openspec-validation.txt), [archive](forward-published/openspec-archive.txt), [spec-sync](forward-published/spec-sync.json) |
| Завершение без удаления данных | Возврат defaults, `make down` | [defaults-restored](forward-published/defaults-restored.json), [shutdown](forward-published/shutdown.txt), [closure](forward-published/closure.json) |
- [level4-command.txt](forward-final-2026-11-06/level4-command.txt), [level4.json](forward-final-2026-11-06/level4.json): 17 сценариев, 8 инвариантов; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов.
- [track-run1.txt](forward-final-2026-11-06/track-run1.txt), [track-run1.json](forward-final-2026-11-06/track-run1.json); [track-run2.txt](forward-final-2026-11-06/track-run2.txt), [track-run2.json](forward-final-2026-11-06/track-run2.json); [track-run3.txt](forward-final-2026-11-06/track-run3.txt), [track-run3.json](forward-final-2026-11-06/track-run3.json): каждый 13 сценариев, 8 инвариантов, 13 ID, 58 объектов. [summary.json](forward-final-2026-11-06/summary.json): всего 39/24/39/174.
- [final-smoke.txt](forward-final-2026-11-06/final-smoke.txt), [persistence.txt](forward-final-2026-11-06/persistence.txt), [failover.txt](forward-final-2026-11-06/failover.txt): публичные проверки. [persistence-containers.txt](forward-final-2026-11-06/persistence-containers.txt), [failover-containers.txt](forward-final-2026-11-06/failover-containers.txt), [restore.txt](forward-final-2026-11-06/restore.txt): фактические операции со своим стендом.
- [student-test.txt](forward-final-2026-11-06/student-test.txt): 819 passed / 1 skipped до последних двух исправлений. Предыдущие offline-результаты R: [offline-tests.txt](review-trns-depth-2026-11-06/offline-tests.txt), [boundaries.txt](review-trns-depth-2026-11-06/boundaries.txt). Текущие M: [offline-tests.txt](review-png-memory-2026-11-07/offline-tests.txt), [boundaries.txt](review-png-memory-2026-11-07/boundaries.txt).
- [conditions-before.json](forward-final-2026-11-06/conditions-before.json), [conditions-track-start.json](forward-final-2026-11-06/conditions-track-start.json), остальные `conditions-*.json`: моментальные срезы общего Docker, не непрерывный контроль фоновой нагрузки.
- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт Docker не запускали. Последняя остановка F — [down.txt](final-memory-validation-2026-11-07/down.txt), [пустой project](final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](final-memory-validation-2026-11-07/retained-volumes.txt).
## Трек 1: только пригодные серии
## Не считать успехом или измерением производительности
[Методика](forward-published/cost/method.md) · [результаты](forward-published/cost/results.md) · [comparison.json](forward-published/cost/comparison.json) · [PNG](forward-published/cost/comparison.png) · [SVG](forward-published/cost/comparison.svg). Все численные сводки берутся из 15 raw JSON на `bc1d7aa…`; TXT той же серии содержит точный вызов, дату/SHA и exit code.
- `crash_publish_confirm` и raw `window: after publish, before confirm` — историческое имя/описание; реальная точка находится **после Basic.Ack и до COMMIT outbox**. Потерю confirm данный сценарий не проверял.
- [grade3/limits.txt](sqlalchemy-2026-11-06/grade3/limits.txt) имеет **exit_code=1**, два ложных FAIL из-за порядка secrets. Это не PASS.
- [clock-observation.json](forward-final-2026-11-06/clock-observation.json): UTC/elapsed run2 = 1161.195/186.458 с, run3 = 571.513/180.259 с. Причина неизвестна; длительности исключены из RPS/SLO/сравнения разброса. Функциональные результаты пригодны.
- `no_orphans` проверяет выборку ID; на D сохранены 15 исторических/ожидаемых сообщений DLQ, после malformed-сценария V их 16; в F это число не выросло. Это не глобально пустые S3/DLQ.
- `forward-final-2026-11-06/baseline.txt` — 0 тестов; `baseline-regressions.txt` — ожидаемые 29 FAIL до исправления. `review-fixes-2026-11-06/regressions-fixture-error.txt` — неуспешная промежуточная fixture; `review-trns-depth-2026-11-06/regressions-before.txt` — воспроизведённый дефект. Их сохраняют как диагностику, не суммируют с PASS.
- Исторический [findings.json](review-trns-depth-2026-11-06/findings.json) содержит пять minor: окно confirm, limits, legacy reconcile, отдельный replay failed v2 и часы. Дополнительная документационная неточность `201` в `openspec/config.yaml` отражена в REPORT; конфиг этой фазе менять запрещено. Седьмой minor из review M — JobMessage принимает четыре значения вне JSON Schema; источник и ограничения — [аудит отчёта](report-memory-audit-2026-11-07.md). Исторические findings.json с пятью/шестью minor не перезаписываются.
| Режим | Raw JSON (повторы 1 / 2 / 3) | Команды/вывод |
| --- | --- | --- |
| off | [1](forward-published/cost/off-1.json) / [2](forward-published/cost/off-2.json) / [3](forward-published/cost/off-3.json) | [1](forward-published/cost/off-1.txt) / [2](forward-published/cost/off-2.txt) / [3](forward-published/cost/off-3.txt) |
| on | [1](forward-published/cost/on-1.json) / [2](forward-published/cost/on-2.json) / [3](forward-published/cost/on-3.json) | [1](forward-published/cost/on-1.txt) / [2](forward-published/cost/on-2.txt) / [3](forward-published/cost/on-3.txt) |
| head | [1](forward-published/cost/head-1.json) / [2](forward-published/cost/head-2.json) / [3](forward-published/cost/head-3.json) | [1](forward-published/cost/head-1.txt) / [2](forward-published/cost/head-2.txt) / [3](forward-published/cost/head-3.txt) |
| tail | [1](forward-published/cost/tail-1.json) / [2](forward-published/cost/tail-2.json) / [3](forward-published/cost/tail-3.json) | [1](forward-published/cost/tail-1.txt) / [2](forward-published/cost/tail-2.txt) / [3](forward-published/cost/tail-3.txt) |
| balanced | [1](forward-published/cost/balanced-1.json) / [2](forward-published/cost/balanced-2.json) / [3](forward-published/cost/balanced-3.json) | [1](forward-published/cost/balanced-1.txt) / [2](forward-published/cost/balanced-2.txt) / [3](forward-published/cost/balanced-3.txt) |
Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторены только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Выполненная процедура и результаты — [validation F](final-memory-validation-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания.
[Measurement audit](forward-published/cost/measurement-audit.json) проверяет окно 38..42 s, drain/report 30..45 s и max gap samples <5 s. Два непригодных оригинала — [on-3](forward-published/cost/invalid-time-gap/on-3.json), [head-3](forward-published/cost/invalid-time-gap/head-3.json); причина исключения, hashes и решение повторить только их — [invalid-series.json](forward-published/cost/invalid-series.json). Их 1600 запросов не входят в 12000 пригодных.
Фон: [start](forward-published/cost/conditions-start.json), [round 1](forward-published/cost/conditions-round-1.json), [round 2](forward-published/cost/conditions-round-2.json), [round 3](forward-published/cost/conditions-round-3.json), [repeat start](forward-published/cost/conditions-repeat-start.json), [repeat end](forward-published/cost/conditions-repeat-end.json). Других Docker projects в снимках нет; общий host остаётся ограничением. Пригодные измерения сохраняются для финального аудита; документационные изменения не основание прогонять их заново.
## Неуспешные попытки и границы доказательств
- В [grade3/notes.md](grade3/notes.md) размечены преждевременный smoke и job во время рестарта; успешные повторы лежат рядом. Clean-clone evidence относится только к старому `2903d9d`.
- В [grade4/notes.md](grade4/notes.md) сохранены ранние неуспешные student tests, retry без реального отказа, прерванный persistence, неправильный cardinality-вызов и DB pause без firing. Ни один не объявлен PASS итоговым отчётом.
- В [track5/notes.md](track5/notes.md) отмечены ранний smoke, ошибка Docker stats до нагрузки и пустые validation-файлы. Все результаты этого каталога исторические.
- [Старые findings позднего переноса](forward-published/findings.json) содержат четыре minor; [review-summary.md](review-summary.md) добавляет пятое, про Loki metadata. [Whitespaces](forward-published/whitespace-check.txt) — реальный неуспех косметической проверки, не неуспех `make lint`.
Не добавлять `.env`, tokens/cookies, credentials, реальные сообщения, raw dumps и signed URLs. Технические IDs в проверках синтетические; они служат корреляции, не являются секретами. Наличие файла/скриншота само по себе не доказательство: нужны команда, SHA, наблюдение и границы применимости.
Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения неизменны; новые свидетельства записаны отдельно. Validation завершена, публикация не выполнялась и требует отдельной фазы.
+14
View File
@@ -0,0 +1,14 @@
date: 2026-10-29T00:36:33Z commit: 0b85edf
$ make check
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make validate PYTHON=<venv с requirements-dev.txt>
<venv>/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
$ make lint
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
159 files already formatted
.venv/bin/ty check src student-tests
All checks passed!
+58
View File
@@ -0,0 +1,58 @@
date: 2026-10-29T00:36:34Z commit: 0b85edf
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
compose: 2.38.2-desktop.1
images:
image: ${API_IMAGE:-mtusi-messenger:lab5}
image: ${API_IMAGE:-mtusi-messenger:lab5}
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS runtime
python in image: Python 3.14.7
haproxy: HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/
rustfs: rustfs 1.0.4
rabbitmq: 4.1.8
packages (uv.lock):
fastapi 0.141.1
uvicorn 0.54.0
uvicorn-worker 0.4.0
gunicorn 26.2.0
asyncpg 0.32.0
argon2-cffi 25.1.0
pydantic 2.13.5
pydantic-settings 2.15.0
dishka 1.10.1
structlog 26.1.0
redis 8.1.0
aiobotocore 3.10.0
botocore 1.43.117
aiohttp 3.14.5
pillow 13.0.0
faststream 0.7.8
aio-pika 10.2.1
aiormq 7.2.4
dishka-faststream 0.7.0
process users (service uid command):
api 10001 python
broker 100 beam.smp
broker 100 epmd
broker 100 erl_child_setup
broker 100 inet_gethost
broker 100 sh
lb 99 haproxy
postgres 70 postgres
relay 10001 docker-init
relay 10001 python
s3 10001 rustfs
valkey 999 tini
valkey 999 valkey-server
worker 10001 docker-init
worker 10001 python
worker limits: 2 CPU, memory.max 1024 MiB; render: WORKER_CONCURRENCY=2 processes, RLIMIT_AS 448 MiB, timeout 30 s, 100 tasks per process
+10
View File
@@ -0,0 +1,10 @@
{
"ok": true,
"scenario": "failover-upload",
"upload_instance": "70cfba801128",
"download_instance": "095cb9cc85bd",
"sha256_equal": true,
"hook_seconds": 2.877,
"download_ok_after_seconds": 2.886,
"restored": true
}
+39
View File
@@ -0,0 +1,39 @@
date: 2026-10-29T00:33:32Z commit: 0b85edf
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
70cfba801128 running started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:03.666460502Z
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18085"
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 0, "first_recovery_seconds": 3.005}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
== after: api replicas
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
70cfba801128 exited started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:39.052027754Z
== stopped replica: 70cfba801128; shutdown: signal, drain window with readiness 503, close, exit
{"event":"Handling signal: term","level":"info","ts":"2026-10-29T00:33:36.479119Z"}
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.486455Z"}
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.558375Z"}
{"method":"GET","route":"/health/ready","status":503,"request_id":"b3d9118f93b94471b698d536dda11072","duration_ms":0.772,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.011026Z"}
{"method":"GET","route":"/health/ready","status":503,"request_id":"3c1324def7e74f3484c4fbd242f7f70b","duration_ms":0.655,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.515877Z"}
{"method":"GET","route":"/health/ready","status":503,"request_id":"e56c9504272b45a89b7372020eb80d15","duration_ms":0.733,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.588547Z"}
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.487910Z"}
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.560300Z"}
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.592638Z"}
{"event":"Finished server process [13]","level":"info","ts":"2026-10-29T00:33:38.592934Z"}
{"event":"Worker (pid:13) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.624866Z"}
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.664775Z"}
{"event":"Finished server process [14]","level":"info","ts":"2026-10-29T00:33:38.665027Z"}
{"event":"Worker (pid:14) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.725950Z"}
{"event":"Shutting down: Master","level":"info","ts":"2026-10-29T00:33:38.834487Z"}
$ scripts/restore.sh
Container mtusi2026lab5-api-1 Running
Container mtusi2026lab5-api-2 Starting
Container mtusi2026lab5-api-2 Started
Container mtusi2026lab5-api-1 Waiting
Container mtusi2026lab5-api-2 Waiting
Container mtusi2026lab5-api-1 Healthy
Container mtusi2026lab5-api-2 Healthy
== after restore
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
70cfba801128 running started=2026-10-29T00:33:51.687259594Z finished=2026-10-29T00:33:39.052027754Z
@@ -0,0 +1,55 @@
# Адресная validation исправления памяти PNG
**PASS. Прежний major закрыт динамически.** Измерен HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime побайтно равен прошедшему review `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Реализация, конфигурация и нормативные файлы в этой фазе не менялись. Публикация не выполнялась и требует отдельной фазы.
Исходные четыре HTTP FAIL и Linux MemoryError на V сохранены в [предыдущей validation](../final-validation-2026-11-07/RESULTS.md). Они не переименованы в PASS: здесь новый образ и новые результаты после отдельного fix/re-review. От V изменён только renderer, поэтому три пригодных повтора track2 на D, PostgreSQL outage и delivery subset на V приняты без повторения. Решения по каждой серии — [load-validation.md](../load-validation.md); SHA, diff, 53 прежних и 28 fix-хешей — [audit.json](audit.json).
## Условия и методика
2026-11-07 по локальной дате; UTC команд — 2026-11-06. Darwin arm64, Docker 28.3.2, Linux aarch64, VM 16 CPU / 8 217 190 400 байт. Project `mtusi2026lab5`, API 18085, stats/UI 25085/25086, все published ports на loopback. Использованы сохранённые volumes, не чистый clone. Worker: 2 CPU / 1 GiB; renderer RLIMIT_AS=448 MiB, 30 с, concurrency=2. Значения не повышались. Образ и закреплённые версии — [build.txt](build.txt), [runtime.txt](runtime.txt), [conditions.json](conditions.json).
Снимки до/после и внутри серий не показывают чужих работающих контейнеров. Специальная фоновая нагрузка не запускалась. Load average хоста: 1.67/2.11/2.34 перед этапом, 2.62/2.65/2.53 перед проверками, 6.41/4.18/3.19 после. Непрерывного контроля хоста нет; throughput, RPS, p95 и новые SLO не заявляются. Длительности — диагностические монотонные интервалы конкретных команд/рендеров, не benchmark. [Условия после](conditions-after.json) подтверждают восстановленные 448 MiB/30 с/concurrency=2 и отсутствие OOM.
Linux-пробник запускает новые процессы с **импортами messenger.worker**, настоящим RLIMIT_AS и alarm=30 с на каждый рендер. Пять файлов проходят v1/v2, затем обычное изображение в том же процессе. Два дополнительных процесса одновременно рендерят RGB16; пересечение измерено монотонными отметками внутри render. Пробник использует те же четыре сохранённые PNG 8000×5000; пятый получается удалением только tRNS из grayscale16. Входные SHA сохранены. Реальный HTTP использует LB/API/relay/broker/worker и ту же конфигурацию. При concurrency=2 журнал БД подтверждает перекрытие claimed→done в обеих версиях.
После диагностических процессов worker пересоздан без изменения образа/лимитов для отдельного cgroup peak HTTP — [reset-worker-peak.txt](reset-worker-peak.txt). Это не повтор нагрузки. Ожидаемые отказы создаются только на двух новых заданиях: 0.01 с и 200 MiB. После каждого лимиты восстановлены и обычная загрузка достигает ready. Перед SQL/S3-инвариантами дождались штатного sweep. Старые данные и DLQ не удалялись.
## Команды и результаты
Команды выполнялись из корня репозитория. `source evidence/final-memory-validation-2026-11-07/env.sh` задаёт несекретные Compose-параметры. Обёртка `python3 scripts/capture_evidence.py <новый-файл> -- <команда>` сохраняет SHA, команду, exit code и elapsed; существующие результаты не перезаписывает.
| Команда / проверка | Результат | Первичные данные |
| --- | --- | --- |
| `make check validate lint` | PASS | [checks.txt](checks.txt) |
| `openspec validate --all --strict`; `openspec list --json` | 22 PASS, changes=[] | [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) |
| `make student-test PYTEST_ARGS='-q --tb=short'` | 984 passed, 2 Linux-only skipped, 19 stack deselected; 171.26 с pytest. Пропуски не названы PASS; Linux-эквивалент выполнен отдельно | [student-test.txt](student-test.txt) |
| `docker compose build`; `docker compose up -d --wait`; `make test` | Сборка, миграции/готовность и публичный smoke PASS | [build.txt](build.txt), [up.txt](up.txt), [smoke.txt](smoke.txt) |
| `.venv/bin/python evidence/final-memory-validation-2026-11-07/linux-runner.py` | Пять 40 Мп PNG × v1/v2 и обычный render после каждого PASS; два параллельных RGB16 × v1/v2 PASS | [linux.txt](linux.txt), [linux.json](linux.json), [child](linux-child.py), [runner](linux-runner.py) |
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary` | 8 сценариев и 8 инвариантов PASS; 11 ID, 9 ready, 2 ожидаемых failed, 59 S3-объектов | [команда](png-boundary.txt), [JSON](png-boundary.json), [обвязка](targeted.py) |
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http` | 8 fixtures, 48 сравнений вариантов v1/v2 с независимым белым эталоном; 8 инвариантов PASS, 8 ID / 56 объектов | [команда](png-http.txt), [JSON](png-http.json) |
Граничные HTTP-проверки: четыре прежних tRNS и grayscale16 без tRNS достигают ready в v1/v2; исходник неизменен; SHA, длина, MIME и размеры вариантов согласованы с байтами. Белая область белая, соседний RGB16 с отличием младшего бита остаётся непрозрачным. Все 30 хешей пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Поздняя v1 и дубль v2 не изменили опубликованный снимок; по шесть строк вариантов на ID. Два одновременных HTTP-вложения также проходят обе версии. Малая матрица включает grayscale 1/2/4/8/16, RGB8/16 и RGB16 Adam7/filter=4/EXIF=6.
| Linux-файл | Peak RSS процесса, KiB | HTTP: обе версии |
| --- | ---: | --- |
| grayscale2 tRNS | 343 076 | ready |
| grayscale4 tRNS | 342 956 | ready |
| grayscale16 tRNS | 365 508 | ready |
| grayscale16 без tRNS | 365 492 | ready |
| RGB16 tRNS | 406 312 | ready |
При двух **реальных HTTP jobs** cgroup peak worker = **885 428 224 байт (844.41 MiB) / 1 GiB**, все memory.events=0. Диагностический Linux-запуск, включающий idle worker, управляющий процесс и два дополнительных дочерних процесса, дал другой peak: 1 026 285 568 байт / 1 GiB, также без OOM. Это разные условия; диагностический peak не выдаётся за память штатных HTTP jobs. RSS не равен RLIMIT_AS или cgroup memory.
Инварианты обеих HTTP-серий проверяют terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans и no_lost_202. После sweep нет staging/pending outbox/дублирующих эффектов для новых ID; S3 inventory согласован с БД. DLQ осталась 16: это сохранённые исторические/ожидаемые записи, не новые ошибки этой серии. Проверка scoped, не глобальная очистка.
## Завершение и ограничения
Свои контейнеры остановлены через `make down` без `-v`: [до остановки](final-containers.txt), [down](down.txt), [пустой project](stopped-containers.txt), [четыре volumes](retained-volumes.txt), [пустой общий running list](running-containers-after.txt). [Ретроспективный срез Docker events](container-events.json) ограничен последними 256 событиями daemon и подтверждает финальную остановку; он не используется как полная история промежуточных worker-stop.
Семь minor независимого review сохранены в [findings.json](findings.json) и ограничениях [REPORT](../../REPORT.md). Новых major не обнаружено. Потеря publisher confirm, все возможные отказы диска/сети и изолированная throughput-матрица не доказаны; выбран трек 2. Исходный major памяти закрывается только для проверенных сценариев и закреплённой версии Pillow.
Context7 вызван для Pillow, но вернул исчерпание месячной квоты. Использован официальный [Pillow: Image lifecycle](https://pillow.readthedocs.io/en/stable/reference/open_files.html): `Image.close()` уничтожает image core, контекстный менеджер сам core не уничтожает. Эта справка не заменяет выполненные Linux-проверки.
Перед коммитом проверены разрешённый scope, отсутствие секретов в tracked файлах, локальные ссылки и сохранность runtime/нормативных файлов; результаты — [final-audit.json](final-audit.json), [secret-scan.json](secret-scan.json), [final-checks.txt](final-checks.txt). Контрольные суммы новых артефактов — [sha256.json](sha256.json). Push и Telegram не выполнялись.
Полный `git diff --cached --check` обнаружил 17 trailing-whitespace строк в сыром выводе smoke и двух HTTP-команд. Вывод сохранён без редактирования; отдельная проверка документов/обвязки проходит. Это формат console output, не результат сценария приложения.
@@ -0,0 +1,11 @@
date: 2026-11-06T22:54:44Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {}
$ openspec list --json
{
"changes": [],
"root": {
"path": "<repo>",
"source": "nearest"
}
}
exit_code: 0 elapsed_seconds: 0.974
@@ -0,0 +1,153 @@
import ast
import hashlib
import json
import re
import subprocess
from pathlib import Path
ROOT = Path.cwd()
FOLDER = Path(__file__).resolve().parent.relative_to(ROOT)
MEASURED = "74c33160ac01618f70e9e1c6a121a5e45c3c7155"
REVIEWED = "6096aa7948b8b666aa3892397a96d044a55f02c6"
def git(*args):
return subprocess.check_output(["git", *args], text=True).strip()
assert git("rev-parse", "HEAD") == MEASURED
assert git("branch", "--show-current") == "solution/bpi2303-kostylev"
paths = git("diff", "--name-only", MEASURED).splitlines()
assert all(p in {"REPORT.md", "AGENTS.md"} or p.startswith("evidence/") for p in paths)
runtime_diff = git(
"diff",
"--name-only",
REVIEWED,
"--",
"src",
"infra",
"compose.yaml",
"Dockerfile",
"pyproject.toml",
"uv.lock",
"alembic",
"scripts",
"student-tests",
"openspec",
)
assert not runtime_diff
assert not git(
"diff", "--name-only", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"
)
subprocess.run(["git", "diff", "--check"], check=True)
whitespace = subprocess.run(["git", "diff", "--cached", "--check"], capture_output=True, text=True)
raw_whitespace = re.findall(r"^([^\n:]+):\d+: trailing whitespace\.$", whitespace.stdout, re.M)
assert whitespace.returncode in (0, 2)
assert set(raw_whitespace) <= {
str(FOLDER / "png-boundary.txt"),
str(FOLDER / "png-http.txt"),
str(FOLDER / "smoke.txt"),
}
subprocess.run(
["git", "diff", "--cached", "--check", "--", ".", f":(exclude){FOLDER}/*.txt"],
check=True,
)
tracked = set(git("ls-files").splitlines())
docs = [
Path("REPORT.md"),
Path("AGENTS.md"),
Path("evidence/README.md"),
Path("evidence/load-validation.md"),
FOLDER / "RESULTS.md",
]
links = 0
for doc in docs:
content = doc.read_text()
assert len(re.findall(r"^```", content, re.M)) % 2 == 0, doc
for target in re.findall(r"\]\(([^)]+)\)", content):
if re.match(r"(?:https?://|#)", target):
continue
destination = (doc.parent / target.split("#")[0]).resolve()
assert destination.exists(), (doc, target)
relative = str(destination.relative_to(ROOT))
assert relative in tracked or any(p.startswith(relative + "/") for p in tracked), relative
links += 1
json_files = 0
for name in tracked:
if name.endswith(".json"):
json.loads(Path(name).read_text())
json_files += 1
for path in FOLDER.glob("*.py"):
ast.parse(path.read_text(), filename=str(path))
hashes = 0
for manifest, key in [
("evidence/final-validation-2026-11-07/sha256.json", None),
("evidence/review-png-memory-2026-11-07/checks.json", "sha256"),
]:
entries = json.loads(Path(manifest).read_text())
if key:
entries = entries[key]
for name, expected in entries.items():
assert hashlib.sha256(Path(name).read_bytes()).hexdigest() == expected, name
hashes += 1
accepted = []
for name in [
"evidence/forward-final-2026-11-06/level4.json",
*[f"evidence/forward-final-2026-11-06/track-run{n}.json" for n in (1, 2, 3)],
"evidence/final-validation-2026-11-07/postgres-outage-retry.json",
"evidence/final-validation-2026-11-07/delivery-targeted.json",
]:
data = json.loads(Path(name).read_text())
scenarios = data.get("scenarios", data.get("cases"))
assert data["result"] == "PASS"
assert all(x["result"] == "PASS" for x in scenarios + data["invariants"])
accepted.append(
{
"file": name,
"source_sha": data["source_sha"],
"scenarios": len(scenarios),
"invariants": len(data["invariants"]),
}
)
own_containers = subprocess.check_output(
["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=mtusi2026lab5"], text=True
).strip()
assert not own_containers
volumes = subprocess.check_output(
[
"docker",
"volume",
"ls",
"--filter",
"label=com.docker.compose.project=mtusi2026lab5",
"--format",
"{{.Name}}",
],
text=True,
).splitlines()
assert len(volumes) == 4
report = {
"measured_sha": MEASURED,
"reviewed_runtime": REVIEWED,
"runtime_equal": True,
"normative_equal_to_upstream_main": True,
"changed_paths": paths,
"local_links_verified": links,
"tracked_json_parsed": json_files,
"previous_and_fix_hashes_verified": hashes,
"raw_diff_check_exit": whitespace.returncode,
"preserved_raw_trailing_whitespace_lines": len(raw_whitespace),
"docs_and_helpers_diff_check": "PASS",
"accepted_without_rerun": accepted,
"own_containers": [],
"retained_volumes": volumes,
"result": "PASS",
}
(FOLDER / "final-audit.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
print(
json.dumps(
{k: v for k, v in report.items() if k not in {"changed_paths", "accepted_without_rerun"}},
ensure_ascii=False,
indent=2,
)
)
@@ -0,0 +1,25 @@
{
"head": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
"runtime_review_equal": true,
"runtime_diff_since_previous_validation": [
"src/messenger/attachments/infrastructure/images.py"
],
"previous_artifact_hashes_verified": 53,
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
"host_load": [
1.66796875,
2.11279296875,
2.3447265625
],
"docker": "28.3.2 16 8217190400",
"running_containers_before": "",
"image_fixture_hashes": {
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
},
"fix_hashes_verified": 28,
"linux_http_variant_hashes_equal": 30
}
@@ -0,0 +1,90 @@
date: 2026-11-06T22:54:41Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker compose build
#1 [internal] load local bake definitions
#1 reading from stdin 441B done
#1 DONE 0.0s
#2 [internal] load build definition from Dockerfile
#2 transferring dockerfile: 1.65kB done
#2 DONE 0.0s
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
#3 DONE 0.0s
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
#4 DONE 1.6s
#5 [internal] load .dockerignore
#5 transferring context: 453B done
#5 DONE 0.0s
#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
#6 DONE 0.0s
#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
#7 DONE 0.0s
#8 [internal] load build context
#8 transferring context: 55.94kB 0.0s done
#8 DONE 0.0s
#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
#9 CACHED
#10 [builder 3/7] WORKDIR /build
#10 CACHED
#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
#11 CACHED
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
#12 CACHED
#13 [builder 6/7] COPY src ./src
#13 DONE 0.1s
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
#14 0.246 Resolved 84 packages in 9ms
#14 0.261 Building mtusi-messenger @ file:///build
#14 3.076 Built mtusi-messenger @ file:///build
#14 3.081 Prepared 1 package in 2.82s
#14 3.086 Installed 1 package in 4ms
#14 3.306 Bytecode compiled 2301 files in 220ms
#14 3.306 + mtusi-messenger==1.5.0 (from file:///build)
#14 DONE 3.3s
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
#15 CACHED
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
#16 DONE 0.7s
#17 [runtime 4/6] WORKDIR /app
#17 DONE 0.0s
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
#18 DONE 0.0s
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
#19 DONE 0.0s
#20 exporting to image
#20 exporting layers
#20 exporting layers 3.1s done
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 done
#20 exporting config sha256:9ad245995fe138e23bc22e352d3a77ee0bf65ae6979997c6da067bd8d5315782 done
#20 exporting attestation manifest sha256:cf7e1da74a249e6859a38405addb0350aab512b93f6e62e66405ae1936db4e38 done
#20 exporting manifest list sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608 done
#20 naming to docker.io/library/mtusi-messenger:lab5-memory-validation done
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation 0.6s done
#20 DONE 3.8s
#21 resolving provenance for metadata file
#21 DONE 0.0s
api Built
exit_code: 0 elapsed_seconds: 14.282
@@ -1,5 +1,5 @@
date: 2026-11-06T09:37:46Z commit: 95511002b12510178a3cc2a22566b43e2b2b6c81
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
date: 2026-11-06T22:54:42Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {}
$ make check validate lint
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
@@ -8,7 +8,7 @@ PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
189 files already formatted
198 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit_code: 0 elapsed_seconds: 0.744
exit_code: 0 elapsed_seconds: 0.650
@@ -0,0 +1,11 @@
{
"at": "2026-11-06T23:18:53.248018+00:00",
"host_load": [
6.40869140625,
4.1806640625,
3.1875
],
"running": "mtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-api-1 Up 6 minutes (healthy)\nmtusi2026lab5-api-2 Up 6 minutes (healthy)\nmtusi2026lab5-relay-1 Up 6 minutes (healthy)\nmtusi2026lab5-broker-1 Up 6 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 6 minutes (healthy)\nmtusi2026lab5-lb-1 Up 6 minutes (healthy)\nmtusi2026lab5-s3-1 Up 6 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 6 minutes (healthy)",
"worker_limits": "448\n30\n2",
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0"
}
@@ -0,0 +1,166 @@
{
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
"host_load": [
2.62109375,
2.6455078125,
2.53076171875
],
"running": "mtusi2026lab5-api-1 Up 2 minutes (healthy)\nmtusi2026lab5-api-2 Up 2 minutes (healthy)\nmtusi2026lab5-worker-1 Up 2 minutes (healthy)\nmtusi2026lab5-relay-1 Up 2 minutes (healthy)\nmtusi2026lab5-broker-1 Up 2 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 2 minutes (healthy)\nmtusi2026lab5-lb-1 Up 2 minutes (healthy)\nmtusi2026lab5-s3-1 Up 2 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 2 minutes (healthy)",
"containers": [
{
"name": "/mtusi2026lab5-api-1",
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-api-2",
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-worker-1",
"id": "a9afb0e9cc245a54eb871ddd44fcf8661949789de59603ded5236b5f9e9f1d7c",
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
"limits": {
"Memory": 1073741824,
"NanoCpus": 2000000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-relay-1",
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
"limits": {
"Memory": 201326592,
"NanoCpus": 500000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-migrate-1",
"id": "34901a09ef7b837c6ce87116d2035d842762d2c86f8562cade96d3915a80e6f0",
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
"limits": {
"Memory": 268435456,
"NanoCpus": 500000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-s3-init-1",
"id": "6e80e83ed5c5470bf22c5a9cd7c835788fbdff94f1f28f8649df6b667c153f89",
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
"limits": {
"Memory": 67108864,
"NanoCpus": 500000000,
"PortBindings": {}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-broker-1",
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {
"15672/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "25086"
}
]
}
},
"volumes": [
"mtusi2026lab5_broker-data"
]
},
{
"name": "/mtusi2026lab5-postgres-1",
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
"limits": {
"Memory": 1073741824,
"NanoCpus": 2000000000,
"PortBindings": {}
},
"volumes": [
"mtusi2026lab5_pgdata"
]
},
{
"name": "/mtusi2026lab5-lb-1",
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
"limits": {
"Memory": 134217728,
"NanoCpus": 1000000000,
"PortBindings": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "18085"
}
],
"8404/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "25085"
}
]
}
},
"volumes": []
},
{
"name": "/mtusi2026lab5-s3-1",
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"volumes": [
"mtusi2026lab5_s3data"
]
},
{
"name": "/mtusi2026lab5-valkey-1",
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
"limits": {
"Memory": 134217728,
"NanoCpus": 500000000,
"PortBindings": {}
},
"volumes": [
"mtusi2026lab5_valkeydata"
]
}
],
"fixture_sha256": {
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
}
}
@@ -0,0 +1,151 @@
{
"command": [
"docker",
"events",
"--since",
"2026-11-06T23:15:45Z",
"--until",
"2026-11-06T23:19:06.697928+00:00",
"--filter",
"type=container",
"--filter",
"label=com.docker.compose.project=mtusi2026lab5",
"--filter",
"event=stop",
"--filter",
"event=die",
"--filter",
"event=start",
"--format",
"{{json .}}"
],
"events": [
{
"timeNano": 1794007134212820139,
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
"action": "stop",
"name": "mtusi2026lab5-lb-1",
"exitCode": null
},
{
"timeNano": 1794007134214724139,
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
"action": "die",
"name": "mtusi2026lab5-lb-1",
"exitCode": "0"
},
{
"timeNano": 1794007134242785764,
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
"action": "stop",
"name": "mtusi2026lab5-relay-1",
"exitCode": null
},
{
"timeNano": 1794007134243810347,
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
"action": "die",
"name": "mtusi2026lab5-relay-1",
"exitCode": "0"
},
{
"timeNano": 1794007134261625889,
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
"action": "stop",
"name": "mtusi2026lab5-worker-1",
"exitCode": null
},
{
"timeNano": 1794007134263340222,
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
"action": "die",
"name": "mtusi2026lab5-worker-1",
"exitCode": "0"
},
{
"timeNano": 1794007135530081667,
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
"action": "stop",
"name": "mtusi2026lab5-broker-1",
"exitCode": null
},
{
"timeNano": 1794007135532395875,
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
"action": "die",
"name": "mtusi2026lab5-broker-1",
"exitCode": "0"
},
{
"timeNano": 1794007136578760167,
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
"action": "stop",
"name": "mtusi2026lab5-api-1",
"exitCode": null
},
{
"timeNano": 1794007136581296250,
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
"action": "die",
"name": "mtusi2026lab5-api-1",
"exitCode": "0"
},
{
"timeNano": 1794007136606883084,
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
"action": "stop",
"name": "mtusi2026lab5-api-2",
"exitCode": null
},
{
"timeNano": 1794007136610714375,
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
"action": "die",
"name": "mtusi2026lab5-api-2",
"exitCode": "0"
},
{
"timeNano": 1794007136730887167,
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
"action": "stop",
"name": "mtusi2026lab5-valkey-1",
"exitCode": null
},
{
"timeNano": 1794007136732779084,
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
"action": "die",
"name": "mtusi2026lab5-valkey-1",
"exitCode": "0"
},
{
"timeNano": 1794007136795874292,
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
"action": "stop",
"name": "mtusi2026lab5-postgres-1",
"exitCode": null
},
{
"timeNano": 1794007136796859125,
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
"action": "die",
"name": "mtusi2026lab5-postgres-1",
"exitCode": "0"
},
{
"timeNano": 1794007136819412875,
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
"action": "stop",
"name": "mtusi2026lab5-s3-1",
"exitCode": null
},
{
"timeNano": 1794007136823326750,
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
"action": "die",
"name": "mtusi2026lab5-s3-1",
"exitCode": "0"
}
],
"limitation": "Docker retains only the last 256 events; this is a partial retrospective snapshot."
}
@@ -0,0 +1,53 @@
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ make down
docker compose --profile bench --profile tools --profile reconcile down
Container mtusi2026lab5-relay-1 Stopping
Container mtusi2026lab5-lb-1 Stopping
Container mtusi2026lab5-api-2 Stopping
Container mtusi2026lab5-api-1 Stopping
Container mtusi2026lab5-worker-1 Stopping
Container mtusi2026lab5-lb-1 Stopped
Container mtusi2026lab5-lb-1 Removing
Container mtusi2026lab5-relay-1 Stopped
Container mtusi2026lab5-relay-1 Removing
Container mtusi2026lab5-lb-1 Removed
Container mtusi2026lab5-worker-1 Stopped
Container mtusi2026lab5-worker-1 Removing
Container mtusi2026lab5-relay-1 Removed
Container mtusi2026lab5-worker-1 Removed
Container mtusi2026lab5-broker-1 Stopping
Container mtusi2026lab5-broker-1 Stopped
Container mtusi2026lab5-broker-1 Removing
Container mtusi2026lab5-broker-1 Removed
Container mtusi2026lab5-api-1 Stopped
Container mtusi2026lab5-api-1 Removing
Container mtusi2026lab5-api-2 Stopped
Container mtusi2026lab5-api-2 Removing
Container mtusi2026lab5-api-1 Removed
Container mtusi2026lab5-api-2 Removed
Container mtusi2026lab5-valkey-1 Stopping
Container mtusi2026lab5-migrate-1 Stopping
Container mtusi2026lab5-s3-init-1 Stopping
Container mtusi2026lab5-migrate-1 Stopped
Container mtusi2026lab5-migrate-1 Removing
Container mtusi2026lab5-s3-init-1 Stopped
Container mtusi2026lab5-s3-init-1 Removing
Container mtusi2026lab5-migrate-1 Removed
Container mtusi2026lab5-postgres-1 Stopping
Container mtusi2026lab5-s3-init-1 Removed
Container mtusi2026lab5-s3-1 Stopping
Container mtusi2026lab5-valkey-1 Stopped
Container mtusi2026lab5-valkey-1 Removing
Container mtusi2026lab5-valkey-1 Removed
Container mtusi2026lab5-postgres-1 Stopped
Container mtusi2026lab5-postgres-1 Removing
Container mtusi2026lab5-s3-1 Stopped
Container mtusi2026lab5-s3-1 Removing
Container mtusi2026lab5-postgres-1 Removed
Container mtusi2026lab5-s3-1 Removed
Network mtusi2026lab5_edge Removing
Network mtusi2026lab5_backend Removing
Network mtusi2026lab5_backend Removed
Network mtusi2026lab5_edge Removed
exit_code: 0 elapsed_seconds: 3.356
@@ -0,0 +1,8 @@
export COMPOSE_PROJECT_NAME=mtusi2026lab5
export COMPOSE_FILE=compose.yaml
export API_IMAGE=mtusi-messenger:lab5-memory-validation
export LB_HTTP_PORT=18085
export LB_STATS_PORT=25085
export BROKER_MANAGEMENT_PORT=25086
export BASE_URL=http://127.0.0.1:18085
export NO_PROXY=localhost,127.0.0.1,::1
@@ -0,0 +1,100 @@
{
"measured_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
"runtime_equal": true,
"normative_equal_to_upstream_main": true,
"changed_paths": [
"AGENTS.md",
"REPORT.md",
"evidence/README.md",
"evidence/final-memory-validation-2026-11-07/RESULTS.md",
"evidence/final-memory-validation-2026-11-07/active-changes.txt",
"evidence/final-memory-validation-2026-11-07/audit-files.py",
"evidence/final-memory-validation-2026-11-07/audit.json",
"evidence/final-memory-validation-2026-11-07/build.txt",
"evidence/final-memory-validation-2026-11-07/checks.txt",
"evidence/final-memory-validation-2026-11-07/conditions-after.json",
"evidence/final-memory-validation-2026-11-07/conditions.json",
"evidence/final-memory-validation-2026-11-07/container-events.json",
"evidence/final-memory-validation-2026-11-07/down.txt",
"evidence/final-memory-validation-2026-11-07/env.sh",
"evidence/final-memory-validation-2026-11-07/final-audit.json",
"evidence/final-memory-validation-2026-11-07/final-checks.txt",
"evidence/final-memory-validation-2026-11-07/final-containers.txt",
"evidence/final-memory-validation-2026-11-07/findings.json",
"evidence/final-memory-validation-2026-11-07/linux-child.py",
"evidence/final-memory-validation-2026-11-07/linux-runner.py",
"evidence/final-memory-validation-2026-11-07/linux.json",
"evidence/final-memory-validation-2026-11-07/linux.txt",
"evidence/final-memory-validation-2026-11-07/openspec.txt",
"evidence/final-memory-validation-2026-11-07/png-boundary.json",
"evidence/final-memory-validation-2026-11-07/png-boundary.txt",
"evidence/final-memory-validation-2026-11-07/png-http.json",
"evidence/final-memory-validation-2026-11-07/png-http.txt",
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt",
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt",
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt",
"evidence/final-memory-validation-2026-11-07/runtime.txt",
"evidence/final-memory-validation-2026-11-07/scan-secrets.py",
"evidence/final-memory-validation-2026-11-07/secret-scan.json",
"evidence/final-memory-validation-2026-11-07/sha256.json",
"evidence/final-memory-validation-2026-11-07/smoke.txt",
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt",
"evidence/final-memory-validation-2026-11-07/student-test.txt",
"evidence/final-memory-validation-2026-11-07/targeted.py",
"evidence/final-memory-validation-2026-11-07/up.txt",
"evidence/load-validation.md"
],
"local_links_verified": 208,
"tracked_json_parsed": 111,
"previous_and_fix_hashes_verified": 81,
"raw_diff_check_exit": 2,
"preserved_raw_trailing_whitespace_lines": 17,
"docs_and_helpers_diff_check": "PASS",
"accepted_without_rerun": [
{
"file": "evidence/forward-final-2026-11-06/level4.json",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 17,
"invariants": 8
},
{
"file": "evidence/forward-final-2026-11-06/track-run1.json",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8
},
{
"file": "evidence/forward-final-2026-11-06/track-run2.json",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8
},
{
"file": "evidence/forward-final-2026-11-06/track-run3.json",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8
},
{
"file": "evidence/final-validation-2026-11-07/postgres-outage-retry.json",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"scenarios": 1,
"invariants": 8
},
{
"file": "evidence/final-validation-2026-11-07/delivery-targeted.json",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"scenarios": 12,
"invariants": 8
}
],
"own_containers": [],
"retained_volumes": [
"mtusi2026lab5_broker-data",
"mtusi2026lab5_pgdata",
"mtusi2026lab5_s3data",
"mtusi2026lab5_valkeydata"
],
"result": "PASS"
}
@@ -0,0 +1,14 @@
date: 2026-11-06T23:23:20Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ make check validate lint
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
198 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit_code: 0 elapsed_seconds: 0.530
@@ -0,0 +1,15 @@
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}}'
mtusi2026lab5-api-1 d1dcbda23866 running Up 6 minutes (healthy)
mtusi2026lab5-api-2 1eaf0fe05de6 running Up 6 minutes (healthy)
mtusi2026lab5-broker-1 be1942ad69b4 running Up 6 minutes (healthy)
mtusi2026lab5-lb-1 4ddcc75182e6 running Up 6 minutes (healthy)
mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 6 minutes ago
mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 6 minutes (healthy)
mtusi2026lab5-relay-1 63225b5eff8e running Up 6 minutes (healthy)
mtusi2026lab5-s3-1 29b3e7c3a260 running Up 6 minutes (healthy)
mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 6 minutes ago
mtusi2026lab5-valkey-1 647882797ca2 running Up 6 minutes (healthy)
mtusi2026lab5-worker-1 cb275ee9574b running Up About a minute (healthy)
exit_code: 0 elapsed_seconds: 0.127
@@ -0,0 +1,37 @@
[
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:230",
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
},
{
"severity": "minor",
"file": "scripts/limits.py:10",
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
},
{
"severity": "minor",
"file": "scripts/reconcile_track.py:396",
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
},
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:304",
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
},
{
"severity": "minor",
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
},
{
"severity": "minor",
"file": "openspec/config.yaml:130",
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
},
{
"severity": "minor",
"file": "src/messenger/attachments/entrypoints/schemas.py:67",
"problem": "Независимое review M: attempt=\"1\", pipeline_version=true, числовой created_at и traceparent=null принимаются вне jobs.schema.json с bus/ack вместо reject. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник: evidence/report-memory-audit-2026-11-07.md; повторные пробы в validation не выполнялись."
}
]
@@ -0,0 +1,58 @@
import hashlib
import json
import resource
import signal
import sys
import time
from io import BytesIO
from pathlib import Path
import messenger.worker
from PIL import Image
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
data = Path(sys.argv[1]).read_bytes()
transparent = sys.argv[3] == "true"
limits = RenderLimits(10485760, 40000000)
versions = []
for version in (1, 2):
signal.alarm(30)
began = time.monotonic()
variants = render_variants(data, limits, version)
ended = time.monotonic()
signal.alarm(0)
assert [(v.name, v.width, v.height) for v in variants] == [
("thumbnail", 256, 160),
("crop", 128, 128),
("optimized", 1280, 800),
]
for variant in variants:
with Image.open(BytesIO(variant.data)) as image:
assert (image.getpixel((5, image.height // 2)) == (255, 255, 255)) == transparent
assert image.getpixel((image.width - 6, image.height // 2)) != (255, 255, 255)
versions.append(
{
"version": version,
"started_monotonic": began,
"finished_monotonic": ended,
"render_seconds": ended - began,
"variants": {v.name: hashlib.sha256(v.data).hexdigest() for v in variants},
}
)
signal.alarm(30)
assert len(render_variants(Path(sys.argv[2]).read_bytes(), limits)) == 3
signal.alarm(0)
print(
json.dumps(
{
"file": Path(sys.argv[1]).name,
"input_sha256": hashlib.sha256(data).hexdigest(),
"versions": versions,
"ordinary_after": True,
"max_rss_kib": resource.getrusage(resource.RUSAGE_SELF).ru_maxrss,
"result": "PASS",
}
),
flush=True,
)
@@ -0,0 +1,89 @@
import base64
import hashlib
import json
import subprocess
from pathlib import Path
folder = Path(__file__).parent
fixtures = {
p.name: p.read_bytes()
for p in Path("evidence/final-validation-2026-11-07/fixtures").glob("*.png")
}
data = fixtures["gray16-40mp.png"]
result, offset = data[:8], 8
while offset < len(data):
size = int.from_bytes(data[offset : offset + 4], "big") + 12
if data[offset + 4 : offset + 8] != b"tRNS":
result += data[offset : offset + size]
offset += size
fixtures["gray16-opaque-40mp.png"] = result
fixtures["sample.png"] = Path("tests/fixtures/sample.png").read_bytes()
bootstrap = """
import base64,json,sys,subprocess,time
from pathlib import Path
p=json.load(sys.stdin)
d=Path('/tmp/png-memory-validation')
d.mkdir(exist_ok=True)
for name,data in p['fixtures'].items():
(d/name).write_bytes(base64.b64decode(data))
def command(name):
return [sys.executable,'-c',p['code'],str(d/name),str(d/'sample.png'),'false' if 'opaque' in name else 'true']
results=[]
for name in sorted(p['fixtures']):
if name=='sample.png':
continue
output=subprocess.check_output(command(name),text=True,timeout=65)
row=json.loads(output)
results.append(row)
print(json.dumps({'case':row}),flush=True)
children=[subprocess.Popen(command('rgb16-40mp.png'),stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True) for _ in range(2)]
parallel=[]
try:
for child in children:
out,err=child.communicate(timeout=65)
assert child.returncode==0,(child.returncode,err)
parallel.append(json.loads(out))
finally:
for child in children:
if child.poll() is None:
child.kill()
child.wait()
overlap=any(max(a['started_monotonic'],b['started_monotonic'])<min(a['finished_monotonic'],b['finished_monotonic']) for a in parallel[0]['versions'] for b in parallel[1]['versions'])
assert overlap
peak=int(Path('/sys/fs/cgroup/memory.peak').read_text())
limit=int(Path('/sys/fs/cgroup/memory.max').read_text())
assert peak<limit
print(json.dumps({'result':'PASS','cases':results,'concurrent':parallel,'render_overlap':overlap,'cgroup_peak':peak,'cgroup_limit':limit,'memory_events':Path('/sys/fs/cgroup/memory.events').read_text()}),flush=True)
"""
payload = {
"code": (folder / "linux-child.py").read_text(),
"fixtures": {name: base64.b64encode(data).decode() for name, data in fixtures.items()},
}
output = folder / "linux.json"
if output.exists():
raise SystemExit("Result exists; do not repeat completed evidence")
process = subprocess.Popen(
["docker", "compose", "exec", "-T", "worker", "python", "-c", bootstrap],
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
stderr=subprocess.STDOUT,
text=True,
)
process.stdin.write(json.dumps(payload))
process.stdin.close()
lines = []
for line in process.stdout:
print(line, end="", flush=True)
lines.append(line)
code = process.wait()
report = {
"source_sha": subprocess.check_output(["git", "rev-parse", "HEAD"], text=True).strip(),
"exit_code": code,
"input_sha256": {name: hashlib.sha256(data).hexdigest() for name, data in fixtures.items()},
}
if code == 0:
report.update(json.loads(lines[-1]))
else:
report["result"] = "FAIL"
output.write_text(json.dumps(report, indent=2) + "\n")
raise SystemExit(code)
@@ -0,0 +1,238 @@
{
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
"exit_code": 0,
"input_sha256": {
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
"gray16-opaque-40mp.png": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
"sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
},
"result": "PASS",
"cases": [
{
"file": "gray16-40mp.png",
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
"versions": [
{
"version": 1,
"started_monotonic": 192.032995711,
"finished_monotonic": 193.256173795,
"render_seconds": 1.2231780839999828,
"variants": {
"thumbnail": "99b591aa444566a5c425692f989a8cee8621615ec6aa7911e273e2c47f07d027",
"crop": "8ea8ec6f95dc1d1697327cd4640e59c2adce777564d349703df9f581dde2f450",
"optimized": "7667253d3e6bb37c83e75c2955705e4d5b97a7ee515df4aac5099c9ab3f97335"
}
},
{
"version": 2,
"started_monotonic": 193.258607545,
"finished_monotonic": 194.489094088,
"render_seconds": 1.230486543000012,
"variants": {
"thumbnail": "a17f036f331d17eb03302ddf06741e2f22a8da3394e85e122194fe45282de352",
"crop": "9de07bd2f684859366c50919650f159adc93f9027150de2f51cafac502794daf",
"optimized": "e9d888a5186c3f4824ef866fe97606e2d0a486a312551bfd571e02d2f509a4b7"
}
}
],
"ordinary_after": true,
"max_rss_kib": 365508,
"result": "PASS"
},
{
"file": "gray16-opaque-40mp.png",
"input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
"versions": [
{
"version": 1,
"started_monotonic": 195.17374863,
"finished_monotonic": 195.46179888,
"render_seconds": 0.28805024999999773,
"variants": {
"thumbnail": "59472ec8f914eb4502ffd2591a59ac68b05cccefeedc678f5ad2919cd2c6a3a2",
"crop": "91eed7d7e1f422bfc3827903cc6801a37387d642a1b4fcc08e23b2de4840a3d7",
"optimized": "c5216644c9e66c732de7523bef11b7024bf0417adb1d134d8f2ce259fd8b6ed1"
}
},
{
"version": 2,
"started_monotonic": 195.464219338,
"finished_monotonic": 195.744785005,
"render_seconds": 0.28056566700001895,
"variants": {
"thumbnail": "13ea6ae5bd526b8b0ad4e88ff72498ff48c6d50f8d12e81ad6773a1eaa9fc177",
"crop": "2d5dbe60802e4aa1c3ff20c112df454c70a12e2c9fccc99137802a5556e270bf",
"optimized": "38fc10be1e1f56da14304d26c52c11032900002c70de502ea1b7c1639535633e"
}
}
],
"ordinary_after": true,
"max_rss_kib": 365492,
"result": "PASS"
},
{
"file": "gray2-40mp.png",
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"versions": [
{
"version": 1,
"started_monotonic": 196.461284589,
"finished_monotonic": 196.747503755,
"render_seconds": 0.2862191659999951,
"variants": {
"thumbnail": "ce63aabedb566aea34ad71f5a146f8dc8f0fd27c1f28f5ad1a28ffdf4630b053",
"crop": "43956a7b626be7786964c28ae7bf0cb96b2b914335a1b8129772c7bd88ee95ed",
"optimized": "059fb496f80d0ad3c73ea4d257f754b726f5d8dacfefd42ea7cedd6ff3368b24"
}
},
{
"version": 2,
"started_monotonic": 196.750391839,
"finished_monotonic": 197.01864788,
"render_seconds": 0.2682560410000008,
"variants": {
"thumbnail": "efb7970658ce2e7ed86bf5f3d5d695b81cd396e717d699fd9e69ffb294d5d870",
"crop": "cb1ce90bf86c1178ac5f0830e3d34ed54296a0e81231b422ba9f622dd22c7daa",
"optimized": "38dc2af32b8bbc1f15fbff2fcfeb5fa0d5ac6ed75225afc575e80254d2a54d0c"
}
}
],
"ordinary_after": true,
"max_rss_kib": 343076,
"result": "PASS"
},
{
"file": "gray4-40mp.png",
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"versions": [
{
"version": 1,
"started_monotonic": 197.695555797,
"finished_monotonic": 197.978069006,
"render_seconds": 0.2825132090000011,
"variants": {
"thumbnail": "9130484055a59c8c813ea7e48b32e27a3c424b4107ca4f872c8711ad34234610",
"crop": "c3bbbc98cc4a63ea0aab370b4e81bdc66a353a8ca7beb9c83a2c28af9f44b641",
"optimized": "e23b8d975b6973b848ba57cb68925d6f88156f44d9dcbe52d194e006e49dcefa"
}
},
{
"version": 2,
"started_monotonic": 197.980502798,
"finished_monotonic": 198.257521881,
"render_seconds": 0.277019082999999,
"variants": {
"thumbnail": "814c3cc7149871ae2614c4e71f9ffd35e86063bad1c8f94c2aeb5c0dacd516c3",
"crop": "beb44557013393b7c1a85b1df2fd74ffaf8bd32606092bad48c300b7d7a676fb",
"optimized": "b7a3cf6655e630458fb5341d7a79e742dafcf26590724a0440e3dfe82e4986f7"
}
}
],
"ordinary_after": true,
"max_rss_kib": 342956,
"result": "PASS"
},
{
"file": "rgb16-40mp.png",
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"versions": [
{
"version": 1,
"started_monotonic": 198.959187048,
"finished_monotonic": 199.736227465,
"render_seconds": 0.7770404170000234,
"variants": {
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
}
},
{
"version": 2,
"started_monotonic": 199.738488423,
"finished_monotonic": 200.507796924,
"render_seconds": 0.7693085009999834,
"variants": {
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
}
}
],
"ordinary_after": true,
"max_rss_kib": 406312,
"result": "PASS"
}
],
"concurrent": [
{
"file": "rgb16-40mp.png",
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"versions": [
{
"version": 1,
"started_monotonic": 201.216312716,
"finished_monotonic": 202.037238716,
"render_seconds": 0.8209259999999858,
"variants": {
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
}
},
{
"version": 2,
"started_monotonic": 202.0398138,
"finished_monotonic": 202.834078508,
"render_seconds": 0.7942647080000143,
"variants": {
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
}
}
],
"ordinary_after": true,
"max_rss_kib": 404584,
"result": "PASS"
},
{
"file": "rgb16-40mp.png",
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"versions": [
{
"version": 1,
"started_monotonic": 201.216906382,
"finished_monotonic": 202.031220341,
"render_seconds": 0.8143139590000033,
"variants": {
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
}
},
{
"version": 2,
"started_monotonic": 202.033759216,
"finished_monotonic": 202.824064842,
"render_seconds": 0.7903056260000199,
"variants": {
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
}
}
],
"ordinary_after": true,
"max_rss_kib": 404776,
"result": "PASS"
}
],
"render_overlap": true,
"cgroup_peak": 1026285568,
"cgroup_limit": 1073741824,
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0\n"
}
File diff suppressed because one or more lines are too long
@@ -1,6 +1,7 @@
UTC: 2026-11-07T01:34:48.355155+00:00
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
$ openspec validate --all --strict --no-interactive
date: 2026-11-06T22:54:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {}
$ openspec validate --all --strict
- Validating...
✓ spec/lab1-event-publication
✓ spec/lab1-messenger-chats
✓ spec/lab1-messenger-history
@@ -23,10 +24,5 @@ $ openspec validate --all --strict --no-interactive
✓ spec/lab5-job-delivery
✓ spec/lab5-job-recovery
✓ spec/lab5-versioned-pipeline
✓ spec/lab6-observability-cost
✓ spec/lab6-observability-resilience
✓ spec/lab6-service-telemetry
✓ spec/lab6-telemetry-stack
Totals: 26 passed, 0 failed (26 items)
exit_code: 0
Totals: 22 passed, 0 failed (22 items)
exit_code: 0 elapsed_seconds: 0.921
@@ -1,15 +1,15 @@
{
"mode": "png-boundary",
"source_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
"started_at": "2026-11-06T23:39:45.977221Z",
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
"started_at": "2026-11-06T23:15:50.131663Z",
"cases": [
{
"name": "gray2",
"started_at": "2026-11-06T23:39:47.711723Z",
"started_at": "2026-11-06T23:15:51.231716Z",
"observed": {
"attachment_id": "01a1b33b-9093-70bf-9158-b85bf7032a2a",
"input_sha256": "1084c1c5703879792260ace6ff1d4034193af1e67cc3822591c92d1f4408b3cc",
"bytes": 38272,
"attachment_id": "01a1b325-a555-708a-b22c-d2542d636013",
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"bytes": 35759,
"versions": [
{
"version": 1,
@@ -17,55 +17,55 @@
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 583,
"size_bytes": 499,
"width": 128,
"height": 128,
"sha256": "d5228949e8c02f57402e1b283c9ac83d6d46edcd01ad393624be6a8f8d7e502f",
"sha256": "43956a7b626be7786964c28ae7bf0cb96b2b914335a1b8129772c7bd88ee95ed",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 1952,
"size_bytes": 1932,
"width": 1280,
"height": 800,
"sha256": "7f567312b04ce0f8c102b1bcdea16baed6a62007936f5eb47a6871df3cf379e5",
"sha256": "059fb496f80d0ad3c73ea4d257f754b726f5d8dacfefd42ea7cedd6ff3368b24",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 776,
"size_bytes": 662,
"width": 256,
"height": 160,
"sha256": "fc38b021e6e9421fcdc74bb921fc4da88a363b16a49a56cd1c72284a23c67868",
"sha256": "ce63aabedb566aea34ad71f5a146f8dc8f0fd27c1f28f5ad1a28ffdf4630b053",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
}
]
@@ -76,72 +76,72 @@
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 590,
"size_bytes": 536,
"width": 128,
"height": 128,
"sha256": "6fc37d538f8be9b1c30deccc37aeebdd19d3e6a39e0e5042b23112bb1d209ac8",
"sha256": "cb1ce90bf86c1178ac5f0830e3d34ed54296a0e81231b422ba9f622dd22c7daa",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 1954,
"size_bytes": 1944,
"width": 1280,
"height": 800,
"sha256": "1778cf9fc70d988f70d8a8c016239154fb87e74346ef15e1ca7083761d627187",
"sha256": "38dc2af32b8bbc1f15fbff2fcfeb5fa0d5ac6ed75225afc575e80254d2a54d0c",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 785,
"size_bytes": 708,
"width": 256,
"height": 160,
"sha256": "e1d3a6e156a2772c9cc69a26a8f8d9641b9444554544197c6dd8fc9cc9f730a7",
"sha256": "efb7970658ce2e7ed86bf5f3d5d695b81cd396e717d699fd9e69ffb294d5d870",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
0,
0,
0
170,
170,
170
]
}
]
}
],
"memory_peak": 575512576,
"memory_peak": 539025408,
"memory_max": 1073741824
},
"result": "PASS",
"elapsed_seconds": 6.0
"elapsed_seconds": 5.922
},
{
"name": "gray4",
"started_at": "2026-11-06T23:39:53.712360Z",
"started_at": "2026-11-06T23:15:57.154344Z",
"observed": {
"attachment_id": "01a1b33b-a817-7254-8709-ee0cddebdb92",
"input_sha256": "d006dec8fff43e51b211d61d140d9b5babc7ebc7f0e7450d291ef4656635a620",
"attachment_id": "01a1b325-bc89-738a-a3ed-c683c43c9366",
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"bytes": 46441,
"versions": [
{
@@ -153,16 +153,16 @@
"size_bytes": 566,
"width": 128,
"height": 128,
"sha256": "a42009da5f9e4bccd99474287608adb6d1a725d49fa8760e85b95488882b0bf7",
"sha256": "c3bbbc98cc4a63ea0aab370b4e81bdc66a353a8ca7beb9c83a2c28af9f44b641",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
},
{
@@ -171,16 +171,16 @@
"size_bytes": 1952,
"width": 1280,
"height": 800,
"sha256": "c2db7e7304bd02ce36a0ecb0b35348c10bd5a865a749dd1600c631859c6b882e",
"sha256": "e23b8d975b6973b848ba57cb68925d6f88156f44d9dcbe52d194e006e49dcefa",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
},
{
@@ -189,16 +189,16 @@
"size_bytes": 755,
"width": 256,
"height": 160,
"sha256": "1faf98d9caa1e445c56b26462ffeca66dd4d5add81d89f4ad2d615504c1e6b7c",
"sha256": "9130484055a59c8c813ea7e48b32e27a3c424b4107ca4f872c8711ad34234610",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
}
]
@@ -209,72 +209,72 @@
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 601,
"size_bytes": 610,
"width": 128,
"height": 128,
"sha256": "a86fee7b635f567164e19070433ec85ed5d1d778447a76e0ed48799c040f42b5",
"sha256": "beb44557013393b7c1a85b1df2fd74ffaf8bd32606092bad48c300b7d7a676fb",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 1952,
"size_bytes": 1954,
"width": 1280,
"height": 800,
"sha256": "107c225cd21c35c018578aa5d4dc87ccff04bd622f4989cf0bcc85788b4e456a",
"sha256": "b7a3cf6655e630458fb5341d7a79e742dafcf26590724a0440e3dfe82e4986f7",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 797,
"size_bytes": 799,
"width": 256,
"height": 160,
"sha256": "23c526933c8d7099cba526df6a891d13469a69e92fc954a2a88073c1baa26e05",
"sha256": "814c3cc7149871ae2614c4e71f9ffd35e86063bad1c8f94c2aeb5c0dacd516c3",
"left_pixel": [
255,
255,
255
],
"right_pixel": [
68,
68,
68
34,
34,
34
]
}
]
}
],
"memory_peak": 578400256,
"memory_peak": 545435648,
"memory_max": 1073741824
},
"result": "PASS",
"elapsed_seconds": 7.226
"elapsed_seconds": 5.975
},
{
"name": "gray16",
"started_at": "2026-11-06T23:40:00.939472Z",
"started_at": "2026-11-06T23:16:03.129977Z",
"observed": {
"attachment_id": "01a1b33b-c47a-76ec-ae27-3385b1fd30c5",
"input_sha256": "2a2bfae2528dd21f59414aa35a91377c1664c26a6f709f8b7fab4aa1cf980387",
"attachment_id": "01a1b325-d40d-728d-8610-340e6cbe5e76",
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
"bytes": 103565,
"versions": [
{
@@ -396,18 +396,18 @@
]
}
],
"memory_peak": 672264192,
"memory_peak": 568270848,
"memory_max": 1073741824
},
"result": "PASS",
"elapsed_seconds": 7.667
"elapsed_seconds": 7.846
},
{
"name": "rgb16",
"started_at": "2026-11-06T23:40:08.607496Z",
"started_at": "2026-11-06T23:16:10.977006Z",
"observed": {
"attachment_id": "01a1b33b-e2b9-760c-81b9-e877040687ce",
"input_sha256": "b0425a42fb7ad07a6ac307d0c9cb850a17499700f36d4bceea0c20c6639e5fee",
"attachment_id": "01a1b325-f2f8-7038-929d-1ebf30f4b567",
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"bytes": 385445,
"versions": [
{
@@ -529,18 +529,18 @@
]
}
],
"memory_peak": 672264192,
"memory_peak": 607911936,
"memory_max": 1073741824
},
"result": "PASS",
"elapsed_seconds": 5.822
"elapsed_seconds": 9.027
},
{
"name": "gray16-without-trns",
"started_at": "2026-11-06T23:40:14.430167Z",
"started_at": "2026-11-06T23:16:20.004957Z",
"observed": {
"attachment_id": "01a1b33b-f92b-77ae-a85a-164804108ddf",
"input_sha256": "bae9c0d6446edede42fdffcec67bdd82f9c0a2b0dd39ba11cfb7d281b94ba8d9",
"attachment_id": "01a1b326-15f4-75ac-b5ca-06d26dd529fe",
"input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
"bytes": 103551,
"versions": [
{
@@ -662,52 +662,52 @@
]
}
],
"memory_peak": 672264192,
"memory_peak": 607911936,
"memory_max": 1073741824
},
"result": "PASS",
"elapsed_seconds": 5.105
"elapsed_seconds": 4.66
},
{
"name": "concurrent-rgb16",
"started_at": "2026-11-06T23:40:19.535663Z",
"started_at": "2026-11-06T23:16:24.665395Z",
"observed": {
"attachment_ids": [
"01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"01a1b33c-1297-71e5-800b-9e8b94e4968a"
"01a1b326-2c3d-7339-9322-e43de019b581",
"01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32"
],
"versions": [
{
"version": 1,
"events": [
{
"attachment_id": "01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"job_id": "01a1b33c-1202-766f-b7b6-797a9bf45232",
"attachment_id": "01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32",
"job_id": "01a1b326-2ce4-714e-a53e-a6f5ecd5ffd4",
"kind": "claimed",
"at": "2026-11-06T23:40:26.050841+00:00"
"at": "2026-11-06T23:16:29.7032+00:00"
},
{
"attachment_id": "01a1b33c-1297-71e5-800b-9e8b94e4968a",
"job_id": "01a1b33c-129e-76ce-a085-4ed1fc33a86b",
"attachment_id": "01a1b326-2c3d-7339-9322-e43de019b581",
"job_id": "01a1b326-2c46-73dc-bc7a-862e6e3cb3ce",
"kind": "claimed",
"at": "2026-11-06T23:40:26.051046+00:00"
"at": "2026-11-06T23:16:29.703394+00:00"
},
{
"attachment_id": "01a1b33c-1297-71e5-800b-9e8b94e4968a",
"job_id": "01a1b33c-129e-76ce-a085-4ed1fc33a86b",
"attachment_id": "01a1b326-2c3d-7339-9322-e43de019b581",
"job_id": "01a1b326-2c46-73dc-bc7a-862e6e3cb3ce",
"kind": "done",
"at": "2026-11-06T23:40:27.677771+00:00"
"at": "2026-11-06T23:16:31.240131+00:00"
},
{
"attachment_id": "01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"job_id": "01a1b33c-1202-766f-b7b6-797a9bf45232",
"attachment_id": "01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32",
"job_id": "01a1b326-2ce4-714e-a53e-a6f5ecd5ffd4",
"kind": "done",
"at": "2026-11-06T23:40:27.683397+00:00"
"at": "2026-11-06T23:16:31.240833+00:00"
}
],
"processing_overlapped": true,
"variants": {
"01a1b33c-11f7-73ec-a7d2-130a40ebddab": [
"01a1b326-2c3d-7339-9322-e43de019b581": [
{
"name": "crop",
"content_type": "image/jpeg",
@@ -763,7 +763,7 @@
]
}
],
"01a1b33c-1297-71e5-800b-9e8b94e4968a": [
"01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32": [
{
"name": "crop",
"content_type": "image/jpeg",
@@ -825,33 +825,33 @@
"version": 2,
"events": [
{
"attachment_id": "01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"job_id": "01a1b33c-350e-731e-858a-1574b7b0615c",
"attachment_id": "01a1b326-2c3d-7339-9322-e43de019b581",
"job_id": "01a1b326-4a63-70f9-816c-814c5baaa424",
"kind": "claimed",
"at": "2026-11-06T23:40:36.626801+00:00"
"at": "2026-11-06T23:16:40.106937+00:00"
},
{
"attachment_id": "01a1b33c-1297-71e5-800b-9e8b94e4968a",
"job_id": "01a1b33c-395c-718a-8858-090b8aa1856b",
"attachment_id": "01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32",
"job_id": "01a1b326-4e72-700a-bf9e-f7b5c7d0cd33",
"kind": "claimed",
"at": "2026-11-06T23:40:36.627002+00:00"
"at": "2026-11-06T23:16:40.107152+00:00"
},
{
"attachment_id": "01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"job_id": "01a1b33c-350e-731e-858a-1574b7b0615c",
"attachment_id": "01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32",
"job_id": "01a1b326-4e72-700a-bf9e-f7b5c7d0cd33",
"kind": "done",
"at": "2026-11-06T23:40:38.247847+00:00"
"at": "2026-11-06T23:16:41.643121+00:00"
},
{
"attachment_id": "01a1b33c-1297-71e5-800b-9e8b94e4968a",
"job_id": "01a1b33c-395c-718a-8858-090b8aa1856b",
"attachment_id": "01a1b326-2c3d-7339-9322-e43de019b581",
"job_id": "01a1b326-4a63-70f9-816c-814c5baaa424",
"kind": "done",
"at": "2026-11-06T23:40:38.247993+00:00"
"at": "2026-11-06T23:16:41.64694+00:00"
}
],
"processing_overlapped": true,
"variants": {
"01a1b33c-11f7-73ec-a7d2-130a40ebddab": [
"01a1b326-2c3d-7339-9322-e43de019b581": [
{
"name": "crop",
"content_type": "image/jpeg",
@@ -907,7 +907,7 @@
]
}
],
"01a1b33c-1297-71e5-800b-9e8b94e4968a": [
"01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32": [
{
"name": "crop",
"content_type": "image/jpeg",
@@ -966,22 +966,22 @@
}
}
],
"memory_peak": 913227776,
"memory_peak": 885428224,
"memory_max": 1073741824,
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0"
},
"result": "PASS",
"elapsed_seconds": 23.62
"elapsed_seconds": 22.849
},
{
"name": "forced-timeout",
"started_at": "2026-11-06T23:40:43.156188Z",
"started_at": "2026-11-06T23:16:47.514858Z",
"observed": {
"attachment_id": "01a1b33c-7637-7511-8632-7a8cc3564b0f",
"attachment_id": "01a1b326-8dfa-7343-a8ff-887a403c119a",
"error_code": "processing_failed",
"worker": "running",
"next_normal": {
"attachment_id": "01a1b33c-868f-7484-9d9b-e2b3cb10c668",
"attachment_id": "01a1b326-9f0e-76f6-8071-003eed5411cd",
"variants": [
"crop",
"optimized",
@@ -990,17 +990,17 @@
}
},
"result": "PASS",
"elapsed_seconds": 8.903
"elapsed_seconds": 8.96
},
{
"name": "forced-memory",
"started_at": "2026-11-06T23:40:52.060933Z",
"started_at": "2026-11-06T23:16:56.475307Z",
"observed": {
"attachment_id": "01a1b33c-98ff-7680-9e8e-c8e255a55789",
"attachment_id": "01a1b326-b135-742a-bd92-7ed7df312a57",
"error_code": "processing_failed",
"worker": "running",
"next_normal": {
"attachment_id": "01a1b33c-ad38-76e4-a25a-2fc6ccc7f0fb",
"attachment_id": "01a1b326-c4b2-7183-acf6-23928c42e9d8",
"variants": [
"crop",
"optimized",
@@ -1009,49 +1009,43 @@
}
},
"result": "PASS",
"elapsed_seconds": 10.172
"elapsed_seconds": 9.965
}
],
"conditions": {
"host_load": [
2.69384765625,
2.24072265625,
2.24560546875
2.6767578125,
2.697265625,
2.55712890625
],
"containers": [
"mtusi2026lab6-api-1 cbf0e0c086a8 running Up 2 minutes (healthy)",
"mtusi2026lab6-api-2 88b81a690916 running Up 2 minutes (healthy)",
"mtusi2026lab6-broker-1 7873087d1e11 running Up 3 minutes (healthy)",
"mtusi2026lab6-grafana-1 4941a61de404 running Up 3 minutes (healthy)",
"mtusi2026lab6-healthtools-1 8f69bafc4222 exited Exited (0) 3 minutes ago",
"mtusi2026lab6-lb-1 15275930393c running Up 3 minutes (healthy)",
"mtusi2026lab6-loki-1 0ec38f765d14 running Up 3 minutes (healthy)",
"mtusi2026lab6-migrate-1 defa24920883 exited Exited (0) 2 minutes ago",
"mtusi2026lab6-otel-collector-1 c3358f2286f1 running Up 3 minutes (healthy)",
"mtusi2026lab6-postgres-1 048b32582d06 running Up About a minute (healthy)",
"mtusi2026lab6-prometheus-1 a5beedf02a59 running Up 3 minutes (healthy)",
"mtusi2026lab6-relay-1 72f54d7a9ffa running Up 2 minutes (healthy)",
"mtusi2026lab6-s3-1 f5d31170eb6e running Up 3 minutes (healthy)",
"mtusi2026lab6-s3-init-1 16089f3dbc16 exited Exited (0) 2 minutes ago",
"mtusi2026lab6-tempo-1 33a125d574c3 running Up 3 minutes (healthy)",
"mtusi2026lab6-valkey-1 4377a65332f0 running Up 2 minutes (healthy)",
"mtusi2026lab6-worker-1 f492f4c8ff12 running Up 2 minutes (healthy)"
"mtusi2026lab5-api-1 d1dcbda23866 running Up 3 minutes (healthy)",
"mtusi2026lab5-api-2 1eaf0fe05de6 running Up 3 minutes (healthy)",
"mtusi2026lab5-broker-1 be1942ad69b4 running Up 3 minutes (healthy)",
"mtusi2026lab5-lb-1 4ddcc75182e6 running Up 3 minutes (healthy)",
"mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 3 minutes ago",
"mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 3 minutes (healthy)",
"mtusi2026lab5-relay-1 63225b5eff8e running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-1 29b3e7c3a260 running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 3 minutes ago",
"mtusi2026lab5-valkey-1 647882797ca2 running Up 3 minutes (healthy)",
"mtusi2026lab5-worker-1 f65c8e6059bf running Up 3 seconds (healthy)"
],
"running": "mtusi2026lab6-relay-1 Up 2 minutes (healthy)\nmtusi2026lab6-api-2 Up 2 minutes (healthy)\nmtusi2026lab6-api-1 Up 2 minutes (healthy)\nmtusi2026lab6-worker-1 Up 2 minutes (healthy)\nmtusi2026lab6-grafana-1 Up 3 minutes (healthy)\nmtusi2026lab6-loki-1 Up 3 minutes (healthy)\nmtusi2026lab6-tempo-1 Up 3 minutes (healthy)\nmtusi2026lab6-otel-collector-1 Up 3 minutes (healthy)\nmtusi2026lab6-broker-1 Up 3 minutes (healthy)\nmtusi2026lab6-postgres-1 Up About a minute (healthy)\nmtusi2026lab6-lb-1 Up 3 minutes (healthy)\nmtusi2026lab6-prometheus-1 Up 3 minutes (healthy)\nmtusi2026lab6-s3-1 Up 3 minutes (healthy)\nmtusi2026lab6-valkey-1 Up 2 minutes (healthy)\n",
"running": "mtusi2026lab5-worker-1 Up 3 seconds (healthy)\nmtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 3 minutes (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
"worker_limits": "448\n30\n2\n"
},
"accepted_ids": [
"01a1b33b-9093-70bf-9158-b85bf7032a2a",
"01a1b33b-a817-7254-8709-ee0cddebdb92",
"01a1b33b-c47a-76ec-ae27-3385b1fd30c5",
"01a1b33b-e2b9-760c-81b9-e877040687ce",
"01a1b33b-f92b-77ae-a85a-164804108ddf",
"01a1b33c-11f7-73ec-a7d2-130a40ebddab",
"01a1b33c-1297-71e5-800b-9e8b94e4968a",
"01a1b33c-7637-7511-8632-7a8cc3564b0f",
"01a1b33c-868f-7484-9d9b-e2b3cb10c668",
"01a1b33c-98ff-7680-9e8e-c8e255a55789",
"01a1b33c-ad38-76e4-a25a-2fc6ccc7f0fb"
"01a1b325-a555-708a-b22c-d2542d636013",
"01a1b325-bc89-738a-a3ed-c683c43c9366",
"01a1b325-d40d-728d-8610-340e6cbe5e76",
"01a1b325-f2f8-7038-929d-1ebf30f4b567",
"01a1b326-15f4-75ac-b5ca-06d26dd529fe",
"01a1b326-2c3d-7339-9322-e43de019b581",
"01a1b326-2cdd-72c2-b31c-d7b8f2d4ed32",
"01a1b326-8dfa-7343-a8ff-887a403c119a",
"01a1b326-9f0e-76f6-8071-003eed5411cd",
"01a1b326-b135-742a-bd92-7ed7df312a57",
"01a1b326-c4b2-7183-acf6-23928c42e9d8"
],
"invariants": [
{
@@ -1113,7 +1107,7 @@
0
],
"attachments.process.dlq": [
0,
16,
0
]
},
@@ -1130,6 +1124,6 @@
}
}
],
"finished_at": "2026-11-06T23:41:23.883413Z",
"finished_at": "2026-11-06T23:17:25.707567Z",
"result": "PASS"
}
@@ -0,0 +1,12 @@
date: 2026-11-06T23:15:49Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary
gray2 PASS
gray4 PASS
gray16 PASS
rgb16 PASS
gray16-without-trns PASS
concurrent-rgb16 PASS
forced-timeout PASS
forced-memory PASS
exit_code: 0 elapsed_seconds: 95.742
@@ -0,0 +1,742 @@
{
"mode": "png-http",
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
"started_at": "2026-11-06T23:17:43.287659Z",
"cases": [
{
"name": "gray2",
"started_at": "2026-11-06T23:17:44.380294Z",
"observed": {
"attachment_id": "01a1b327-5f46-7727-8fb2-3d557bcfe643",
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
"input_bytes": 189,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
"bytes": 1324,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
"bytes": 98,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
"bytes": 332,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
"bytes": 1489,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
"bytes": 96,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
"bytes": 335,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.395
},
{
"name": "gray4",
"started_at": "2026-11-06T23:17:48.776246Z",
"observed": {
"attachment_id": "01a1b327-706a-74da-b85b-267a032e36ab",
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
"input_bytes": 263,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
"bytes": 1034,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
"bytes": 90,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
"bytes": 330,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
"bytes": 1197,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
"bytes": 92,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
"bytes": 330,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.114
},
{
"name": "rgb16",
"started_at": "2026-11-06T23:17:52.890838Z",
"observed": {
"attachment_id": "01a1b327-807d-7398-8d62-e5d3486f1e9c",
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
"input_bytes": 724,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
"bytes": 671,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
"bytes": 94,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
"bytes": 332,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
"bytes": 696,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
"bytes": 94,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
"bytes": 333,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.989
},
{
"name": "gray1",
"started_at": "2026-11-06T23:17:57.880356Z",
"observed": {
"attachment_id": "01a1b327-93fd-7099-8ab3-600c201aa01d",
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
"input_bytes": 154,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 3.969
},
{
"name": "gray8",
"started_at": "2026-11-06T23:18:01.850592Z",
"observed": {
"attachment_id": "01a1b327-a380-7186-b76d-46a83b6ad53f",
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
"input_bytes": 286,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
"bytes": 621,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
"bytes": 74,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
"bytes": 637,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
"bytes": 76,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.033
},
{
"name": "gray16",
"started_at": "2026-11-06T23:18:05.884188Z",
"observed": {
"attachment_id": "01a1b327-b349-7332-b73c-db1221023da8",
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
"input_bytes": 344,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
"bytes": 632,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
"bytes": 80,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
"bytes": 322,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
"bytes": 662,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
"bytes": 72,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
"bytes": 323,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.099
},
{
"name": "rgb8",
"started_at": "2026-11-06T23:18:09.984254Z",
"observed": {
"attachment_id": "01a1b327-c34a-7194-8fbd-164055cfd3ef",
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
"input_bytes": 385,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
"bytes": 1069,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
"bytes": 116,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
"bytes": 385,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
"bytes": 1184,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
"bytes": 120,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
"bytes": 392,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 3.994
},
{
"name": "rgb16-adam7-filter4-exif6",
"started_at": "2026-11-06T23:18:13.978929Z",
"observed": {
"attachment_id": "01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7",
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
"input_bytes": 1297,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
"bytes": 601,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
"bytes": 112,
"dimensions": [
63,
65
]
},
{
"name": "thumbnail",
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
"bytes": 419,
"dimensions": [
63,
65
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
"bytes": 675,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
"bytes": 116,
"dimensions": [
63,
65
]
},
{
"name": "thumbnail",
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
"bytes": 440,
"dimensions": [
63,
65
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.082
}
],
"conditions": {
"host_load": [
5.41796875,
3.67138671875,
2.95068359375
],
"containers": [
"mtusi2026lab5-api-1 d1dcbda23866 running Up 5 minutes (healthy)",
"mtusi2026lab5-api-2 1eaf0fe05de6 running Up 5 minutes (healthy)",
"mtusi2026lab5-broker-1 be1942ad69b4 running Up 5 minutes (healthy)",
"mtusi2026lab5-lb-1 4ddcc75182e6 running Up 5 minutes (healthy)",
"mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 5 minutes ago",
"mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 5 minutes (healthy)",
"mtusi2026lab5-relay-1 63225b5eff8e running Up 5 minutes (healthy)",
"mtusi2026lab5-s3-1 29b3e7c3a260 running Up 5 minutes (healthy)",
"mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 5 minutes ago",
"mtusi2026lab5-valkey-1 647882797ca2 running Up 5 minutes (healthy)",
"mtusi2026lab5-worker-1 cb275ee9574b running Up 41 seconds (healthy)"
],
"running": "mtusi2026lab5-worker-1 Up 42 seconds (healthy)\nmtusi2026lab5-api-1 Up 5 minutes (healthy)\nmtusi2026lab5-api-2 Up 5 minutes (healthy)\nmtusi2026lab5-relay-1 Up 5 minutes (healthy)\nmtusi2026lab5-broker-1 Up 5 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 5 minutes (healthy)\nmtusi2026lab5-lb-1 Up 5 minutes (healthy)\nmtusi2026lab5-s3-1 Up 5 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 5 minutes (healthy)\n",
"worker_limits": "448\n30\n2\n"
},
"accepted_ids": [
"01a1b327-5f46-7727-8fb2-3d557bcfe643",
"01a1b327-706a-74da-b85b-267a032e36ab",
"01a1b327-807d-7398-8d62-e5d3486f1e9c",
"01a1b327-93fd-7099-8ab3-600c201aa01d",
"01a1b327-a380-7186-b76d-46a83b6ad53f",
"01a1b327-b349-7332-b73c-db1221023da8",
"01a1b327-c34a-7194-8fbd-164055cfd3ef",
"01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7"
],
"invariants": [
{
"id": "terminal",
"statement": "every 202 reaches its expected terminal state",
"result": "PASS",
"details": {
"accepted": 8
}
},
{
"id": "single_effect",
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_ready_rollback",
"statement": "ready never returns to queued or processing",
"result": "PASS",
"details": {
"traced": 8
}
},
{
"id": "monotonic_publication",
"statement": "published_version only moves forward",
"result": "PASS",
"details": {
"sampled": 8
}
},
{
"id": "bytes_match_metadata",
"statement": "sha256, size and real dimensions match served bytes",
"result": "PASS",
"details": {
"verified": 8
}
},
{
"id": "bounded_attempts",
"statement": "attempt <= JOB_MAX_ATTEMPTS",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_orphans",
"statement": "no pending outbox, messages, dead letters, staging, objects",
"result": "PASS",
"details": {
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
16,
0
]
},
"s3_objects": 56,
"scoped_attachments": 8
}
},
{
"id": "no_lost_202",
"statement": "every 202 is present in PostgreSQL and the API",
"result": "PASS",
"details": {
"accepted": 8
}
}
],
"finished_at": "2026-11-06T23:18:30.279606Z",
"result": "PASS"
}
@@ -0,0 +1,12 @@
date: 2026-11-06T23:17:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http
gray2 PASS
gray4 PASS
rgb16 PASS
gray1 PASS
gray8 PASS
gray16 PASS
rgb8 PASS
rgb16-adam7-filter4-exif6 PASS
exit_code: 0 elapsed_seconds: 47.160
@@ -0,0 +1,10 @@
date: 2026-11-06T23:15:46Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker compose up -d --no-deps --force-recreate --wait worker
Container mtusi2026lab5-worker-1 Recreate
Container mtusi2026lab5-worker-1 Recreated
Container mtusi2026lab5-worker-1 Starting
Container mtusi2026lab5-worker-1 Started
Container mtusi2026lab5-worker-1 Waiting
Container mtusi2026lab5-worker-1 Healthy
exit_code: 0 elapsed_seconds: 3.133
@@ -0,0 +1,8 @@
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
mtusi2026lab5_broker-data
mtusi2026lab5_pgdata
mtusi2026lab5_s3data
mtusi2026lab5_valkeydata
exit_code: 0 elapsed_seconds: 0.024
@@ -0,0 +1,4 @@
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker ps --format '{{.Names}} {{.Status}}'
exit_code: 0 elapsed_seconds: 0.024
@@ -0,0 +1,7 @@
date: 2026-11-06T23:15:05Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
images.py sha256 97c6e9c1ef13c8854be9cd2cc11e4279d1d340ba3ab360dfa3e05772923ea743
exit_code: 0 elapsed_seconds: 0.380
@@ -0,0 +1,63 @@
import json
import re
import subprocess
from pathlib import Path
ROOT = Path.cwd()
files = set(subprocess.check_output(["git", "ls-files", "-z"]).decode().split("\0")) - {""}
files.update(
str(p) for p in Path("evidence/final-memory-validation-2026-11-07").rglob("*") if p.is_file()
)
patterns = {
"private_key": r"-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----",
"github_token": r"\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b",
"openai_token": r"\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b",
"aws_key": r"\b(?:AKIA|ASIA)[A-Z0-9]{16}\b",
"telegram_token": r"\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b",
"bearer_literal": r"Bearer [A-Za-z0-9_-]{24,}",
"credential_url": r"\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@",
"secret_literal": r"""["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']""",
}
allow = {
("contracts/examples.json", 5, "secret_literal"): "unchanged skeleton example placeholder",
("contracts/openapi.json", 3096, "secret_literal"): "unchanged skeleton example placeholder",
("examples/requests.http", 20, "secret_literal"): "unchanged skeleton example placeholder",
("scripts/broker-secrets.sh", 17, "credential_url"): "printf format; no credential literal",
(
"student-tests/api/test_operability.py",
131,
"credential_url",
): "synthetic unavailable endpoint u:p",
(
"student-tests/api/test_operability.py",
143,
"credential_url",
): "synthetic unavailable endpoint u:p",
("student-tests/conftest.py", 141, "credential_url"): "ephemeral test database literal",
}
findings = []
for name in sorted(files):
if re.search(r"(^|/)(?:\.env|secrets|volumes)(?:/|$)", name):
findings.append({"file": name, "rule": "forbidden_path"})
try:
text = Path(name).read_text()
except UnicodeDecodeError, OSError:
continue
for rule, pattern in patterns.items():
for match in re.finditer(pattern, text):
line = text.count("\n", 0, match.start()) + 1
item = {"file": name, "line": line, "rule": rule}
if (name, line, rule) in allow:
item["reviewed_non_secret"] = allow[name, line, rule]
findings.append(item)
report = {
"files_scanned": len(files),
"patterns": list(patterns),
"candidates": findings,
"unresolved": sum("reviewed_non_secret" not in f for f in findings),
}
Path("evidence/final-memory-validation-2026-11-07/secret-scan.json").write_text(
json.dumps(report, indent=2) + "\n"
)
print(json.dumps(report, indent=2))
raise SystemExit(bool(report["unresolved"]))
@@ -0,0 +1,58 @@
{
"files_scanned": 804,
"patterns": [
"private_key",
"github_token",
"openai_token",
"aws_key",
"telegram_token",
"bearer_literal",
"credential_url",
"secret_literal"
],
"candidates": [
{
"file": "contracts/examples.json",
"line": 5,
"rule": "secret_literal",
"reviewed_non_secret": "unchanged skeleton example placeholder"
},
{
"file": "contracts/openapi.json",
"line": 3096,
"rule": "secret_literal",
"reviewed_non_secret": "unchanged skeleton example placeholder"
},
{
"file": "examples/requests.http",
"line": 20,
"rule": "secret_literal",
"reviewed_non_secret": "unchanged skeleton example placeholder"
},
{
"file": "scripts/broker-secrets.sh",
"line": 17,
"rule": "credential_url",
"reviewed_non_secret": "printf format; no credential literal"
},
{
"file": "student-tests/api/test_operability.py",
"line": 131,
"rule": "credential_url",
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
},
{
"file": "student-tests/api/test_operability.py",
"line": 143,
"rule": "credential_url",
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
},
{
"file": "student-tests/conftest.py",
"line": 141,
"rule": "credential_url",
"reviewed_non_secret": "ephemeral test database literal"
}
],
"unresolved": 0
}
@@ -0,0 +1,37 @@
{
"evidence/final-memory-validation-2026-11-07/RESULTS.md": "e4dd4dfc47ae8095458028235b1e89373b815edeeceddbd09f116f9ad9f4450b",
"evidence/final-memory-validation-2026-11-07/active-changes.txt": "b817c4f054d652d43cc5b0059aa3808fe18d4a4582a3676c34f0d9418efa992d",
"evidence/final-memory-validation-2026-11-07/audit-files.py": "864e3a7032755da30afeef71431649e87c955cea4dc48021c14575b5ac243ded",
"evidence/final-memory-validation-2026-11-07/audit.json": "68e3f1a5806fe4b65f1e8e8efe0b66c5e55cccd4ce492b7a325d4cc89323ca69",
"evidence/final-memory-validation-2026-11-07/build.txt": "62ca4051248a5ba0c1d5380456dc972572da8c08e27b840992b24f500ab57bb7",
"evidence/final-memory-validation-2026-11-07/checks.txt": "6a1195478b3eb211d21352cb6ed00e690196ccc54e0db3a3fe3ac4e5f6b19336",
"evidence/final-memory-validation-2026-11-07/conditions-after.json": "e72877504561b2e4ab95ffa5ad2e616ff3599ba0887fd10b378f9425cf62376c",
"evidence/final-memory-validation-2026-11-07/conditions.json": "c970c484ad92ada00d33f4df86113928b0ef0321b1b7740441a8c1e10f4b5c30",
"evidence/final-memory-validation-2026-11-07/container-events.json": "bfce3b6295e23ea06f4f29beb1b83b4a5b2ec5e07c4230d3ba68d1dc0c241d39",
"evidence/final-memory-validation-2026-11-07/down.txt": "0b80c02939c9224df3e8f5f98ae6320b6ffc71a8a28c001e7b3ee9ae113a6f39",
"evidence/final-memory-validation-2026-11-07/env.sh": "fa41c289402a362827d3edc88bd0e8301e55d279df09f658f800a94bff96b05d",
"evidence/final-memory-validation-2026-11-07/final-audit.json": "2c6308899417e6da60875de9c262828fe7caccd30bffb223d8ce53635f5845ad",
"evidence/final-memory-validation-2026-11-07/final-checks.txt": "7405e049b92aa01667afe431a64e3c6d5ffc1827c03a4bed480a5158802a08d8",
"evidence/final-memory-validation-2026-11-07/final-containers.txt": "dd5432219d35baeee61392605910c2864b71b83e8972377254eff268670422c5",
"evidence/final-memory-validation-2026-11-07/findings.json": "a2b9cc2a425aa0326fd72c6bdab9a5dc69ea4d90fef2c3ce239fbbb514e978a1",
"evidence/final-memory-validation-2026-11-07/linux-child.py": "c293f49bd273fe7c3c6bb0ac90f2ccb28a02117a4fdae758d04e8c006d4e89ab",
"evidence/final-memory-validation-2026-11-07/linux-runner.py": "680052df464d87d97a9717469d53d27f4f2391f740b0aaa23fa52a77a52c9a83",
"evidence/final-memory-validation-2026-11-07/linux.json": "febd60518391e7d6f479908e48856a6c0a774fd5763f33cf02655e414d6b1fe3",
"evidence/final-memory-validation-2026-11-07/linux.txt": "51f31e560852514bdba1777db1ceade9284ff13610d60afaf7a128f171cd7b29",
"evidence/final-memory-validation-2026-11-07/openspec.txt": "dc82d21ab66012b5960a0f76e82eef10d7df082497119d18efb7aed5009efd3d",
"evidence/final-memory-validation-2026-11-07/png-boundary.json": "a6452fb7b502597058641878464ee383eab334b0d77377bfe54565aeb4279df1",
"evidence/final-memory-validation-2026-11-07/png-boundary.txt": "1aba30dc29b1bae3f7e1d8fb64a7e331effb85fa45a2f3a123ddbe7dd743c6ad",
"evidence/final-memory-validation-2026-11-07/png-http.json": "0dab50ef2d4ed22425d27ccdefaac316ed4b8c7b0a759c2c616eb9239ebba618",
"evidence/final-memory-validation-2026-11-07/png-http.txt": "68ae6e09e67a9df204f0346ebec3b9b185bcf2c67a0a0946aff620408ba867a2",
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt": "97c9b5d430649b61f83fb7904414690f50e742b0b53e39c9b4324d60c1b6b2f9",
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt": "27347d997d6f8466d94b0a5bb06350f183c5e30ef9ad2c3858cdc24a316bf5e4",
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt": "44b284098615df613f91d9bc745f236f6ede62f1ea95a9de06e10ed712ffb799",
"evidence/final-memory-validation-2026-11-07/runtime.txt": "1f35a3f37a7e4d4689c8154384b08c9800077d4f77251d576f03921605a28b2e",
"evidence/final-memory-validation-2026-11-07/scan-secrets.py": "27130687bae2d636d9780759559524b347ec3733aa2df722c837378f2d2f39b1",
"evidence/final-memory-validation-2026-11-07/secret-scan.json": "27f7763fd6af6a10d3ddd0c8ae0a3f71dcad4eeb000afa5af5379bb646fb8e30",
"evidence/final-memory-validation-2026-11-07/smoke.txt": "ba0b81113210431ecfe0a085024efd650b4963e1eaf21b2837f6163523a70afc",
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt": "f543710a6a0f639673d62148635409ecec6bea71c8987dc036017d4692505bed",
"evidence/final-memory-validation-2026-11-07/student-test.txt": "1cf669fbca4aee91e87e74089522325f7214ad6406c031013a73c8b935593ac1",
"evidence/final-memory-validation-2026-11-07/targeted.py": "cba7c461fded4eb88247f113a2328780fe985a3c1bdc27a26df47277a2374ffc",
"evidence/final-memory-validation-2026-11-07/up.txt": "1fd736cd42363f734649be3011f92abee46bc9210b4fd513aa2daba9d5f4a666"
}
@@ -0,0 +1,6 @@
date: 2026-11-06T23:15:03Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ make test
python3 tests/smoke.py --base-url "http://127.0.0.1:18085"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
exit_code: 0 elapsed_seconds: 1.706
@@ -0,0 +1,4 @@
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.State}}'
exit_code: 0 elapsed_seconds: 0.028
@@ -0,0 +1,20 @@
date: 2026-11-06T22:54:40Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ make student-test 'PYTEST_ARGS=-q --tb=short'
.venv/bin/pytest -q --tb=short
........................................................................ [ 7%]
........................................................................ [ 14%]
........................................................................ [ 21%]
........................................................................ [ 29%]
........................................................................ [ 36%]
........................................................................ [ 43%]
........................................................................ [ 51%]
........................................................................ [ 58%]
........................................................................ [ 65%]
........................................................................ [ 73%]
........................................s............................... [ 80%]
........................................................................ [ 87%]
......................................................................s. [ 94%]
.................................................. [100%]
984 passed, 2 skipped, 19 deselected in 171.26s (0:02:51)
exit_code: 0 elapsed_seconds: 172.902
@@ -6,23 +6,21 @@ import sys
import time
from io import BytesIO
from pathlib import Path
from typing import Any
from PIL import Image
from scripts import pipeline_suite as ps
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
from png_trns_fixtures import boundary_png, png_with_trns
ROOT = Path(__file__).resolve().parents[2]
sys.path[:0] = [str(ROOT / "scripts"), str(ROOT / "student-tests")]
import pipeline_suite as ps
from PIL import Image
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
from png_trns_fixtures import png_with_trns
MODE = sys.argv.pop(1)
OUT = Path(os.environ.get("FORWARD_EVIDENCE_DIR", "evidence/forward-published")) / (MODE + ".json")
OUT = Path(__file__).parent / (MODE + ".json")
if OUT.exists():
raise SystemExit("Result exists; do not repeat completed evidence")
SUITE = ps.Suite(ps.arguments())
STACK = SUITE.stack
REPORT: dict[str, Any] = {
REPORT = {
"mode": MODE,
"source_sha": ps.run(["git", "rev-parse", "HEAD"]).strip(),
"started_at": ps.now(),
@@ -55,71 +53,7 @@ def containers():
return STACK.dc("ps", "-a", "--format", "{{.Name}} {{.ID}} {{.State}} {{.Status}}").splitlines()
def outage():
assert SUITE.api is not None
SUITE.drained()
before_dlq = STACK.queues()[ps.DLQ]
STACK.stop("worker")
att = SUITE.api.fixture()
ident = att["id"]
ps.poll(
lambda: all(r["published"] for r in STACK.sql("outbox", id=ident)), 30, "published outbox"
)
jobs = STACK.sql("jobs", id=ident)
REPORT["outage_checkpoint"] = {
"attachment_id": ident,
"jobs_before": jobs,
"dlq_before": before_dlq,
}
save()
STACK.stop("postgres")
REPORT["outage_checkpoint"]["stopped_containers"] = containers()
save()
since = ps.now()
worker_id = STACK.dc("ps", "-aq", "worker").strip()
assert worker_id
ps.run(["docker", "start", worker_id])
def requeues():
logs = STACK.dc("logs", "--no-color", "--since", since, "worker")
rows = [
line
for line in logs.splitlines()
if "job.requeued" in line and jobs[0]["job_id"] in line
]
return rows if len(rows) >= 12 else None
try:
lines = ps.poll(requeues, 90, "12 real database failures", 1)
OUT.with_name(OUT.stem + "-worker.txt").write_text("\n".join(lines) + "\n")
during = STACK.queues()
finally:
STACK.up("postgres")
ps.poll(lambda: ps.http_ready(SUITE.args.base_url), 30, "API after PostgreSQL")
ready = SUITE.api.wait(ident)
SUITE.verify(ready)
SUITE.drained()
after = STACK.sql("jobs", id=ident)
assert (
after[0]["job_id"] == jobs[0]["job_id"] and after[0]["attempt"] == jobs[0]["attempt"] == 1
)
assert after[0]["status"] == "done"
assert STACK.queues()[ps.DLQ] == before_dlq
assert len(STACK.sql("variants", id=ident)) == 3
return {
"attachment_id": ident,
"jobs_before": jobs,
"jobs_after": after,
"requeues": len(lines),
"queues_during": during,
"queues_after": STACK.queues(),
"replay": False,
"stopped_containers": REPORT["outage_checkpoint"]["stopped_containers"],
}
def png(name, data, reference):
assert SUITE.api is not None
att = SUITE.api.upload(data, name=name + ".png")
ident = att["id"]
results = []
@@ -164,18 +98,9 @@ def png(name, data, reference):
}
FIXTURES = ROOT / "build/forward-png"
FIXTURES.mkdir(parents=True, exist_ok=True)
for fixture_name, fixture_depth, fixture_key in (
("gray2", 2, (1,)),
("gray4", 4, (5,)),
("gray16", 16, (12345,)),
("rgb16", 16, (12345, 23456, 34567)),
):
(FIXTURES / (fixture_name + "-40mp.png")).write_bytes(boundary_png(fixture_depth, fixture_key))
FIXTURES = ROOT / "evidence/final-validation-2026-11-07/fixtures"
ps.SQL["timed_events"] = (
"SELECT attachment_id,job_id,kind,at FROM job_events "
"WHERE attachment_id = ANY(:'ids'::uuid[]) AND kind IN ('claimed','done') ORDER BY id"
"SELECT attachment_id,job_id,kind,at FROM job_events WHERE attachment_id = ANY(:'ids'::uuid[]) AND kind IN ('claimed','done') ORDER BY id"
)
@@ -190,7 +115,6 @@ def without_trns(data):
def verify_large(ident, data, transparent):
assert SUITE.api is not None
ready = SUITE.api.wait(ident)
SUITE.verify(ready)
assert SUITE.api.content(ident)["bytes"] == data
@@ -217,7 +141,6 @@ def duplicate_check(ident):
def large(name, data, transparent=True):
assert SUITE.api is not None
att = SUITE.api.upload(data, name=name + ".png")
ident = att["id"]
versions = [{"version": 1, "variants": verify_large(ident, data, transparent)}]
@@ -236,7 +159,6 @@ def large(name, data, transparent=True):
def concurrent():
assert SUITE.api is not None
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
SUITE.drained()
STACK.stop("worker")
@@ -257,9 +179,7 @@ def concurrent():
ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()])
for ident in ids:
ps.poll(
lambda ident=ident, version=version: (
SUITE.record(ident)["published_version"] == version
),
lambda: SUITE.record(ident)["published_version"] == version,
90,
"concurrent publication",
)
@@ -297,7 +217,7 @@ def concurrent():
}
def forced(**overrides):
def forced(name, **overrides):
data = (FIXTURES / "rgb16-40mp.png").read_bytes()
result = SUITE.limited(data, **overrides)
STACK.restore()
@@ -324,17 +244,22 @@ try:
),
}
save()
if MODE == "postgres-outage":
case("published_outbox_database_outage", outage)
elif MODE == "png-http":
if MODE == "png-http":
folder = ROOT / "evidence/review-trns-depth-2026-11-06/fixtures"
for name in ("gray2", "gray4", "rgb16"):
case(
name,
lambda name=name: png(
name,
(folder / (name + ".png")).read_bytes(),
(folder / (name + "-white.png")).read_bytes(),
),
)
for name, depth, color in [
("gray1", 1, (0,)),
("gray2", 2, (1,)),
("gray4", 4, (5,)),
("gray8", 8, (85,)),
("gray16", 16, (12345,)),
("rgb8", 8, (255, 0, 0)),
("rgb16", 16, (12345, 23456, 34567)),
]:
case(
name,
@@ -366,14 +291,13 @@ try:
),
)
case("concurrent-rgb16", concurrent)
case("forced-timeout", lambda: forced(FAULT_RENDER_TIMEOUT_SECONDS="0.01"))
case("forced-memory", lambda: forced(FAULT_RENDER_MEMORY_MB="200"))
case("forced-timeout", lambda: forced("timeout", FAULT_RENDER_TIMEOUT_SECONDS="0.01"))
case("forced-memory", lambda: forced("memory", FAULT_RENDER_MEMORY_MB="200"))
ids = "{" + ",".join(SUITE.api.accepted) + "}"
ps.poll(lambda: not STACK.sql("staging_left", ids=ids), 45, "staging sweep")
SUITE.drained()
REPORT["invariants"] = SUITE.invariants(dead_before)
finally:
STACK.up("postgres")
STACK.restore()
REPORT["finished_at"] = ps.now()
REPORT["result"] = (
@@ -0,0 +1,94 @@
date: 2026-11-06T23:12:23Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
$ docker compose up -d --wait
Network mtusi2026lab5_backend Creating
Network mtusi2026lab5_backend Created
Network mtusi2026lab5_edge Creating
Network mtusi2026lab5_edge Created
Container mtusi2026lab5-valkey-1 Creating
Container mtusi2026lab5-broker-1 Creating
Container mtusi2026lab5-lb-1 Creating
Container mtusi2026lab5-postgres-1 Creating
Container mtusi2026lab5-s3-1 Creating
Container mtusi2026lab5-s3-1 Created
Container mtusi2026lab5-valkey-1 Created
Container mtusi2026lab5-s3-init-1 Creating
Container mtusi2026lab5-lb-1 Created
Container mtusi2026lab5-broker-1 Created
Container mtusi2026lab5-postgres-1 Created
Container mtusi2026lab5-migrate-1 Creating
Container mtusi2026lab5-s3-init-1 Created
Container mtusi2026lab5-migrate-1 Created
Container mtusi2026lab5-api-2 Creating
Container mtusi2026lab5-worker-1 Creating
Container mtusi2026lab5-api-1 Creating
Container mtusi2026lab5-relay-1 Creating
Container mtusi2026lab5-api-2 Created
Container mtusi2026lab5-relay-1 Created
Container mtusi2026lab5-api-1 Created
Container mtusi2026lab5-worker-1 Created
Container mtusi2026lab5-broker-1 Starting
Container mtusi2026lab5-valkey-1 Starting
Container mtusi2026lab5-postgres-1 Starting
Container mtusi2026lab5-s3-1 Starting
Container mtusi2026lab5-lb-1 Starting
Container mtusi2026lab5-s3-1 Started
Container mtusi2026lab5-s3-1 Waiting
Container mtusi2026lab5-postgres-1 Started
Container mtusi2026lab5-postgres-1 Waiting
Container mtusi2026lab5-valkey-1 Started
Container mtusi2026lab5-broker-1 Started
Container mtusi2026lab5-lb-1 Started
Container mtusi2026lab5-postgres-1 Healthy
Container mtusi2026lab5-migrate-1 Starting
Container mtusi2026lab5-migrate-1 Started
Container mtusi2026lab5-s3-1 Healthy
Container mtusi2026lab5-s3-init-1 Starting
Container mtusi2026lab5-s3-init-1 Started
Container mtusi2026lab5-s3-init-1 Waiting
Container mtusi2026lab5-migrate-1 Waiting
Container mtusi2026lab5-broker-1 Waiting
Container mtusi2026lab5-migrate-1 Waiting
Container mtusi2026lab5-s3-init-1 Waiting
Container mtusi2026lab5-broker-1 Waiting
Container mtusi2026lab5-migrate-1 Waiting
Container mtusi2026lab5-s3-init-1 Waiting
Container mtusi2026lab5-s3-init-1 Exited
Container mtusi2026lab5-migrate-1 Exited
Container mtusi2026lab5-s3-init-1 Exited
Container mtusi2026lab5-s3-init-1 Exited
Container mtusi2026lab5-migrate-1 Exited
Container mtusi2026lab5-migrate-1 Exited
Container mtusi2026lab5-api-1 Starting
Container mtusi2026lab5-broker-1 Healthy
Container mtusi2026lab5-relay-1 Starting
Container mtusi2026lab5-broker-1 Healthy
Container mtusi2026lab5-worker-1 Starting
Container mtusi2026lab5-api-1 Started
Container mtusi2026lab5-api-2 Starting
Container mtusi2026lab5-worker-1 Started
Container mtusi2026lab5-relay-1 Started
Container mtusi2026lab5-api-2 Started
Container mtusi2026lab5-relay-1 Waiting
Container mtusi2026lab5-postgres-1 Waiting
Container mtusi2026lab5-migrate-1 Waiting
Container mtusi2026lab5-s3-1 Waiting
Container mtusi2026lab5-lb-1 Waiting
Container mtusi2026lab5-worker-1 Waiting
Container mtusi2026lab5-broker-1 Waiting
Container mtusi2026lab5-valkey-1 Waiting
Container mtusi2026lab5-s3-init-1 Waiting
Container mtusi2026lab5-api-1 Waiting
Container mtusi2026lab5-api-2 Waiting
Container mtusi2026lab5-migrate-1 Exited
Container mtusi2026lab5-s3-1 Healthy
Container mtusi2026lab5-s3-init-1 Exited
Container mtusi2026lab5-broker-1 Healthy
Container mtusi2026lab5-postgres-1 Healthy
Container mtusi2026lab5-valkey-1 Healthy
Container mtusi2026lab5-api-1 Healthy
Container mtusi2026lab5-api-2 Healthy
Container mtusi2026lab5-worker-1 Healthy
Container mtusi2026lab5-relay-1 Healthy
Container mtusi2026lab5-lb-1 Healthy
exit_code: 0 elapsed_seconds: 11.284
@@ -0,0 +1,60 @@
# Финальная validation ЛР5
Измерен HEAD `b30e2f6a84419d1ca64525ffb40df92183cccaef`; runtime совпадает с прошедшим review `42575281b352d35bda17ee7601bae5548a996e91`. Изменяются только документы и evidence. Полные три повтора трека 2 не запускались заново: применимость и первичные хеши проверены в [аудите](../load-validation.md), [audit.json](audit.json) и [historical-hashes.json](historical-hashes.json).
## Условия
Дата каталога — 2026-11-07 Europe/Moscow; сырые UTC-метки начинаются 2026-11-06T21:15. Darwin arm64, Docker 28.3.2, Linux VM 16 CPU / 8 217 190 400 байт RAM. Основной project `mtusi2026lab5` изолирован собственными сетями и четырьмя сохранёнными volumes. HTTP 18085, stats 25085, broker UI 25086, только loopback. Чужие контейнеры не запускались и не останавливались.
Сборка и начальные функциональные проверки частично совпали по времени с собственным `make student-test` (его одноразовые контейнеры отражены в `postgres-outage*.json`). Перед HTTP PNG и проверками памяти student-test завершился, посторонних работающих Docker-контейнеров нет. Нагрузка хоста фиксируется срезами, непрерывного контроля CPU нет; RPS, p95 и новые SLO не заявляются.
Точные лимиты, image IDs и volumes — [runtime-containers.json](runtime-containers.json). Worker 2 CPU / 1 GiB, render 448 MiB / 30 с, concurrency=2; API ×2 по 1 CPU / 512 MiB. Реальные версии и хеш установленного images.py — [image-runtime.txt](image-runtime.txt). Конфигурация запуска — [env.sh](env.sh), без секретов. Fault-suite использует штатный `infra/compose.faults.yaml` и восстанавливает настройки.
## Выполнено
Все `.txt` содержат команду, исходный SHA, UTC и exit code. Команды выполняются из корня после `source evidence/final-validation-2026-11-07/env.sh`.
| Команда / файл | Наблюдение |
| --- | --- |
| `make check validate lint`, [checks.txt](checks.txt) | PASS |
| `make student-test PYTEST_ARGS='-q --tb=short'`, [student-test.txt](student-test.txt) | 980 passed, 1 Linux-only skip, 19 stack deselected; real-broker тесты включены |
| `openspec validate --all --strict`; `openspec list --json`, [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) | 22 PASS, активных changes нет; новый change не создаётся для docs/evidence |
| `docker compose build`; `docker compose up -d --wait`, [build.txt](build.txt), [up.txt](up.txt) | PASS; сохранённые volumes, без удаления очередей/данных |
| `make test`, [smoke.txt](smoke.txt) | Публичный HTTP smoke PASS |
| `rabbitmqctl list_policies/list_queues`, [policy.txt](policy.txt), [queues.txt](queues.txt) | Эффективная policy `delivery-limit=-1` на существующей quorum queue; исходная DLQ=15 |
| `.venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry`, [команда](postgres-outage-retry.txt), [результат](postgres-outage-retry.json), [сырые requeue](postgres-outage-worker.log) | PASS: настоящий PostgreSQL exited, 12 `job.requeued`, затем ready без replay; job_id и attempt=1 сохранены, три варианта, DLQ=15; 8 инвариантов PASS |
| `targeted.py png-http`, [команда](png-http.txt), [результат](png-http.json) | 8 PNG × v1/v2 × 3 варианта = 48 побайтных сравнений с независимым белым эталоном PASS; оригиналы неизменны, metadata/hash/геометрия, удаление EXIF, stale/duplicate noop; 8 инвариантов PASS |
| `pipeline_suite.py --only …`, [команда](delivery-targeted.txt), [результат](delivery-targeted.json) | 12 адресных сценариев и 8 инвариантов PASS; 11 ID, 47 S3-объектов. DLQ 15 → 16 только от ожидаемого malformed message |
| `targeted.py png-limits`, [команда](png-limits.txt), [результат](png-limits.json) | Четыре FAIL для 40 Мп tRNS при штатных пределах; принудительные timeout/memory и последующее обычное задание PASS. Не переименовывать весь запуск в PASS |
PNG HTTP включает grayscale 1/2/4/8/16, RGB8/16, точного непрозрачного соседа 12346 и RGB16 с Adam7/filter=4/EXIF=6. Новые синтетические 40 Мп fixtures сохранены в [fixtures](fixtures); генератор — `large_png` в [targeted.py](targeted.py).
Policy сверена через Context7 `/rabbitmq/rabbitmq-website`; точная семантика 4.1 дополнительно проверена по [RabbitMQ 4.1](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling). Динамическое доказательство относится именно к RabbitMQ 4.1.8, а не к изменённой семантике nack в 4.3.
## Непригодные промежуточные проверки
Первый [postgres-outage.txt](postgres-outage.txt) имеет exit 1: `docker compose start worker` запустил зависимости, включая PostgreSQL, поэтому 12 ошибок не возникли. Это ошибка новой проверочной обвязки, а не дефект приложения. Исходная обвязка сохранена в [targeted-initial.py](targeted-initial.py). Повторён только этот сценарий с `docker start` точного ID своего worker; никаких старых пригодных серий не повторялось.
В `png-limits.json` проверка `no_orphans` выполнена до очередного штатного sweep: после последнего ready ещё оставался staging. Остальные семь инвариантов PASS. Read-only [cleanup-recheck](cleanup-recheck.txt) после sweep подтвердил отсутствие pending outbox/staging/nonterminal/дублей и точное совпадение 10 объектов S3 с БД для семи ID. Тяжёлые PNG не повторялись; исходный `no_orphans FAIL` не переписан.
## Незавершённая квалификация
Четыре валидных PNG 8000×5000 с tRNS приняты с 202, но дали failed/processing_failed на первой попытке. Worker жив, последующая обычная загрузка ready. **Major: не выполнен объявленный сценарий «Изображение на пределе пикселей» [OpenSpec](../../openspec/specs/lab5-image-variants/spec.md): PNG 8000×5000 при штатных пределах должен дать ready.** Это вывод о конкретном граничном сценарии, не заявление о потере данных или падении сервиса. Полное подтверждение «5» и готовность к публикации блокируются до отдельного fix/re-review. Реализация не менялась.
Пять прежних minor и документационная неточность `201` в openspec/config.yaml сохраняются в REPORT. Публикация и Telegram не выполнялись.
[resource-probe-worker.txt](resource-probe-worker.txt) воспроизводит `MemoryError` при 448 MiB и загруженных модулях worker: grayscale 2/4 — `flatten` при выделении белого RGB-фона, grayscale16 — преобразование `I → L`, RGB16 — маски/повторное декодирование в `apply_png_transparency`. Без tRNS gray2/gray4/RGB16 обрабатываются, gray16 всё ещё превышает предел. В облегчённом процессе без импортов worker [resource-probe-retry.txt](resource-probe-retry.txt) проходит grayscale, но падает RGB16: такой изолированный результат не заменяет HTTP-проверку реального worker. RSS пробника — наблюдение процесса, а ограничение — виртуальное адресное пространство RLIMIT_AS.
При штатном HTTP-прогоне peak контейнера составил 640 196 608 байт < 1 GiB; `MemoryError` возникает внутри ограниченного дочернего процесса. Увеличение лимита без учёта concurrency=2 и памяти worker не считается готовым решением. После исправления нужны ресурсная проверка новых PNG, отсутствие поломки точного tRNS и целевые регрессии. Полную принятую track2-матрицу повторять без нового основания не требуется.
Первая попытка скопировать диагностические fixtures через `docker compose cp` отклонена read-only rootfs (`probe-copy-*.txt`), последующий запуск отсутствующего файла завершился exit 2 (`resource-probe.txt`). Затем [invoke-probe.py](invoke-probe.py) передал только синтетические fixtures и код через stdin, записал их в разрешённый tmpfs `/tmp` и выполнил пробник. Эти ошибки обвязки не скрыты и не названы тестовыми PASS.
## Завершение и передача
Итог — **1 major, 6 сохранённых minor**, [findings.json](findings.json). Фаза validation заблокирована граничной обработкой PNG; назначенный агент должен исправить реализацию через OpenSpec и пройти review. В этой фазе новых изменений реализации/конфигурации/OpenSpec нет. Check/validate/lint, полный student-test и остальные адресные результаты сохраняются для аудита применимости, не становятся автоматически недействительными после документационного коммита.
`make down` без `-v` выполнен: [down.txt](down.txt), [stopped-containers.txt](stopped-containers.txt); контейнеров своего project нет. Четыре постоянных volume сохранены — [retained-volumes.txt](retained-volumes.txt). Итоговый список работающих Docker-контейнеров пуст — [running-containers-after.txt](running-containers-after.txt). Фоновых агентов и процессов этап не оставил. Push и Telegram не выполнялись.
Финальные `make check validate lint` — PASS ([checks-final.txt](checks-final.txt)); новый код evidence разобран Python AST. Проверены локальные ссылки и совпадение runtime с review, нормативных файлов со skeleton ([final-doc-audit.json](final-doc-audit.json)). Проверка tracked файлов и новых evidence по восьми шаблонам секретов не обнаружила реальных credentials; семь совпадений проверены как skeleton placeholders/тестовые значения ([secret-scan.json](secret-scan.json)). Это проверка содержимого, без чтения `.env` и `secrets/`. Концевые пробелы в новых текстовых логах нормализованы; результаты/значения не изменены, историческое сырьё не редактировалось.
@@ -0,0 +1,11 @@
date: 2026-11-06T21:15:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {}
$ openspec list --json
{
"changes": [],
"root": {
"path": "<repo>",
"source": "nearest"
}
}
exit_code: 0 elapsed_seconds: 0.794
@@ -0,0 +1,142 @@
{
"head": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"review_runtime_equal": true,
"runtime_diff_from_D": [
"infra/rabbitmq/definitions.json",
"src/messenger/attachments/infrastructure/images.py"
],
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
"host_load": [
3.61962890625,
2.6328125,
2.22509765625
],
"docker": "28.3.2 16 8217190400",
"retained_volumes": [
"mtusi2026lab5_broker-data",
"mtusi2026lab5_pgdata",
"mtusi2026lab5_s3data",
"mtusi2026lab5_valkeydata"
],
"series": [
{
"name": "level4",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 17,
"invariants": 8,
"accepted": 33,
"config": {
"base_url": "http://127.0.0.1:18085",
"level": 4,
"only": "",
"expect_variants": "thumbnail,crop,optimized",
"max_attempts": 5,
"stall_seconds": 15.0,
"compose": "docker compose",
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
}
},
{
"name": "track-run1",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8,
"accepted": 13,
"config": {
"base_url": "http://127.0.0.1:18085",
"level": 5,
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
"expect_variants": "thumbnail,crop,optimized",
"max_attempts": 5,
"stall_seconds": 15.0,
"compose": "docker compose",
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
}
},
{
"name": "track-run2",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8,
"accepted": 13,
"config": {
"base_url": "http://127.0.0.1:18085",
"level": 5,
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
"expect_variants": "thumbnail,crop,optimized",
"max_attempts": 5,
"stall_seconds": 15.0,
"compose": "docker compose",
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
}
},
{
"name": "track-run3",
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"scenarios": 13,
"invariants": 8,
"accepted": 13,
"config": {
"base_url": "http://127.0.0.1:18085",
"level": 5,
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
"expect_variants": "thumbnail,crop,optimized",
"max_attempts": 5,
"stall_seconds": 15.0,
"compose": "docker compose",
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
}
}
],
"evidence_sha256": {
"evidence/forward-final-2026-11-06/upload-negative.txt": "6cb7ad695b0715a2865e81d113bff729bf98d106a29c419e2ff16f7ee067c4b8",
"evidence/forward-final-2026-11-06/baseline.txt": "f6520adb750693e1c7ad31cdad2d1de327a302d15a17a763a035f35ea5b759f5",
"evidence/forward-final-2026-11-06/student-test.txt": "2976f98e550a14ee2c385f8a1b34a37626fdc602dfc6f848fbf81b0f105834fc",
"evidence/forward-final-2026-11-06/summary.json": "406cea849c5a294a7a744e18056ed54a554cccdf3f5b1133d580ea67cdc1a57f",
"evidence/forward-final-2026-11-06/track-run1.json": "5e90e87bcbf43115df39a37b95f50141772d92e3005f445e1a0c9b5d04050ad0",
"evidence/forward-final-2026-11-06/baseline-regressions.txt": "b0525cea37ce47958dc95e02866c1f014239a6cc8500cf76bf448d2b4f1423c9",
"evidence/forward-final-2026-11-06/conditions-level4-middle.json": "677c0e3499a45daf06cc5bc6f46338ceb873f4203ae137b8cb1c9606f13538eb",
"evidence/forward-final-2026-11-06/lint-runtime.txt": "5e3c5752c468b6f747e4dbafd91954660f8b80f820b63ff34704641e7d5db970",
"evidence/forward-final-2026-11-06/final-containers.txt": "e2ea3d831281e9cc6cc9b03ea1f00172e4eda23fb7244b8d9b60f7d211b5ec64",
"evidence/forward-final-2026-11-06/down.txt": "9dbe77c3dc7b1a17798bd117fd1c8b4cb9ab01a6122376ca5ab38d147ac7b9ff",
"evidence/forward-final-2026-11-06/stopped-containers.txt": "f7ac8e8c29b18a83193a089a2dd75aa0dfc103e54173e2421b853c00a0113338",
"evidence/forward-final-2026-11-06/unit-regressions.txt": "26d5cf96bdf415c5b17fe2a596b9228834995418b1b33a83c146f59617debc5a",
"evidence/forward-final-2026-11-06/track-run1.txt": "7966b1f45232223055f58b0031a6eeee987d42d5789798ec17df711f40c207ac",
"evidence/forward-final-2026-11-06/track-run3.txt": "4b8254db242784c6db3a0db7a8e363269a1aa486a1b26caaee254100f1ab0a52",
"evidence/forward-final-2026-11-06/source-inventory.json": "8977c7883b08b4a2ce7385ddf1c8da11bb4344e586dc71ba637118fcf9d8f506",
"evidence/forward-final-2026-11-06/conditions-stopped.json": "5ed4cc9e6c6969cd16b699a24ac747c7b4ee4c8b189be2f57cd610622891f00d",
"evidence/forward-final-2026-11-06/forward-audit.json": "675a9fcf1fb817bb043c8bcde35079617294da9c7832a529c4d7bfa2adc8f52d",
"evidence/forward-final-2026-11-06/conditions-before.json": "4ef9320729dc38a49b7e8dc3338a862fd69946ceaf64b4aed004bc6ac23ab1cc",
"evidence/forward-final-2026-11-06/track-run2.txt": "1ff4b753ab5627ee5393977203d5dc83f59d4c9e990e7171fc63a06061ceecb3",
"evidence/forward-final-2026-11-06/level4-command.txt": "2b9e49afc9e9ec0e8a8f2a3c491906b72c7439b4a2e30ff6ed0a96d9be4c73ed",
"evidence/forward-final-2026-11-06/level4.json": "904e2c40a6737947b1867c9051a36920c007f49ad59de057a168c1dcc345d87c",
"evidence/forward-final-2026-11-06/archive.txt": "54bc70e53d69969580bd0c88f373778f2a029e2329bbccac7844ff16055deceb",
"evidence/forward-final-2026-11-06/conditions-track-after1.json": "65e7d5a4652e102e6ad8ecbf74356b1c468e2d5ddaee492af21432d646aa4bdf",
"evidence/forward-final-2026-11-06/up.txt": "0baaa49727722eaf24ac4d8b3e083c09bbb53e278e557e42551221d0c59e5856",
"evidence/forward-final-2026-11-06/checks-before-commit.txt": "1b8bd42a69e070cffb07e12449ec749066ec92407fa5d94bd8ad766f40d93dff",
"evidence/forward-final-2026-11-06/checks-final.txt": "d0d3a9f7a24914365c772eabceb4ad2238c5922e30c866a26c5274f8fb570e81",
"evidence/forward-final-2026-11-06/failover.txt": "fcd1b67b77aa7936f9f0ae1c48982e9e4ad9f2e8b9705d2b856ff8cf360fdaa9",
"evidence/forward-final-2026-11-06/persistence-containers.txt": "229bf4c9809cf0e6a1d9cfd162949b413d7f990f57a30fbcd5f9c5b6e3f81e92",
"evidence/forward-final-2026-11-06/conditions-track-start.json": "64e99f2110c3ccf029fba7fe30bd1c9f01615cb5b43ffd77fe4a0f09e7030245",
"evidence/forward-final-2026-11-06/final-smoke.txt": "eec6f2507465824cd920fe78bf876dfbf8b905e84ebcd7b9d51e80d16d4c064b",
"evidence/forward-final-2026-11-06/findings.json": "2f0db619bebbc615dc33f78599210201e1d9441139adb33687dea7a46fc1f15b",
"evidence/forward-final-2026-11-06/network-regressions.txt": "30f0735c6d0bd2370cf39ac6855c06750ba18b282b978dcf6dddcf293145e02b",
"evidence/forward-final-2026-11-06/conditions-track-after2.json": "fa3a1808cc215afb3a422fe582c2d4cae5cf480411f4150977be30f9e24bf462",
"evidence/forward-final-2026-11-06/conditions-track-after3.json": "1054464f5526ee719579fbda81b9e7605a97a660fec9bdfc52f6e68ce94cfad1",
"evidence/forward-final-2026-11-06/specs-validation.txt": "79fe9fdb0bb258d6d7788a79d96587b748233001e97f2acd38bf9bfe0376d515",
"evidence/forward-final-2026-11-06/cache-outage.txt": "fbe1eb591256b35a93a8fd3f4fb299caf22f57159f0b68c984f7c75e5e8be9fc",
"evidence/forward-final-2026-11-06/failover-containers.txt": "4468a88f349073027fb07b2c81406e480e1b503b64fb828e58ecee688d7b2091",
"evidence/forward-final-2026-11-06/clock-observation.json": "d7ae11b8c7970cc71775f46fa0a1474e113da4cae9229d8f28bf85312dd8acc4",
"evidence/forward-final-2026-11-06/conditions-level4-start.json": "0cb8a9314b3afd4704c762b1b611f80beb9f30795475642ad2a22452f87993c0",
"evidence/forward-final-2026-11-06/images.txt": "adb50435b1c24cc0deb913c49ed19e3fdd4287b73719d418accad013ebb7489d",
"evidence/forward-final-2026-11-06/retained-volumes.txt": "ef4b62f79ed1cd0dc1e7313d65873c6a6ab35ff933bd8673a3431d3df5691449",
"evidence/forward-final-2026-11-06/openspec-final.txt": "a34016edea7844300b98aaf38e713df8b4b217924b515881b33a599cd1603b24",
"evidence/forward-final-2026-11-06/track-run3.json": "d190b7a1b4962c520d46931dc63601ed2655f1b4063bc7fea01b78b049a0bede",
"evidence/forward-final-2026-11-06/source-name-status.txt": "81abf426ff31f0253a5ced9ae43fdbbf2a56460afe7b5d299a32c6f664196b93",
"evidence/forward-final-2026-11-06/haproxy-errors.txt": "bf3b0b33f997fefc542860389e8a0fcc1856bbb17cd25b6103911610e87806a3",
"evidence/forward-final-2026-11-06/persistence.txt": "06574967e1dab9742841d54cabb7b0109aa063316e08c8db5525234f084f92de",
"evidence/forward-final-2026-11-06/smoke.txt": "709ddeeb3aa1c4e0b516d4b66038b0421929ee519665d79feccc907cc7bc89ac",
"evidence/forward-final-2026-11-06/restore.txt": "96805ba0f8cba25cb90f385809d0a0a6c75b468a25f87006d729fedc51759c7d",
"evidence/forward-final-2026-11-06/track-run2.json": "16fe12bd42f958a0d4962182da65bd4ee69e4b896fbce47daea724b0a1c618e8"
}
}
@@ -0,0 +1,90 @@
date: 2026-11-06T21:16:11Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose build
#1 [internal] load local bake definitions
#1 reading from stdin 434B done
#1 DONE 0.0s
#2 [internal] load build definition from Dockerfile
#2 transferring dockerfile: 1.65kB done
#2 DONE 0.0s
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
#3 DONE 0.0s
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
#4 DONE 1.7s
#5 [internal] load .dockerignore
#5 transferring context: 453B done
#5 DONE 0.0s
#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
#6 DONE 0.0s
#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
#7 DONE 0.0s
#8 [internal] load build context
#8 transferring context: 51.62kB 0.0s done
#8 DONE 0.0s
#9 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
#9 CACHED
#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
#10 CACHED
#11 [builder 3/7] WORKDIR /build
#11 CACHED
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
#12 CACHED
#13 [builder 6/7] COPY src ./src
#13 DONE 0.1s
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
#14 0.280 Resolved 84 packages in 12ms
#14 0.309 Building mtusi-messenger @ file:///build
#14 1.851 Built mtusi-messenger @ file:///build
#14 1.855 Prepared 1 package in 1.54s
#14 1.859 Installed 1 package in 3ms
#14 2.080 Bytecode compiled 2301 files in 221ms
#14 2.080 + mtusi-messenger==1.5.0 (from file:///build)
#14 DONE 2.1s
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
#15 CACHED
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
#16 DONE 0.4s
#17 [runtime 4/6] WORKDIR /app
#17 DONE 0.0s
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
#18 DONE 0.0s
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
#19 DONE 0.0s
#20 exporting to image
#20 exporting layers
#20 exporting layers 3.0s done
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb done
#20 exporting config sha256:34e5f914cd69e5cff0b7745f9730b4d63d0a62480ef53de7b18914787a51c828 done
#20 exporting attestation manifest sha256:043b67091fa616197172d98abd054f1cd803a4b540ceb0bc4a8e30232d37359d done
#20 exporting manifest list sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2 done
#20 naming to docker.io/library/mtusi-messenger:lab5-validation done
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation 0.6s done
#20 DONE 3.6s
#21 resolving provenance for metadata file
#21 DONE 0.0s
api Built
exit_code: 0 elapsed_seconds: 9.093
@@ -0,0 +1,14 @@
date: 2026-11-06T21:29:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {}
$ make check validate lint
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
197 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit_code: 0 elapsed_seconds: 0.535
@@ -0,0 +1,14 @@
date: 2026-11-06T21:15:52Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {}
$ make check validate lint
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
197 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit_code: 0 elapsed_seconds: 0.580
@@ -0,0 +1,32 @@
{
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"at": "2026-11-06T21:26:03.661679Z",
"result": "PASS",
"accepted_ids": [
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
"01a1b2bc-d744-77c1-8352-989f80848cab",
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
"01a1b2bd-0192-70e7-a174-3275ca516e11",
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
],
"rows": {
"pending_outbox": [],
"staging_left": [],
"nonterminal": [],
"duplicate_effects": []
},
"s3_objects": 10,
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
16,
0
]
},
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
}
@@ -0,0 +1,36 @@
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ .venv/bin/python evidence/final-validation-2026-11-07/recheck-cleanup.py
{
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"at": "2026-11-06T21:26:03.661679Z",
"result": "PASS",
"accepted_ids": [
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
"01a1b2bc-d744-77c1-8352-989f80848cab",
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
"01a1b2bd-0192-70e7-a174-3275ca516e11",
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
],
"rows": {
"pending_outbox": [],
"staging_left": [],
"nonterminal": [],
"duplicate_effects": []
},
"s3_objects": 10,
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
16,
0
]
},
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
}
exit_code: 0 elapsed_seconds: 9.044
@@ -0,0 +1,896 @@
{
"suite": "lab5-pipeline-idempotency",
"started_at": "2026-11-06T21:22:22.429392Z",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"config": {
"base_url": "http://127.0.0.1:18085",
"level": 5,
"only": "duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
"expect_variants": "thumbnail,crop,optimized",
"max_attempts": 5,
"stall_seconds": 15.0,
"compose": "docker compose",
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
},
"invariants": [
{
"id": "terminal",
"statement": "every 202 reaches its expected terminal state",
"result": "PASS",
"details": {
"accepted": 11
}
},
{
"id": "single_effect",
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_ready_rollback",
"statement": "ready never returns to queued or processing",
"result": "PASS",
"details": {
"traced": 11
}
},
{
"id": "monotonic_publication",
"statement": "published_version only moves forward",
"result": "PASS",
"details": {
"sampled": 8
}
},
{
"id": "bytes_match_metadata",
"statement": "sha256, size and real dimensions match served bytes",
"result": "PASS",
"details": {
"verified": 10
}
},
{
"id": "bounded_attempts",
"statement": "attempt <= JOB_MAX_ATTEMPTS",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_orphans",
"statement": "no pending outbox, messages, dead letters, staging, objects",
"result": "PASS",
"details": {
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
16,
0
]
},
"s3_objects": 47,
"scoped_attachments": 11
}
},
{
"id": "no_lost_202",
"statement": "every 202 is present in PostgreSQL and the API",
"result": "PASS",
"details": {
"accepted": 11
}
}
],
"accepted_ids": [
"01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
"01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
"01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
"01a1b2be-6f6f-7200-a261-63dd237e9ec8",
"01a1b2be-a1dc-76f3-9861-667de097c2af",
"01a1b2be-c7f7-7326-b272-a341993c5bf9",
"01a1b2bf-47a0-77e8-97ed-907199a6caa7",
"01a1b2bf-b3a8-7754-af89-7d174f4540d1",
"01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
"01a1b2c0-286d-77c5-8019-58526f2e09c5",
"01a1b2c0-5422-77cd-88f8-cd2c123fe78d"
],
"scenarios": [
{
"name": "duplicate_after_ready",
"level": 3,
"window": "redelivery of a finished job",
"seconds": 4.4,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
"events": [
{
"kind": "enqueued",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "done",
"attempt": 1
},
{
"kind": "duplicate_noop",
"attempt": 1
}
]
}
},
{
"name": "retry_exhausted",
"level": 3,
"window": "transient error until JOB_MAX_ATTEMPTS",
"seconds": 19.6,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
"jobs": [
{
"job_id": "01a1b2bd-fe54-7252-944d-9d5a09b3019d",
"pipeline_version": 1,
"status": "failed",
"attempt": 5
}
]
}
},
{
"name": "crash_commit_publish",
"level": 4,
"window": "after COMMIT, before publish",
"seconds": 9.2,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
"exit_code": 137,
"after_crash": {
"outbox_published": false,
"status": "queued",
"containers": [
"mtusi2026lab5-relay-1 ee568583263a exited Exited (137) 1 second ago"
]
},
"variants": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/thumbnail-7bc40bf315c8e18e.jpg"
}
]
}
},
{
"name": "crash_after_s3_before_commit",
"level": 4,
"window": "after S3 write, before COMMIT",
"seconds": 12.4,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2be-6f6f-7200-a261-63dd237e9ec8",
"exit_code": 137,
"after_crash": {
"status": "processing",
"variant_rows": 0,
"containers": [
"mtusi2026lab5-worker-1 b9de1e78db3d exited Exited (137) Less than a second ago"
]
},
"variants": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/thumbnail-7bc40bf315c8e18e.jpg"
}
]
}
},
{
"name": "crash_after_commit_before_ack",
"level": 4,
"window": "after COMMIT, before ack",
"seconds": 10.3,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2be-a1dc-76f3-9861-667de097c2af",
"exit_code": 137,
"after_crash": {
"status": "ready",
"variants": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
}
],
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
15,
0
]
},
"containers": [
"mtusi2026lab5-worker-1 b78cddfd65c9 exited Exited (137) 1 second ago"
]
},
"variants": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
}
]
}
},
{
"name": "lease_expiry_fencing",
"level": 4,
"window": "stalled worker, lease expiry",
"seconds": 32.7,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2be-c7f7-7326-b272-a341993c5bf9",
"jobs": [
{
"job_id": "01a1b2be-c805-75f5-95ab-9aabfea704fb",
"pipeline_version": 1,
"status": "done",
"attempt": 2
}
],
"events": [
{
"kind": "enqueued",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "lease_expired",
"attempt": 2
},
{
"kind": "claimed",
"attempt": 2
},
{
"kind": "done",
"attempt": 2
},
{
"kind": "fenced",
"attempt": 1
}
]
}
},
{
"name": "replay_failed",
"level": 4,
"window": "operator replay",
"seconds": 24.6,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
"replay": {
"result": "replayed",
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
"operator": "cli"
},
"replay_of_ready": {
"result": "noop",
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
"operator": "cli"
},
"events": [
{
"kind": "enqueued",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "retry_scheduled",
"attempt": 2
},
{
"kind": "claimed",
"attempt": 2
},
{
"kind": "retry_scheduled",
"attempt": 3
},
{
"kind": "claimed",
"attempt": 3
},
{
"kind": "retry_scheduled",
"attempt": 4
},
{
"kind": "claimed",
"attempt": 4
},
{
"kind": "retry_scheduled",
"attempt": 5
},
{
"kind": "claimed",
"attempt": 5
},
{
"kind": "failed",
"attempt": 5
},
{
"kind": "replayed",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "done",
"attempt": 1
},
{
"kind": "replay_noop",
"attempt": 1
}
]
}
},
{
"name": "malformed_message_dead_lettered",
"level": 4,
"window": "message that is not a job goes to the DLQ",
"seconds": 6.5,
"result": "PASS",
"observed": {
"dead_letters": 1
}
},
{
"name": "duplicate_in_flight",
"level": 5,
"window": "two copies of one job in flight",
"seconds": 14.7,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2bf-b3a8-7754-af89-7d174f4540d1",
"variants": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/thumbnail-7bc40bf315c8e18e.jpg"
}
],
"events": [
{
"kind": "enqueued",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "duplicate_noop",
"attempt": 1
},
{
"kind": "done",
"attempt": 1
}
]
}
},
{
"name": "reorder_attempts",
"level": 5,
"window": "attempt 2 delivered before attempt 1",
"seconds": 15.1,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
"jobs": [
{
"job_id": "01a1b2bf-ed46-71ef-85b7-54e89e3b1eec",
"pipeline_version": 1,
"status": "done",
"attempt": 1
}
],
"events": [
{
"kind": "enqueued",
"attempt": 1
},
{
"kind": "claimed",
"attempt": 1
},
{
"kind": "duplicate_noop",
"attempt": 2
},
{
"kind": "done",
"attempt": 1
}
]
}
},
{
"name": "reorder_versions",
"level": 5,
"window": "v2 delivered before v1",
"seconds": 11.6,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2c0-286d-77c5-8019-58526f2e09c5",
"jobs": [
{
"job_id": "01a1b2c0-2874-74f6-b880-6970766e70ee",
"pipeline_version": 1,
"status": "superseded",
"attempt": 1
},
{
"job_id": "01a1b2c0-2bd0-748f-9b84-334656652efc",
"pipeline_version": 2,
"status": "done",
"attempt": 1
}
],
"v2_before_v1": {
"status": "ready",
"public": [
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 2142,
"width": 128,
"height": 128,
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 2790,
"width": 320,
"height": 200,
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 5628,
"width": 256,
"height": 160,
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
}
],
"rows": [
{
"pipeline_version": 2,
"name": "crop",
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
"size_bytes": 2142,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
},
{
"pipeline_version": 2,
"name": "optimized",
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
"size_bytes": 2790,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
},
{
"pipeline_version": 2,
"name": "thumbnail",
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
"size_bytes": 5628,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
}
],
"published": 2
},
"after_v1": {
"status": "ready",
"public": [
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 2142,
"width": 128,
"height": 128,
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 2790,
"width": 320,
"height": 200,
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 5628,
"width": 256,
"height": 160,
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
}
],
"rows": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/thumbnail-7bc40bf315c8e18e.jpg"
},
{
"pipeline_version": 2,
"name": "crop",
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
"size_bytes": 2142,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
},
{
"pipeline_version": 2,
"name": "optimized",
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
"size_bytes": 2790,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
},
{
"pipeline_version": 2,
"name": "thumbnail",
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
"size_bytes": 5628,
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
}
],
"published": 2
}
}
},
{
"name": "stale_after_new_version",
"level": 5,
"window": "v1 job after v2 is published",
"seconds": 4.7,
"result": "PASS",
"observed": {
"attachment_id": "01a1b2c0-5422-77cd-88f8-cd2c123fe78d",
"published_version": 2,
"v1": {
"status": "ready",
"public": [
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 1820,
"width": 128,
"height": 128,
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143"
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 2462,
"width": 320,
"height": 200,
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb"
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 4679,
"width": 256,
"height": 160,
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594"
}
],
"rows": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
}
],
"published": 1
},
"v2_before_stale": {
"status": "ready",
"public": [
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 2142,
"width": 128,
"height": 128,
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 2790,
"width": 320,
"height": 200,
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 5628,
"width": 256,
"height": 160,
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
}
],
"rows": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
},
{
"pipeline_version": 2,
"name": "crop",
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
"size_bytes": 2142,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
},
{
"pipeline_version": 2,
"name": "optimized",
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
"size_bytes": 2790,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
},
{
"pipeline_version": 2,
"name": "thumbnail",
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
"size_bytes": 5628,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
}
],
"published": 2
},
"v2_after_stale": {
"status": "ready",
"public": [
{
"name": "crop",
"content_type": "image/jpeg",
"size_bytes": 2142,
"width": 128,
"height": 128,
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
},
{
"name": "optimized",
"content_type": "image/webp",
"size_bytes": 2790,
"width": 320,
"height": 200,
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
},
{
"name": "thumbnail",
"content_type": "image/jpeg",
"size_bytes": 5628,
"width": 256,
"height": 160,
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
}
],
"rows": [
{
"pipeline_version": 1,
"name": "crop",
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"size_bytes": 1820,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
},
{
"pipeline_version": 1,
"name": "optimized",
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
"size_bytes": 2462,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
},
{
"pipeline_version": 1,
"name": "thumbnail",
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"size_bytes": 4679,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
},
{
"pipeline_version": 2,
"name": "crop",
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
"size_bytes": 2142,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
},
{
"pipeline_version": 2,
"name": "optimized",
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
"size_bytes": 2790,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
},
{
"pipeline_version": 2,
"name": "thumbnail",
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
"size_bytes": 5628,
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
}
],
"published": 2
}
}
}
],
"result": "PASS",
"finished_at": "2026-11-06T21:25:34.062079Z"
}
@@ -0,0 +1,29 @@
date: 2026-11-06T21:22:22Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ python3 scripts/pipeline_suite.py --only duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version --output evidence/final-validation-2026-11-07/delivery-targeted.json
RUN duplicate_after_ready
PASS duplicate_after_ready
RUN retry_exhausted
PASS retry_exhausted
RUN crash_commit_publish
PASS crash_commit_publish
RUN crash_after_s3_before_commit
PASS crash_after_s3_before_commit
RUN crash_after_commit_before_ack
PASS crash_after_commit_before_ack
RUN lease_expiry_fencing
PASS lease_expiry_fencing
RUN replay_failed
PASS replay_failed
RUN malformed_message_dead_lettered
PASS malformed_message_dead_lettered
RUN duplicate_in_flight
PASS duplicate_in_flight
RUN reorder_attempts
PASS reorder_attempts
RUN reorder_versions
PASS reorder_versions
RUN stale_after_new_version
PASS stale_after_new_version
PASS: lab5 pipeline suite, report evidence/final-validation-2026-11-07/delivery-targeted.json
exit_code: 0 elapsed_seconds: 191.693
@@ -0,0 +1,53 @@
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ make down
docker compose --profile bench --profile tools --profile reconcile down
Container mtusi2026lab5-api-2 Stopping
Container mtusi2026lab5-worker-1 Stopping
Container mtusi2026lab5-lb-1 Stopping
Container mtusi2026lab5-relay-1 Stopping
Container mtusi2026lab5-api-1 Stopping
Container mtusi2026lab5-worker-1 Stopped
Container mtusi2026lab5-worker-1 Removing
Container mtusi2026lab5-worker-1 Removed
Container mtusi2026lab5-relay-1 Stopped
Container mtusi2026lab5-relay-1 Removing
Container mtusi2026lab5-lb-1 Stopped
Container mtusi2026lab5-lb-1 Removing
Container mtusi2026lab5-relay-1 Removed
Container mtusi2026lab5-broker-1 Stopping
Container mtusi2026lab5-lb-1 Removed
Container mtusi2026lab5-broker-1 Stopped
Container mtusi2026lab5-broker-1 Removing
Container mtusi2026lab5-broker-1 Removed
Container mtusi2026lab5-api-2 Stopped
Container mtusi2026lab5-api-2 Removing
Container mtusi2026lab5-api-1 Stopped
Container mtusi2026lab5-api-1 Removing
Container mtusi2026lab5-api-2 Removed
Container mtusi2026lab5-api-1 Removed
Container mtusi2026lab5-migrate-1 Stopping
Container mtusi2026lab5-s3-init-1 Stopping
Container mtusi2026lab5-valkey-1 Stopping
Container mtusi2026lab5-migrate-1 Stopped
Container mtusi2026lab5-migrate-1 Removing
Container mtusi2026lab5-s3-init-1 Stopped
Container mtusi2026lab5-s3-init-1 Removing
Container mtusi2026lab5-migrate-1 Removed
Container mtusi2026lab5-postgres-1 Stopping
Container mtusi2026lab5-s3-init-1 Removed
Container mtusi2026lab5-s3-1 Stopping
Container mtusi2026lab5-postgres-1 Stopped
Container mtusi2026lab5-postgres-1 Removing
Container mtusi2026lab5-postgres-1 Removed
Container mtusi2026lab5-valkey-1 Stopped
Container mtusi2026lab5-valkey-1 Removing
Container mtusi2026lab5-s3-1 Stopped
Container mtusi2026lab5-s3-1 Removing
Container mtusi2026lab5-valkey-1 Removed
Container mtusi2026lab5-s3-1 Removed
Network mtusi2026lab5_backend Removing
Network mtusi2026lab5_edge Removing
Network mtusi2026lab5_backend Removed
Network mtusi2026lab5_edge Removed
exit_code: 0 elapsed_seconds: 3.346
@@ -0,0 +1,8 @@
export COMPOSE_PROJECT_NAME=mtusi2026lab5
export COMPOSE_FILE=compose.yaml
export API_IMAGE=mtusi-messenger:lab5-validation
export LB_HTTP_PORT=18085
export LB_STATS_PORT=25085
export BROKER_MANAGEMENT_PORT=25086
export BASE_URL=http://127.0.0.1:18085
export NO_PROXY=localhost,127.0.0.1,::1
@@ -0,0 +1,15 @@
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}} {{.Ports}}'
mtusi2026lab5-api-1 fc7d65385119 running Up 10 minutes (healthy)
mtusi2026lab5-api-2 a5411e55f06d running Up 10 minutes (healthy)
mtusi2026lab5-broker-1 a38bbcf03870 running Up 10 minutes (healthy) 127.0.0.1:25086->15672/tcp
mtusi2026lab5-lb-1 f0d01200b1f8 running Up 10 minutes (healthy) 127.0.0.1:18085->8080/tcp, 127.0.0.1:25085->8404/tcp
mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 8 minutes ago
mtusi2026lab5-postgres-1 9f62ea9d176b running Up 6 minutes (healthy)
mtusi2026lab5-relay-1 297a45d2724b running Up About a minute (healthy)
mtusi2026lab5-s3-1 9a7684ef147a running Up 10 minutes (healthy)
mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 8 minutes ago
mtusi2026lab5-valkey-1 e37f783f9d50 running Up 10 minutes (healthy)
mtusi2026lab5-worker-1 c708d0d22a5e running Up About a minute (healthy)
exit_code: 0 elapsed_seconds: 0.136
@@ -0,0 +1,702 @@
{
"runtime_review_equal": true,
"normative_files_equal_skeleton": true,
"new_python_syntax": "PASS",
"allowed_changed_files": 58,
"local_markdown_links": 173,
"links": [
{
"from": "REPORT.md",
"target": "evidence/README.md"
},
{
"from": "REPORT.md",
"target": "evidence/forward-port.md"
},
{
"from": "REPORT.md",
"target": "uv.lock"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt"
},
{
"from": "REPORT.md",
"target": "compose.yaml"
},
{
"from": "REPORT.md",
"target": "src/messenger/shared/infrastructure/postgres.py"
},
{
"from": "REPORT.md",
"target": "alembic/env.py"
},
{
"from": "REPORT.md",
"target": "alembic/versions"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
},
{
"from": "REPORT.md",
"target": "evidence/report-audit-2026-11-07.md"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/student-test.txt"
},
{
"from": "REPORT.md",
"target": "evidence/review-trns-depth-2026-11-06/RESULTS.md"
},
{
"from": "REPORT.md",
"target": "evidence/report-audit-2026-11-07.md"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/final-smoke.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/persistence.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/persistence-containers.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/failover.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/failover-containers.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/restore.txt"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/grade3/queues.txt"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/grade3/consumers.txt"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/grade3/permissions.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4-command.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run1.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run2.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run3.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/network-regressions.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/upload-negative.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/cache-outage.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/haproxy-errors.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/level4.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/down.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/stopped-containers.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/retained-volumes.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/down.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/stopped-containers.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/retained-volumes.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run1.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run1.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run2.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run2.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run3.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/track-run3.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/summary.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/conditions-before.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/conditions-track-start.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/clock-observation.json"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
},
{
"from": "REPORT.md",
"target": "evidence/review-trns-depth-2026-11-06/findings.json"
},
{
"from": "REPORT.md",
"target": "evidence/sqlalchemy-2026-11-06/grade3/limits.txt"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/findings.json"
},
{
"from": "REPORT.md",
"target": "evidence/forward-final-2026-11-06/student-test.txt"
},
{
"from": "REPORT.md",
"target": "evidence/load-validation.md"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/checks.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/openspec.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/build.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/image-runtime.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/smoke.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/png-http.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/png-http.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/delivery-targeted.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/delivery-targeted.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/png-limits.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/png-limits.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/fixtures"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/png-limits.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/cleanup-recheck.json"
},
{
"from": "REPORT.md",
"target": "openspec/specs/lab5-image-variants/spec.md"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/resource-probe-worker.txt"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/findings.json"
},
{
"from": "REPORT.md",
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
},
{
"from": "AGENTS.md",
"target": "evidence/README.md"
},
{
"from": "AGENTS.md",
"target": "REPORT.md"
},
{
"from": "AGENTS.md",
"target": "evidence/load-validation.md"
},
{
"from": "AGENTS.md",
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "../REPORT.md"
},
{
"from": "evidence/README.md",
"target": "load-validation.md"
},
{
"from": "evidence/README.md",
"target": "final-validation-2026-11-07/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "final-validation-2026-11-07/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "load-validation.md"
},
{
"from": "evidence/README.md",
"target": "report-audit-2026-11-07.md"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "review-trns-depth-2026-11-06/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "review-fixes-2026-11-06/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "forward-port.md"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/source-inventory.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/forward-audit.json"
},
{
"from": "evidence/README.md",
"target": "sqlalchemy-2026-11-06/grade3/NOTES.md"
},
{
"from": "evidence/README.md",
"target": "sqlalchemy-2026-11-06/grade4/NOTES.md"
},
{
"from": "evidence/README.md",
"target": "sqlalchemy-2026-11-06/track2/NOTES.md"
},
{
"from": "evidence/README.md",
"target": "sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/level4-command.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/level4.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run1.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run1.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run2.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run2.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run3.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/track-run3.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/summary.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/final-smoke.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/persistence.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/failover.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/persistence-containers.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/failover-containers.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/restore.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/student-test.txt"
},
{
"from": "evidence/README.md",
"target": "review-trns-depth-2026-11-06/offline-tests.txt"
},
{
"from": "evidence/README.md",
"target": "review-trns-depth-2026-11-06/boundaries.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/conditions-before.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/conditions-track-start.json"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/down.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/stopped-containers.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/retained-volumes.txt"
},
{
"from": "evidence/README.md",
"target": "sqlalchemy-2026-11-06/grade3/limits.txt"
},
{
"from": "evidence/README.md",
"target": "forward-final-2026-11-06/clock-observation.json"
},
{
"from": "evidence/README.md",
"target": "review-trns-depth-2026-11-06/findings.json"
},
{
"from": "evidence/README.md",
"target": "review-trns-depth-2026-11-06/RESULTS.md"
},
{
"from": "evidence/README.md",
"target": "review-fixes-2026-11-06/RESULTS.md"
},
{
"from": "evidence/load-validation.md",
"target": "forward-final-2026-11-06/RESULTS.md"
},
{
"from": "evidence/load-validation.md",
"target": "final-validation-2026-11-07/RESULTS.md"
},
{
"from": "evidence/load-validation.md",
"target": "final-validation-2026-11-07/findings.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "../load-validation.md"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "audit.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "historical-hashes.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "runtime-containers.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "image-runtime.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "env.sh"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "checks.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "student-test.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "openspec.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "active-changes.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "build.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "up.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "smoke.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "policy.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "queues.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "postgres-outage-retry.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "postgres-outage-retry.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "postgres-outage-worker.log"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "png-http.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "png-http.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "delivery-targeted.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "delivery-targeted.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "png-limits.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "png-limits.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "fixtures"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "targeted.py"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "postgres-outage.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "targeted-initial.py"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "cleanup-recheck.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "../../openspec/specs/lab5-image-variants/spec.md"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "resource-probe-worker.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "resource-probe-retry.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "invoke-probe.py"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "findings.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "down.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "stopped-containers.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "retained-volumes.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "running-containers-after.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "checks-final.txt"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "final-doc-audit.json"
},
{
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
"target": "secret-scan.json"
}
],
"all_link_targets_tracked": true
}
@@ -0,0 +1,37 @@
[
{
"severity": "major",
"file": "src/messenger/attachments/infrastructure/images.py:95",
"problem": "Не проходит объявленный обязательный сценарий openspec/specs/lab5-image-variants/spec.md:48: PNG 8000×5000 со штатными пределами должен стать ready. Через LB четыре валидных tRNS PNG (grayscale 2/4/16 и RGB16, 35 759–385 445 байт) получают 202, затем failed/processing_failed на attempt=1 при RENDER_MEMORY_MB=448 и timeout=30. Linux-пробник с импортами worker воспроизводит MemoryError в rgb_mask/apply_png_transparency и flatten; без tRNS gray2/gray4/RGB16 проходят, gray16 требует памяти и без tRNS. Worker остаётся жив; потери данных/падение сервиса не заявляются. Доказательства: evidence/final-validation-2026-11-07/png-limits.json, resource-probe-worker.txt, fixtures/*.png. Нужен отдельный fix, review и повтор только затронутых PNG/ресурсных проверок."
},
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:230",
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
},
{
"severity": "minor",
"file": "scripts/limits.py:10",
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
},
{
"severity": "minor",
"file": "scripts/reconcile_track.py:396",
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
},
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:333",
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
},
{
"severity": "minor",
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
},
{
"severity": "minor",
"file": "openspec/config.yaml:130",
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
}
]
Binary file not shown.

After

Width:  |  Height:  |  Size: 101 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 35 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 45 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 376 KiB

@@ -0,0 +1,17 @@
[
{
"manifest": "evidence/review-trns-depth-2026-11-06/checks.json",
"sha": "42575281b352d35bda17ee7601bae5548a996e91",
"verified": 34
},
{
"manifest": "evidence/review-fixes-2026-11-06/checks.json",
"sha": "6e97bdbe9638c5a53951337fce639a1a0db7f92e",
"verified": 5
},
{
"manifest": "evidence/forward-final-2026-11-06/forward-audit.json",
"sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
"verified": 25
}
]
@@ -0,0 +1,7 @@
date: 2026-11-06T21:18:41Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
images.py sha256 537359101ad6266cc74f8373364ae492675aef984844a07950681cf5032f7de9
exit_code: 0 elapsed_seconds: 0.377
@@ -0,0 +1,11 @@
import base64
import json
import subprocess
import sys
from pathlib import Path
folder = Path(__file__).parent
bootstrap = "import sys,json,base64; from pathlib import Path; p=json.load(sys.stdin); d=Path('/tmp/validation-fixtures'); d.mkdir(exist_ok=True); [(d/name).write_bytes(base64.b64decode(data)) for name,data in p['fixtures'].items()]; exec(compile(p['code'],'resource-probe.py','exec'))"
payload = {'code': (folder / (sys.argv[1] if len(sys.argv) > 1 else 'resource-probe.py')).read_text(), 'fixtures': {p.name: base64.b64encode(p.read_bytes()).decode() for p in (folder / 'fixtures').glob('*.png')}}
result = subprocess.run(['docker', 'compose', 'exec', '-T', 'worker', 'python', '-c', bootstrap], input=json.dumps(payload), text=True, check=False)
raise SystemExit(result.returncode)
@@ -1,5 +1,5 @@
date: 2026-11-07T01:12:54Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
date: 2026-11-06T21:15:53Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {}
$ openspec validate --all --strict
- Validating...
✓ spec/lab1-event-publication
@@ -24,9 +24,5 @@ $ openspec validate --all --strict
✓ spec/lab5-job-delivery
✓ spec/lab5-job-recovery
✓ spec/lab5-versioned-pipeline
✓ spec/lab6-observability-cost
✓ spec/lab6-observability-resilience
✓ spec/lab6-service-telemetry
✓ spec/lab6-telemetry-stack
Totals: 26 passed, 0 failed (26 items)
exit_code: 0 elapsed_seconds: 0.840
Totals: 22 passed, 0 failed (22 items)
exit_code: 0 elapsed_seconds: 0.889
@@ -1,91 +1,13 @@
{
"mode": "png-http",
"source_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
"started_at": "2026-11-06T23:38:53.013357Z",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"started_at": "2026-11-06T21:20:30.802260Z",
"cases": [
{
"name": "gray1",
"started_at": "2026-11-06T23:38:54.717702Z",
"observed": {
"attachment_id": "01a1b33a-c188-72af-b1ce-4978e1626795",
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
"input_bytes": 154,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 5.09
},
{
"name": "gray2",
"started_at": "2026-11-06T23:38:59.807965Z",
"started_at": "2026-11-06T21:20:31.867669Z",
"observed": {
"attachment_id": "01a1b33a-d565-77b2-994f-7518e468fdf5",
"attachment_id": "01a1b2bc-107e-76d1-b857-f8a847a893d8",
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
"input_bytes": 189,
"versions": [
@@ -157,13 +79,13 @@
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.397
"elapsed_seconds": 4.952
},
{
"name": "gray4",
"started_at": "2026-11-06T23:39:04.205343Z",
"started_at": "2026-11-06T21:20:36.820264Z",
"observed": {
"attachment_id": "01a1b33a-e693-7245-b762-fe88b9d29eaa",
"attachment_id": "01a1b2bc-23d7-7757-bd08-e78831dce1a6",
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
"input_bytes": 263,
"versions": [
@@ -235,247 +157,13 @@
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.34
},
{
"name": "gray8",
"started_at": "2026-11-06T23:39:08.545858Z",
"observed": {
"attachment_id": "01a1b33a-f788-73e9-a214-04c3c430adc6",
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
"input_bytes": 286,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
"bytes": 621,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
"bytes": 74,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
"bytes": 637,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
"bytes": 76,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.784
},
{
"name": "gray16",
"started_at": "2026-11-06T23:39:13.331133Z",
"observed": {
"attachment_id": "01a1b33b-0a3a-7163-8d8a-72d0bb6dd9e3",
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
"input_bytes": 344,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
"bytes": 632,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
"bytes": 80,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
"bytes": 322,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
"bytes": 662,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
"bytes": 72,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
"bytes": 323,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.03
},
{
"name": "rgb8",
"started_at": "2026-11-06T23:39:17.361270Z",
"observed": {
"attachment_id": "01a1b33b-19fb-706d-b760-19cb45783bf0",
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
"input_bytes": 385,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
"bytes": 1069,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
"bytes": 116,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
"bytes": 385,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
"bytes": 1184,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
"bytes": 120,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
"bytes": 392,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.223
"elapsed_seconds": 4.607
},
{
"name": "rgb16",
"started_at": "2026-11-06T23:39:21.585038Z",
"started_at": "2026-11-06T21:20:41.427922Z",
"observed": {
"attachment_id": "01a1b33b-2a7e-7352-89bf-3b612ebf49bd",
"attachment_id": "01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
"input_bytes": 724,
"versions": [
@@ -547,13 +235,325 @@
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 5.404
"elapsed_seconds": 4.02
},
{
"name": "gray1",
"started_at": "2026-11-06T21:20:45.448396Z",
"observed": {
"attachment_id": "01a1b2bc-458d-73f1-9c76-b2f5f360400e",
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
"input_bytes": 154,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
"bytes": 380,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
"bytes": 66,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
"bytes": 308,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 3.992
},
{
"name": "gray8",
"started_at": "2026-11-06T21:20:49.441526Z",
"observed": {
"attachment_id": "01a1b2bc-5527-75fa-ace8-6f2de9678922",
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
"input_bytes": 286,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
"bytes": 621,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
"bytes": 74,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
"bytes": 637,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
"bytes": 76,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
"bytes": 324,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.022
},
{
"name": "gray16",
"started_at": "2026-11-06T21:20:53.463983Z",
"observed": {
"attachment_id": "01a1b2bc-64df-7694-8365-6ba2803fa169",
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
"input_bytes": 344,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
"bytes": 632,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
"bytes": 80,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
"bytes": 322,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
"bytes": 662,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
"bytes": 72,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
"bytes": 323,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 3.952
},
{
"name": "rgb8",
"started_at": "2026-11-06T21:20:57.416228Z",
"observed": {
"attachment_id": "01a1b2bc-7451-70a2-83ed-869d99c81f3f",
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
"input_bytes": 385,
"versions": [
{
"version": 1,
"variants": [
{
"name": "crop",
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
"bytes": 1069,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
"bytes": 116,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
"bytes": 385,
"dimensions": [
64,
64
]
}
]
},
{
"version": 2,
"variants": [
{
"name": "crop",
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
"bytes": 1184,
"dimensions": [
128,
128
]
},
{
"name": "optimized",
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
"bytes": 120,
"dimensions": [
64,
64
]
},
{
"name": "thumbnail",
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
"bytes": 392,
"dimensions": [
64,
64
]
}
]
}
],
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.545
},
{
"name": "rgb16-adam7-filter4-exif6",
"started_at": "2026-11-06T23:39:26.989752Z",
"started_at": "2026-11-06T21:21:01.962099Z",
"observed": {
"attachment_id": "01a1b33b-3f9a-74e5-8ce1-3e819686cf10",
"attachment_id": "01a1b2bc-8615-7763-b117-c00aacaebeb6",
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
"input_bytes": 1297,
"versions": [
@@ -625,47 +625,31 @@
"stale_and_duplicate_noop": true
},
"result": "PASS",
"elapsed_seconds": 4.435
"elapsed_seconds": 4.577
}
],
"conditions": {
"host_load": [
2.11083984375,
2.130859375,
2.21337890625
5.10693359375,
3.61181640625,
2.75048828125
],
"containers": [
"mtusi2026lab6-api-1 cbf0e0c086a8 running Up 2 minutes (healthy)",
"mtusi2026lab6-api-2 88b81a690916 running Up 2 minutes (healthy)",
"mtusi2026lab6-broker-1 7873087d1e11 running Up 2 minutes (healthy)",
"mtusi2026lab6-grafana-1 4941a61de404 running Up 2 minutes (healthy)",
"mtusi2026lab6-healthtools-1 8f69bafc4222 exited Exited (0) 2 minutes ago",
"mtusi2026lab6-lb-1 15275930393c running Up 2 minutes (healthy)",
"mtusi2026lab6-loki-1 0ec38f765d14 running Up 2 minutes (healthy)",
"mtusi2026lab6-migrate-1 defa24920883 exited Exited (0) 2 minutes ago",
"mtusi2026lab6-otel-collector-1 c3358f2286f1 running Up 2 minutes (healthy)",
"mtusi2026lab6-postgres-1 048b32582d06 running Up About a minute (healthy)",
"mtusi2026lab6-prometheus-1 a5beedf02a59 running Up 2 minutes (healthy)",
"mtusi2026lab6-relay-1 72f54d7a9ffa running Up 2 minutes (healthy)",
"mtusi2026lab6-s3-1 f5d31170eb6e running Up 2 minutes (healthy)",
"mtusi2026lab6-s3-init-1 16089f3dbc16 exited Exited (0) 2 minutes ago",
"mtusi2026lab6-tempo-1 33a125d574c3 running Up 2 minutes (healthy)",
"mtusi2026lab6-valkey-1 4377a65332f0 running Up About a minute (healthy)",
"mtusi2026lab6-worker-1 f492f4c8ff12 running Up About a minute (healthy)"
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 2 minutes ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 11 seconds (healthy)",
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 2 minutes ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up 24 seconds (healthy)"
],
"running": "mtusi2026lab6-relay-1 Up 2 minutes (healthy)\nmtusi2026lab6-api-2 Up 2 minutes (healthy)\nmtusi2026lab6-api-1 Up 2 minutes (healthy)\nmtusi2026lab6-worker-1 Up About a minute (healthy)\nmtusi2026lab6-grafana-1 Up 2 minutes (healthy)\nmtusi2026lab6-loki-1 Up 2 minutes (healthy)\nmtusi2026lab6-tempo-1 Up 2 minutes (healthy)\nmtusi2026lab6-otel-collector-1 Up 2 minutes (healthy)\nmtusi2026lab6-broker-1 Up 2 minutes (healthy)\nmtusi2026lab6-postgres-1 Up About a minute (healthy)\nmtusi2026lab6-lb-1 Up 2 minutes (healthy)\nmtusi2026lab6-prometheus-1 Up 2 minutes (healthy)\nmtusi2026lab6-s3-1 Up 2 minutes (healthy)\nmtusi2026lab6-valkey-1 Up About a minute (healthy)\n",
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up 24 seconds (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 11 seconds (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
"worker_limits": "448\n30\n2\n"
},
"accepted_ids": [
"01a1b33a-c188-72af-b1ce-4978e1626795",
"01a1b33a-d565-77b2-994f-7518e468fdf5",
"01a1b33a-e693-7245-b762-fe88b9d29eaa",
"01a1b33a-f788-73e9-a214-04c3c430adc6",
"01a1b33b-0a3a-7163-8d8a-72d0bb6dd9e3",
"01a1b33b-19fb-706d-b760-19cb45783bf0",
"01a1b33b-2a7e-7352-89bf-3b612ebf49bd",
"01a1b33b-3f9a-74e5-8ce1-3e819686cf10"
],
"invariants": [
{
"id": "terminal",
@@ -726,7 +710,7 @@
0
],
"attachments.process.dlq": [
0,
15,
0
]
},
@@ -743,6 +727,16 @@
}
}
],
"finished_at": "2026-11-06T23:39:45.742835Z",
"accepted_ids": [
"01a1b2bc-107e-76d1-b857-f8a847a893d8",
"01a1b2bc-23d7-7757-bd08-e78831dce1a6",
"01a1b2bc-35d8-7442-a3b7-1cd166d552cc",
"01a1b2bc-458d-73f1-9c76-b2f5f360400e",
"01a1b2bc-5527-75fa-ace8-6f2de9678922",
"01a1b2bc-64df-7694-8365-6ba2803fa169",
"01a1b2bc-7451-70a2-83ed-869d99c81f3f",
"01a1b2bc-8615-7763-b117-c00aacaebeb6"
],
"finished_at": "2026-11-06T21:21:18.474212Z",
"result": "PASS"
}
@@ -0,0 +1,12 @@
date: 2026-11-06T21:20:30Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-http
gray2 PASS
gray4 PASS
rgb16 PASS
gray1 PASS
gray8 PASS
gray16 PASS
rgb8 PASS
rgb16-adam7-filter4-exif6 PASS
exit_code: 0 elapsed_seconds: 47.846
@@ -0,0 +1,242 @@
{
"mode": "png-limits",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"started_at": "2026-11-06T21:21:18.724252Z",
"cases": [
{
"name": "gray2-40mp",
"started_at": "2026-11-06T21:21:20.277013Z",
"result": "FAIL",
"error": "{\"attachment_id\": \"01a1b2bc-cdc1-7315-82e0-39f3e53d87db\", \"input_bytes\": 35759, \"input_sha256\": \"e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-cdc9-7157-b245-f357f81b4d6c\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
"elapsed_seconds": 1.066
},
{
"name": "gray4-40mp",
"started_at": "2026-11-06T21:21:21.343296Z",
"result": "FAIL",
"error": "{\"attachment_id\": \"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d\", \"input_bytes\": 46441, \"input_sha256\": \"64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d21b-72a6-b463-0fa58bd353a2\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
"elapsed_seconds": 1.168
},
{
"name": "gray16-40mp",
"started_at": "2026-11-06T21:21:22.511903Z",
"result": "FAIL",
"error": "{\"attachment_id\": \"01a1b2bc-d744-77c1-8352-989f80848cab\", \"input_bytes\": 103565, \"input_sha256\": \"b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d74e-7582-a9f8-fa827d36c9fe\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"638119936\", \"memory_max\": \"1073741824\"}",
"elapsed_seconds": 0.955
},
{
"name": "rgb16-40mp",
"started_at": "2026-11-06T21:21:23.467422Z",
"result": "FAIL",
"error": "{\"attachment_id\": \"01a1b2bc-dc37-7249-b7c3-f8901fb298de\", \"input_bytes\": 385445, \"input_sha256\": \"3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-dc3f-7724-a737-43ad5584c8c7\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"640196608\", \"memory_max\": \"1073741824\"}",
"elapsed_seconds": 2.242
},
{
"name": "forced-timeout",
"started_at": "2026-11-06T21:21:26.091820Z",
"observed": {
"attachment_id": "01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
"error_code": "processing_failed",
"worker": "running"
},
"result": "PASS",
"elapsed_seconds": 4.233
},
{
"name": "forced-memory",
"started_at": "2026-11-06T21:21:30.325405Z",
"observed": {
"attachment_id": "01a1b2bd-0192-70e7-a174-3275ca516e11",
"error_code": "processing_failed",
"worker": "running"
},
"result": "PASS",
"elapsed_seconds": 4.766
},
{
"name": "normal-after-limits",
"started_at": "2026-11-06T21:21:38.218266Z",
"observed": {
"attachment_id": "01a1b2bd-13b0-712a-9275-1d3cdd2eb49a",
"variants": [
"crop",
"optimized",
"thumbnail"
]
},
"result": "PASS",
"elapsed_seconds": 1.618
}
],
"conditions": {
"host_load": [
4.66455078125,
3.70458984375,
2.83203125
],
"containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up 4 minutes (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up 4 minutes (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 4 minutes (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 4 minutes (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 3 minutes ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 59 seconds (healthy)",
"mtusi2026lab5-relay-1 4153c8488753 running Up 4 minutes (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up 4 minutes (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 3 minutes ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 4 minutes (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
],
"running": "mtusi2026lab5-api-1 Up 4 minutes (healthy)\nmtusi2026lab5-relay-1 Up 4 minutes (healthy)\nmtusi2026lab5-api-2 Up 4 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 4 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 59 seconds (healthy)\nmtusi2026lab5-lb-1 Up 4 minutes (healthy)\nmtusi2026lab5-s3-1 Up 4 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 4 minutes (healthy)\n",
"worker_limits": "448\n30\n2\n"
},
"large_observations": [
{
"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
"input_bytes": 35759,
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
"pixels": 40000000,
"status": "failed",
"error_code": "processing_failed",
"jobs": [
{
"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c",
"pipeline_version": 1,
"status": "failed",
"attempt": 1
}
],
"memory_peak": "541655040",
"memory_max": "1073741824"
},
{
"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
"input_bytes": 46441,
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
"pixels": 40000000,
"status": "failed",
"error_code": "processing_failed",
"jobs": [
{
"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2",
"pipeline_version": 1,
"status": "failed",
"attempt": 1
}
],
"memory_peak": "541655040",
"memory_max": "1073741824"
},
{
"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab",
"input_bytes": 103565,
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
"pixels": 40000000,
"status": "failed",
"error_code": "processing_failed",
"jobs": [
{
"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe",
"pipeline_version": 1,
"status": "failed",
"attempt": 1
}
],
"memory_peak": "638119936",
"memory_max": "1073741824"
},
{
"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de",
"input_bytes": 385445,
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
"pixels": 40000000,
"status": "failed",
"error_code": "processing_failed",
"jobs": [
{
"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7",
"pipeline_version": 1,
"status": "failed",
"attempt": 1
}
],
"memory_peak": "640196608",
"memory_max": "1073741824"
}
],
"invariants": [
{
"id": "terminal",
"statement": "every 202 reaches its expected terminal state",
"result": "PASS",
"details": {
"accepted": 7
}
},
{
"id": "single_effect",
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_ready_rollback",
"statement": "ready never returns to queued or processing",
"result": "PASS",
"details": {
"traced": 7
}
},
{
"id": "monotonic_publication",
"statement": "published_version only moves forward",
"result": "PASS",
"details": {
"sampled": 0
}
},
{
"id": "bytes_match_metadata",
"statement": "sha256, size and real dimensions match served bytes",
"result": "PASS",
"details": {
"verified": 1
}
},
{
"id": "bounded_attempts",
"statement": "attempt <= JOB_MAX_ATTEMPTS",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_orphans",
"statement": "no pending outbox, messages, dead letters, staging, objects",
"result": "FAIL",
"details": "staging kept after ready: [{'id': '01a1b2bd-13b0-712a-9275-1d3cdd2eb49a'}]"
},
{
"id": "no_lost_202",
"statement": "every 202 is present in PostgreSQL and the API",
"result": "PASS",
"details": {
"accepted": 7
}
}
],
"accepted_ids": [
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
"01a1b2bc-d744-77c1-8352-989f80848cab",
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
"01a1b2bd-0192-70e7-a174-3275ca516e11",
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
],
"finished_at": "2026-11-06T21:21:42.105495Z",
"result": "FAIL"
}
@@ -0,0 +1,11 @@
date: 2026-11-06T21:21:18Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-limits
gray2-40mp FAIL {"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db", "input_bytes": 35759, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
gray4-40mp FAIL {"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d", "input_bytes": 46441, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
gray16-40mp FAIL {"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab", "input_bytes": 103565, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "638119936", "memory_max": "1073741824"}
rgb16-40mp FAIL {"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de", "input_bytes": 385445, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "640196608", "memory_max": "1073741824"}
forced-timeout PASS
forced-memory PASS
normal-after-limits PASS
exit_code: 1 elapsed_seconds: 23.549
@@ -1,7 +1,7 @@
date: 2026-11-06T23:38:52Z commit: bc1d7aa7713858acb5d65b61d07e69a640f1ee97
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab6", "LB_HTTP_PORT": "18086", "LB_STATS_PORT": "26085", "BASE_URL": "http://127.0.0.1:18086", "NO_PROXY": "localhost,127.0.0.1,::1"}
date: 2026-11-06T21:17:55Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose exec -T broker rabbitmqctl -q list_policies -p messenger
vhost name pattern apply-to definition priority
messenger attachments-process ^attachments\.process$ queues {"dead-letter-exchange":"attachments.dlx","dead-letter-strategy":"at-least-once","delivery-limit":-1,"overflow":"reject-publish"} 10
messenger attachments-dlq ^attachments\.process\.dlq$ queues {"max-length":100000,"overflow":"reject-publish"} 10
exit_code: 0 elapsed_seconds: 0.567
exit_code: 0 elapsed_seconds: 0.598
@@ -0,0 +1,199 @@
{
"mode": "postgres-outage-retry",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"started_at": "2026-11-06T21:20:02.998079Z",
"cases": [
{
"name": "published_outbox_database_outage",
"started_at": "2026-11-06T21:20:04.036200Z",
"observed": {
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
"jobs_before": [
{
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
"pipeline_version": 1,
"status": "queued",
"attempt": 1
}
],
"jobs_after": [
{
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
"pipeline_version": 1,
"status": "done",
"attempt": 1
}
],
"requeues": 12,
"queues_during": {
"attachments.process": [
0,
1
],
"attachments.process.dlq": [
15,
0
]
},
"queues_after": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
15,
0
]
},
"replay": false,
"stopped_containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
]
},
"result": "PASS",
"elapsed_seconds": 21.815
}
],
"conditions": {
"host_load": [
3.986328125,
3.29931640625,
2.619140625
],
"containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
],
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
"worker_limits": "448\n30\n2\n"
},
"outage_checkpoint": {
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
"jobs_before": [
{
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
"pipeline_version": 1,
"status": "queued",
"attempt": 1
}
],
"dlq_before": [
15,
0
],
"stopped_containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
]
},
"invariants": [
{
"id": "terminal",
"statement": "every 202 reaches its expected terminal state",
"result": "PASS",
"details": {
"accepted": 1
}
},
{
"id": "single_effect",
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_ready_rollback",
"statement": "ready never returns to queued or processing",
"result": "PASS",
"details": {
"traced": 1
}
},
{
"id": "monotonic_publication",
"statement": "published_version only moves forward",
"result": "PASS",
"details": {
"sampled": 0
}
},
{
"id": "bytes_match_metadata",
"statement": "sha256, size and real dimensions match served bytes",
"result": "PASS",
"details": {
"verified": 1
}
},
{
"id": "bounded_attempts",
"statement": "attempt <= JOB_MAX_ATTEMPTS",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_orphans",
"statement": "no pending outbox, messages, dead letters, staging, objects",
"result": "PASS",
"details": {
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
15,
0
]
},
"s3_objects": 4,
"scoped_attachments": 1
}
},
{
"id": "no_lost_202",
"statement": "every 202 is present in PostgreSQL and the API",
"result": "PASS",
"details": {
"accepted": 1
}
}
],
"accepted_ids": [
"01a1b2bb-aa23-72ec-98b1-63582184109f"
],
"finished_at": "2026-11-06T21:20:30.164434Z",
"result": "PASS"
}
@@ -0,0 +1,5 @@
date: 2026-11-06T21:20:02Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry
published_outbox_database_outage PASS
exit_code: 0 elapsed_seconds: 27.330
@@ -0,0 +1,12 @@
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:07.790580Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:08.807054Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:09.821718Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:10.835176Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:11.846077Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:12.851565Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:13.864230Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:14.879944Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:15.885607Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:16.901272Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:17.919394Z"}
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:18.933422Z"}
@@ -0,0 +1,146 @@
{
"mode": "postgres-outage",
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
"started_at": "2026-11-06T21:18:09.131834Z",
"cases": [
{
"name": "published_outbox_database_outage",
"started_at": "2026-11-06T21:18:10.870080Z",
"result": "FAIL",
"error": "timeout 90s waiting for 12 real database failures",
"elapsed_seconds": 97.081
}
],
"conditions": {
"host_load": [
3.3544921875,
3.0048828125,
2.4365234375
],
"containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
],
"running": "mtusi2026lab5-api-1 Up About a minute (healthy)\nmtusi2026lab5-relay-1 Up About a minute (healthy)\nmtusi2026lab5-api-2 Up About a minute (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up About a minute (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up About a minute (healthy)\nmtusi2026lab5-s3-1 Up About a minute (healthy)\nmtusi2026lab5-valkey-1 Up About a minute (healthy)\nmtusi-lab5-test-valkey-a93cc36b Up About a minute\nmtusi-lab5-test-1de81872 Up About a minute\nmtusi-lab5-test-rustfs-62f3a9c3 Up About a minute\nmtusi-lab5-test-rabbitmq-675a32e8 Up 2 minutes\n",
"worker_limits": "448\n30\n2\n"
},
"outage_checkpoint": {
"attachment_id": "01a1b2b9-f033-76be-ba05-897b08873abd",
"jobs_before": [
{
"job_id": "01a1b2b9-f043-72e8-970c-647fc4a1f2e3",
"pipeline_version": 1,
"status": "queued",
"attempt": 1
}
],
"dlq_before": [
15,
0
],
"stopped_containers": [
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
]
},
"invariants": [
{
"id": "terminal",
"statement": "every 202 reaches its expected terminal state",
"result": "PASS",
"details": {
"accepted": 1
}
},
{
"id": "single_effect",
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_ready_rollback",
"statement": "ready never returns to queued or processing",
"result": "PASS",
"details": {
"traced": 1
}
},
{
"id": "monotonic_publication",
"statement": "published_version only moves forward",
"result": "PASS",
"details": {
"sampled": 0
}
},
{
"id": "bytes_match_metadata",
"statement": "sha256, size and real dimensions match served bytes",
"result": "PASS",
"details": {
"verified": 1
}
},
{
"id": "bounded_attempts",
"statement": "attempt <= JOB_MAX_ATTEMPTS",
"result": "PASS",
"details": {
"rows": 0
}
},
{
"id": "no_orphans",
"statement": "no pending outbox, messages, dead letters, staging, objects",
"result": "PASS",
"details": {
"queues": {
"attachments.process": [
0,
0
],
"attachments.process.dlq": [
15,
0
]
},
"s3_objects": 4,
"scoped_attachments": 1
}
},
{
"id": "no_lost_202",
"statement": "every 202 is present in PostgreSQL and the API",
"result": "PASS",
"details": {
"accepted": 1
}
}
],
"accepted_ids": [
"01a1b2b9-f033-76be-ba05-897b08873abd"
],
"finished_at": "2026-11-06T21:19:52.189137Z",
"result": "FAIL"
}
@@ -0,0 +1,5 @@
date: 2026-11-06T21:18:08Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage
published_outbox_database_outage FAIL timeout 90s waiting for 12 real database failures
exit_code: 1 elapsed_seconds: 103.241
@@ -0,0 +1,6 @@
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose cp evidence/final-validation-2026-11-07/fixtures worker:/tmp/validation-fixtures
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/fixtures to mtusi2026lab5-worker-1:/tmp/validation-fixtures Copying
Error response from daemon: container rootfs is marked read-only
exit_code: 1 elapsed_seconds: 0.081
@@ -0,0 +1,6 @@
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose cp evidence/final-validation-2026-11-07/resource-probe.py worker:/tmp/resource-probe.py
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/resource-probe.py to mtusi2026lab5-worker-1:/tmp/resource-probe.py Copying
Error response from daemon: container rootfs is marked read-only
exit_code: 1 elapsed_seconds: 0.073
@@ -0,0 +1,7 @@
date: 2026-11-06T21:17:55Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy effective_policy_definition messages_ready messages_unacknowledged
name type durable policy effective_policy_definition messages_ready messages_unacknowledged
attachments.process quorum true attachments-process [{<<"dead-letter-exchange">>, attachments.dlx}, {<<"dead-letter-strategy">>, at-least-once}, {<<"delivery-limit">>, -1}, {<<"overflow">>, reject-publish}] 0 0
attachments.process.dlq quorum true attachments-dlq [{<<"max-length">>, 100000}, {<<"overflow">>, reject-publish}] 15 0
exit_code: 0 elapsed_seconds: 0.578
@@ -0,0 +1,22 @@
import json
import sys
from pathlib import Path
ROOT = Path(__file__).resolve().parents[2]
sys.path.insert(0, str(ROOT / 'scripts'))
import pipeline_suite as ps
stack = ps.Stack(ps.arguments())
report = json.loads(Path(__file__).with_name('png-limits.json').read_text())
ids = report['accepted_ids']
array = '{' + ','.join(ids) + '}'
rows = {name: stack.sql(name, ids=array) for name in ('pending_outbox', 'staging_left', 'nonterminal', 'duplicate_effects', 'object_keys')}
keys = {row['key'] for row in rows.pop('object_keys')}
objects = stack.objects(ids)
assert not any(rows.values()), rows
assert objects == keys, {'extra': sorted(objects - keys), 'missing': sorted(keys - objects)}
queues = stack.queues()
assert queues[ps.QUEUE] == (0, 0), queues
result = {'source_sha': ps.run(['git', 'rev-parse', 'HEAD']).strip(), 'at': ps.now(), 'result': 'PASS', 'accepted_ids': ids, 'rows': rows, 's3_objects': len(objects), 'queues': queues, 'reason': 'Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep.'}
Path(__file__).with_name('cleanup-recheck.json').write_text(json.dumps(result, indent=2) + '\n')
print(json.dumps(result, indent=2))
@@ -0,0 +1,12 @@
date: 2026-11-06T21:26:09Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ python3 evidence/final-validation-2026-11-07/invoke-probe.py
{"file": "gray16-40mp.png", "transparency": true, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 424820}
{"file": "gray16-40mp.png", "transparency": false, "input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429016}
{"file": "gray2-40mp.png", "transparency": true, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
{"file": "gray2-40mp.png", "transparency": false, "input_sha256": "05c65f9a86b01f05b914b6f3f15fcfaf93b2ee4383bef3c3a60c19df1f5b5135", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
{"file": "gray4-40mp.png", "transparency": true, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
{"file": "gray4-40mp.png", "transparency": false, "input_sha256": "ff963c27cc6fdff1757fc9fa135b7b24ec2af67e042582024ebb88f2066ffaf5", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
{"file": "rgb16-40mp.png", "transparency": true, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 26}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 154}, {"function": "apply_png_transparency", "file": "images.py", "line": 111}, {"function": "rgb_mask", "file": "images.py", "line": 95}, {"function": "getchannel", "file": "Image.py", "line": 2823}], "max_rss_kib": 433500}
{"file": "rgb16-40mp.png", "transparency": false, "input_sha256": "f8082d24114c279ab0f9cab2a743e87147a322b7ad50eb402e689640b0761501", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 433500}
exit_code: 0 elapsed_seconds: 2.774
@@ -0,0 +1,42 @@
import hashlib
import json
import resource
import traceback
import gc
import struct
from pathlib import Path
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
import messenger.worker
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
def without_trns(data):
result = data[:8]
offset = 8
while offset < len(data):
size = struct.unpack('>I', data[offset:offset + 4])[0] + 12
if data[offset + 4:offset + 8] != b'tRNS':
result += data[offset:offset + size]
offset += size
return result
def probe(path, data, transparency):
row = {'file': path.name, 'transparency': transparency, 'input_sha256': hashlib.sha256(data).hexdigest(), 'limit_bytes': 448 << 20}
try:
row['variants'] = [r.name for r in render_variants(data, RenderLimits(10485760, 40000000))]
row['result'] = 'ready'
except Exception as error:
row['error_type'] = type(error).__name__
row['frames'] = [{'function': f.name, 'file': Path(f.filename).name, 'line': f.lineno} for f in traceback.extract_tb(error.__traceback__)]
row['max_rss_kib'] = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
print(json.dumps(row), flush=True)
for path in sorted(Path('/tmp/validation-fixtures').glob('*.png')):
data = path.read_bytes()
probe(path, data, True)
gc.collect()
probe(path, without_trns(data), False)
gc.collect()
@@ -0,0 +1,12 @@
date: 2026-11-06T21:26:40Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ python3 evidence/final-validation-2026-11-07/invoke-probe.py resource-probe-worker.py
{"file": "gray16-40mp.png", "transparency": true, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 124}, {"function": "point", "file": "Image.py", "line": 2038}], "max_rss_kib": 426640}
{"file": "gray16-40mp.png", "transparency": false, "input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 124}, {"function": "point", "file": "Image.py", "line": 2038}], "max_rss_kib": 426640}
{"file": "gray2-40mp.png", "transparency": true, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 128}, {"function": "new", "file": "Image.py", "line": 3254}], "max_rss_kib": 426640}
{"file": "gray2-40mp.png", "transparency": false, "input_sha256": "05c65f9a86b01f05b914b6f3f15fcfaf93b2ee4383bef3c3a60c19df1f5b5135", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
{"file": "gray4-40mp.png", "transparency": true, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 128}, {"function": "new", "file": "Image.py", "line": 3254}], "max_rss_kib": 426640}
{"file": "gray4-40mp.png", "transparency": false, "input_sha256": "ff963c27cc6fdff1757fc9fa135b7b24ec2af67e042582024ebb88f2066ffaf5", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
{"file": "rgb16-40mp.png", "transparency": true, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 154}, {"function": "apply_png_transparency", "file": "images.py", "line": 111}, {"function": "rgb_mask", "file": "images.py", "line": 95}, {"function": "getchannel", "file": "Image.py", "line": 2814}, {"function": "load", "file": "ImageFile.py", "line": 370}, {"function": "load_prepare", "file": "PngImagePlugin.py", "line": 1010}, {"function": "load_prepare", "file": "ImageFile.py", "line": 451}], "max_rss_kib": 426640}
{"file": "rgb16-40mp.png", "transparency": false, "input_sha256": "f8082d24114c279ab0f9cab2a743e87147a322b7ad50eb402e689640b0761501", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
exit_code: 0 elapsed_seconds: 2.418
@@ -0,0 +1,40 @@
import hashlib
import json
import resource
import traceback
import gc
import struct
from pathlib import Path
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
def without_trns(data):
result = data[:8]
offset = 8
while offset < len(data):
size = struct.unpack('>I', data[offset:offset + 4])[0] + 12
if data[offset + 4:offset + 8] != b'tRNS':
result += data[offset:offset + size]
offset += size
return result
def probe(path, data, transparency):
row = {'file': path.name, 'transparency': transparency, 'input_sha256': hashlib.sha256(data).hexdigest(), 'limit_bytes': 448 << 20}
try:
row['variants'] = [r.name for r in render_variants(data, RenderLimits(10485760, 40000000))]
row['result'] = 'ready'
except Exception as error:
row['error_type'] = type(error).__name__
row['frames'] = [{'function': f.name, 'file': Path(f.filename).name, 'line': f.lineno} for f in traceback.extract_tb(error.__traceback__)]
row['max_rss_kib'] = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
print(json.dumps(row), flush=True)
for path in sorted(Path('/tmp/validation-fixtures').glob('*.png')):
data = path.read_bytes()
probe(path, data, True)
gc.collect()
probe(path, without_trns(data), False)
gc.collect()
@@ -0,0 +1,5 @@
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker compose exec -T worker python /tmp/resource-probe.py
python: can't open file '/tmp/resource-probe.py': [Errno 2] No such file or directory
exit_code: 2 elapsed_seconds: 0.107
@@ -0,0 +1,8 @@
date: 2026-11-06T21:27:03Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
mtusi2026lab5_broker-data
mtusi2026lab5_pgdata
mtusi2026lab5_s3data
mtusi2026lab5_valkeydata
exit_code: 0 elapsed_seconds: 0.017
@@ -0,0 +1,4 @@
date: 2026-11-06T21:27:03Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
$ docker ps --format '{{.Names}} {{.Status}}'
exit_code: 0 elapsed_seconds: 0.018
@@ -0,0 +1,167 @@
[
{
"name": "/mtusi2026lab5-api-1",
"id": "fc7d65385119449e1e81f5158ddcb2970a4d15a8f0dcc592b7f4cc5d975b4a94",
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-relay-1",
"id": "4153c8488753a4557fdd65b30243cfe772d1d0cc89abfd443a7f92de2f62d183",
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
"limits": {
"Memory": 201326592,
"NanoCpus": 500000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-api-2",
"id": "a5411e55f06d7b51a6570392751f230afb401748d8da638d2e374d30d70efbe5",
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-worker-1",
"id": "ee8f9d678c2c7e910adef08271f9327710a82050e22358b802a3fa5c207f4453",
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
"limits": {
"Memory": 1073741824,
"NanoCpus": 2000000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-migrate-1",
"id": "feca425ac0ae5529007e3cb975c873bef4f882ad5aa71abdb1e198397f403e50",
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
"limits": {
"Memory": 268435456,
"NanoCpus": 500000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-s3-init-1",
"id": "e5825f3eeafb6c2412d36cde84cfdbf2d69ff02649403e5978557239f854c36c",
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
"limits": {
"Memory": 67108864,
"NanoCpus": 500000000,
"PortBindings": {}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-broker-1",
"id": "a38bbcf038702b1a8063120379ca2341868f0982f70d62f3113046aab641d209",
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {
"15672/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "25086"
}
]
}
},
"mounts": [
{
"name": "mtusi2026lab5_broker-data",
"type": "volume",
"destination": "/var/lib/rabbitmq"
}
]
},
{
"name": "/mtusi2026lab5-postgres-1",
"id": "9f62ea9d176b033a9a2218fe15bda597484114af3dc26bc7fdc576b4094d79bd",
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
"limits": {
"Memory": 1073741824,
"NanoCpus": 2000000000,
"PortBindings": {}
},
"mounts": [
{
"name": "mtusi2026lab5_pgdata",
"type": "volume",
"destination": "/var/lib/postgresql/data"
}
]
},
{
"name": "/mtusi2026lab5-lb-1",
"id": "f0d01200b1f88a204c983e37cc078fcc08e54fda9151ca82a3630cd714b2d6f9",
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
"limits": {
"Memory": 134217728,
"NanoCpus": 1000000000,
"PortBindings": {
"8080/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "18085"
}
],
"8404/tcp": [
{
"HostIp": "127.0.0.1",
"HostPort": "25085"
}
]
}
},
"mounts": []
},
{
"name": "/mtusi2026lab5-s3-1",
"id": "9a7684ef147aace715f79446f6e490b40df0c105f1f4d529f5aef9270540aedb",
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
"limits": {
"Memory": 536870912,
"NanoCpus": 1000000000,
"PortBindings": {}
},
"mounts": [
{
"name": "mtusi2026lab5_s3data",
"type": "volume",
"destination": "/data"
}
]
},
{
"name": "/mtusi2026lab5-valkey-1",
"id": "e37f783f9d5014b4f9d96260df10abf1faa26d6373fb6b2487f15340715e9a64",
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
"limits": {
"Memory": 134217728,
"NanoCpus": 500000000,
"PortBindings": {}
},
"mounts": [
{
"name": "mtusi2026lab5_valkeydata",
"type": "volume",
"destination": "/data"
}
]
}
]
@@ -0,0 +1,46 @@
import json
import re
import subprocess
from pathlib import Path
ROOT = Path.cwd()
files = set(subprocess.check_output(['git', 'ls-files', '-z']).decode().split('\0')) - {''}
files.update(str(p) for p in Path('evidence/final-validation-2026-11-07').rglob('*') if p.is_file())
patterns = {
'private_key': r'-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----',
'github_token': r'\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b',
'openai_token': r'\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b',
'aws_key': r'\b(?:AKIA|ASIA)[A-Z0-9]{16}\b',
'telegram_token': r'\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b',
'bearer_literal': r'Bearer [A-Za-z0-9_-]{24,}',
'credential_url': r'\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@',
'secret_literal': r'''["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']''',
}
allow = {
('contracts/examples.json', 5, 'secret_literal'): 'unchanged skeleton example placeholder',
('contracts/openapi.json', 3096, 'secret_literal'): 'unchanged skeleton example placeholder',
('examples/requests.http', 20, 'secret_literal'): 'unchanged skeleton example placeholder',
('scripts/broker-secrets.sh', 17, 'credential_url'): 'printf format; no credential literal',
('student-tests/api/test_operability.py', 131, 'credential_url'): 'synthetic unavailable endpoint u:p',
('student-tests/api/test_operability.py', 143, 'credential_url'): 'synthetic unavailable endpoint u:p',
('student-tests/conftest.py', 141, 'credential_url'): 'ephemeral test database literal',
}
findings = []
for name in sorted(files):
if re.search(r'(^|/)(?:\.env|secrets|volumes)(?:/|$)', name):
findings.append({'file': name, 'rule': 'forbidden_path'})
try:
text = Path(name).read_text()
except (UnicodeDecodeError, OSError):
continue
for rule, pattern in patterns.items():
for match in re.finditer(pattern, text):
line = text.count('\n', 0, match.start()) + 1
item = {'file': name, 'line': line, 'rule': rule}
if (name, line, rule) in allow:
item['reviewed_non_secret'] = allow[name, line, rule]
findings.append(item)
report = {'files_scanned': len(files), 'patterns': list(patterns), 'candidates': findings, 'unresolved': sum('reviewed_non_secret' not in f for f in findings)}
Path('evidence/final-validation-2026-11-07/secret-scan.json').write_text(json.dumps(report, indent=2) + '\n')
print(json.dumps(report, indent=2))
raise SystemExit(bool(report['unresolved']))

Some files were not shown because too many files have changed in this diff Show More