把 DSPy 当作提示程序的编译器，而不是受治理评测的替代品。下表区分「优化什么、冻结什么、哪些门禁指标挡发布」，以及为何要在专用远程 Apple Silicon 上复跑——笔记本常掩盖租金与尾延迟。
目录：典型翻车点 · 决策矩阵 · 评测流程 · 资源阈值 · 远程成本清单 · FAQ
字段命名与 Token 计量建议对齐 OpenTelemetry GenAI 可观测矩阵；批大小与分词假设对照 MLX-LM 与 Transformers 验收笔记；评测集含检索+生成时复用 本地 RAG 分块与向量配额矩阵 的数据卫生约定。
典型翻车点
1. 优化器过拟合。开发集上编译漂亮，一上冻结离线集主指标崩塌。
2. 硬件剧场。单次笔记本跑数混 GUI 争用、温控与随手批大小，吞吐不可跨日复现。
3. 经济盲区。目录价不谈机时、空闲 GPU 分钟与约束违例返工，财务无法背书上线。
决策矩阵：产物、职责与门禁
| 产物 | 职责 | 典型门禁 |
|---|---|---|
| 签名 + teleprompter | 结构化提示程序，输入输出类型明确。 | 离线集上 JSON 模式合法率 ≥ 99% 方准合并。 |
| 编译或引导运行 | 有界轮次的教师辅助搜索。 | 优化器轮次封顶；轨迹中无预算 ID 不得调用教师。 |
| 留出 JSONL 评测 | 带清单哈希的版本化基准。 | 主指标相对上一绿线基线波动 ≤ ±1.5%，除非产品书面放行。 |
| 约束套件 | PII、毒性或工具滥用等策略检查。 | 零容忍项维持 0；软限制违例率 < 0.5%。 |
| 远程浸泡报告 | 在专用 Mac 节点上重复评测作业。 | p95 端到端低于门禁；机时与 Token 可对账。 |
周会自上而下过表：先确认签名冻结与清单哈希，再读约束与延迟门禁。门禁失败时单张工单写清指标、切片与美元影响。
可执行评测流程
1. 冻结清单：每个划分旁公布 SHA256、行数与许可字段。
2. 代码化签名：提示与 few-shot 选择器进仓库，不进聊天截图。
3. 编译或引导：固定种子，优化器预算与财务口径对齐。
4. 本地 Metal：与拟发布量化档、上下文长度一致的离线套。
5. 产出单一 JSON：汇总、分片、最差样本便于排障。
6. 远程重放：相同作业在租用 Mac 上连续 ≥4 小时，记录稳定 p95 与空闲成本。
每次运行与 Git 标签一致归档，便于审计 diff 提示与数据集。
Apple Silicon 基线资源阈值
以下为 M4 级统一内存主机的起步护栏，按模型宽度压测后再收紧。
- 常驻模型占用：至少保留 18% 统一内存给系统、评测进程与分词缓存。
- 批并发：限制并行 worker，使合计预填 Token 低于稳态上限的 75%。
- 热设计：GPU 均值持续 >92% 且散热不畅满十分钟则暂停优化跑。
- 磁盘：每条大实验分支为权重、适配器缓存与报告预留 fast SSD 60 GB。
# 环境占位示例（密钥勿入 Git）
EVAL_SEED=20260420
OFFLINE_EVAL_MANIFEST_SHA256=${OFFLINE_EVAL_MANIFEST_SHA256}
DSPY_MAX_TEACHER_ROUNDS=${DSPY_MAX_TEACHER_ROUNDS}
DSPY_MAX_BOOTSTRAP_DEMOS=${DSPY_MAX_BOOTSTRAP_DEMOS}
QUALITY_REGRESSION_MAX_DELTA=${QUALITY_REGRESSION_MAX_DELTA}
CONSTRAINT_HARD_FAIL_RATE_MAX=${CONSTRAINT_HARD_FAIL_RATE_MAX}
P95_LATENCY_MS_MAX=${P95_LATENCY_MS_MAX}
REMOTE_SOAK_MIN_HOURS=${REMOTE_SOAK_MIN_HOURS}
REMOTE_NODE_HOURLY_USD=${REMOTE_NODE_HOURLY_USD}远程节点成本验收清单
- 小时租金、计划浸泡时长与空闲分钟与 API Token 支出并列。
- 芯片代际、内存与 macOS 大版本与生产演练计划一致。
- 产物上传的出口流量有估算与告警上限。
- 熔断与重试策略与离线套一致；禁止静默多打教师调用。
- 最终包含评测 JSON、清单哈希及对任何放宽指标的书面签字。
FAQ
PR 上都要跑 DSPy 编译吗？重编译别挡关键路径：PR 用冻结提示做快回归；优化任务放夜间或手动。
为何还要远程浸泡？睡眠与 IDE 争用扭曲队列；专用远程更接近长期在线作业。
质量升了但延迟闯门禁呢？挡发布或与产品/财务重议门禁；禁止在同一发布列车里悄悄放宽延迟预算。