面向检索增强生成与智能体开发者的可照抄HowTo:四段正文对应依赖、令牌、代码、巡检;对齐发行说明子代理语义。内链:工作流成本矩阵、管道检索熔断、工具模式重试。
痛点 · 矩阵 · 依赖 · 令牌 · 代码 · 巡检 · 可引用
痛点速览
工具不同步注册表与网关列表漂移致未评审副作用。超时耦合生成与检索共墙钟放大抖动。缺信封远程批跑难判网关或检索。
职责矩阵
| 项 | 网关 | 应用 |
|---|---|---|
| 白名单 | 最小令牌回环暴露模式失败短路 | 工具名与网关逐项映射禁私自扩表 |
| 熔断 | 租户限流可选 | 检索短墙钟半开冷却空上下文回灌 |
| 摘要 | 追踪标识脱敏字段 | 回调写阶段组件截断提示 |
依赖与目录布局
虚拟环境锁查询引擎与向量版本,与推理栈分目录。专用系统用户下分只读语料、可写索引缓存、划痕临时;密钥进环境或钥匙串勿入库。向量与查询热路径分卷减抢带宽;令牌文件权限仅属主,守护启动前自检磁盘与权限位。
网关令牌与出站限制
仪表盘发最小范围令牌,工具名与引擎注册表对齐;若开子代理令牌绑泳道防串额度。网关绑本机回环,健康检查不公网裸奔。出站默认拒再白名单本机向量、对象存储固定域、已批模型端点;变更双人签入版本表。请求头统一追踪标识便对日志。
QueryEngine 接入代码级步骤
一大模型基址指回环兼容前缀,令牌走环境勿写镜像。二检索墙钟短于生成墙钟,同哈希配置可回滚。三每工具模式草案七与网关一致,校验失败短路无写。四异步包检索,超时则灌空节点标无命中防幻觉引用。五出口回调写阶段组件状态码相关号百字提示入失败信封联日志不落原文。
# 占位
retrieval_timeout_ms = 4200
llm_timeout_ms = 28000日志与 doctor 巡检
日志含租户、追踪、工具名、检索分桶、熔断半开位;字段对齐开放遥测生成式语义便于财务与可靠性共切片。发版后跑医生子命令核对版本、配置哈希、监听端口与证书余量,对照定时探针曲线识别半残进程与磁盘阈值。误杀增多时按分片或租户调墙钟,用工单信封里的阶段字段快速归因。定价页、购买页、帮助中心与博客索引均可免登录打开。
可引用检查条
- 检索墙钟远短于生成墙钟,分桶服务等级互不稀释。
- 白名单模式与镜像同源发布一次回滚全链路。
- 信封字段固定禁热路径自由堆栈防泄露。
转化小结:查询引擎加网关白名单须常驻远程节点浸泡熔断与摘要曲线;笔记本合盖不宜长跑签核。