远程多模型编排时观测代理应叠在网关之后：先鉴权与白名单再出站，路由、预算熔断与失败信封才不旁路。💻🚀

内链：代理路由、多模型成本、失败摘要、可观测。

叠放 · 对齐表 · 步骤 · 模型表 · 排错 · 问答 · 转化

痛点：① 各层模型别名不一致预检过网关拒；② 观测与供应密钥混仓难轮换；③ 无本地熔断套接字堆满。

为何观测在网关后

统一内存并行多图宜单回环端口收口；首跳写会话与关联号，第二跳再加观测头，授权与项目键才能分拆。

路由对齐矩阵

层级 负责 对齐对象
网关别名对外稳定名请求体模型字段全链一致
观测转发项目键与会话属性上游允许集合与授权
预算熔断每分请求令牌连续错短节流体非长挂

落地步骤（官方二零二六点五）

一 按入门文档装二零二六点五线：满足运行时、医生巡检、回环守护可写日志。

二 出站改观测兼容前缀；上游授权头保留，另挂项目鉴权头，勿把网关会话当供应密钥。

三 编排与脚本只打本机回环，第二跳才加观测头，禁直出公网。

四 网关会话、观测项目、供应密钥分文件只读，轮换单仓。

五 网关钩或技能前维护滚动窗，越阈半开，信封含路由、冷却毫秒、可重试。

六 失败映射单 schema，剥系统提示与原文，回调对齐《失败摘要》稿。

七 远程机并行多权重压测看内存与套接字，对照《多模型成本》。

八 改路由归档医生输出与成败样例各一条。

模型列表与客户端预检

兼容栈首调常拉模型表；须用生产同基址头令牌路径探针，清单标识全在数组。网关重写路径时回环与观测链各探一次求差。

若软件开发包自动补全斜杠前缀，核对勿与观测基址双写造成重复段；同一环境变量贯穿命令行与技能以免有人走捷径绕过预检。

curl -sS "https://oai.hconeai.com/v1/models" \ -H "Authorization: Bearer ${PROVIDER_API_KEY}" \ -H "Helicone-Auth: Bearer ${HELICONE_API_KEY}" | jq '.data[].id'

排错

  • 经观测未授权：缺项目头或未写入出站模板。
  • 模型失踪：先 diff 模型表再看《代理路由》别名。
  • 熔断抖：降盲重试以免计数不冷却。

常见问题

观测代熔断？否；大盘看账，本地护套接字与算力。

缓存模型表？迁移缩缓存、升配置版、网关改后重探。

开发跳过观测？可另端口但模型字须与产一致。

笔记本能否代替远程机？合盖睡眠与索引抢占会令熔断基线失真；专用小型机温控稳才适合对外承诺多模型并行。

转化（免登录）

通宵浸泡多模型负载见首页、定价、购买与帮助皆免登录；专用远程机基线才可对外签字。

可引用：三处逐字对齐；三仓密钥；同链模型探针；滚动熔断短信封。