重點在語意對齊、成本欄位化、長跑環境穩定;對齊共識屬性、寫清權杖與費率,並把試跑放到獨立遠端節點,觀測才站得住腳。📊
多供應商模型與代理編排並行時,常見斷點是語意稀疏、成本對不上帳、本機試跑跑偏。下文給決策矩陣、可執行欄位與採樣區間,外加徹夜驗收清單。編排驗收見《checkpoint 與沙箱》;推理預算見《本機推理矩陣》;主題索引見部落格列表。
痛點
其一把生成呼叫記成一般遠端請求,儀表板聚不起權杖與結束理由。其二帳單按權杖計費,追蹤卻缺租戶與模型維度。其三筆電休眠與背景多工讓尾延遲與匯出節流失真,需要固定節點長跑。
決策矩陣
| 問題 | 先看什麼 | 作法 |
|---|---|---|
| 要不要全量追蹤? | 儲存預算、佇列深度、查詢延遲 | 生產用分層採樣:錯誤與高權杖永遠留,其餘機率收斂。 |
| 帳單怎對回追蹤? | 輸入輸出權杖、計費單位、費率版本 | 跨度寫整數欄位並與訂單主鍵對齊。 |
| 徹夜可不可靠? | 遺失率、重試、磁碟、時鐘 | 在遠端專機重放負載並勾清單。 |
建議埋點欄位與採樣區間
鍵名對應你採用的語意外掛即可,重點是維度齊、型別穩。
服務 環境 區域 租戶
操作類型 供應商 模型 結束理由
輸入權杖 輸出權杖 總權杖 計費單位
提示雜湊 完成雜湊 快取命中 費率版本
關聯鍵 父跨度 執行緒採樣率建議區間(機率):
- 本機除錯:0.7–1.0,縮短匯出批次以便即時看圖。
- 預發佈/壓測:0.2–0.5,並對高權杖與錯誤強制保留。
- 生產:0.02–0.1;儲存吃緊時降到 0.01–0.05,儀表改看聚合。
- 批次嵌入/索引:0.05–0.2,每批附資料集識別與重試次數。
落地步驟(遠端 Mac)
一寫死資源屬性:服務、環境、區域、租戶。二建立關聯鍵貫穿編排、工具與向量管線。三模型跨度寫語意屬性與權杖計數,原文改長度與雜湊。四欄位化成本並可選每日聚合降基數。五分層採樣加收集器節流後,在遠端節點徹夜試跑對清單。
長跑驗收清單
- 遺失率與收集器重試日誌互相印證。
- 高權杖可下鑽租戶與模型並對帳單抽樣。
- 時鐘與時區正確,跨日報表不斷裂。
- 磁碟輪替不靜默丟棄,告警演練有紀錄。
- 採樣策略變更有版本註記可比對。
常見問答
問:隱私? 答:預設只記長度、雜湊、模板與資料集版本;取樣原文須限租戶、縮保留並做稽核。
問:採樣設多少? 答:看儲存與查詢延遲回饋;生產多在百分之一到十分之一,錯誤與高權杖優先留。
問:為何遠端 Mac? 答:獨立電源與網路、長時程磁碟,曲線近準生產;筆電休眠與多工易讓尾延遲失真。