驗證教育

OOS 驗證能告訴你甚麼,又不能告訴你甚麼。

把用來選擇模型的資料,與未參與選擇的驗證證據清楚分開。

01

最基本的分隔

研究資料可用來形成假設及選定固定規格;OOS 資料會分開保存,直到規格凍結後才使用。

若看完 OOS 結果後反覆修改模型,原本保留的資料便成為另一組選擇資料,不再是乾淨的 OOS。

02

乾淨 OOS 所需條件

評估前先凍結邏輯、參數、Session 規則、成本假設、資料期間及 source hashes。

  • 執行前保存研究 protocol。
  • 使用未參與模型選擇的資料。
  • 保留失敗結果,不以新規格悄悄取代。
03

仍需 Forward Validation 的原因

歷史資料分隔無法測試即時 Alert delivery、feed 行為及營運處理;凍結後的 Paper Forward 可補充這些邊界證據。

Pine、參數、資料源或 Alert 有實質改動時,觀察必須重啟,因為受驗證的對象已經改變。

04

Ainstein 如何使用結果

網站只公開 Current Version 與 Health Status;詳細驗證結果、參數及版本決策維持非公開。

必要 Gate 未完成或仍有 mismatch 時,產品保持 Under Review;這個狀態不是績效預測。