驗證設計

OOS 驗證與 Walk-forward Optimization 有何不同。

單次 OOS 只評估一個凍結規格;Walk-forward 則在多個時間窗口重複選擇與評估。兩者回答不同問題,不能只當作兩個可互換名稱。

發布
更新
版本
2.0
階段
validate
程度
中階
閱讀時間
7 分鐘
適用範圍
按時間排序的模型評估
PATH

開始前先確認

學習目標

  • 能夠解釋:一個 Holdout,一次決策
  • 能夠解釋:重複窗口
  • 能夠解釋:資料洩漏從哪裡進入
01

一個 Holdout,一次決策

傳統 OOS 保留最後一段資料,凍結候選規格後只評估一次。它容易審核,但只提供一條市場路徑。

02

重複窗口

Walk-forward 可用一月至三月選擇、四月測試,再用二月至四月選擇、五月測試。合併結果描述的是可重複選擇流程,而非永遠固定的一組參數。

03

資料洩漏從哪裡進入

若比較最終結果後才挑選窗口長度、目標或限制,測試資訊便倒流到設計。

  • 保持時間次序
  • 測試前記錄窗口規則
  • 一個 release candidate 使用最終 holdout
  • 不要按最終曲線挑工作流程
CHECK

常見錯誤

  • 只看結果,忽略文章列明的適用範圍與假設。
  • 看完結果後才修改規則,卻仍把原資料稱為未見證據。
DO

Trader Checklist

  • 保持時間次序
  • 測試前記錄窗口規則
  • 一個 release candidate 使用最終 holdout
  • 不要按最終曲線挑工作流程
APPLY

實作練習

選擇一個自己的交易例子,按「OOS 驗證與 Walk-forward Optimization 有何不同。」列明的原則寫下一頁規則、證據與停止條件。

FALSIFY

甚麼證據會推翻結論

若關鍵假設在支援範圍內無法重現、控制在實際執行中不可行,或新的樣本外證據與結論持續相反,便應推翻或收窄本文結論。

SOURCES
NEXT