研究控制
為何看完 OOS 再調參會使原測試失效。
只要 OOS 結果導致程式碼、參數或資格規則改變，該期間便已參與選擇。修訂模型可以重新測試，但原期間不再是它的獨立證據。
開始前先確認
學習目標
- 能夠解釋：回饋會改變資料角色
- 能夠解釋：改名不會重設證據
- 能夠解釋：失敗後應如何處理
回饋會改變資料角色
假設門檻 20 在 holdout 失敗，研究者因看見損失而改成 24。即使 24 現在通過，holdout 已協助挑選它，因此成為研究資料。
改名不會重設證據
建立版本 1.1 或移動日期邊界，不會令同一批觀察重新變成未見資料。獨立性取決於資訊流，而不是檔案名稱。
失敗後應如何處理
保存失敗、寫下修訂原因，再建立新候選。
- 不要覆寫失敗 protocol
- 使用真正較後或未被接觸的證據
- 限制研究重啟次數
- 把測試綁定 artifact 與 source hash
常見錯誤
- 只看結果，忽略文章列明的適用範圍與假設。
- 看完結果後才修改規則，卻仍把原資料稱為未見證據。
Trader Checklist
- 不要覆寫失敗 protocol
- 使用真正較後或未被接觸的證據
- 限制研究重啟次數
- 把測試綁定 artifact 與 source hash
實作練習
選擇一個自己的交易例子，按「為何看完 OOS 再調參會使原測試失效。」列明的原則寫下一頁規則、證據與停止條件。
甚麼證據會推翻結論
若關鍵假設在支援範圍內無法重現、控制在實際執行中不可行，或新的樣本外證據與結論持續相反，便應推翻或收窄本文結論。