2020年2月2日 星期日

MAE/MFE 佐 AI 的推薦方向:強化學習

週六我參加一個聚會,被一些前輩問到對 AI 在金融交易方面的看法

這個主題要我講,我大概可以講好幾天,但我反而在思考另外一件事

我是不是可以分享一些東西,給可能想往這方面做的人參考

有一些閱讀我部落格的人,大概或多或少曾經聽過我提過相關的概念

我想說就把它寫成文章 ,也方便回收再利用


  
MAE / MFE 如何加上這波 AI 人工智慧?



如果要我長話短說的話,我推薦大家可以考慮使用

強化學習(Reinforcement learning 搭建交易策略


強化學習的理論,相較於一般現在當紅的其他 AI 技術

更多的著重於「行為面」的學習與成長


簡單理解的話,你可以想像他是一種學習理論,

它的基礎是考慮在一個「狀態」底下採取一種「動作

根據在該狀態與採取的動作下,根據得到的獎懲來學習




在 MAE/MFE最大幅度分析中,正巧有一個很好的對應

在一種「交易狀態」上面,採取一種「交易動作

而交易狀態正好可以用 MAE/MFE 來轉化表示



而對應的交易動作,就可以是設定 SL/TP 或是延遲進場

或是決定加減碼,我底下可以講一個例子




在強化學習中,有一個方法叫做 Q 學習(Q Learning)

這個 Q 學習,考慮了一個叫做 Q 表的表格:


這個表格 ,可以分成列與行,分別對應的位置就是

在什麼樣的「狀態」底下,採取什麼樣的「動作」的評分表

 所以 Q 學習,就是透過學習來更新這張 Q 表



當我有這張表格之後,我就可以這樣來使用:

假設我們處在在一個特定狀態,要決定採取什麼行動

那這相當於是問,在 Q 表 中特定一行中 (藍色表示)



我要如何根據這個評分表來做選擇,選 A1 還是 A2 ?

如果選擇最佳的選擇,那應該是選 A2 

因為 在過去學習經驗中,選擇這樣的動作評分最高


在交易上的使用,就可以考慮成在 MAE 如何分布的情況中

我可能要採取的「掛單動作」,例如 停損(Stop Loss)

要選擇一倍的 ATR ?還是 2 倍的 ATR?還是 4 倍的 ATR?



我們就可以特過設計這樣的 Q 表

讓我們的交易在回測中,不斷的學習和累積 Q 表

這個 Q 表,就是我在過去系列影片中強調的

你能沉澱出對你的交易策略所累積的【知識和見解】


 而你從不同的狀態,不同的動作中會累積出一堆 Q 表

一個個的 Q 表之間,是否有什麼相關聯繫呢?

如果你把 Q 表看成高中數學講到的矩陣

你還可以得到兩個矩陣之間的 轉移矩陣 (不一定要方陣)



 
搞不好你就會發現你的策略在  MAE/MFE 之間存在特殊關係

而且這個關係是遠遠超出我影片中講到的分布關係!



所以我在過去 MAE/MFE 系列影片中講的一些 基本通則

你可以在完全沒有我的知識前提下,透過 Q 表發現一樣的道理

甚至可能可以找到我通則沒有講到的更關鍵之處!

希望能讓你感覺到一些有趣的地方,但也是一個十足挑戰喔!

沒有留言:

張貼留言