フォワードテストと再現性指数

◆前回の続き

システムのパラメータＮに対する総利益や総利益／最大DDの分布が提示され、
さてでは最適なパラメータ値はどれか？というところまでお話ししました。

前回の記事は→最適パラメータを選択することは意外に難しい

前回使用したグラフの中で図２を再掲しておきます。

　　（横軸はパラメータＮ、縦軸は総利益）


※画像が表示されない場合は何度かリロードしてみてください。


前回申し上げていませんでしたが、
この分布図は1999年１月～2009年６月までのバックテストを行って出てきたものです。
この時点ではＮ＝４、６、１２、１３といったあたりが最適候補でした。



◆フォワードテストでは最適候補が苦戦

フォワードテストとして、2009年７月～直近までのデータを使い、
パラメータＮ＝１～９０に対する総利益の分布を見てみましょう。

　　（横軸はパラメータＮ、縦軸は総利益）


最大値はＮ＝３２のときの4157pipsで、次点はＮ＝１のときの3912pipsです。
Ｎ＝４、６、１２、１３といった最適候補はフォワードテストにおいて上位１０％にも入ってきません。



2009年以前と以降のＮの値に対する総利益を個別に書き出すと、

Ｎ＝４　 12219pips（以前）→ 1549pips（以降）
Ｎ＝６ 9335pips（以前）→ 2556pips（以降）　フォワードテスト10位
Ｎ＝１２ 9466pips（以前）→ 1229pips（以降）
Ｎ＝１３ 10026pips（以前）→ 1633pips（以降）

となっています。

バックテスト期間は１２６ヶ月、フォワードテスト期間は２４ヶ月ですので
月平均の利益に直すと、

Ｎ＝４　 97.0pips（以前）→ 64.5pips（以降）
Ｎ＝６ 74.1pips（以前）→ 106.5pips（以降）
Ｎ＝１２ 75.1pips（以前）→ 51.2pips（以降）
Ｎ＝１３ 79.6pips（以前）→ 68.0pips（以降）

となります。

バックテスト時には最適パラメータの最有力であったＮ＝４は、
フォワードテスト期間の平均月間利益がバックテスト時に比べ劣化している
ことがわかります。

一方、Ｎ＝６は唯一平均月間利益が良化しているパラメータです。

バックテストで最有力だったＮ＝４の平均利益は減少し、
代わりにフォワードテストで最上位に進出してきたパラメータＮ＝３２は
バックテスト時の総利益は上から３２番目の平凡な成績でした。
さらに次点のＮ＝１は６８番目と悪い方の属しています。


◆全パラメータのパフォーマンス推移を追いかける

これまで述べたようにフォワードテストの結果は
一見バラバラな傾向で、その目的を達成できていないように見えます。


しかし、それぞれのパラメータでのバックテスト、フォワードテストでの総利益をプロットすると以下のような図になります。


　　（横軸はバックテストの総利益、縦軸はフォワードテストの総利益）


個別のパラメータだけ追っても傾向がつかませんでしたが、
こうして全体をまとめて見てみると、バックテストの総利益とフォワードテストの総利益には一定レベルの相関があることがわかります。


従来、再現性というと、１つのパラメータ値による良いバックテスト結果が将来も再現されるかどうかを問題にしています。
これに対し、全パラメータ値の再現性（良いパラメータは良い結果に、悪いパラメータは悪い結果にという）を調べてみたのが新たな試みと言えます。

パラメータを選択してそれが将来良い成績を収めるかどうかを気にするのであれば、
同時に、選択しなかったものも将来きちんと悪い成績であるかどうかも気にするべきだと考えたのです。

そうなると１つのパラメータ値のみを追いかけるのではなく、
全パラメータ値を追いかけてみる必要があるのです。

私は上図に出てきたR2乗値を再現性指数と呼ぶことにしました。
再現性指数は０～１の間の値で、１に近いほど再現性の高いシステムであることを意味します。
言い換えると、１に近いほど将来の利益がそれまでのバックテストの利益の大小で予測可能だということです。


※１
R2乗は0.21で、この数値は再現性が高いのか低いのかという議論は残されています。
比較実験として「終値とＮ日間の移動平均のクロス売買」で同様の解析を行ったところR2乗は0.04と著しく小さい値となりました。

※２
全くの直観ですが、R2乗が0.50以上のものは相当すごいと思います。
今回の0.21も悪くない数字だと思いますが、今後さらに他の事例を増やして調査してみます。

※３
バックテストの全体の成績が芳しくないものは、再現性が高くてもダメです。
「安定して良くない」成績を出し続けるシステムだからです。

※４
総利益ではなく、（総利益／最大DD）でも同様に再現性指数を調べてみました。
R2乗は0.13となり総利益よりも小さな結果でした。


以上のことから、最適化の目的指標を総利益と定めてみます。


◆最適パラメータの選択

一般に、フォワードテストを行った後で我々に用意されている道筋は
以下のようなものがあります。


１）バックテスト時に最適候補パラメータを１つに絞り、
それがフォワードテストでも傾向どおりのパフォーマンスを維持しているかどうかをチェックする。もしダメなら、その戦略自体を諦める。

２）バックテスト時に最適候補パラメータをいくつか用意し、
その中でフォワードテストをパスするものを選択する。
テストをパスしたものが複数ある場合は、
２－１）フォワードテストの成績最上位のパラメータを選択。
２－２）バックテストの成績上位のパラメータを選択。
２－３）「バックテスト＋フォワードテスト」合計の成績上位のパラメータを選択。


今回は再現性指数という概念を盾として２－３）の道を選択してみます。
基本的に２）のように将来パラメータの変更を考慮に入れている場合は、
個別ではなくパラメータ全体のパフォーマンスを調べる必要があると考えています。


さて、「バックテスト＋フォワードテスト」合計で考えたとき、
総利益の大きいＮ＝４、６、１３が最適候補として挙げられます。

１つだけとなると利益が最大となるＮ＝４が最適パラメータです。
フォワードテストでは期待ほど良い成績ではありませんでしたが、
依然総利益については最上位のパラメータですのでその再現性にかけるというのが良いと判断しました。

あるいはＮ＝４、６、１３の３つに分散して運用してもおもしろいかもしれません。
（本当にリスク分散になっているか相関をチェックする必要はありますが）

この辺の運用スタイルにはある程度自由度をもたせても問題ないでしょう。


以上長くなってしまいましたが、

１．バックテストを行う
２．パラメータによってパフォーマンスのばらつきがないことを確認
３．最適候補をいくつか選ぶ
４．フォワードテストを行う
５．バックテスト－フォワードテスト間で全パラメータの再現性を確認
６．どの指標を最適化するかを決める
７．最適パラメータを決める

という一連の手順を紹介しました。

今回の手順は、まだまだ試行段階ですのでいろいろツッコミどころもあるかと思います。ご了承ください。


◆追伸（７月１１日）

ahahaさんとY102さんが別ブログで議論してますので
そちらも参考にしてみてください。

http://blog.livedoor.jp/y_102/archives/3368672.html

私自身も勉強になりました。


　【FX システムトレード派はこちら】