フォワードテストと再現性指数

• 1. システムの評価
• 2011 06/24 (Fri)

◆前回の続き

システムのパラメータＮに対する総利益や総利益／最大DDの分布が提示され、
さてでは最適なパラメータ値はどれか？というところまでお話ししました。

前回の記事は→最適パラメータを選択することは意外に難しい

前回使用したグラフの中で図２を再掲しておきます。

　　（横軸はパラメータＮ、縦軸は総利益）


※画像が表示されない場合は何度かリロードしてみてください。


前回申し上げていませんでしたが、
この分布図は1999年１月～2009年６月までのバックテストを行って出てきたものです。
この時点ではＮ＝４、６、１２、１３といったあたりが最適候補でした。



◆フォワードテストでは最適候補が苦戦

フォワードテストとして、2009年７月～直近までのデータを使い、
パラメータＮ＝１～９０に対する総利益の分布を見てみましょう。

　　（横軸はパラメータＮ、縦軸は総利益）


最大値はＮ＝３２のときの4157pipsで、次点はＮ＝１のときの3912pipsです。
Ｎ＝４、６、１２、１３といった最適候補はフォワードテストにおいて上位１０％にも入ってきません。



2009年以前と以降のＮの値に対する総利益を個別に書き出すと、

Ｎ＝４　 12219pips（以前）→ 1549pips（以降）
Ｎ＝６ 9335pips（以前）→ 2556pips（以降）　フォワードテスト10位
Ｎ＝１２ 9466pips（以前）→ 1229pips（以降）
Ｎ＝１３ 10026pips（以前）→ 1633pips（以降）

となっています。

バックテスト期間は１２６ヶ月、フォワードテスト期間は２４ヶ月ですので
月平均の利益に直すと、

Ｎ＝４　 97.0pips（以前）→ 64.5pips（以降）
Ｎ＝６ 74.1pips（以前）→ 106.5pips（以降）
Ｎ＝１２ 75.1pips（以前）→ 51.2pips（以降）
Ｎ＝１３ 79.6pips（以前）→ 68.0pips（以降）

となります。

バックテスト時には最適パラメータの最有力であったＮ＝４は、
フォワードテスト期間の平均月間利益がバックテスト時に比べ劣化している
ことがわかります。

一方、Ｎ＝６は唯一平均月間利益が良化しているパラメータです。

バックテストで最有力だったＮ＝４の平均利益は減少し、
代わりにフォワードテストで最上位に進出してきたパラメータＮ＝３２は
バックテスト時の総利益は上から３２番目の平凡な成績でした。
さらに次点のＮ＝１は６８番目と悪い方の属しています。


◆全パラメータのパフォーマンス推移を追いかける

これまで述べたようにフォワードテストの結果は
一見バラバラな傾向で、その目的を達成できていないように見えます。


しかし、それぞれのパラメータでのバックテスト、フォワードテストでの総利益をプロットすると以下のような図になります。


　　（横軸はバックテストの総利益、縦軸はフォワードテストの総利益）


個別のパラメータだけ追っても傾向がつかませんでしたが、
こうして全体をまとめて見てみると、バックテストの総利益とフォワードテストの総利益には一定レベルの相関があることがわかります。


従来、再現性というと、１つのパラメータ値による良いバックテスト結果が将来も再現されるかどうかを問題にしています。
これに対し、全パラメータ値の再現性（良いパラメータは良い結果に、悪いパラメータは悪い結果にという）を調べてみたのが新たな試みと言えます。

パラメータを選択してそれが将来良い成績を収めるかどうかを気にするのであれば、
同時に、選択しなかったものも将来きちんと悪い成績であるかどうかも気にするべきだと考えたのです。

そうなると１つのパラメータ値のみを追いかけるのではなく、
全パラメータ値を追いかけてみる必要があるのです。

私は上図に出てきたR2乗値を再現性指数と呼ぶことにしました。
再現性指数は０～１の間の値で、１に近いほど再現性の高いシステムであることを意味します。
言い換えると、１に近いほど将来の利益がそれまでのバックテストの利益の大小で予測可能だということです。


※１
R2乗は0.21で、この数値は再現性が高いのか低いのかという議論は残されています。
比較実験として「終値とＮ日間の移動平均のクロス売買」で同様の解析を行ったところR2乗は0.04と著しく小さい値となりました。

※２
全くの直観ですが、R2乗が0.50以上のものは相当すごいと思います。
今回の0.21も悪くない数字だと思いますが、今後さらに他の事例を増やして調査してみます。

※３
バックテストの全体の成績が芳しくないものは、再現性が高くてもダメです。
「安定して良くない」成績を出し続けるシステムだからです。

※４
総利益ではなく、（総利益／最大DD）でも同様に再現性指数を調べてみました。
R2乗は0.13となり総利益よりも小さな結果でした。


以上のことから、最適化の目的指標を総利益と定めてみます。


◆最適パラメータの選択

一般に、フォワードテストを行った後で我々に用意されている道筋は
以下のようなものがあります。


１）バックテスト時に最適候補パラメータを１つに絞り、
それがフォワードテストでも傾向どおりのパフォーマンスを維持しているかどうかをチェックする。もしダメなら、その戦略自体を諦める。

２）バックテスト時に最適候補パラメータをいくつか用意し、
その中でフォワードテストをパスするものを選択する。
テストをパスしたものが複数ある場合は、
２－１）フォワードテストの成績最上位のパラメータを選択。
２－２）バックテストの成績上位のパラメータを選択。
２－３）「バックテスト＋フォワードテスト」合計の成績上位のパラメータを選択。


今回は再現性指数という概念を盾として２－３）の道を選択してみます。
基本的に２）のように将来パラメータの変更を考慮に入れている場合は、
個別ではなくパラメータ全体のパフォーマンスを調べる必要があると考えています。


さて、「バックテスト＋フォワードテスト」合計で考えたとき、
総利益の大きいＮ＝４、６、１３が最適候補として挙げられます。

１つだけとなると利益が最大となるＮ＝４が最適パラメータです。
フォワードテストでは期待ほど良い成績ではありませんでしたが、
依然総利益については最上位のパラメータですのでその再現性にかけるというのが良いと判断しました。

あるいはＮ＝４、６、１３の３つに分散して運用してもおもしろいかもしれません。
（本当にリスク分散になっているか相関をチェックする必要はありますが）

この辺の運用スタイルにはある程度自由度をもたせても問題ないでしょう。


以上長くなってしまいましたが、

１．バックテストを行う
２．パラメータによってパフォーマンスのばらつきがないことを確認
３．最適候補をいくつか選ぶ
４．フォワードテストを行う
５．バックテスト－フォワードテスト間で全パラメータの再現性を確認
６．どの指標を最適化するかを決める
７．最適パラメータを決める

という一連の手順を紹介しました。

今回の手順は、まだまだ試行段階ですのでいろいろツッコミどころもあるかと思います。ご了承ください。


◆追伸（７月１１日）

ahahaさんとY102さんが別ブログで議論してますので
そちらも参考にしてみてください。

http://blog.livedoor.jp/y_102/archives/3368672.html

私自身も勉強になりました。


　【FX システムトレード派はこちら】

最適パラメータを選択することは意外に難しい

• 1. システムの評価
• 2011 06/21 (Tue)

バックテスト時のパフォーマンスが
システムのパラメータに対しどれくらいロバスト（堅牢）であるかを知ることは大切だと思います。

しかし例えばPF（プロフィットファクター）や累積利益が
パラメータの関数として書けるかどうか？
といったことについては現実的に微妙だと思いますし、
さらに言えば、えいやと決めた関数で本当に未来に最良パフォーマンス
が得られるパラメータを推定できるかどうかという点についても懐疑的です。


今回例として自作のシステムを用意しました。
このシステムはパラメータは観察日数を決めるＮの１つだけ。
いたってシンプルな売買ルールです。

Ｎは１～９０まで90通りのバックテストを行い、パフォーマンスのロバスト性を確認しました。

図１はＮに対するPFをグラフにしたものです。

　　　　　（横軸はパラメータＮ、縦軸はＰＦ）

PFの最小値はＮ＝１のときの1.11で、最大値はＮ＝４６のときの2.26でした。
PF90通りの平均値と標準偏差は1.65±0.21です。

90通り全てにおいてPFは１を超え、また1.5以上のものは69通り存在しました。

パラメータの数値がこれほどまでにパフォーマンスに影響を及ぼさないのは
すばらしく良い傾向だと思います。

優位性はほとんどシステムの原型、つまりアイデアの部分に存在しており、
パラメータの数値には依存しないということがわかります。


これなら適当に良さげな数値を選択して運用しても負けはしないでしょう。
しかし、いざ「最適な」値を選択しようとなると問題は別です。

上のグラフを見ると小さな山がいくつも存在するような形で、
どれが最適なパラメータなのかすぐに決められそうにありません。


図２はＮに対する累積利益をグラフにしたものです。

　　　（横軸はパラメータＮ、縦軸は累積利益）

こちらも小さな山がいくつもありますが
グラフの左サイドの山の方が頂点が高いことがわかります。
最大値はＮ＝４のときの12219pipsで、次点はＮ＝１３で10026pipsでした。


図３はＮに対する（累積利益÷最大DD）をグラフにしたものです。

　　　（横軸はパラメータＮ、縦軸は累積利益／最大DD）

（累積利益÷最大DD）が大きいと損益曲線もだいたいきれいな形となる場合が多く、
個人的には気に入っているパフォーマンス指標の１つです。

最大値はＮ＝４のとき10.3、次点はＮ＝６で9.3でした。


最後にＮに対するトレード数の変化を見てみましょう。

Ｎは日数で、短期の動きを見るとなると当然トレード数は多くなり、
長期の動きを見るとトレード数は少なくなります。

Ｎに対するトレード数をグラフにすると図４のように
非常に規則的な関係性がわかります。

　　　（横軸はパラメータＮ、縦軸はトレード数）

つまりこのパラメータはトレード数に影響を及ぼすものということがわかります。


以上、限られた情報ではありますが、
一応最適パラメータを選ぶための材料が提出されました。


さて、パラメータＮは一体どれを選んだらいいのでしょう？
どれが将来的に最も良いパフォーマンスをもたらしてくれるでしょう？

図２、３よりパフォーマンスの安定性と収益性のバランスを重視するなら
Ｎ＝４が最有力、あとはＮ＝６、１２、１３あたりが良さそうです。



次回へつづく・・・

神レシオ２０％は相当キツイ

• 1. システムの評価
• 2010 11/14 (Sun)

以前、くーちゃんさんからのコメントで「神レシオ」なる
トレーディングシステムのパフォーマンスを測る指標を紹介いただきました。

私はトレーディングシステムのパフォーマンスを図るのに「神レシオ」（私の命名です）をよく使います。
OP-CLで常に正しく当日の変化を言い当てる、勝率100％の「デイトレの神様」のこの期間の合計利益は約1100日で615円です。
「神レシオ」とは「神様の利益の何％が取れているか？」というものです。

大体の目安ですが、OP-CLのデイトレシステムでは
10％　システムとして使えません。
15％　まずまず。
20％　かなり優秀。
25％　超優秀。
30％　見たことありません

　

ちょっと調べてみたところ、
FX、特にドル円において、この神レシオ20％は相当高いハードルだと感じてます。

それどころか10％さえ、ままならないレベルです。


（１）Open-Closeのデイトレで毎日参戦型で、

損益曲線を

（累積利益）　＝　（傾き）×（経過日数）＋（切片）

に回帰させたときの

（２）R^2が0.95以上

この２つの条件の元で作ってみたドル円のシステムを例として出します。




このシステムは1999年から直近までにおよそ14,100pips（＝141円）を稼ぐシステムで、ドローダウンも小さくまずまずな印象です。

上記条件（２）のR^2についても0.97あるので安定性については合格点というところでしょうか。


一方、検証期間で勝率100％の神の累積利益は165,956pipsです。
つまりこのシステムの神レシオは

14100　÷　165956　＝　0.085

8.5％しかないことがわかります。


考えてみると、
ペイオフレシオ＝１で利益と損失が一定のとき
勝率55％のシステム（＝一般的には良いとされるシステム）でも神レシオ＝10％です。

同じくペイオフレシオ＝１で、勝率が60％あってようやく神レシオは20％。
Open-Closeのデイトレでこの数値を見ることはかなり稀だと思います。

※トレード数を少なくすれば可能ですが、
※そうすると今度は条件（２）を満たすことが難しくなります。


ドル円で神レシオの数値が20％もあると、まず検証ミスを疑うレベルなんですが・・・
FXと先物では少し話が違うのかもしれません。

ちなみに以前作った日経225先物システムの神レシオは14.9％でした。
FXでは、10～15％レベルを一応の目安にするのがいいのではないかと思います。

みなさんもご自分のシステムで試してみてください。

エクセルを使ってシステムの信頼度をチェックする方法

• 1. システムの評価
• 2009 07/12 (Sun)

今回はトレード損益の頻度分布が
（対数）正規分布で近似できる場合の話です。

例えばバックテストにおいて、

トレード数：Ｎ　２００
平均獲得pips：m　１０pips
獲得pipsの標準偏差：σ　８０pips

という結果があるとします。

さて、この結果が統計的に意味があるのかどうか調べてみましょう。

検証にはt検定を使用します。
やり方はエクセルさえあれば簡単で誰でもできます。

Ｔ　＝　SQRT(N－1）＊(m)　／　(σ)

を計算します。

いまN＝２００、m＝１０、σ＝８０ですから、

Ｔ　＝　SQRT(199)*10 / 80 ＝　1.763

となります。

と、ここまでは電卓さえあれば計算可能です。

ここからエクセルを使います。
関数「TINV」を使用し、

Ｔ１＝TINV(0.05,N-1）

を計算させます。

Ｔ１　＝　1.972

と出てきました。

さて、最初に計算したＴと後に計算したＴ１。
この２つを比べてます。

t検定において統計的に意味があるとされるレベルは
Ｔ＞Ｔ１となるときです。

いまＴ＝1.763　＜　Ｔ１＝1.972
つまり、Ｔ　＜　Ｔ１ですから、例に挙げたバックテスト結果は
統計的に意味がないということになります。

ちなみに、上式の

Ｔ１＝TINV(0.05,N-1）

の0.05は５％の有意水準を示しています。

「５％有意水準」は逆に「９５％の信頼度」と言いかえる方がわかりやすい
かもしれません。

より厳しい検定を行うなら、この0.05の値を0.01（＝１％有意水準）に変えて
ＴとＴ１を比較してください。

バックテスト結果を元にエクセルでちょっとした計算してやるだけで
その結果にどれくらい信頼度があるかがわかるｔ検定の話でした。

以上手順のみサラッと紹介しましたが、このt検定はシステムトレードの
様々な場面において応用できるものですので、覚えておいて損はないと思います。


　　　【FX システムトレード派はこちら】

トレード数を考慮したシステムの性能指標ＰＲＲ（悲観的リターンレシオ）

• 1. システムの評価
• 2009 06/10 (Wed)

トレーディングシステムの性能を表す指標
としてＰＦ（プロフィットファクター）は有名ですが、
ラルフビンスが提唱するＰＲＲ（悲観的リターンレシオ）は
さほど知られていません。


ＰＦ＝総利益÷総損失
で定義されており、その式の中にトレード数は含まれません。

それに対し、ＰＲＲはトレード数も考慮した指標です。

Ｗ：勝ちトレード数
Ｌ：負けトレード数
ＡＷ：平均勝ちトレード額
ＡＬ：平均負けトレード額
Ｔ：トレード数

ＰＲＲ　＝　｛　（（Ｗ　－　√Ｗ）／Ｔ）＊ＡＷ　｝／　｛　（（Ｌ　＋　√Ｌ）／Ｔ）＊ＡＬ　｝


※『投資家のためのマネーマネジメント』より引用





ちなみに上の式は書籍に紹介されている通り忠実に書いたものですが、
よく見ると計算結果のみを出すにあたっては式内のＴはなくても良いことがわかります。


ＰＲＲは同じＰＦ値を示すシステムの中で、
よりトレード数を多いものを高評価します。

（例１）トレード数が100

Ｗ＝６４
Ｌ＝３６
ＡＷ＝５０pips
ＬＷ＝５０pips
Ｔ＝１００

のとき、

ＰＦ　＝　１．７８
ＰＲＲ　＝　１．３３


（例２）トレード数が1000

Ｗ＝６４０
Ｌ＝３６０
ＡＷ＝５０pips
ＬＷ＝５０pips
Ｔ＝１０００

のとき、

ＰＦ　＝　１．７８
ＰＲＲ　＝１．６２