その取引ボットの利益は実力か、偶然か？ 優位性の検証に必要な取引数を考える

残高が増えたことと、期待損益が正であることは別の主張

取引ボットが200取引を終え、そのうち110取引で勝ったとします。報告書には勝率55%、プラスの損益、1を上回るプロフィットファクターが示されています。これらの数値に誤りがあるとは限りません。問題は、「この標本では利益が出た」が「この戦略には再現性のある優位性がある」にすり替わるところから始まります。

前者は損益計算の話です。後者は、今後も別の結果を生む未知の過程についての主張です。それを調べるには、推定対象の損益、一つの観測として数える単位、この記録が選ばれるまでに試した代替案を定義する必要があります。ChatGPTやClaudeが書いた信頼度スコアは、どの問いにも答えません。

バックテストの標本数に関する一般ガイドでは、100取引が普遍的な基準にならない理由を説明しています。本稿では、利益の出た一つの記録を詳しく検証し、集計値が同じ別の二つの記録を構成します。いずれも条件を開示した数値例であり、TensorParadigmの運用実績や稼働中のボットから得た観測ではありません。

利益を一単位ずつ照合するところから始める

例全体を通じ、固定の報告単位1R = $10を使います。基本ケースの各取引は、勝てばコスト控除前で+1R、負ければ−1Rです。完了した取引には毎回、合計0.06Rのコストがかかると仮定します。したがって純損益は、勝ちが+0.94R、負けが−1.06Rです。このコストは計算例のために明示した仮定であり、現在の取引所の提示条件ではありません。ここでのRは固定のドル尺度で、口座収益率でも、損失上限の保証でもありません。

110件の勝ち取引はコスト控除後に+103.4R、90件の負け取引は−95.4Rをもたらします。純利益は+8R、すなわち$80で、平均純損益は一取引当たり+0.04Rです。正と負の純損益から一貫した方法で求めるプロフィットファクターは、103.4 ÷ 95.4 = 1.08385744となります。口座への入金額やポートフォリオのエクスポージャーの推移は示していないため、$80を口座収益率に換算する根拠はありません。

この記録は、観測された結果という意味では利益が出ています。統計的な呼び方を変えたからといって、利益が損失になるわけではありません。問うべきなのは、背後にある過程の期待純損益が正であることを、この記録がどれほど説得的に裏付けるかです。損益指標そのものはプロフィットファクターのガイドで解説しており、ここからは推論を検討します。

検定すべき損益分岐勝率は50%ではなく53%

意図的に単純化した固定損益の契約の下で、勝つ確率をpとします。期待純損益はμ = 0.94p − 1.06(1 − p) = 2p − 1.06で、単位は一取引当たりのRです。これはp = 0.53でゼロになります。したがって、この契約では「負けるより多く勝つ」ことが適切な利益の基準ではありません。

検証したい仮説は、H0: μ ≤ 0に対するH1: μ > 0です。損益額とコストが既知のこの例では、H0: p ≤ 0.53に対するH1: p > 0.53となります。p = 0.53で正確な二項分布の上側確率を計算すれば、この複合帰無仮説の中で棄却確率が最大になる境界を評価できます。この計算は、各結果が独立し、勝つ確率が共通であることを仮定しています。「正確」とはその標本モデルに関する表現であり、モデルが市場を正確に記述するという意味ではありません。[2]

mu = 0.94*p - 1.06*(1-p) = 2*p - 1.06   [R per trade]
p_break_even = 1.06 / (0.94 + 1.06) = 0.53
H0: p <= 0.53
H1: p > 0.53
p_value = sum[choose(200,k) * 0.53^k * 0.47^(200-k), k=110,...,200]

コスト控除前の固定利益をW、固定損失の大きさをL、一取引当たりのコストをcとすると、期待純損益は(W + L)p − L − c、損益分岐勝率は(L + c)/(W + L)です。W、L、コストが変動し、同じデータから推定されるなら、それらの不確実性も考慮しなければなりません。標本平均を代入して勝率の区間だけを求めても、その不確実性は織り込まれません。

110勝という結果から何が言えるか

200取引中110勝の場合、53%の境界に対する片側の正確なp値は0.31042765です。これは、その境界モデルの下で110勝以上を得る確率を表します。ボットに優位性がない確率が31%という意味でも、機能する確率が69%という意味でも、翌月の結果の予測でもありません。この記録は、事前に定めた有意水準5%では、指定した帰無仮説を棄却しません。

pの両側95%Wilsonスコア区間は、約48.0756%から61.7359%です。Wilson区間は近似区間であり、正確な上側確率の計算とは別です。この例では利益額、損失額、コストを固定しているため、区間の端点をμ = 2p − 1.06で変換すると、一取引当たり約−0.0985Rから+0.1747Rとなります。この範囲は、負の期待純損益も正の期待純損益も含みます。[1]

この区間は、モデルの下で未知のパラメーターについてどの程度の不確実性があるかを示します。次の取引や次の200取引に対する予測区間ではありません。また、頻度論的な被覆確率は、今回得られた特定の区間内にパラメーターがある確率を95%とするものではありません。裾の取り方も明示しておく必要があります。両側95%の区間と片側5%の検定では、誤りの確率を配分する場所が異なります。

コストを無視し、勝率50%に対して検定すると、上側確率のp値は0.08948202になります。それは別の帰無仮説への答えです。統計ソフトが計算を完全に正しく実行しても、経済的に問うべきことを間違える場合があります。取引戦略のバックテストでは、計算で検証したい主張を定めることが最初の仕事です。

集計が同じ三つの記録でも、証拠の意味は異なる

次に、総利益、勝ちの割合、プロフィットファクターは変えず、報告書の背後にある構造を変えます。記録Aには個別に識別した200件の事象があり、二項分析のために独立性を明示的に仮定します。記録Bは20件の独立した局面からなり、各局面を完全に連動する十件の約定に複製します。記録Cでは勝ち取引の利益額が変動し、一件の大きな勝ちを含みます。こうした架空の分類を付けるだけで、実データの独立性や安定性が証明されるわけではありません。

三つの記録はすべて200行、純損益が正の行が110件、利益+8R、純損益ベースのプロフィットファクター1.08385744です。要約された報告書だけでは、どの記録だったか判別できません。事象ID、エクスポージャーのまとまり、損益分布の全体には、集計指標から落ちる情報があります。

二百件の約定が、独立した二十件の結果にすぎないこともある

記録Bでは、仮定した設計の下で20件の各局面が独立したベルヌーイ結果です。一つの局面の中では、十件の約定がすべて一緒に勝つか、負けます。勝ち局面は11件、負け局面は9件です。200行中110勝を独立した試行として数えると、同じ局面の結果を十回数えることになります。

各約定は引き続き$10の報告上のリスク単位を使います。したがって十件の約定が表す局面全体のリスクは、$10ではなく$100です。勝ち局面の純損益は元の約定R単位で+9.4R、負け局面は−10.6Rとなります。合計は+8約定R = $80のままです。局面リスクの単位を$100と定義すれば、同じ$80は+0.8局面Rです。単位を付け替えても、利益が生まれたり消えたりはしません。

二項モデルで使うべき件数は、20局面中11勝です。p = 0.53に対する片側の正確なp値は0.51960841、共通の局面勝率に対する両側95%Wilson区間は約34.2085%から74.1802%です。元の$10の約定R尺度に戻すと、対応する一約定当たりの期待損益は約−0.3758Rから+0.4236Rになります。点推定は一約定当たり+0.04Rのままですが、不確実性は大きく広がります。

ここで二十件という数が正当化されるのは、完全な複製構造と局面間の独立性を意図的に指定したからです。どんな十取引も一件と数えるという規則ではありません。実際の重複ポジションには、時間方向と市場間の依存関係に適した推論手法が必要です。Loのシャープレシオ分析も、系列依存によってリターンの推論が変わることを示しています。取引IDの数を、適切な観測構造の代わりにそのまま使うことはできません。[4]

一件の大きな勝ちが、平均を推定する問題を変える

記録Cのコスト控除前の勝ち利益合計は110Rのままです。109 × 0.75R + 28.25R = 110Rとなります。損失とコストも変えていないため、勝率、純利益、プロフィットファクターは記録Aと同じです。ただし最大の純利益は+28.19Rです。この一行を除くと、残る199行の損益は−20.19Rとなります。記録Aでは、どの勝ちの一行を除いても+7.06Rが残ります。

この除外は利益の集中を診断するものです。p値ではなく、大きな勝ちが不正・不適切だと示すものでもありません。トレンド追随戦略は、まれに得られる大きな利益を狙って設計されていることがあります。重要なのは、その頻度と大きさを標本が十分に裏付け、平均を推定できるかどうかです。結果を見てから除外すると、戦略が意図した利益の仕組みまで捨てるおそれがあります。

固定損益に対する変換μ = 2p − 1.06は、利益額が変動する記録Cには適用できません。勝つ確率を精度よく推定できても、いくら勝ち、いくら負けるかの不確実性は残ります。平均損益を適切に分析するには、その分布と依存関係を保つ必要があります。観測された平均利益がたまたま記録Aと同じ1Rでも、将来の勝ちが毎回既知の+1Rになるわけではありません。

強く見える結果も、選択を経ると弱い証拠になる

別の固定損益記録として、200取引中120勝を考えます。同じコストなら+28Rを稼ぎ、p = 0.53に対する片側の正確なp値は0.02751749です。事前に指定した一回の固定期間の検定で、独立した観測という条件も有効なら、5%の棄却基準を満たします。ただし、多数の探索から選んだ最良の結果なら、解釈は変わります。

条件が明瞭な比較例として、100件の候補記録が独立し、すべての候補の真のpが0.53だとします。帰無仮説が成り立つ一候補が120勝以上に達する確率をq = 0.02751749と置きます。少なくとも一候補がその勝ち数に達する確率は、1 − (1 − q)^100 = 93.8598%です。これはすべての帰無仮説が真である探索を構成して計算したもので、実測した探索ではありません。現実に選ばれたボットが偽である事後確率が93.86%という意味でもありません。

q = P(K >= 120 | K ~ Binomial(200, 0.53)) = 0.02751748874
P(at least one such result among 100 independent null candidates)
  = 1 - (1-q)^100
  = 0.9385983575
Bonferroni per-test level for a 0.05 family-wise bound = 0.05/100 = 0.0005

実際のパラメーター違いの候補は取引を共有することが多く、独立ではありません。93.8598%という計算を、そのような探索にそのまま当てはめるべきではありません。より単純なBonferroniの族単位の確認では、宣言した100検定の各p値が有効であれば、一検定当たり0.05 / 100 = 0.0005を使います。選ばれた0.02751749はこの基準を満たさず、Bonferroni調整済みp値は上限の1になります。この上界に検定間の独立性は不要ですが、保守的になる場合があります。

探索履歴には、試して捨てた指標のしきい値、市場、フィルター、特徴量群、プロンプトも含まれます。Deflated Sharpe Ratio、多数のファクター検定、データスヌーピングに関する研究は、この広い選択の問題を扱っています。各手法にはそれぞれ仮定があり、どのボットにも適用できるシャープレシオやt統計量の合格基準を与えるものではありません。探索を記録し、最後の評価は本当に手を付けずに残してください。[5] [6] [7]

この特定の優位性を捉えるには何取引必要か

標本数を計画するには、将来の記録を評価する前に、検出したい改善幅を決めます。ここでは帰無仮説をp0 = 0.53のままとします。計画上の対立仮説をp1 = 0.55とすると、固定契約の下では一取引当たり+0.04Rの期待純損益に相当します。0.55は仮定したシナリオであり、観測された勝率55%から既知の真実として扱っているわけではありません。

片側の有意水準5%、目標検出力80%を選びます。検出力とは、指定した対立仮説が真のとき、この設計が帰無仮説を棄却する確率です。戦略に利益が出る確率ではありません。n = 200の場合、正確検定が帰無仮説下の棄却確率を5%以下に保つには、少なくとも119勝を必要とし、実際の棄却確率は3.7898%です。真のpが0.55の場合の検出力は11.3240%しかありません。したがって、小さいながら実在する優位性を200観測で捉えるのは難しい場合があります。

下の正規近似による標本数計画式では、この小さな改善に対して約3,841.81観測となります。分かりやすい固定標本設計として百件単位で切り上げると、n = 3,900です。正確な二項分布の上側確率を計算すると、棄却基準は2,119勝、p = 0.55での検出力は80.3197%となります。これは明示的な仮定の下での設計例であり、絶対的な最小標本数でも、すべての取引ボットに必要な件数でもありません。[3]

n_approx = [z_(1-alpha)*sqrt(p0*(1-p0))
            + z_(power)*sqrt(p1*(1-p1))]^2 / (p1-p0)^2
p0 = 0.53
alpha = 0.05   [one-sided]
target_power = 0.80
n_fixed = 100 * ceil(n_approx / 100)
k_critical = smallest integer k with P_p0(K >= k) <= 0.05
actual_power = P_p1(K >= k_critical)

仮定する改善幅が大きければ、必要なデータは少なくなります。表では同じ規則、すなわち正規近似を百件単位で切り上げたうえで、正確な整数の棄却基準と検出力を確認しています。帰無仮説下で実際に得られる棄却確率は、順に4.9174%、4.6435%、4.8929%です。結果が離散的である以上、切り上げた近似を保証と見なさず、正確設計の実際の特性を確かめる必要があります。

この計算の対象は、損益額とコストが既知で、独立かつ共通の勝率を持つ過程を固定設計で評価する場合です。観測勝率が有意になるまで取引を集めよ、という指示ではありません。また、一つの市場環境で3,900観測を得ても、別の環境での持続性は確認できません。仮定する効果が非常に小さいと、戦略の前提が安定している期間より評価期間の方が長くなることがあります。それは研究上の制約であり、証拠の基準を下げる理由ではありません。

毎週確認すれば、実験の設計が変わる

固定期間の検定が扱うのは、宣言した終点における結果です。毎週調べ、都合のよいp値が初めて出た時点で止めるなら、報告される結果は別の選択ルールから生じています。通常の固定時点のしきい値を繰り返し超えようとすると、名目上の誤り率が保たれるとは限りません。どの停止日を採用するか事後的に決めれば、探索の軸がもう一つ増えます。

終点をあらかじめ決めることは、一つの解決策です。適切な逐次設計も別の解決策になります。Howardらは、明示した条件の下で全時点にわたる同時被覆を持つ信頼列を構築しており、その枠組み内で有効なモニタリングを可能にしています。こうした手法は、任意の厚い裾や変化するリターン過程に対して、仮定なしに使える代替物ではありません。本稿は逐次的な取引検定を実装も報告もしていません。[8]

運用上の損失制限によって、いつでも取引を止めることはできます。資本を守るために3,900取引まで待つ必要も、損失が統計的に有意になるまで待つ必要もありません。その安全上の判断は、統計的な成功の主張と切り離してください。停止した記録を残し、介入を説明し、評価がどう変わったかを明らかにします。失敗した運用を黙って消し、証拠の件数をゼロから数え直すべきではありません。

次の評価を、都合よく選びにくい証拠に変える

次の評価を始める前に、短い意思決定記録を作ります。戦略のバージョン、対象銘柄、情報を利用できる時点、コスト処理、観測単位、主評価項目、統計上の終点を固定してください。対象になる判断をすべて残し、発注した注文、実際の約定、ペーパー取引の仮定を区別します。これらの記録が異なる理由は、AIの売買判断に関する検証で説明しています。

この限定的な二値の例について、固定設計で宣言すべき内容を表に示します。実際の戦略でポジション量が変動し、ポジションが重複し、コストが変わるなら、それに適した別の分析が必要です。取引数がたまたま3,900件になっただけで、2,119勝という基準を借りてはいけません。

取引戦略の最適化は、開発段階にとどめる必要があります。最終期間を確認した後に新しいプロンプトやフィルターを選べば、その期間も選択の一部になります。ウォークフォワード分析では、明示した更新手順を評価できますが、各更新前にどの結果を利用できたかを、時系列上で厳密に保たなければなりません。その仕組みはアルゴリズム構築の研究で解説しています。

純損益の平均が正である証拠は、アルファ、十分な運用容量、受け入れられる損失経路の証拠よりも狭い主張です。資本とタイミングをそろえた適切な代替案と比較し、ドローダウンと執行は別に評価してください。記録が示すのは、独自の予測力ではなく市場エクスポージャーかもしれません。また、統計的に検出できる効果でも、固定運営費を賄うには小さすぎる場合があります。その別の経済的問題は、必要資本と損益分岐のガイドで扱っています。

AIとシミュレーションが計算できること、付け加えられないこと

ChatGPTの取引ボットもClaudeの取引ボットも、同じ証拠の問題に直面します。戦略を書くのに使った言語モデルによって、結果が独立になったり、利益の統計的な説得力が増したりはしません。CodexやClaude Codeは、取引台帳の照合、コスト調整済みの二項分布の上側確率の計算、評価設計案の確認を支援できます。数値の答えと一緒に、帰無仮説、観測単位、損益額の仮定、裾の規約、探索履歴を示すよう求めてください。

役に立つ依頼は具体的です。この結果に報告された手法が適用できるのかを説明し、推定した入力をすべて特定し、計算を示すよう求めます。「ボットが利益を上げるという信頼度は95%」と書きながら、対象の事象とモデルを明示しない報告は、肝心な部分を飛ばしています。台帳と該当する統計手法に照らして計算を検証してください。整った文章は、新しい観測を一件増やすものではありません。

取引のモンテカルロ・シミュレーションは、入力モデルを条件に起こり得る結果を調べられます。ただし、観測した市場事象の数は増えません。ポジションが固定され、損益を加算するだけなら、記録Aの同じ200結果をどのように並べ替えても、最後は+8Rです。経路は変わりますが、シャッフルだけで平均が正である証拠は作れません。ポジションが資産額、現金、重複エクスポージャー、停止ルールに依存する場合、取引のシャッフルはそうした判断の再実行にもなりません。

復元抽出によるリサンプリングでは合計損益の分布を作れますが、その結果は選択された標本とリサンプリングの仮定から生成されます。データにない暴落を観測したり、記録Cの大きな勝ちの発生頻度を独立に確認したりはしません。シミュレーションは明示した仮定の下で感応度やリスクを調べるために使い、事前に計画したアウト・オブ・サンプル検証は別の証拠源として扱ってください。

利益の出た記録について、言えることと言えないこと

基本記録は仮定したコストを差し引いた後で$80を稼ぎました。明示した固定損益・独立結果のモデルの下では、110勝は純期待損益ゼロに対する強い反証になっていません。片側の正確なp値は0.3104で、平均損益の両側区間には負の値が含まれます。これは戦略に優位性がないと確認したことではありません。この記録では、そのモデルの下でも問いを十分に解決できないということです。

二つの代替台帳から分かるのは、要約指標を増やすだけでは不十分だという点です。連動した約定は口座利益を変えずに独立した情報を減らします。利益の集中した勝ち取引は、勝率もプロフィットファクターも変えずに平均の推定問題を変えます。さらに選択の影響によって、どちらの問題に対処する前から、強く見える結果の説得力が失われることがあります。

したがって、必要な取引数を考える出発点は、「どの効果を、どの設計で検出するのに十分なのか」です。指定した小さな対立仮説に対して、本稿で選んだ固定設計は約80%の検出力のために3,900件の独立結果を使います。実際の取引システムでは、まず観測単位、コスト控除後の結果、探索の境界、モニタリングのルールを正当化してください。「利益を生む取引アルゴリズム」は経済的な主張です。過去の利益は、その検証の出発点です。結論ではありません。