AIは金融市場と将来の価格を予測できるか？5つのモデルを単純な基準予測と比較する

「市場を予測する」とは、何を指すのか

異なる3つの主張が、しばしばひとつの言葉にまとめられています。

最初の課題に成功しても、残りの2つが証明されるわけではありません。上昇確率が70%というだけでは、上昇幅は分かりません。小幅の利益を頻繁に得る一方で、ときどき大きな損失が生じる状況とも両立します。

言語モデルが特定の条件下で有用な金融シグナルを抽出できることには、信頼できる研究上の裏付けがあります。Lopez-LiraとTangは、学習情報の締め切り後に公開された企業ニュース見出しをGPT-4で評価すると、市場の初期反応とその後の価格推移を予測できると報告しています。約90%というポートフォリオの日次的中率は、著者ら自身が取引に利用できないと明記した初期反応についての数字です。あらゆる銘柄選択で通用する的中率を示したものではなく、Bitcoinの1時間予測で優位性があることも証明していません。[1].

別の研究では、言語モデルが直近の株式リターンを過度に重視し、楽観的な予測を出すことも示されています。説得力のある説明を信用するだけではなく、実際に測定すべき理由がここにあります。[2].

Councilに問う、ひとつの明確な課題

CouncilにはQwen、Llama、GPT-OSS、Nemotron、Mistralの5つのモデル枠があります。これらはモデル群の名前であり、実験を再現できる識別情報ではありません。各予測の記録には、その時点で利用した正確なモデル識別子、提供元、バージョンに加え、プロンプトと入力情報パケットのバージョンが必要です。使用するチェックポイントが変わった枠は、新たなバージョンの系列として扱います。

検証対象は金融市場全体ではなく、Bitcoinの次の1時間足です。対象時間が14:00〜15:00 UTCの場合、予測は13:55 UTCに確定し、15:00以降に評価します。結果は15:00の終値と14:00の始値を比較して判定します。予測を確定した時点の価格と終値を比較するのではありません。

Councilの結果判定ルールには、狭い中立帯を設けています。

中立となるプッシュは台帳に残しますが、上昇・下落の二値スコア計算からは除外します。そのため、確率の定義が重要です。この検証では、モデルへの指示で「対象時間の結果がプッシュ帯の外に出ることを条件とした上昇確率」を明示的に求める必要があります。既存の予測がこの定義を使っていると決めつけることはできません。無条件の上昇確率を調べるなら、3つ目の結果も明示的に扱う必要があります。

評価には、正確な取引商品と価格データの出所を明記する必要があります。「Bitcoin」と書くだけでは不十分です。ある取引所の先物の1時間足を、説明なく別の市場の現物価格で判定してはいけません。市場データの欠測や訂正についても、結果を見る前にルールを決める必要があります。

公開プロトコル仕様には、これらの閾値が記載されています。実際の収集を始める前に、稼働するプロンプトで条件付き確率を明確に定義する必要があります。本記事では、現在配備されているモデルのプロンプトがすでにその定義を含むかどうかは確認していません。[7]

• 上昇：終値÷始値−1が+0.01%以上、すなわち1ベーシスポイント以上。
• 下落：変化率が−0.01%以下。
• プッシュ：変化率がこれらの閾値の間にある。

モデルが上回るべき単純な予測

Councilの比較基準を設けることで、課題が具体的になります。これらの予測に使うのは、予測確定の締め切りまでに得られた情報だけです。

過去の上昇頻度を用いる基準は、プッシュを除外し、実際の観測数を公開する必要があります。モメンタムは確定時刻までに完成した5分足を使い、その後に完成する足は使いません。52/48という確率は、あらかじめ固定した比較用の設定であり、実測上正しい確率だと主張するものではありません。

Council平均にも正確なルールが必要です。現在の画面では、締め切りに間に合い、回答を得られた枠の平均を取り、どの枠からも回答がなければ0.50を表示します。つまり、3枠が回答した時間と5枠が回答した時間では、構成の異なるアンサンブルになります。台帳には最終的な平均だけでなく、参加モデルと回答数を残す必要があります。

連勝記録より確率スコアが重要な理由

確率予測の主要な評価指標には、二値のBrierスコアを使います。

平均((予測確率 − 結果)²)

上昇を1、下落を0とし、スコアが低いほど優れています。50%を超える予測をすべて同じ「上昇」予測に置き換えるのではなく、実際に提出された確率そのものを評価します。[3].

70%の予測は、その時間に上昇すれば0.09、下落すれば0.49となります。常に50%とする予測は、どちらの結果でも0.25です。この0.25は計算上必ず成り立つ値であり、Bitcoinを測定して得た結果ではありません。

70%の予測が1回外れたからといって、モデルに欠陥があるとは限りません。信頼できる70%の予測でも、ときには外れます。意味のある問いは、事前に定めた標本全体で、その確率予測の平均スコアが基準より良くなるかどうかです。

計算例：人工的なデータであり、Councilの結果ではありません

10時間のうち6時間が上昇し、4時間が下落したとします。架空の2つの方法は、毎時間「上昇」を予測します。一方は60%、もう一方は90%の確率を出します。

両者の方向的中率は同じです。それでも過信した方法が比較基準より悪くなるのは、外れた4回が確率スコアでは大きなペナルティになるためです。この架空の数字は計算を説明するためのもので、Councilのどのモデルの能力も示していません。

70%という問いに答えるグラフ

較正グラフでは、予測を確率の範囲ごとにまとめます。各点の横軸はその範囲の平均予測確率、縦軸は実際に観測された上昇頻度です。信頼できる予測は対角線の近くに並びます。平均70%の予測なら、実際に上昇する割合もおよそ70%になるはずです。[4].

人工的な例での2点は、それぞれ10件の観測に基づく（60%, 60%）と（90%, 60%）です。2つ目の点は過信を示しています。ただし、10件だけでは安定した較正を確認するには少なすぎます。

下の操作可能なグラフは、スコア計算の説明用です。架空の70%の予測と、10件中7件が上昇する例から始まり、両方の値を変更できます。Councilの実測による較正曲線ではありません。

将来公開する実測グラフには、各点の観測数、不確実性、予測確率の分布を示す必要があります。そうしないと、観測が少ない90%の区間が、十分な観測数を持つ55%の区間と同じくらい信頼できるように見えてしまいます。観測のない区間は空欄のままにするべきです。

Brierスコアだけでは較正を証明できません。出来事を見分ける能力もスコアに反映されるからです。一方で、常に50%と予測するモデルは、上昇と下落が均衡した標本では較正が合っていても、有用な識別を提供しないことがあります。スコアとグラフの両方が必要です。[4].

確率スコアの計算例を試す

予測確率と仮の結果を変更してみてください。ここでのスコアは計算の説明用です。対角線は、ある集団の平均予測確率と実際の上昇頻度が一致する場所を示します。架空の10件の観測で点がその線上にあっても、モデルが検証されたことにはなりません。

将来に向けた検証を成立させる条件

過去の市場データは開発に役立ちます。ただし、現代のモデルに過去の有名な出来事を尋ねる方法は、将来の予測能力を測る検証としては弱くなります。学習データや検索した情報に答えが含まれている可能性があるためです。ForecastBenchは、予測提出時点で未確定の出来事について確率を集めることで、この問題に対処しています。Councilの検証にも同じ原則を取り入れる必要があります。[5].

検証を妥当なものにするには、日程、情報の締め切り、モデルのバージョン、プロンプト、基準予測、未回答時のルール、評価コードを、結果が出る前に公開する必要があります。5つのモデルすべてに、同じ内容で固定した情報パケットを渡すべきです。ひとつにはライブ検索を与え、別のモデルには価格しか与えないなら、モデルだけでなく異なるシステムも比較する実験になります。

予定されたすべてのモデル枠を記録に残す必要があります。Councilの画面では、未回答や遅延した枠を0.50として採点すると説明されています。運用上の比較ではこの方針を維持し、各失敗を公開し、合意したスケジュール全体を採点するべきです。締め切りに間に合った回答だけを集めた別の表示なら、モデルが実際に提出した予測を調べられます。共通する時間だけを比較することで、異なる市場状況を基にモデルを評価する問題も抑えられます。

期間は事前に固定する必要があります。見栄えの良い連勝の直後に終了したり、損失を確認してからプロンプトを変えたりすると、その標本は開発用データになってしまいます。新しいルールには新しいバージョンと新たな評価期間が必要です。

1時間ごとの観測には共通する市場状況があるため、見かけの標本数が独立した証拠の量を過大に示すことがあります。時間的な依存を考慮した不確実性を報告し、ごく小さなスコア差から普遍的な優位性を主張するのは避けるべきです。公開された整合性確認用のハッシュは有用ですが、結果が出る前に予測が存在したことを証明するには、公開された、または独立した時刻証明を持つ確定記録も保存する必要があります。

プロトコルのバージョン1では採点ルールを定めていますが、本記事の公開時点で将来に向けた実験は登録されていません。正確な開始日と終了日、取引所と商品、モデル識別子、プロンプト、入力情報パケット、データ障害時の方針を埋め、最初の評価対象時間が始まる前に確定する必要があります。ダウンロード資料のこれらの項目は明示的に未設定のままです。研究開始日や標本数を作り上げてはいません。

読者がダウンロードできるべき記録

研究の完全な公開資料には、予定されたすべての予測行、正確なモデル識別子、確定時刻と回答時刻、元の確率と採点に用いた確率、未回答・遅延フラグ、アンサンブルの構成モデル、基準予測の入力、市場の始値と終値、上昇・下落・プッシュの結果、採点コードのバージョンを含める必要があります。

読者は、その台帳からBrierスコア表と較正グラフの各点を再現できるべきです。比較結果には、標本数と同じ時間の基準予測との差を、不利な結果も含めて示す必要があります。CSVテンプレートや説明用データは資料として役立ちますが、実際の観測記録の代わりにはなりません。

本記事では3つの資料を提供します。公開プロトコル仕様、空の予測台帳テンプレート、上の説明で使った10行すべてを含む人工的な計算例です。説明用CSVにあるのは架空の方法であり、Qwen、Llama、GPT-OSS、Nemotron、Mistralの予測ではありません。Councilの実測予測台帳はここでは公開していません。将来の結果公開には、失敗とプッシュを含む完全な記録が必要です。

将来の価格と売買利益には別の検証が必要

将来の具体的な価格を調べるなら、予測期間を固定し、数値で予測を提出し、価格誤差の指標を使う別の実験を追加します。比較基準の自然な出発点は、最後に観測した価格です。このナイーブ予測は金融時系列で標準的に使われる基準であり、単純だからと切り捨てずに評価するべきです。[6].

価格区間には、区間の幅とあわせて、実現した価格がその中に入る割合を確認する別の検証が必要です。方向の確率から描いた扇形のグラフが、そのまま検証済みの価格区間になるわけではありません。

売買利益を主張するには、さらに証拠が必要です。エントリーと決済のルール、実際に執行できる価格、手数料、スプレッド、スリッページ、ポジションサイズ、ドローダウンを含める必要があります。Councilのペーパートレード表示は、1時間ごとのポジションに(p − 0.5) × 2を使い、手数料を含めていません。この表示は、トレーダーが実現できる純リターンの証拠にはなりません。

したがって、「AIは金融市場を予測できるか」という問いへの誠実な答えには条件が付きます。特定の状況で有用なシグナルを見いだした研究はあります。しかし、この5つのCouncil枠がBitcoinの1時間予測で役立つかどうかは、結果が出る前の予測、透明な採点、再現可能な台帳によって、これから示すべき主張です。最も単純な基準予測が勝つことも、価値のある結果になります。