人工智能能预测金融市场和未来价格吗？用简单基准检验五个模型

“预测市场”究竟意味着什么

三种不同的主张经常被混在同一句话里：

完成第一项任务并不能证明另外两项也成立。70% 的上涨概率本身并不说明涨幅有多大。它完全可能与频繁的小额盈利和偶尔的大额亏损同时存在。

有可信证据表明，语言模型在特定场景中能够提取有用的金融信号。Lopez-Lira 和 Tang 的研究发现，GPT-4 对知识截止日期之后的公司新闻标题所作的判断，能够预测市场反应及随后的价格漂移。他们报告的约 90% 投资组合日命中率，指的是作者明确说明无法据此交易的初始反应。这并不是适用于所有情形的选股准确率主张，也不能证明模型在每小时比特币预测中具有优势。[1].

另一项研究发现，语言模型可能过度重视近期股票收益，并给出过于乐观的预测。这些发现说明，我们需要测量结果，而不能仅凭解释是否有说服力就建立信任。[2].

给理事会一个明确的问题

理事会设有五个模型席位：Qwen、Llama、GPT-OSS、Nemotron 和 Mistral。这些名称代表模型家族，而不是可复现的实验。每条预测记录都需要注明当时使用的完整模型标识、提供商和版本，以及提示词和输入包的版本。某个席位更换模型检查点后，就应开始一条新的版本序列。

测试针对的是比特币下一根小时 K 线，而不是整个金融市场。如果目标小时为 14:00 至 15:00 UTC，预测应在 13:55 UTC 锁定，并在 15:00 之后评估。结果比较的是 15:00 的收盘价与 14:00 的开盘价，而不是收盘价与锁定预测时的价格。

理事会的结果规则设置了一个很窄的中性区间：

中性结果保留在记录中，但不纳入上涨／下跌二元评分。因此，概率的含义必须明确：在这项测试中，模型指令必须明确要求预测目标小时最终落在中性区间之外这一条件下的上涨概率。不能直接假设已有预测采用了这个定义。研究无条件上涨概率时，必须明确考虑第三种结果。

评估必须说明具体交易品种和价格来源。仅写“比特币”并不充分：不应在未作说明的情况下，用另一交易场所的现货价格来判定某个交易所期货 K 线的结果。对于缺失或修正的市场数据，也需要在查看结果之前确定处理规则。

公开的协议规范记录了理事会的这些结果阈值。实际运行的提示词必须在开始收集数据前明确规定这一条件概率；本文并未验证任何已部署模型的提示词已经这样做。[7]

• 上涨：收盘价／开盘价减一，至少为 +0.01%，即一个基点。
• 下跌：变动至多为 −0.01%。
• 中性：变动落在上述两个阈值之间。

模型必须超越的简单预测

理事会的参考预测让测试目标变得具体。它们仅使用锁定截止时间之前已经可用的信息。

历史参考预测排除中性结果，并且必须公布实际观测数量。动量参考使用的是锁定时已完成的五分钟 K 线，而不是之后才收盘的 K 线。52/48 的概率是固定的基准设置，并不声称这些概率已经被真实数据证明正确。

理事会平均值也需要明确的规则。当前界面对及时返回且可用的席位取平均；如果没有任何席位回答，则显示 0.50。因此，三个席位参与的一小时与五个席位参与的一小时，实际上是不同的模型组合。记录中必须保留参与成员和响应数量，不能只保留最终平均值。

为什么概率评分比连胜更重要

我们的主要概率指标是二元 Brier 分数：

mean((forecast_probability − outcome)²)

上涨结果记为 1，下跌结果记为 0。分数越低越好。评分评估的是实际提交的概率，而不是把所有高于 50% 的预测都转换成同一个“上涨”判断。[3].

一个 70% 的预测，如果该小时上涨，得分为 0.09；如果下跌，得分为 0.49。恒定 50% 的预测无论哪种结果都得 0.25。这一 0.25 参考值是算术恒等关系，并非测得的比特币结果。

某一个 70% 的预测没有兑现，并不能证明模型失效。可信的 70% 预测本就应当偶尔出错。真正有用的问题是：在预先声明的样本中，模型提交的概率是否获得了更好的平均分数。

计算示例——合成数据，不是理事会结果

假设十个小时中有六次上涨、四次下跌。两种虚构方法每小时都判断“上涨”，一种给出 60% 的概率，另一种给出 90%。

两种方向预测方法的总体命中率相同。但过度自信的方法比参考预测表现更差，因为它的四次错误在概率评分中受到更重的惩罚。这些虚构数字只是用于说明计算方法，并不反映任何理事会模型的能力。

回答 70% 问题的图表

校准图将预测按概率区间分组。每个点的横轴是该组的平均预测概率，纵轴是观测到的上涨频率。可靠预测应接近对角线：平均概率为 70% 的预测，应大约有 70% 最终上涨。[4].

在合成示例中，两个点分别是 (60%, 60%) 和 (90%, 60%)，各自都基于十次观测。第二个点显示了过度自信。十次观测远不足以证明稳定的校准表现。

下方的交互图是评分演示。初始设置是一项虚构的 70% 预测，以及十个结果中七次上涨，然后您可以修改这两个值。它不是根据实际理事会数据测得的校准曲线。

最终的真实数据图表必须展示每个点对应的观测数量、不确定性和概率分布。否则，样本稀少的 90% 区间可能看起来与样本充足的 55% 区间同样可信。没有样本的区间应保持空白。

单看 Brier 分数无法判断校准，因为它也反映区分不同事件的能力。同样，一个永远给出 50% 的模型，在均衡样本中可能是校准的，却没有提供有用的区分能力。我们既需要分数，也需要图表。[4].

试用概率评分示例

修改预测概率和假设结果。分数只是算术演示；对角线表示一组预测的平均概率等于其观测上涨频率。十个虚构观测形成的点即使落在这条线上，也不能验证任何模型。

什么才是真正的前瞻测试

历史市场数据对开发可能有用。但让现代模型判断一个过去已经发生、又容易识别的事件，并不是很有力的未来预测测试：它的训练数据或检索到的上下文中可能已经包含答案。ForecastBench 通过要求模型预测提交时尚未揭晓的事件来处理这一问题。理事会测试也应遵循相同原则。[5].

一个经得起审视的测试运行，需要在结果出现之前公布日期、信息截止时间、模型版本、提示词、基准、缺失预测规则和评估代码。五个模型都应收到同一份已冻结的信息包。如果一个模型可以实时搜索，另一个只能读取价格，实验比较的就不仅是模型，还包括不同系统。

每个计划参与的席位都必须保留在记录中。理事会界面说明，缺失或迟到席位按 0.50 评分。运行层面的比较应保留该政策，披露每次失败，并对约定的完整计划评分。另一份仅包含准时响应的结果，可以用于分析模型实际提交的预测。在共同小时上比较，则有助于避免用不同市场条件评价不同模型。

测试时期必须提前确定。在一段漂亮的连胜后停止，或者查看亏损后修改提示词，都会把样本变成开发数据。新规则需要新版本以及新的评估时期。

各小时的观测可能共享市场条件，因此表面上的样本量可能夸大独立证据的数量。应报告考虑时间依赖性的不确定性，不要凭微小的分数差异就宣称模型普遍优于其他方法。公开的完整性哈希很有用，但要证明某条预测在结果出现前已经存在，还需要保留下来的公开承诺记录或独立时间戳记录。

协议第 1 版规定了评分规则，但本期尚未登记一项前瞻运行。准确的起止时间、交易所品种、模型标识、提示词、输入包和数据中断政策，都必须在第一个符合条件的小时之前填写并提交锁定。下载文件明确将这些字段留为未设置；本文没有虚构研究开始时间或样本量。

读者应当能够下载什么

完整的研究发布应包含全部计划预测行、完整模型标识、锁定和响应时间、原始概率与用于评分的概率、缺失／迟到标记、组合成员、基准输入、市场开盘／收盘价、上涨／下跌／中性结果，以及评分代码版本。

读者应当能够通过这份记录复现 Brier 表格和校准点。公开比较必须展示样本数量，以及相对于同小时参考预测的差异，包括不利结果。CSV 模板或示例数据集是有用的说明材料，但不能替代真实观测。

本期提供三项下载：公开的协议规范、空白预测记录模板，以及上文所用完整的十行合成评分示例。示例 CSV 包含的是虚构方法，不是 Qwen、Llama、GPT-OSS、Nemotron 或 Mistral 的预测。这里没有发布基于真实数据的理事会预测记录。未来报告结果时，需要包含失败和中性结果在内的完整记录。

未来价格与交易利润需要各自的测试

为了研究具体未来价格，我们需要增加一项独立实验，明确预测期限、提交数值预测，并采用价格误差指标。自然的起始参考是最后观测到的价格。这种朴素预测是金融时间序列的标准基准；应当评价它，而不能因为它简单就将其忽略。[6].

价格区间还需要另一项检验：在关注区间宽度的同时，检查实际价格有多大比例真正落在区间内。由方向概率推导出的图表锥形区域，并不会自动成为已经验证的价格区间。

交易主张需要更多证据：入场与退出规则、可成交价格、费用、买卖价差、滑点、仓位规模和回撤。理事会的模拟交易展示使用 (p − 0.5) × 2 作为每小时仓位，并且没有计入费用。这种展示并不能证明交易者可以取得相应的净收益。

因此，对“人工智能能预测金融市场吗？”的诚实回答需要附带条件。有些研究在特定场景中发现了有用信号。对于理事会的这五个席位，有效的比特币小时预测仍是一项需要证明的主张：必须提供结果出现前作出的预测、透明评分和可复现的记录。最简单的基准获胜，同样是有价值的结果。