A IA consegue prever mercados financeiros e preços futuros? Um teste de cinco modelos contra referências simples

O que significa, de fato, “prever o mercado”

Três afirmações diferentes costumam ser resumidas em uma única expressão:

O sucesso na primeira tarefa não demonstra sucesso nas outras duas. Uma probabilidade de alta de 70% não diz, por si só, qual pode ser a magnitude dessa alta. Ela pode coexistir com pequenos ganhos frequentes e grandes perdas ocasionais.

Há evidências confiáveis de que modelos de linguagem conseguem extrair sinais financeiros úteis em determinados contextos. Lopez-Lira e Tang relatam que avaliações do GPT-4 sobre manchetes de empresas posteriores ao limite dos dados de treinamento preveem reações do mercado e movimentos subsequentes. A taxa de acerto de aproximadamente 90% por dia de carteira se refere a uma reação inicial que os autores descrevem explicitamente como impossível de capturar por meio de negociação. Isso não é uma alegação de precisão universal na escolha de ações e não demonstra uma vantagem nas previsões horárias de Bitcoin. [1].

Outros trabalhos mostram que modelos de linguagem podem atribuir peso excessivo aos retornos recentes das ações e produzir previsões otimistas. Esses resultados reforçam a necessidade de medir o desempenho em vez de confiar em explicações convincentes. [2].

Uma pergunta precisa para o Conselho

O Conselho tem cinco modelos participantes: Qwen, Llama, GPT-OSS, Nemotron e Mistral. Esses nomes identificam famílias, não experimentos reproduzíveis. Cada registro de previsão precisa conter o identificador exato do modelo, o provedor e a versão disponível naquele momento, além da versão do prompt e do pacote de dados de entrada. Quando um participante muda de checkpoint, ele inicia uma nova série com identificação de versão.

O teste trata do próximo candle horário de Bitcoin, não de todos os mercados financeiros. Para uma hora-alvo das 14:00 às 15:00 UTC, as previsões são seladas às 13:55 UTC e avaliadas após as 15:00. O resultado compara o fechamento das 15:00 com a abertura das 14:00. Não compara o fechamento com o preço no momento em que a previsão foi selada.

As regras de resultado do Conselho usam uma faixa neutra estreita:

Os resultados neutros, chamados de pushes, permanecem no registro, mas ficam fora da pontuação binária de alta ou baixa. Isso torna a interpretação da probabilidade essencial: neste teste, as instruções aos modelos devem pedir explicitamente a chance de alta condicionada a um resultado fora da faixa neutra. Não podemos simplesmente supor que previsões existentes usam essa definição. Um estudo de probabilidade incondicional de alta precisaria considerar explicitamente o terceiro resultado.

A avaliação precisa informar o instrumento exato e a fonte dos preços. “Bitcoin” não basta: um candle de futuros de uma corretora não deve ser resolvido silenciosamente com o preço à vista de outra plataforma. Dados de mercado ausentes ou corrigidos também exigem uma regra definida antes de examinar os resultados.

A especificação publicada do protocolo do Conselho registra esses limites. O prompt de uma execução ao vivo deve definir explicitamente a probabilidade condicional antes do início da coleta; este artigo não verificou se algum prompt de modelo já implantado faz isso. [7]

• Alta: fechamento/abertura menos um é pelo menos +0.01%, ou um ponto-base.
• Baixa: a variação é no máximo −0.01%.
• Neutro (push): a variação fica entre esses limites.

As previsões simples que os modelos precisam superar

As previsões de referência do Conselho tornam o desafio concreto. Elas usam apenas informações disponíveis até o prazo de selagem.

A referência histórica exclui resultados neutros e precisa informar seu número real de observações. O momentum usa os candles de cinco minutos já concluídos e disponíveis até a selagem, não um candle que termina depois. As probabilidades de 52/48 são parâmetros fixos de comparação, não alegações de que essas probabilidades estão empiricamente corretas.

A média do Conselho também precisa de uma regra precisa. A interface atual calcula a média dos participantes disponíveis que responderam no prazo; ela exibe 0.50 se ninguém responder. Portanto, uma hora com três participantes é um conjunto diferente de uma hora com cinco. O registro precisa preservar quais modelos participaram e o número de respostas, não apenas a média final.

Por que a pontuação de probabilidades importa mais que uma sequência de acertos

Nossa principal métrica de probabilidade é a pontuação Brier binária:

média((probabilidade_prevista − resultado)²)

Um resultado de alta vale 1 e um de baixa vale 0. Pontuações menores são melhores. A métrica avalia a probabilidade efetivamente enviada, em vez de transformar toda previsão acima de 50% em uma previsão idêntica de “alta”. [3].

Uma previsão de 70% recebe pontuação 0.09 se a hora terminar em alta e 0.49 se terminar em baixa. Uma previsão constante de 50% recebe 0.25 em qualquer um dos casos. Essa referência de 0.25 é uma identidade aritmética, não um resultado medido para Bitcoin.

Uma única previsão de 70% que falha não prova que o modelo está errado. Uma previsão confiável de 70% ainda deve falhar algumas vezes. A pergunta útil é se suas probabilidades obtêm melhores pontuações médias na amostra definida previamente.

Exemplo calculado — sintético, sem resultados do Conselho

Imagine dez horas com seis resultados de alta e quatro de baixa. Dois métodos fictícios preveem “alta” em todas as horas. Um atribui 60%; o outro, 90%.

Os dois métodos direcionais têm a mesma taxa de acerto. O método excessivamente confiante fica pior que a referência porque seus quatro erros pesam muito na pontuação de probabilidades. Esses números inventados explicam o cálculo; não dizem nada sobre a capacidade de qualquer modelo do Conselho.

O gráfico que responde à pergunta dos 70%

Um gráfico de calibração agrupa as previsões em faixas de probabilidade. Cada ponto coloca a previsão média da faixa no eixo horizontal e a frequência de alta observada no eixo vertical. Previsões confiáveis ficam próximas da diagonal: previsões com média de 70% devem terminar em alta aproximadamente 70% das vezes. [4].

No exemplo sintético, os dois pontos são (60%, 60%) e (90%, 60%), cada um baseado em dez observações. O segundo ponto revela excesso de confiança. Dez observações são insuficientes para demonstrar uma calibração estável.

O gráfico interativo abaixo é uma demonstração de pontuação. Ele começa com uma previsão fictícia de 70% e sete resultados de alta em dez, e permite alterar os dois valores. Não é uma curva de calibração medida do Conselho.

O futuro gráfico empírico precisa mostrar a quantidade de observações por ponto, a incerteza e a distribuição das probabilidades. Caso contrário, uma faixa de 90% com poucos dados pode parecer tão confiável quanto uma faixa de 55% com muitas observações. Faixas vazias devem permanecer vazias.

A pontuação Brier, sozinha, não demonstra calibração: ela também reflete a capacidade de distinguir eventos. Da mesma forma, um modelo que sempre prevê 50% pode estar calibrado em uma amostra equilibrada sem oferecer uma diferenciação útil. Precisamos da pontuação e do gráfico. [4].

Experimente o exemplo de pontuação de probabilidades

Altere a probabilidade prevista e os resultados hipotéticos. As pontuações são demonstrações aritméticas; a diagonal mostra onde a previsão média de um grupo coincide com a frequência de alta observada. Um ponto nessa linha, com dez observações inventadas, não valida nenhum modelo.

O que torna este um teste realmente prospectivo

Dados históricos de mercado podem ser úteis no desenvolvimento. Perguntar a um modelo moderno sobre um evento antigo e reconhecível é um teste mais fraco de previsão futura: o treinamento ou o contexto recuperado pelo modelo pode conter a resposta. O ForecastBench enfrenta esse problema ao solicitar probabilidades para eventos ainda sem resultado no momento do envio. O mesmo princípio deve orientar o teste do Conselho. [5].

Uma execução defensável precisa ter datas, limite das informações, versões dos modelos, prompts, referências, regras para previsões ausentes e código de avaliação publicados antes da chegada dos resultados. Todos os cinco modelos devem receber o mesmo pacote congelado de informações. Se um recebe busca ao vivo e outro recebe apenas preços, o experimento compara sistemas diferentes, além de modelos diferentes.

Cada participante programado precisa permanecer visível. A interface do Conselho informa que participantes ausentes ou atrasados recebem pontuação como se tivessem enviado 0.50. Uma comparação operacional deve manter essa política, divulgar cada falha e avaliar o calendário acordado. Uma análise separada, restrita às respostas no prazo, pode examinar as previsões realmente enviadas pelo modelo. Uma comparação nas mesmas horas ajuda a garantir que modelos diferentes não sejam julgados sob condições de mercado diferentes.

O período precisa ser fixado antecipadamente. Encerrar o teste após uma sequência atraente de acertos ou alterar um prompt depois de examinar as perdas transforma a amostra em dados de desenvolvimento. Novas regras exigem uma nova versão e um novo período de avaliação.

Observações horárias podem compartilhar condições de mercado, de modo que o tamanho aparente da amostra pode exagerar a quantidade de evidência independente. Informe a incerteza respeitando a dependência temporal e evite declarar superioridade universal a partir de uma pequena diferença de pontuação. Um hash público de integridade é útil, mas provar que uma previsão existia antes do resultado também exige um registro preservado público ou com carimbo de tempo independente.

A versão 1 do protocolo especifica as regras de pontuação, mas esta publicação não registra uma execução prospectiva. O início e o fim exatos, o instrumento da corretora, os identificadores dos modelos, os prompts, o pacote de entrada e a política para indisponibilidade de dados precisam ser preenchidos e registrados antes da primeira hora elegível. Esses campos permanecem explicitamente não definidos no arquivo para download; nenhum início de estudo ou tamanho de amostra é inventado aqui.

O que o leitor deve poder baixar

Uma publicação completa do estudo deve incluir todas as linhas de previsões programadas, os identificadores exatos dos modelos, os horários de selagem e resposta, as probabilidades brutas e usadas na pontuação, os indicadores de ausência ou atraso, os membros do conjunto, os dados das referências, os valores de abertura e fechamento, os resultados de alta, baixa ou neutro e a versão do código de pontuação.

Os leitores devem conseguir reproduzir a tabela Brier e os pontos de calibração a partir desse registro. A comparação publicada precisa mostrar o número de observações e as diferenças frente às referências nas mesmas horas, incluindo resultados desfavoráveis. Um modelo de CSV ou conjunto ilustrativo é uma documentação útil; não substitui as observações reais.

Esta edição oferece três downloads: a especificação do protocolo publicado, um modelo vazio de registro de previsões e o exemplo sintético completo, com dez linhas, usado acima. O CSV ilustrativo contém métodos fictícios, não previsões de Qwen, Llama, GPT-OSS, Nemotron ou Mistral. Não publicamos aqui um registro empírico do Conselho. Resultados futuros exigem esse registro completo, incluindo falhas e resultados neutros.

Preços futuros e lucro na negociação precisam de testes próprios

Para investigar preços futuros exatos, acrescentaríamos um experimento separado, com horizonte fixo, previsões numéricas enviadas e métricas de erro de preço. Uma referência inicial natural é o último preço observado. Essa previsão ingênua é uma referência padrão para séries temporais financeiras; deve ser avaliada, não descartada por sua simplicidade. [6].

Um intervalo de preços exigiria outra verificação: a frequência com que o preço realizado fica dentro dele, junto com a largura do intervalo. Um cone em um gráfico derivado de uma probabilidade direcional não é automaticamente um intervalo de preços validado.

Alegações de lucro exigem ainda mais evidências: regras de entrada e saída, preços executáveis, taxas, spread, slippage, dimensionamento de posições e drawdowns. A exibição simulada do Conselho usa (p − 0.5) × 2 como posição horária e desconsidera taxas. Essa exibição não demonstra os retornos líquidos que um operador poderia obter.

A resposta honesta à pergunta “A IA consegue prever mercados financeiros?” depende, portanto, das condições. Alguns estudos encontram sinais úteis em contextos específicos. Para esses cinco participantes do Conselho, a capacidade de prever Bitcoin por hora ainda precisa ser demonstrada com previsões feitas antes dos resultados, pontuações transparentes e um registro reproduzível. Uma vitória da referência mais simples também seria um resultado valioso.