Seu robô de trading é lucrativo ou só deu sorte? Quantas operações são necessárias para testar uma vantagem?

Saldo positivo e valor esperado positivo são afirmações diferentes

Suponha que um robô de trading conclua 200 operações, das quais 110 são vencedoras. Seu relatório mostra uma taxa de acerto de 55%, lucro positivo e fator de lucro acima de 1. Não há necessariamente nada de errado nesses números. O problema começa quando o relatório transforma “esta amostra ganhou dinheiro” em “esta estratégia tem uma vantagem que pode se repetir”.

A primeira afirmação é contábil. A segunda diz respeito a um processo desconhecido que produzirá outros resultados. Para examiná-la, defina o resultado financeiro que será estimado, a unidade contada como observação e as alternativas testadas antes de este registro ser escolhido. Uma pontuação de confiança escrita pelo ChatGPT ou pelo Claude não responde a nenhuma dessas questões.

Nosso guia geral sobre tamanho de amostra em backtests explica por que 100 operações não constituem um limiar universal. Aqui, auditamos um registro lucrativo em detalhe e depois construímos outros dois com as mesmas estatísticas principais. São exemplos numéricos explicitamente apresentados como tais, não o desempenho de trading da TensorParadigm nem observações de um robô em operação real.

Comece prestando contas de cada unidade de lucro

Em todos os exemplos, adote a unidade fixa de apresentação 1R = $10. Cada operação do caso-base ganha +1R bruto quando acerta ou perde −1R bruto quando erra. Cada operação concluída incorre em um custo total hipotético de 0.06R; assim, uma operação vencedora rende +0.94R líquidos e uma perdedora resulta em −1.06R líquidos. Esse custo é uma premissa declarada do exercício, não uma cotação atual de uma corretora. Aqui, R é uma escala fixa em dólares: não representa retorno percentual da conta nem um limite de perda garantido.

As 110 operações vencedoras contribuem com +103.4R após custos. As 90 perdedoras contribuem com −95.4R. O lucro líquido é de +8R, ou $80, e o resultado líquido médio é de +0.04R por operação. O fator de lucro, calculado de forma consistente a partir dos resultados líquidos positivos e negativos, é 103.4 ÷ 95.4 = 1.08385744. Como não foram informados o capital depositado na conta nem a evolução da exposição da carteira, não há base para converter $80 em retorno da conta.

Esse registro é lucrativo no sentido descritivo. Uma mudança de rótulo estatístico não o tornará deficitário. A questão é saber se ele oferece evidência convincente de que o resultado líquido esperado do processo seja positivo. Nosso guia sobre fator de lucro aborda a métrica contábil; as próximas seções examinam a inferência.

A taxa de equilíbrio relevante é 53%, não 50%

Seja p a probabilidade de um resultado vencedor neste contrato de pagamentos fixos, deliberadamente simplificado. O resultado líquido esperado é μ = 0.94p − 1.06(1 − p) = 2p − 1.06, medido em R por operação. Ele é igual a zero em p = 0.53. Portanto, acertar mais do que errar não é o critério adequado de rentabilidade para esse contrato.

A hipótese de interesse é H0: μ ≤ 0 contra H1: μ > 0. Com esses pagamentos e custos conhecidos, ela se torna H0: p ≤ 0.53 contra H1: p > 0.53. Um cálculo exato da cauda superior binomial em p = 0.53 considera o limite mais desfavorável dessa hipótese nula composta. O cálculo pressupõe resultados independentes com uma probabilidade de acerto comum. “Exato” descreve esse modelo amostral; não torna o modelo uma descrição exata de um mercado. [2]

mu = 0.94*p - 1.06*(1-p) = 2*p - 1.06   [R per trade]
p_break_even = 1.06 / (0.94 + 1.06) = 0.53
H0: p <= 0.53
H1: p > 0.53
p_value = sum[choose(200,k) * 0.53^k * 0.47^(200-k), k=110,...,200]

Para outro ganho bruto fixo W, uma perda bruta de magnitude L e um custo c por operação, o resultado líquido esperado é (W + L)p − L − c, e a probabilidade de equilíbrio é (L + c)/(W + L). Se W, L ou os custos variam e são estimados a partir dos mesmos dados, a incerteza dessas estimativas também precisa ser considerada. Substituí-los por médias amostrais e aplicar apenas um intervalo para a taxa de acerto não leva essa incerteza em conta.

O que os 110 acertos realmente sustentam

Para 110 acertos em 200 operações, o valor-p exato unilateral contra o limite de 53% é 0.31042765. Ele representa a probabilidade, sob esse modelo de fronteira, de obter pelo menos 110 acertos. Não é uma probabilidade de 31% de o robô não ter vantagem, uma probabilidade de 69% de funcionar nem uma previsão do resultado do próximo mês. O registro observado não rejeita a hipótese nula especificada a um nível de significância de 5% definido previamente.

Um intervalo de confiança bilateral de 95% pelo método de Wilson para p vai de aproximadamente 48.0756% a 61.7359%. Wilson fornece um intervalo aproximado, distinto do cálculo exato de cauda. Como este exemplo fixa os dois pagamentos e o custo, transformar os limites por μ = 2p − 1.06 resulta em aproximadamente −0.0985R a +0.1747R por operação. Essa faixa inclui resultados líquidos esperados negativos e positivos. [1]

O intervalo descreve a incerteza sobre um parâmetro subjacente ao modelo. Não é um intervalo de previsão para a próxima operação nem para as próximas 200 operações. Além disso, a cobertura frequentista não atribui uma probabilidade de 95% de o parâmetro específico estar dentro deste intervalo já calculado. Deixe também explícitas as convenções de cauda: um intervalo bilateral de 95% e um teste unilateral de 5% distribuem o erro de maneiras diferentes.

Ignorar os custos e testar contra uma probabilidade de acerto de 50% produziria um valor-p de cauda superior de 0.08948202. Essa resposta diz respeito a outra hipótese nula. Um software estatístico pode calculá-la perfeitamente e, ainda assim, responder à pergunta econômica errada. A primeira tarefa no backtest de uma estratégia de trading é definir a afirmação que o cálculo deve testar.

Três resumos idênticos podem representar evidências diferentes

Agora altere a estrutura por trás do relatório sem mudar o lucro total, a proporção de acertos ou o fator de lucro. O Registro A contém 200 eventos identificados separadamente; a independência é uma premissa explícita de sua análise binomial. O Registro B contém 20 episódios independentes, cada um reproduzido em dez execuções perfeitamente vinculadas. O Registro C tem ganhos de tamanhos variáveis, incluindo um grande ganho. Nenhum desses rótulos construídos comprova independência ou estabilidade em dados reais.

Os três registros mostram 200 linhas, 110 resultados líquidos positivos, +8R e fator de lucro sobre resultados líquidos de 1.08385744. O resumo principal não permite identificar qual registro o produziu. Os identificadores dos eventos, o agrupamento das exposições e a distribuição completa dos resultados carregam informações que as métricas agregadas omitem.

Duzentas execuções podem conter apenas vinte resultados independentes

No Registro B, cada um dos 20 episódios é um resultado de Bernoulli independente sob o desenho assumido. Todas as dez execuções de um episódio ganham ou perdem juntas. Há 11 episódios vencedores e 9 perdedores. Contar 110 acertos em 200 linhas como ensaios independentes seria contar dez vezes o mesmo resultado de cada episódio.

Cada execução continua usando a unidade de risco de $10 adotada para apresentação. Dez execuções representam, portanto, $100 de risco por episódio, e não $10. Um episódio vencedor rende +9.4R líquidos na unidade original de R por execução, e um episódio perdedor resulta em −10.6R. O total continua sendo +8R de execução = $80. Se a unidade de risco por episódio for definida como $100, os mesmos $80 equivalem a +0.8R de episódio. Mudar o nome da unidade não cria nem destrói lucro.

A contagem binomial relevante é de 11 acertos em 20 episódios. Seu valor-p exato unilateral contra p = 0.53 é 0.51960841. O intervalo bilateral de Wilson de 95% para a probabilidade comum de acerto por episódio vai de aproximadamente 34.2085% a 74.1802%. Na escala original de R por execução de $10, o resultado esperado correspondente por execução vai de cerca de −0.3758R a +0.4236R. A estimativa pontual permanece em +0.04R por execução; a incerteza é muito maior.

O número vinte se justifica aqui pela estrutura de cópias perfeitas especificada deliberadamente e pela independência entre episódios. Não é uma regra segundo a qual cada dez operações contam como uma. Posições reais sobrepostas exigem um método de inferência adequado à dependência no tempo e entre mercados. A análise de Lo sobre índices de Sharpe também mostra que a dependência serial altera a inferência sobre retornos; uma contagem de identificadores de operações não pode simplesmente substituir a estrutura apropriada de observações. [4]

Um grande ganho muda a questão sobre a média

O Registro C mantém o lucro bruto total das operações vencedoras em 110R: 109 × 0.75R + 28.25R = 110R. As perdas e os custos não mudam, portanto a taxa de acerto, o lucro líquido e o fator de lucro coincidem com os do Registro A. Ainda assim, o maior ganho líquido é de +28.19R. Excluir essa única linha deixa −20.19R nas 199 linhas restantes. No Registro A, excluir qualquer operação vencedora líquida deixa +7.06R.

Essa exclusão é um diagnóstico de concentração. Não é um valor-p nem demonstra que o grande ganho seja ilegítimo. Uma estratégia seguidora de tendência pode ser concebida para obter grandes ganhos pouco frequentes. O que importa é saber se a amostra sustenta suficientemente a frequência e o tamanho desses ganhos para estimar a média. Excluí-los depois de observar o resultado pode eliminar justamente o mecanismo pretendido da estratégia.

A transformação de pagamentos fixos μ = 2p − 1.06 não se aplica aos resultados variáveis do Registro C. Mesmo uma probabilidade de acerto bem estimada deixa incerteza sobre os valores ganhos e perdidos. Uma análise adequada do resultado médio precisa preservar sua distribuição e dependência. O ganho médio observado de 1R coincide, por acaso, com o do Registro A; isso não faz de todo ganho futuro um pagamento conhecido de +1R.

Um resultado mais forte pode se tornar evidência fraca após a seleção

Considere outro registro de pagamentos fixos, com 120 acertos em 200 operações. Com o mesmo custo, ele ganha +28R, e seu valor-p exato unilateral contra p = 0.53 é 0.02751749. Em um único teste definido previamente, com horizonte fixo e observações independentes válidas, ele ultrapassaria o limiar de rejeição de 5%. Essa interpretação muda se o registro tiver sido escolhido como o melhor resultado de uma busca ampla.

Como referência transparente, suponha que 100 registros candidatos sejam independentes e que todos tenham, de fato, p = 0.53. Seja q = 0.02751749 a probabilidade de um candidato sob a hipótese nula alcançar pelo menos 120 acertos. A probabilidade de pelo menos um deles atingir essa contagem é 1 − (1 − q)^100 = 93.8598%. Trata-se de um cálculo construído para uma busca em que todas as hipóteses nulas são verdadeiras, não de uma busca medida nem de uma probabilidade posterior de 93.86% de um robô selecionado real ser um falso positivo.

q = P(K >= 120 | K ~ Binomial(200, 0.53)) = 0.02751748874
P(at least one such result among 100 independent null candidates)
  = 1 - (1-q)^100
  = 0.9385983575
Bonferroni per-test level for a 0.05 family-wise bound = 0.05/100 = 0.0005

Variantes reais de parâmetros frequentemente compartilham operações e não são independentes. O cálculo de 93.8598% não deve ser transplantado para esse tipo de busca. Uma verificação mais simples do erro familiar pelo método de Bonferroni, para 100 testes declarados com valores-p individualmente válidos, usa 0.05 / 100 = 0.0005 por teste. O valor selecionado de 0.02751749 não passa nesse critério; seu valor-p ajustado por Bonferroni fica limitado a 1. Esse limite não exige independência entre os testes, embora possa ser conservador.

O histórico de busca inclui limiares de indicadores, mercados, filtros, conjuntos de variáveis e prompts que foram testados e abandonados. As pesquisas sobre o índice de Sharpe deflacionado, testes de múltiplos fatores e exploração repetida dos mesmos dados tratam desse problema mais amplo de seleção. Esses métodos têm suas próprias premissas; não fornecem um limiar universal de Sharpe ou de estatística t para todos os robôs. Registre a busca e preserve uma avaliação final que permaneça de fato intocada. [5] [6] [7]

Quantas operações detectariam esta vantagem específica?

Para planejar o tamanho da amostra, especifique a melhora que vale a pena detectar antes de avaliar um registro futuro. Aqui, a hipótese nula continua sendo p0 = 0.53. Suponha que a alternativa de planejamento seja p1 = 0.55, equivalente a um resultado líquido esperado de +0.04R por operação sob o contrato fixo. Usamos 0.55 como cenário hipotético, não como verdade conhecida inferida do registro observado de 55%.

Escolha um nível de significância unilateral de 5% e poder-alvo de 80%. Poder é a probabilidade de esse desenho rejeitar a hipótese nula quando a alternativa especificada é verdadeira. Não é a probabilidade de uma estratégia ser lucrativa. Em n = 200, um teste exato precisa exigir pelo menos 119 acertos para manter sua probabilidade de rejeição sob a hipótese nula em no máximo 5%; a probabilidade efetivamente atingida é de 3.7898%. Quando p é de fato 0.55, o poder é de apenas 11.3240%. Uma pequena vantagem real pode, portanto, ser difícil de detectar em 200 observações.

A fórmula de planejamento por aproximação normal abaixo resulta em cerca de 3,841.81 observações para essa pequena melhora. Para um desenho fixo simples, arredondamos para cima até a próxima centena: n = 3,900. A enumeração da cauda binomial exata fornece uma contagem de rejeição de 2,119 acertos e poder de 80.3197% em p = 0.55. Essa contagem é um desenho ilustrativo sob premissas explícitas, não um mínimo absoluto nem uma exigência universal para robôs de trading. [3]

n_approx = [z_(1-alpha)*sqrt(p0*(1-p0))
            + z_(power)*sqrt(p1*(1-p1))]^2 / (p1-p0)^2
p0 = 0.53
alpha = 0.05   [one-sided]
target_power = 0.80
n_fixed = 100 * ceil(n_approx / 100)
k_critical = smallest integer k with P_p0(K >= k) <= 0.05
actual_power = P_p1(K >= k_critical)

Melhoras hipotéticas maiores exigem menos dados. A tabela aplica a mesma regra — arredondar a aproximação normal para cima até a próxima centena — e depois verifica a contagem inteira exata de rejeição e o poder. As três probabilidades de rejeição efetivamente atingidas sob a hipótese nula são 4.9174%, 4.6435% e 4.8929%, respectivamente. A natureza discreta da contagem explica por que os desenhos exatos exigem verificar suas características operacionais reais, em vez de tratar uma aproximação arredondada como garantia.

Esses cálculos tratam de um processo fixo e independente, com probabilidade comum, pagamentos conhecidos e custo conhecido. Eles não orientam o pesquisador a acumular operações até que a taxa de acerto observada se torne significativa. Tampouco 3,900 observações em um ambiente de mercado demonstram persistência em outro. Um efeito hipotético muito pequeno pode exigir uma avaliação longa demais para a estabilidade da premissa da estratégia; essa é uma restrição da pesquisa, não uma razão para reduzir o padrão de evidência.

Verificar o resultado toda semana muda o experimento

Um teste com horizonte fixo diz respeito ao resultado no ponto final declarado. Se o pesquisador o examina toda semana e para no primeiro valor-p favorável, o resultado relatado passa a vir de outra regra de seleção. Tentar repetidamente cruzar um limiar convencional de tempo fixo pode não preservar sua taxa nominal de erro. Decidir depois dos fatos qual data de parada vale acrescenta outra dimensão à busca.

Um ponto final definido previamente é uma solução. Um desenho sequencial adequado é outra. Howard e seus colegas desenvolvem sequências de confiança com cobertura simultânea ao longo do tempo sob as condições que especificam, permitindo monitoramento válido nesse contexto. Esses métodos não são substitutos livres de premissas para um processo de retornos arbitrário, variável e com caudas pesadas. Este artigo não implementa nem relata um teste sequencial de trading. [8]

Um limite de perda operacional ainda pode interromper as operações a qualquer momento. Proteger o capital não exige esperar 3,900 operações nem uma perda estatisticamente significativa. Separe essa decisão de segurança de uma afirmação de sucesso estatístico. Preserve o registro interrompido, explique a intervenção e identifique como ela altera a avaliação; não apague silenciosamente uma tentativa malsucedida para reiniciar a contagem de evidências.

Faça da próxima avaliação uma evidência menos sujeita à seleção

Antes da próxima avaliação, escreva um breve registro de decisões. Fixe a versão da estratégia, os instrumentos elegíveis, o momento de disponibilidade das informações, o tratamento dos custos, a unidade de observação, o resultado principal e o ponto final estatístico. Preserve cada decisão elegível e diferencie ordens enviadas, execuções efetivas e premissas de simulação. Nossa investigação sobre decisões de trading com IA explica por que esses registros são diferentes.

Para o exemplo binário restrito, a tabela mostra o que um desenho fixo precisaria declarar. Uma estratégia real com tamanhos variáveis, posições sobrepostas ou custos que mudam exige outra análise devidamente justificada. Não adote a regra de 2,119 acertos apenas porque a contagem de operações chegou a 3,900.

A otimização da estratégia de trading deve permanecer na etapa de desenvolvimento. Escolher um novo prompt ou filtro depois de examinar o período final faz esse período integrar a seleção. Uma análise walk-forward pode avaliar um procedimento de atualização especificado explicitamente, mas sua cronologia precisa preservar quais resultados estavam disponíveis antes de cada atualização. Nosso estudo sobre construção de algoritmos aborda esses mecanismos.

Evidência de média líquida positiva também é uma afirmação mais restrita do que evidência de alfa, capacidade adequada ou trajetória de perdas aceitável. Compare com alternativas relevantes usando capital e períodos consistentes, e avalie drawdown e execução separadamente. O registro pode refletir exposição ao mercado, e não uma contribuição própria de previsão. Um efeito estatisticamente detectável também pode ser pequeno demais para justificar os custos operacionais fixos; o guia sobre capital e ponto de equilíbrio trata dessa questão econômica distinta.

O que IA e simulação ajudam a calcular e o que não acrescentam

Um robô de trading com ChatGPT e um robô de trading com Claude enfrentam o mesmo problema de evidência. O modelo de linguagem usado para escrever a estratégia não torna seus resultados independentes nem seu lucro estatisticamente convincente. Codex ou Claude Code podem ajudar a conciliar um registro de operações, calcular uma cauda binomial ajustada pelos custos e verificar um desenho de avaliação proposto. Peça que apresentem a hipótese nula, a unidade de observação, as premissas de pagamento, a convenção de cauda e o histórico de busca junto com a resposta numérica.

O pedido útil é específico: explique se o método apresentado se aplica a esses resultados, identifique cada entrada estimada e mostre o cálculo. Um relatório que diz “95% de confiança de que o robô terá lucro” sem identificar o evento e o modelo pulou a parte difícil. Confira a aritmética com o registro e com o método estatístico relevante; um texto bem escrito não é mais uma observação.

Uma simulação de trading por Monte Carlo pode explorar consequências condicionadas a um modelo de entrada. Ela não aumenta o número de eventos de mercado observados. Com posições fixas e resultados aditivos, qualquer mera reordenação dos mesmos 200 resultados do Registro A ainda termina em +8R. A trajetória pode mudar, mas embaralhar os resultados, por si só, não cria evidência de média positiva. Se as posições dependem do patrimônio, do caixa, de exposições sobrepostas ou de regras de parada, embaralhar as operações também não refaz essas decisões.

A reamostragem com reposição pode produzir uma distribuição de totais, mas esses resultados são gerados a partir da amostra selecionada e das premissas de reamostragem. Eles não observam uma crise ausente nem confirmam de maneira independente a frequência do grande ganho do Registro C. Use a simulação para examinar sensibilidade e risco sob premissas declaradas, mantendo o teste prospectivo fora da amostra como uma fonte separada de evidência.

O que podemos afirmar sobre o registro lucrativo e o que continua em aberto

O registro-base ganhou $80 após os custos assumidos. Sob o modelo declarado de pagamentos fixos e resultados independentes, seus 110 acertos não oferecem evidência forte contra um valor esperado líquido igual a zero: o valor-p exato unilateral é 0.3104, e o intervalo bilateral do resultado médio inclui valores negativos. Isso não demonstra que a estratégia não tenha vantagem. Demonstra que esse registro não resolve bem a questão sob esse modelo.

Os dois registros alternativos mostram por que mais métricas resumidas não bastam. Execuções vinculadas mantêm o lucro da conta, mas reduzem a informação independente. Ganhos concentrados mantêm a taxa de acerto e o fator de lucro, mas mudam o problema de estimar a média. A seleção pode, então, tornar pouco convincente um resultado aparentemente mais forte, mesmo antes de qualquer um desses problemas ser resolvido.

A pergunta sobre quantas operações bastam começa, portanto, com “bastam para detectar qual efeito, sob qual desenho?”. Para a pequena alternativa que especificamos, o desenho fixo escolhido usa 3,900 resultados independentes para obter poder de aproximadamente 80%. Em um sistema real de trading, primeiro justifique a unidade de observação, o resultado após custos, o limite entre desenvolvimento e avaliação e a regra de monitoramento. Um algoritmo de trading lucrativo é uma afirmação econômica; seu lucro histórico é o início da investigação, não sua conclusão.