트레이딩 봇은 수익성이 있을까, 운이 좋았을 뿐일까? 우위를 검증하려면 거래가 몇 번 필요할까?

실현이익이 양수라는 주장과 기대이익이 양수라는 주장은 다르다

트레이딩 봇이 200건의 거래를 마쳤고 그중 110건에서 이익을 냈다고 가정해 보겠습니다. 보고서에는 승률 55%, 양의 이익, 1을 넘는 프로핏 팩터가 표시됩니다. 이 수치 자체에 반드시 문제가 있는 것은 아닙니다. 문제는 보고서가 “이 표본에서 돈을 벌었다”를 “이 전략에는 반복 가능한 우위가 있다”로 바꾸는 순간 시작됩니다.

첫 번째 문장은 회계에 관한 것입니다. 두 번째는 앞으로 다른 결과를 만들어 낼, 아직 알 수 없는 과정에 관한 것입니다. 이를 살피려면 추정할 손익, 하나의 관측값으로 셀 단위, 이 기록을 고르기 전에 시도한 대안들을 정의해야 합니다. ChatGPT나 Claude가 작성한 신뢰도 점수로는 어느 질문에도 답할 수 없습니다.

백테스트 표본 크기에 관한 일반 가이드는 거래 100건이 보편적인 기준이 아닌 이유를 설명합니다. 이 글에서는 이익을 낸 기록 하나를 자세히 검증한 뒤, 주요 통계가 같은 두 기록을 추가로 구성합니다. 이들은 그 성격을 명시한 수치 예시이며, TensorParadigm의 트레이딩 성과나 실거래 봇의 관측 결과가 아닙니다.

이익의 각 단위가 어디서 나왔는지부터 확인한다

모든 예시에서 고정된 표시 단위 1R = $10을 사용합니다. 기본 사례의 각 거래는 수익 거래이면 비용 차감 전 +1R을 얻고, 그렇지 않으면 비용 차감 전 −1R을 잃습니다. 완료된 거래마다 총비용 0.06R이 발생한다고 가정하므로, 수익 거래의 순손익은 +0.94R이고 손실 거래의 순손익은 −1.06R입니다. 이 비용은 연습을 위해 명시한 가정이며 현재 거래소의 요율이 아닙니다. 여기서 R은 고정된 달러 금액 단위입니다. 계좌 수익률의 백분율이나 보장된 손실 한도가 아닙니다.

수익 거래 110건의 비용 차감 후 기여는 +103.4R입니다. 손실 거래 90건의 기여는 −95.4R입니다. 순이익은 +8R, 즉 $80이고, 거래당 평균 순손익은 +0.04R입니다. 양의 순손익과 음의 순손익을 일관된 기준으로 사용해 계산한 프로핏 팩터는 103.4 ÷ 95.4 = 1.08385744입니다. 계좌에 예치한 자본이나 포트폴리오 노출의 변화 일정이 주어지지 않았으므로 $80을 계좌 수익률로 환산할 근거는 없습니다.

이 기록은 기술적 의미에서 이익을 냈습니다. 통계적 명칭을 바꾼다고 손실 기록이 되지는 않습니다. 질문은 이 기록이 기저 과정의 기대 순손익이 양수라는 설득력 있는 근거를 제공하느냐는 것입니다. 프로핏 팩터 가이드는 회계 지표를 다룹니다. 이후 절에서는 추론을 살펴봅니다.

검정해야 할 손익분기 승률은 50%가 아니라 53%다

의도적으로 단순화한 이 고정 손익 조건에서 수익 거래가 될 확률을 p라고 하겠습니다. 기대 순손익은 μ = 0.94p − 1.06(1 − p) = 2p − 1.06이며 단위는 거래당 R입니다. p = 0.53일 때 이 값은 영이 됩니다. 따라서 이 조건에서는 손실 거래보다 수익 거래가 많다는 것만으로 수익성 기준을 충족하지 못합니다.

관심 있는 가설은 H0: μ ≤ 0에 대한 H1: μ > 0입니다. 손익과 비용을 알고 있는 이 조건에서는 H0: p ≤ 0.53에 대한 H1: p > 0.53이 됩니다. p = 0.53에서 이항분포 상측 꼬리를 정확하게 계산하면 이 복합 귀무가설에서 가장 불리한 경계를 평가할 수 있습니다. 이 계산은 결과가 독립적이고 공통된 수익 확률을 갖는다고 가정합니다. “정확”은 이 표본추출 모형을 설명하는 말이지, 그 모형이 시장을 정확하게 설명한다는 뜻은 아닙니다. [2]

mu = 0.94*p - 1.06*(1-p) = 2*p - 1.06   [R per trade]
p_break_even = 1.06 / (0.94 + 1.06) = 0.53
H0: p <= 0.53
H1: p > 0.53
p_value = sum[choose(200,k) * 0.53^k * 0.47^(200-k), k=110,...,200]

다른 고정 조건에서 비용 차감 전 이익을 W, 비용 차감 전 손실의 크기를 L, 거래당 비용을 c라고 하면 기대 순손익은 (W + L)p − L − c이고 손익분기 p는 (L + c)/(W + L)입니다. W, L 또는 비용이 변동하고 같은 데이터에서 추정된다면 그 추정의 불확실성도 고려해야 합니다. 이를 표본평균으로 대체하고 승률 신뢰구간만 적용해서는 그 불확실성을 반영할 수 없습니다.

수익 거래 110건이 실제로 뒷받침하는 것

200건 중 수익 거래가 110건일 때 53% 경계에 대한 정확 단측 p값은 0.31042765입니다. 이는 그 경계 모형 아래에서 수익 거래를 적어도 110건 얻을 확률입니다. 봇에 우위가 없을 확률 31%, 봇이 작동할 확률 69%, 또는 다음 달 결과의 예측이 아닙니다. 관측 기록은 사전에 선언한 유의수준 5%에서 명시된 귀무가설을 기각하지 못합니다.

p에 대한 양측 95% 윌슨 점수 신뢰구간은 약 48.0756%에서 61.7359%입니다. 윌슨 구간은 근사 구간이며 정확한 꼬리확률 계산과는 구별됩니다. 이 예시는 두 손익 금액과 비용이 고정되어 있으므로, 양 끝점을 μ = 2p − 1.06으로 변환하면 거래당 약 −0.0985R에서 +0.1747R이 됩니다. 이 범위에는 음수와 양수의 기대 순손익이 모두 포함됩니다. [1]

이 구간은 모형 아래에서 기저 모수에 대한 불확실성을 설명합니다. 다음 거래나 다음 200건의 거래를 위한 예측구간이 아닙니다. 빈도주의적 포함률 역시 이 특정 모수가 이미 계산된 구간 안에 있을 확률을 95%로 부여하지 않습니다. 꼬리확률의 기준도 명시해야 합니다. 양측 95% 구간과 단측 5% 검정은 오류확률을 서로 다르게 배분합니다.

비용을 무시하고 수익 확률 50%를 기준으로 검정하면 상측 꼬리 p값은 0.08948202입니다. 이는 다른 귀무가설에 대한 답입니다. 통계 소프트웨어가 계산을 완벽하게 수행하면서도 잘못된 경제적 질문에 답할 수 있습니다. 트레이딩 전략 백테스트의 첫 과제는 계산으로 검정할 주장을 정의하는 것입니다.

세 기록의 요약이 같아도 근거는 다를 수 있다

이제 총이익, 수익 거래 비율, 프로핏 팩터는 바꾸지 않고 보고서 내부의 구조를 바꿔 보겠습니다. 기록 A에는 따로 식별된 사건 200개가 있으며, 이항분포 분석에서는 독립성을 명시적으로 가정합니다. 기록 B에는 독립 에피소드 20개가 있고, 각 에피소드를 완전히 연결된 체결 열 건으로 복제합니다. 기록 C는 수익 거래의 이익 규모가 다양하며 그중 하나가 매우 큽니다. 이렇게 구성한 명칭만으로 실제 데이터의 독립성이나 안정성이 입증되지는 않습니다.

세 기록 모두 행 수 200개, 양의 순손익 110개, +8R, 순손익 기준 프로핏 팩터 1.08385744를 보여 줍니다. 요약 보고서만으로는 어느 기록에서 나온 결과인지 알 수 없습니다. 사건 식별자, 노출의 묶음, 전체 손익 분포에는 집계 지표가 생략한 정보가 담겨 있습니다.

체결 이백 건이 독립 결과 스무 개에 불과할 수 있다

기록 B에서는 설계상 20개 에피소드 각각을 독립적인 베르누이 결과로 가정합니다. 한 에피소드 안의 체결 열 건은 모두 함께 이익을 내거나 손실을 봅니다. 수익 에피소드는 11개, 손실 에피소드는 9개입니다. 200개 행의 수익 거래 110개를 독립 시행으로 세면 같은 에피소드 결과를 열 번씩 세는 셈입니다.

각 체결에는 여전히 표시 위험 단위 $10을 사용합니다. 따라서 체결 열 건은 에피소드 위험 $100을 나타내며 $10이 아닙니다. 원래의 체결-R 단위로 수익 에피소드의 순손익은 +9.4R이고 손실 에피소드의 순손익은 −10.6R입니다. 합계는 여전히 +8 체결-R = $80입니다. 에피소드 위험 단위를 $100로 정의하면 같은 $80은 +0.8 에피소드-R입니다. 단위의 이름을 바꿔도 이익이 생기거나 사라지지 않습니다.

여기서 이항분포에 사용할 적절한 횟수는 에피소드 20개 중 수익 에피소드 11개입니다. p = 0.53에 대한 정확 단측 p값은 0.51960841입니다. 공통된 에피소드 수익 확률의 양측 95% 윌슨 구간은 약 34.2085%에서 74.1802%입니다. 원래의 $10 체결-R 척도에서 이에 대응하는 체결당 기대 손익은 약 −0.3758R에서 +0.4236R입니다. 점추정값은 체결당 +0.04R로 유지되지만 불확실성은 훨씬 넓어집니다.

여기서 스무 개라는 수가 정당화되는 이유는 의도적으로 명시한 완전 복제 구조와 에피소드 간 독립성입니다. 거래 열 번을 언제나 한 번으로 세라는 규칙이 아닙니다. 실제로 겹치는 포지션에는 시간과 시장 간 의존성에 맞는 추론 방법이 필요합니다. Lo의 샤프지수 분석도 시계열 의존성이 수익률 추론을 바꾼다는 것을 보여 줍니다. 거래 식별자의 개수로 적절한 관측 구조를 대신할 수는 없습니다. [4]

큰 이익 한 건이 평균에 관한 질문을 바꾼다

기록 C는 수익 거래의 비용 차감 전 총이익을 110R로 유지합니다. 109 × 0.75R + 28.25R = 110R입니다. 손실과 비용은 같으므로 승률, 순이익, 프로핏 팩터도 기록 A와 같습니다. 그러나 최대 순이익 거래는 +28.19R입니다. 이 행 하나를 제거하면 나머지 199개 행의 합계는 −20.19R입니다. 기록 A에서는 어느 수익 거래 하나를 제거하더라도 +7.06R이 남습니다.

이 제거는 집중도를 살피는 진단입니다. p값이 아니며, 큰 이익이 부당하다는 뜻도 아닙니다. 추세추종 전략은 드물지만 큰 이익을 얻도록 설계될 수 있습니다. 중요한 것은 그 이익의 빈도와 규모를 표본이 충분히 뒷받침하여 평균을 추정할 수 있느냐는 점입니다. 결과를 본 뒤 그런 거래를 삭제하면 전략이 의도한 작동 원리를 없애 버릴 수 있습니다.

고정 손익의 변환식 μ = 2p − 1.06은 기록 C의 가변 손익에 적용되지 않습니다. 수익 거래 확률을 잘 추정해도 얻거나 잃는 금액에는 불확실성이 남습니다. 적절한 평균 손익 분석은 손익의 분포와 의존성을 보존해야 합니다. 관측된 평균 이익 1R이 기록 A와 우연히 같다고 해서 앞으로 모든 수익 거래가 알려진 +1R을 지급하는 것은 아닙니다.

더 강한 결과도 선택 과정을 거치면 약한 근거가 될 수 있다

별도의 고정 손익 기록에서 200건 중 수익 거래가 120건이라고 하겠습니다. 같은 비용 아래 순이익은 +28R이며 p = 0.53에 대한 정확 단측 p값은 0.02751749입니다. 유효한 독립 관측값으로 사전에 정한 단일 고정 기간 검정을 수행했다면 5% 기각 기준을 통과합니다. 그러나 수많은 탐색 결과 가운데 가장 좋은 것을 고른 기록이라면 해석이 달라집니다.

명확한 비교 기준을 위해 후보 기록 100개가 독립적이고 모든 후보의 실제 p = 0.53이라고 가정하겠습니다. 귀무가설이 참인 후보 하나가 수익 거래를 적어도 120건 얻을 확률을 q = 0.02751749라고 합시다. 적어도 하나가 그 횟수에 도달할 확률은 1 − (1 − q)^100 = 93.8598%입니다. 이는 모든 귀무가설이 참인 탐색을 구성해 계산한 값입니다. 실제 탐색을 측정한 수치도, 실제로 선택된 봇이 거짓 양성일 사후확률이 93.86%라는 뜻도 아닙니다.

q = P(K >= 120 | K ~ Binomial(200, 0.53)) = 0.02751748874
P(at least one such result among 100 independent null candidates)
  = 1 - (1-q)^100
  = 0.9385983575
Bonferroni per-test level for a 0.05 family-wise bound = 0.05/100 = 0.0005

실제 매개변수 변형들은 종종 거래를 공유하므로 독립적이지 않습니다. 그런 탐색에 93.8598% 계산을 그대로 적용해서는 안 됩니다. 개별 p값이 유효한 것으로 선언된 검정 100개에 대해, 본페로니 방법으로 전체 검정군의 오류율을 더 단순하게 확인하면 검정당 기준은 0.05 / 100 = 0.0005입니다. 선택된 0.02751749는 이 기준을 통과하지 못하며, 본페로니 보정 p값은 상한 1에 도달합니다. 이 한계는 검정 간 독립성을 요구하지 않지만 보수적일 수 있습니다.

탐색 이력에는 시도했다가 버린 지표 임계값, 시장, 필터, 특성 집합, 프롬프트가 모두 포함됩니다. 디플레이티드 샤프지수, 다중 요인 검정, 데이터 스누핑에 관한 연구는 이처럼 더 넓은 선택 문제를 다룹니다. 각 방법에는 고유한 가정이 있으며, 모든 봇에 적용할 보편적인 샤프지수나 t통계량 기준을 제공하지는 않습니다. 탐색 이력을 기록하고 실제로 건드리지 않은 최종 평가를 보존해야 합니다. [5] [6] [7]

이 특정 우위를 탐지하려면 거래가 얼마나 필요할까?

표본 크기를 계획하려면 미래 기록을 평가하기 전에 탐지할 가치가 있는 개선 폭을 정해야 합니다. 여기서 귀무가설은 여전히 p0 = 0.53입니다. 계획상의 대립가설을 p1 = 0.55라고 합시다. 고정 조건에서 이는 거래당 기대 순손익 +0.04R에 해당합니다. 0.55는 가정한 시나리오이지, 관측 기록의 55%에서 추론한 알려진 진실이 아닙니다.

단측 유의수준 5%와 목표 검정력 80%를 선택합니다. 검정력은 명시한 대립가설이 참일 때 이 설계가 귀무가설을 기각할 확률입니다. 전략이 수익성을 가질 확률은 아닙니다. n = 200에서 정확 검정은 귀무가설 아래 기각 확률을 5% 이하로 유지하려면 수익 거래가 적어도 119건이어야 한다고 요구해야 합니다. 실제 기각 확률은 3.7898%입니다. 실제 p가 0.55일 때 검정력은 11.3240%에 불과합니다. 따라서 작은 실제 우위는 관측값 200개로 탐지하기 어려울 수 있습니다.

아래 정규근사 계획식은 이 작은 개선 폭에 대해 약 3,841.81개의 관측값을 산출합니다. 단순한 고정 설계를 위해 다음 백 단위로 올림하여 n = 3,900을 선택합니다. 정확한 이항분포 꼬리를 계산하면 기각에 필요한 수익 거래 수는 2,119건이고, p = 0.55에서의 검정력은 80.3197%입니다. 이는 명시적인 가정 아래의 예시 설계이며 절대적인 최솟값이나 트레이딩 봇의 보편적 요건이 아닙니다. [3]

n_approx = [z_(1-alpha)*sqrt(p0*(1-p0))
            + z_(power)*sqrt(p1*(1-p1))]^2 / (p1-p0)^2
p0 = 0.53
alpha = 0.05   [one-sided]
target_power = 0.80
n_fixed = 100 * ceil(n_approx / 100)
k_critical = smallest integer k with P_p0(K >= k) <= 0.05
actual_power = P_p1(K >= k_critical)

가정한 개선 폭이 클수록 필요한 데이터는 줄어듭니다. 표는 정규근사를 다음 백 단위로 올림한다는 같은 규칙을 적용한 뒤, 정확한 정수 기각 횟수와 검정력을 확인합니다. 세 설계가 귀무가설 아래에서 실제로 갖는 기각 확률은 각각 4.9174%, 4.6435%, 4.8929%입니다. 이산적인 횟수를 사용하기 때문에 반올림한 근사치를 보장으로 취급할 것이 아니라 정확 설계의 실제 작동 특성을 확인해야 합니다.

이 계산은 손익 금액과 비용이 알려져 있고, 확률이 공통되며, 독립적인 고정 과정을 다룹니다. 관측 승률이 유의해질 때까지 거래를 모으라는 뜻은 아닙니다. 한 시장 환경에서 얻은 관측값 3,900개가 다른 환경에서의 지속성을 입증하지도 않습니다. 가정한 효과가 아주 작으면 전략 전제의 안정성이 유지되는 기간보다 평가 기간이 더 길어질 수 있습니다. 이는 연구의 제약이지 근거의 기준을 낮출 이유가 아닙니다.

매주 확인하면 실험이 달라진다

고정 기간 검정은 선언한 종료점의 결과에 관한 것입니다. 연구자가 매주 이를 살펴보다가 처음 유리한 p값이 나오면 중단한다면, 보고하는 결과는 다른 선택 규칙에서 나온 것입니다. 보통의 고정 시점 기준을 반복해서 넘으려 하면 명목 오류율이 유지되지 않을 수 있습니다. 사후에 어느 중단 날짜를 인정할지 고르는 것도 탐색의 차원을 추가합니다.

사전에 종료점을 정하는 것이 한 가지 해법입니다. 적절한 순차 설계도 해법이 될 수 있습니다. Howard와 동료들은 명시한 조건 아래에서 시간 전체에 걸쳐 동시에 포함률을 보장하는 신뢰수열을 개발하여 그 틀 안에서 유효한 모니터링을 가능하게 합니다. 이런 방법이 임의로 변하고 꼬리가 두꺼운 수익률 과정에 가정 없이 적용되는 대체 수단은 아닙니다. 이 글은 순차 트레이딩 검정을 구현하거나 그 결과를 보고하지 않습니다. [8]

운영상 손실 한도에 따라 거래를 언제든 중단할 수는 있습니다. 자본을 보호하기 위해 거래 3,900건이나 통계적으로 유의한 손실을 기다릴 필요는 없습니다. 이 안전 결정을 통계적 성공 주장과 분리해야 합니다. 중단된 기록을 남기고 개입을 설명하며 평가가 어떻게 바뀌었는지 밝혀야 합니다. 실패한 실행 기록을 조용히 지우고 근거의 개수를 다시 세기 시작해서는 안 됩니다.

다음 평가를 선택 편향에 덜 취약한 근거로 만든다

다음 평가를 시작하기 전에 간단한 의사결정 기록을 작성합니다. 전략 버전, 거래 가능한 상품, 정보가 이용 가능해지는 시점, 비용 처리, 관측 단위, 일차 결과, 통계적 종료점을 확정합니다. 평가 대상인 모든 결정을 남기고 주문 제출, 실제 체결, 모의 가정을 구분합니다. AI 트레이딩 의사결정 분석은 이 기록들이 다른 이유를 설명합니다.

범위를 좁힌 이 이항 예시에서 고정 설계가 무엇을 선언해야 하는지는 표에 나와 있습니다. 규모가 변동하거나 포지션이 겹치거나 비용이 바뀌는 실제 전략에는 다르게 정당화한 분석이 필요합니다. 거래 수가 우연히 3,900건이 되었다고 수익 거래 2,119건 규칙을 그대로 가져와서는 안 됩니다.

트레이딩 전략 최적화는 개발 단계 안에 머물러야 합니다. 최종 기간을 확인한 뒤 새 프롬프트나 필터를 고르면 그 기간도 선택 과정의 일부가 됩니다. 워크포워드 분석은 명시적으로 정한 업데이트 절차를 평가할 수 있지만, 각 업데이트 전에 어떤 결과를 알 수 있었는지가 시간 순서에 보존되어야 합니다. 트레이딩 알고리즘 구축 연구는 이런 절차를 다룹니다.

기대 순손익이 양수라는 근거는 알파, 충분한 운용 용량, 허용 가능한 손실 경로가 있다는 근거보다 범위가 좁습니다. 자본과 시점을 일관되게 맞추어 적절한 대안과 비교하고, 낙폭과 체결을 별도로 평가해야 합니다. 기록이 고유한 예측 기여가 아니라 시장 노출을 반영할 수도 있습니다. 통계적으로 탐지할 수 있는 효과라도 고정 운영비를 정당화하기에는 너무 작을 수 있습니다. 자본과 손익분기 가이드는 이 별도의 경제적 질문을 다룹니다.

AI와 시뮬레이션이 계산을 도울 수 있는 것과 더하지 못하는 것

ChatGPT 트레이딩 봇과 Claude 트레이딩 봇은 같은 근거의 문제에 직면합니다. 전략 작성에 사용한 언어모델이 결과를 독립적으로 만들거나 이익의 통계적 설득력을 높여 주지는 않습니다. Codex나 Claude Code는 거래 원장 대사, 비용을 반영한 이항분포 꼬리확률 계산, 제안한 평가 설계 점검을 도울 수 있습니다. 수치 답변과 함께 귀무가설, 관측 단위, 손익 가정, 꼬리확률 기준, 탐색 이력을 제시하도록 요청해야 합니다.

유용한 요청은 구체적입니다. 보고한 방법이 이 결과에 적용되는지 설명하고, 추정한 모든 입력값을 밝히며, 계산을 보여 달라고 요청하십시오. 사건과 모형을 밝히지 않은 채 “봇이 이익을 낼 것이라는 신뢰도 95%”라고 쓰는 보고서는 어려운 부분을 건너뛴 것입니다. 기록과 해당 통계 방법에 비추어 산술을 검증해야 합니다. 매끄러운 문장은 관측값 하나를 더해 주지 않습니다.

몬테카를로 트레이딩 시뮬레이션은 입력 모형을 조건으로 한 결과를 탐색할 수 있습니다. 관측한 시장 사건의 수를 늘리지는 않습니다. 포지션이 고정되고 손익을 더하는 구조라면 기록 A의 같은 결과 200개를 어떤 순서로만 재배열하더라도 마지막에는 +8R이 남습니다. 경로는 달라질 수 있지만 순서를 섞는 것만으로 양의 평균에 대한 근거가 생기지는 않습니다. 포지션이 자기자본, 현금, 겹친 노출, 중단 규칙에 따라 달라진다면 거래를 섞는 것만으로는 그런 결정을 다시 실행할 수도 없습니다.

복원추출 방식의 재표본추출은 합계의 분포를 만들 수 있지만, 그 결과는 선택한 표본과 재표본추출 가정에서 생성됩니다. 데이터에 없는 폭락을 관측하거나 기록 C의 큰 이익이 발생할 빈도를 독립적으로 확인해 주지는 않습니다. 명시한 가정 아래에서 민감도와 위험을 살피는 데 시뮬레이션을 사용하되, 사전에 계획한 표본 외 검증은 별개의 근거로 유지해야 합니다.

이익을 낸 기록에 대해 말할 수 있는 것과 없는 것

기본 기록은 가정한 비용을 차감하고 $80을 벌었습니다. 명시한 고정 손익·독립 결과 모형 아래에서 수익 거래 110건은 기대 순손익이 영이라는 가설에 강한 반증을 제공하지 않습니다. 정확 단측 p값은 0.3104이며, 평균 손익의 양측 구간에는 음수가 포함됩니다. 전략에 우위가 없음을 입증한 것은 아닙니다. 이 모형 아래에서 이 기록만으로는 질문을 충분히 해소하지 못한다는 뜻입니다.

두 대안 기록은 요약 지표를 더 늘리는 것만으로 충분하지 않은 이유를 보여 줍니다. 연결된 체결은 계좌 이익을 그대로 두면서 독립 정보량을 줄입니다. 집중된 이익은 승률과 프로핏 팩터를 그대로 두면서 평균 추정 문제를 바꿉니다. 여기에 선택이 더해지면, 두 문제를 다루기도 전에 더 강해 보이는 결과가 설득력을 잃을 수 있습니다.

따라서 거래가 몇 번이면 충분한지 묻기 전에 “어떤 효과를 어떤 설계로 탐지하기에 충분한가?”를 물어야 합니다. 이 글에서 명시한 작은 대립 효과에 대해, 선택한 고정 설계는 검정력 약 80%를 위해 독립 결과 3,900개를 사용합니다. 실제 트레이딩 시스템에서는 먼저 관측 단위, 비용 차감 후 결과, 탐색의 경계, 모니터링 규칙을 정당화해야 합니다. 수익성 있는 트레이딩 알고리즘이라는 말은 경제적 주장입니다. 과거의 이익은 조사의 결론이 아니라 출발점입니다.