AI는 금융시장과 미래 가격을 예측할 수 있을까? 5개 모델과 단순한 기준 예측 비교

‘시장 예측’은 정확히 무엇을 뜻할까

서로 다른 세 가지 주장이 흔히 하나의 표현으로 묶입니다.

첫 번째 과제에 성공했다고 해서 나머지 두 가지가 입증되는 것은 아닙니다. 상승 확률 70%라는 수치만으로는 상승 폭을 알 수 없습니다. 작은 이익이 자주 발생하고 큰 손실이 가끔 발생하는 상황과도 양립할 수 있습니다.

언어 모델이 특정 조건에서 유용한 금융 신호를 추출할 수 있다는 데에는 신뢰할 만한 연구 근거가 있습니다. Lopez-Lira와 Tang은 학습 정보의 기준 시점 이후에 나온 기업 뉴스 제목을 GPT-4로 평가하면 시장의 초기 반응과 이후 가격 흐름을 예측할 수 있다고 보고합니다. 약 90%라는 포트폴리오 일별 적중률은 저자들이 직접 거래에 활용할 수 없다고 명시한 초기 반응에 관한 수치입니다. 모든 주식 종목 선택에 적용되는 정확도 주장이 아니며, 비트코인의 시간 단위 예측에 우위가 있다는 증거도 아닙니다. [1].

다른 연구에서는 언어 모델이 최근 주식 수익률에 지나치게 큰 비중을 두고 낙관적인 예측을 내놓을 수 있다는 결과도 나옵니다. 이런 발견은 설득력 있는 설명을 믿기보다 실제 성과를 측정해야 한다는 이유가 됩니다. [2].

Council에 던지는 하나의 명확한 질문

Council에는 Qwen, Llama, GPT-OSS, Nemotron, Mistral의 다섯 모델 자리가 있습니다. 이 이름들은 모델 계열을 뜻할 뿐, 재현 가능한 실험을 식별하지는 못합니다. 각 예측 기록에는 당시 사용한 정확한 모델 식별자, 제공 업체와 버전, 프롬프트와 입력 정보 묶음의 버전이 필요합니다. 모델 체크포인트가 바뀌면 해당 자리의 예측을 새로운 버전의 시계열로 시작해야 합니다.

검증 대상은 금융시장 전체가 아니라 비트코인의 다음 1시간 봉입니다. 대상 시간이 14:00~15:00 UTC라면 예측은 13:55 UTC에 확정하고 15:00 이후 평가합니다. 결과는 15:00 종가와 14:00 시가를 비교해 판정합니다. 예측을 확정한 순간의 가격과 종가를 비교하는 것이 아닙니다.

Council의 결과 판정 규칙은 좁은 중립 구간을 사용합니다.

중립 결과인 푸시는 원장에 남기지만 상승·하락의 이진 점수 계산에서는 제외합니다. 따라서 확률의 해석이 중요합니다. 이 검증의 모델 지시문은 해당 시간이 푸시 구간 밖에서 끝난다는 조건하의 상승 확률을 명시적으로 요청해야 합니다. 기존 예측이 이 정의를 사용한다고 단정할 수는 없습니다. 무조건부 상승 확률을 연구하려면 세 번째 결과도 명시적으로 고려해야 합니다.

평가에는 정확한 거래 상품과 가격 출처를 밝혀야 합니다. ‘비트코인’이라는 이름만으로는 부족합니다. 한 거래소의 선물 봉을 다른 시장의 현물 가격으로 설명 없이 판정해서는 안 됩니다. 시장 데이터의 누락이나 수정에 대한 규칙도 결과를 보기 전에 정해야 합니다.

공개된 프로토콜 명세에는 이 임계값이 기록되어 있습니다. 실제 예측 수집을 시작하기 전에 운영용 프롬프트에서 조건부 확률을 명시적으로 정의해야 합니다. 이 글은 현재 배포된 모델 프롬프트가 이미 그 정의를 사용하는지 확인하지 않았습니다. [7]

• 상승: 종가/시가 − 1이 +0.01% 이상, 즉 1bp 이상입니다.
• 하락: 변화율이 −0.01% 이하입니다.
• 푸시: 변화율이 두 임계값 사이에 있습니다.

모델이 넘어야 할 단순한 예측

Council의 기준 예측은 검증 과제를 구체적으로 만듭니다. 이 예측들은 확정 마감 시점까지 이용할 수 있었던 정보만 사용합니다.

과거 상승 빈도를 쓰는 기준은 푸시를 제외하고 실제 관측 수를 공개해야 합니다. 모멘텀은 확정 시점까지 완성된 5분 봉을 사용하며, 그 이후에 완성되는 봉을 사용하지 않습니다. 52/48 확률은 사전에 고정한 비교용 설정이지, 실증적으로 올바른 확률이라는 주장이 아닙니다.

Council 평균에도 정확한 규칙이 필요합니다. 현재 화면은 제시간에 도착한 이용 가능한 모델 응답의 평균을 계산하며, 응답이 전혀 없으면 0.50을 표시합니다. 따라서 세 모델이 응답한 시간과 다섯 모델이 응답한 시간은 서로 다른 구성의 앙상블입니다. 원장에는 최종 평균뿐 아니라 참여 모델과 응답 수도 보존해야 합니다.

연승보다 확률 점수가 중요한 이유

확률 예측의 주 평가 지표는 이진 Brier 점수입니다.

평균((예측 확률 − 결과)²)

상승 결과는 1, 하락 결과는 0이며 점수가 낮을수록 좋습니다. 50%가 넘는 모든 예측을 똑같은 ‘상승’ 예측으로 바꾸는 대신 실제로 제출한 확률을 평가합니다. [3].

70% 예측은 해당 시간이 상승하면 0.09, 하락하면 0.49점을 받습니다. 항상 50%인 예측은 어느 쪽이든 0.25점입니다. 이 0.25는 산술적으로 항상 성립하는 값이지, 비트코인에서 측정한 결과가 아닙니다.

70% 예측 한 번이 빗나갔다고 해서 모델이 잘못되었다는 증거는 아닙니다. 신뢰할 만한 70% 예측도 때로는 실패해야 합니다. 유용한 질문은 사전에 정한 표본 전체에서 그 확률 예측의 평균 점수가 더 나은지 여부입니다.

계산 예시 — 합성 데이터이며 Council 결과가 아닙니다

10시간 중 6시간이 상승하고 4시간이 하락했다고 가정해 보겠습니다. 가상의 두 방법은 매시간 ‘상승’을 예측합니다. 하나는 60%, 다른 하나는 90%의 확률을 부여합니다.

두 방법의 방향 적중률은 같습니다. 그런데 지나치게 확신한 방법은 기준 예측보다 성과가 나쁩니다. 틀린 네 번의 예측에 확률 점수상 큰 비용이 붙기 때문입니다. 이 가상의 숫자는 계산을 설명할 뿐, Council 모델의 능력에 관해 아무것도 보여 주지 않습니다.

70%라는 질문에 답하는 그래프

확률 보정 그래프는 예측을 확률 구간별로 묶습니다. 각 점의 가로축에는 해당 구간의 평균 예측 확률, 세로축에는 관측된 상승 빈도를 표시합니다. 신뢰할 만한 예측은 대각선에 가까이 놓입니다. 평균이 70%인 예측은 실제로도 약 70%의 빈도로 상승해야 합니다. [4].

합성 예시의 두 점은 (60%, 60%)와 (90%, 60%)이며 각각 10개 관측을 바탕으로 합니다. 두 번째 점은 과도한 확신을 드러냅니다. 다만 10개 관측은 안정적인 확률 보정을 입증하기에 턱없이 적습니다.

아래의 조작 가능한 그래프는 점수 계산을 설명하는 도구입니다. 가상의 70% 예측과 10개 중 7개의 상승 결과로 시작하며 두 값을 모두 바꿀 수 있습니다. Council에서 측정한 확률 보정 곡선이 아닙니다.

향후 실증 그래프에는 각 점의 관측 수, 불확실성, 예측 확률의 분포를 표시해야 합니다. 그렇지 않으면 관측이 드문 90% 구간도 관측이 충분한 55% 구간만큼 신뢰할 만하게 보일 수 있습니다. 관측이 없는 구간은 빈 상태로 두어야 합니다.

Brier 점수만으로는 확률 보정이 입증되지 않습니다. 사건을 구별하는 능력도 반영하기 때문입니다. 반대로 계속 50%라고만 예측하는 모델은 상승과 하락이 균형을 이룬 표본에서 확률 보정이 맞더라도 유용한 구별 능력을 제공하지 못할 수 있습니다. 점수와 그래프가 모두 필요합니다. [4].

확률 점수 계산 예시를 직접 살펴보기

예측 확률과 가상의 결과를 바꿔 보세요. 점수는 산술 계산을 보여 주는 예시입니다. 대각선은 한 집단의 평균 예측 확률과 관측된 상승 빈도가 같은 위치를 나타냅니다. 가상 관측 10개로 만든 점이 그 선 위에 있더라도 어떤 모델이 검증된 것은 아닙니다.

실제 미래 검증을 성립시키는 조건

과거 시장 데이터는 개발에 유용할 수 있습니다. 하지만 현대 모델에 오래된 유명 사건을 묻는 것은 미래 예측 능력을 검증하는 약한 방법입니다. 학습 데이터나 검색한 맥락에 이미 답이 들어 있을 수 있기 때문입니다. ForecastBench는 예측 제출 시점에 아직 결과가 나오지 않은 사건의 확률을 수집해 이 문제에 대응합니다. Council 검증에도 같은 원칙이 필요합니다. [5].

타당한 검증을 하려면 실행 날짜, 입력 정보 마감 시점, 모델 버전, 프롬프트, 기준 예측, 누락된 응답 처리 규칙과 평가 코드를 결과가 나오기 전에 공개해야 합니다. 다섯 모델 모두 같은 내용으로 고정한 정보 묶음을 받아야 합니다. 한 모델은 실시간 검색을 하고 다른 모델은 가격만 받는다면, 실험은 모델뿐 아니라 서로 다른 시스템도 비교하게 됩니다.

예정된 모든 모델 자리를 기록에 남겨야 합니다. Council 화면은 누락되거나 늦은 응답을 0.50으로 점수화한다고 설명합니다. 운영상의 비교에서는 이 정책을 유지하고 각 실패를 공개하며 합의한 일정 전체를 평가해야 합니다. 제시간에 제출된 예측만 따로 보면 모델이 실제로 낸 예측을 살펴볼 수 있습니다. 공통 시간대 비교는 서로 다른 시장 상황에서 모델을 평가하는 문제를 줄이는 데 도움이 됩니다.

기간은 미리 고정해야 합니다. 보기 좋은 연승 뒤에 검증을 끝내거나 손실을 확인한 뒤 프롬프트를 바꾸면 해당 표본은 개발 데이터가 됩니다. 규칙이 바뀌면 새 버전과 새로운 평가 기간이 필요합니다.

시간 단위 관측은 시장 상황을 공유할 수 있으므로 겉으로 보이는 표본 수가 독립적인 증거의 양을 과장할 수 있습니다. 시간적 의존성을 고려한 불확실성을 보고하고, 아주 작은 점수 차이로 보편적 우위를 선언하지 않아야 합니다. 공개된 무결성 해시는 유용하지만, 결과가 나오기 전에 예측이 존재했다는 증명에는 공개되거나 독립적인 시각 인증을 받은 확정 기록도 보존해야 합니다.

프로토콜 버전 1은 점수 규칙을 명시하지만, 이번 공개 자료에는 미래 검증 실행이 등록되어 있지 않습니다. 정확한 시작과 종료, 거래소 상품, 모델 식별자, 프롬프트, 입력 정보 묶음, 데이터 중단 정책을 채운 뒤 첫 평가 대상 시간이 시작되기 전에 확정해야 합니다. 다운로드 파일의 해당 항목은 명시적으로 미설정 상태입니다. 여기서는 연구 시작일이나 표본 수를 만들어 내지 않습니다.

독자가 다운로드할 수 있어야 하는 기록

연구의 완전한 공개 자료에는 예정된 모든 예측 행, 정확한 모델 식별자, 확정·응답 시각, 원래 확률과 점수에 사용한 확률, 누락·지연 표시, 앙상블 참여 모델, 기준 예측의 입력, 시장 시가·종가, 상승·하락·푸시 결과와 점수 계산 코드 버전이 들어가야 합니다.

독자는 그 원장에서 Brier 점수 표와 확률 보정 그래프의 각 점을 재현할 수 있어야 합니다. 공개 비교에는 불리한 결과까지 포함해 표본 수와 같은 시간의 기준 예측 대비 차이를 보여 줘야 합니다. CSV 템플릿이나 설명용 데이터는 문서로서 유용하지만 실제 관측을 대신할 수 없습니다.

이번 글은 공개 프로토콜 명세, 비어 있는 예측 원장 템플릿, 앞에서 사용한 전체 10행의 합성 점수 예시라는 세 가지 다운로드를 제공합니다. 설명용 CSV에는 가상의 방법이 들어 있으며 Qwen, Llama, GPT-OSS, Nemotron, Mistral의 예측이 아닙니다. 여기서는 Council의 실증 예측 원장을 공개하지 않습니다. 향후 결과를 발표하려면 실패와 푸시까지 포함한 완전한 기록이 필요합니다.

미래 가격과 매매 수익에는 별도 검증이 필요하다

정확한 미래 가격을 조사하려면 예측 기간을 고정하고 수치 예측을 제출받으며 가격 오차 지표를 사용하는 별도 실험을 추가해야 합니다. 자연스러운 첫 비교 기준은 마지막으로 관측한 가격입니다. 이런 나이브 예측은 금융 시계열의 표준적인 기준입니다. 단순하다는 이유로 무시할 것이 아니라 실제로 평가해야 합니다. [6].

가격 구간에는 구간 폭과 함께 실현 가격이 그 안에 들어오는 빈도를 확인하는 별도 검증이 필요합니다. 방향 확률에서 그린 부채꼴 그래프가 자동으로 검증된 가격 구간이 되는 것은 아닙니다.

매매 수익 주장에는 더 많은 증거가 필요합니다. 진입·청산 규칙, 실행 가능한 가격, 수수료, 스프레드, 슬리피지, 포지션 크기와 최대 낙폭을 다뤄야 합니다. Council의 모의매매 화면은 매시간 포지션으로 (p − 0.5) × 2를 사용하고 수수료를 제외합니다. 이 화면은 거래자가 실제로 얻을 수 있는 순수익의 증거가 아닙니다.

따라서 ‘AI는 금융시장을 예측할 수 있을까?’에 대한 정직한 답에는 조건이 붙습니다. 일부 연구는 특정 상황에서 유용한 신호를 발견합니다. 그러나 이 다섯 Council 모델의 비트코인 시간 단위 예측이 유용하다는 주장은 결과 전에 만든 예측, 투명한 점수와 재현 가능한 원장을 통해 입증해야 합니다. 가장 단순한 기준 예측이 이기는 것도 가치 있는 결과입니다.