Yapay Zekâ Finansal Piyasaları ve Gelecekteki Fiyatları Tahmin Edebilir mi? Beş Modelin Basit Referans Tahminleriyle Sınanması

“Piyasayı tahmin etmek” gerçekte ne anlama geliyor?

Üç farklı iddia sıklıkla tek bir ifadeye sıkıştırılıyor:

İlk görevde başarılı olmak, diğer ikisinde de başarılı olunduğunu göstermez. %70 yükseliş olasılığı, tek başına yükselişin büyüklüğü hakkında hiçbir şey söylemez. Bu olasılık, sık yaşanan küçük kazançlarla ve ara sıra ortaya çıkan büyük kayıplarla bir arada bulunabilir.

Dil modellerinin belirli koşullarda yararlı finansal sinyaller çıkarabildiğine ilişkin güvenilir kanıtlar var. Lopez-Lira ve Tang, GPT-4'ün bilgi kesim tarihinden sonraki şirket haber başlıklarına ilişkin değerlendirmelerinin piyasa tepkilerini ve ardından gelen fiyat sürüklenmesini tahmin ettiğini bildiriyor. Yaklaşık %90'lık portföy-gün isabet oranları, açıkça işlemle kazanca dönüştürülemeyen bir ilk tepki olarak tanımladıkları duruma ilişkindir. Bu, hisse seçiminde her koşul için geçerli bir doğruluk iddiası değildir ve saatlik Bitcoin tahminlerinde avantaj bulunduğunu göstermez. [1].

Başka bir araştırma, dil modellerinin yakın geçmişteki hisse getirilerine aşırı ağırlık verebildiğini ve iyimser tahminler üretebildiğini gösteriyor. Bu bulgular, ikna edici açıklamalara güvenmekten çok ölçüm yapmayı gerektiriyor. [2].

Konsey için açıkça tanımlanmış tek bir soru

Konsey'de beş model koltuğu bulunuyor: Qwen, Llama, GPT-OSS, Nemotron ve Mistral. Bu adlar, yeniden üretilebilir deneyleri değil model ailelerini tanımlıyor. Her tahmin kaydında, o anda kullanılan tam model kimliği, sağlayıcı ve sürümün yanı sıra istem ve girdi paketi sürümü de yer almalı. Model kontrol noktasını değiştiren bir koltuk, yeni bir sürümlü seri başlatır.

Test, bütün finansal piyasalar yerine Bitcoin'in bir sonraki saatlik mumuna odaklanıyor. Hedef saat 14:00–15:00 UTC ise tahminler 13:55 UTC'de kesinleştiriliyor ve 15:00'ten sonra değerlendiriliyor. Sonuç, 15:00 kapanışı ile 14:00 açılışı karşılaştırılarak belirleniyor. Kapanış, tahminin kesinleştirildiği andaki fiyatla karşılaştırılmıyor.

Konsey'in sonuç kuralları dar bir nötr aralık kullanıyor:

Nötr sonuçlar kayıt defterinde tutuluyor ancak ikili yükseliş/düşüş puanlamasına katılmıyor. Bu nedenle olasılığın nasıl yorumlandığı önemli: Bu testte model talimatları, saatin nötr aralığın dışında sonuçlanması koşuluyla yükseliş olasılığını açıkça istemeli. Mevcut tahminlerin bu tanımı kullandığı varsayılamaz. Koşulsuz yükseliş olasılığına ilişkin bir çalışma, üçüncü sonucu açıkça hesaba katmak zorundadır.

Değerlendirme, tam olarak hangi enstrümanın ve fiyat kaynağının kullanıldığını belirtmeli. Yalnızca “Bitcoin” demek yeterli değil: Bir borsanın vadeli işlem mumu, açıklama yapılmadan başka bir piyasanın spot fiyatıyla sonuçlandırılmamalı. Eksik veya düzeltilmiş piyasa verileri için de sonuçlar incelenmeden önce sabitlenmiş bir kural gerekiyor.

Yayımlanmış protokol tanımı, Konsey'in bu sonuç eşiklerini kayda geçiriyor. Canlı çalıştırmanın istemi, veri toplama başlamadan önce koşullu olasılığı açıkça tanımlamalı; bu makale, kullanıma alınmış herhangi bir model isteminin bunu zaten yaptığını doğrulamış değildir. [7]

• Yükseliş: Kapanış/açılış eksi bir, en az +%0.01; yani bir baz puan olmalıdır.
• Düşüş: Değişim en fazla −%0.01 olmalıdır.
• Nötr: Değişim bu eşiklerin arasında kalır.

Modellerin aşması gereken basit tahminler

Konsey'in referans tahminleri, testin zorluğunu somutlaştırıyor. Yalnızca kesinleştirme son tarihine kadar mevcut olan bilgileri kullanıyorlar.

Tarihsel referans nötr sonuçları dışarıda bırakır ve gerçek gözlem sayısını açıklamalıdır. Momentum, kesinleştirme anına kadar tamamlanmış beş dakikalık mumları kullanır; daha sonra kapanan bir mumu kullanmaz. 52/48 olasılıkları sabit karşılaştırma ayarlarıdır; bu olasılıkların gerçek verilere göre doğru olduğu iddiası değildir.

Konsey ortalaması için de açık bir kural gerekiyor. Mevcut arayüz, zamanında yanıt veren ve kullanılabilir olan koltukların ortalamasını alıyor; hiçbiri yanıt vermezse 0.50 gösteriyor. Dolayısıyla üç koltuklu bir saat, beş koltuklu bir saatten farklı bir model birleşimidir. Kayıt defteri, yalnızca son ortalamayı değil katılan modelleri ve yanıt sayısını da korumalı.

Olasılık skorları neden kazanma serisinden daha önemli?

Birincil olasılık ölçütümüz ikili Brier skorudur:

mean((forecast_probability − outcome)²)

Yükseliş sonucu 1, düşüş sonucu 0 olarak kodlanır. Daha düşük skor daha iyidir. Skor, %50'nin üzerindeki her tahmini aynı “yükseliş” tahminiyle değiştirmek yerine gerçekten sunulan olasılığı değerlendirir. [3].

%70'lik bir tahmin, saat yükselişle sonuçlanırsa 0.09, düşüşle sonuçlanırsa 0.49 puan alır. Sabit %50 tahmini ise her iki durumda da 0.25 puan alır. Bu 0.25 referansı, Bitcoin'de ölçülmüş bir sonuç değil, aritmetik bir özdeşliktir.

Tek bir %70 tahmininin tutmaması, modelin bozuk olduğunu kanıtlamaz. Güvenilir bir %70 tahmini de bazen yanılmalıdır. Asıl soru, önceden belirlenmiş örneklem boyunca modelin olasılıklarının ortalamada daha iyi skorlar elde edip etmediğidir.

Hesaplama örneği — sentetik veriler, Konsey sonuçları değil

Altısı yükseliş, dördü düşüşle sonuçlanan on saat düşünün. İki kurgusal yöntem her saat “yükseliş” tahmini veriyor. Biri %60, diğeri %90 olasılık atıyor.

İki yön tahmini yöntemi de aynı genel isabet oranına sahip. Aşırı güvenli yöntem, dört yanlış tahmini olasılık skoru açısından ağır cezalandırıldığı için referanstan daha kötü performans gösteriyor. Bu kurgusal sayılar hesabı açıklıyor; herhangi bir Konsey modelinin yeteneği hakkında hiçbir şey söylemiyor.

%70 sorusunu yanıtlayan grafik

Kalibrasyon grafiği tahminleri olasılık aralıklarına ayırır. Her noktada, aralığın ortalama tahmini yatay eksende, gözlenen yükseliş sıklığı ise dikey eksende gösterilir. Güvenilir tahminler köşegene yakın durur: Ortalama %70 veren tahminlerin yaklaşık %70'i yükselişle sonuçlanmalıdır. [4].

Sentetik örnekte iki nokta (60%, 60%) ve (90%, 60%) olur; her biri on gözleme dayanır. İkinci nokta aşırı güveni ortaya çıkarır. On gözlem, istikrarlı kalibrasyon bulunduğunu göstermek için çok azdır.

Aşağıdaki etkileşimli grafik bir puanlama gösterimidir. Kurgusal bir %70 tahmini ve on sonuçtan yedisinin yükseliş olmasıyla başlar; ardından her iki değeri de değiştirmenizi sağlar. Ölçülmüş bir Konsey kalibrasyon eğrisi değildir.

Gerçek verilere dayanacak grafikte her noktanın gözlem sayısı, belirsizlik ve olasılık dağılımı gösterilmeli. Aksi takdirde, az sayıda gözlem içeren bir %90 aralığı, bol gözlem içeren bir %55 aralığı kadar güvenilir görünebilir. Boş aralıklar boş kalmalı.

Brier skoru tek başına kalibrasyonu göstermez; olayları birbirinden ayırma yeteneğini de yansıtır. Benzer biçimde, sürekli %50 diyen bir model dengeli bir örneklemde kalibre olabilir, ancak yararlı bir ayrım sağlayamayabilir. Hem skora hem grafiğe ihtiyacımız var. [4].

Olasılık puanlama örneğini deneyin

Tahmin olasılığını ve varsayımsal sonuçları değiştirin. Skorlar aritmetik gösterimlerdir; köşegen, bir grubun ortalama tahmininin gözlenen yükseliş sıklığına eşit olduğu yeri gösterir. On kurgusal gözlemle bu çizginin üzerinde duran bir nokta, herhangi bir modeli doğrulamaz.

Bunu gerçek bir ileriye dönük test yapan şey nedir?

Tarihsel piyasa verileri geliştirme aşamasında yararlı olabilir. Modern bir modele geçmişteki tanınabilir bir olayı sormak, geleceği tahmin etme yeteneği açısından daha zayıf bir testtir: Eğitim verileri veya eriştiği bağlam cevabı içerebilir. ForecastBench bu sorunu, tahmin sunulduğunda henüz sonuçlanmamış olaylar için olasılık isteyerek ele alıyor. Aynı ilke Konsey testinde de uygulanmalı. [5].

Savunulabilir bir çalıştırmada tarihler, bilgi kesim zamanı, model sürümleri, istemler, referanslar, eksik tahmin kuralları ve değerlendirme kodu sonuçlar ortaya çıkmadan yayımlanmalı. Beş modelin tamamı aynı dondurulmuş bilgi paketini almalı. Biri canlı arama yaparken diğeri yalnızca fiyatları görüyorsa deney, modellerin yanında farklı sistemleri de karşılaştırıyor demektir.

Programdaki her koltuk görünür kalmalı. Konsey arayüzü, eksik veya geç yanıt veren koltukların 0.50 olarak puanlandığını belirtiyor. Operasyonel karşılaştırma bu politikayı korumalı, her başarısızlığı açıklamalı ve kararlaştırılan programı puanlamalı. Yalnızca zamanında gelen yanıtları içeren ayrı bir görünüm, modelin sunduğu tahminleri inceleyebilir. Ortak saatler üzerinden yapılan karşılaştırma, farklı modellerin farklı piyasa koşullarında değerlendirilmemesini sağlamaya yardımcı olur.

Dönem önceden sabitlenmeli. Etkileyici bir kazanma serisinden sonra durmak veya kayıpları inceledikten sonra istemi değiştirmek, örneklemi geliştirme verisine dönüştürür. Yeni kurallar, yeni bir sürüm ve yeni bir değerlendirme dönemi gerektirir.

Saatlik gözlemler aynı piyasa koşullarını paylaşabilir; bu nedenle görünen örneklem büyüklüğü bağımsız kanıt miktarını olduğundan fazla gösterebilir. Zaman içindeki bağımlılığı gözeten belirsizlik ölçümleri sunun ve küçük bir skor farkından yola çıkarak her koşulda üstünlük ilan etmeyin. Yayımlanan bir bütünlük özeti yararlıdır; ancak tahminin sonuçtan önce var olduğunu kanıtlamak için ayrıca saklanmış, kamuya açık veya bağımsız zaman damgalı bir kesinleştirme kaydı gerekir.

Protokolün 1. sürümü puanlama kurallarını belirtiyor; ancak bu yayında ileriye dönük bir çalıştırma kaydedilmiş değil. Kesin başlangıç ve bitiş, borsa enstrümanı, model kimlikleri, istemler, girdi paketi ve veri kesintisi politikası, ilk uygun saatten önce doldurulmalı ve kesinleştirilmeli. İndirilebilir dosyada bu alanlar açıkça boş bırakılmıştır; burada bir çalışma başlangıcı veya örneklem büyüklüğü uydurulmamıştır.

Okuyucu hangi verileri indirebilmeli?

Tam bir çalışma yayını; planlanmış bütün tahmin satırlarını, tam model kimliklerini, kesinleştirme ve yanıt zamanlarını, ham ve puanlamada kullanılan olasılıkları, eksik/geç yanıt işaretlerini, model birleşimine katılanları, referans girdilerini, piyasa açılış/kapanış değerlerini, yükseliş/düşüş/nötr sonuçlarını ve puanlama kodu sürümünü içermeli.

Okuyucular Brier tablosunu ve kalibrasyon noktalarını bu kayıt defterinden yeniden üretebilmeli. Yayımlanan karşılaştırmada örneklem sayıları ve aynı saatlerdeki referanslara göre farklar, olumsuz sonuçlar da dâhil olmak üzere gösterilmeli. CSV şablonu veya örnek veri kümesi yararlı bir belgedir; gerçek gözlemlerin yerini tutamaz.

Bu yayında üç dosya sunuluyor: yayımlanmış protokol tanımı, boş bir tahmin kayıt defteri şablonu ve yukarıda kullanılan on satırlık sentetik puanlama örneğinin tamamı. Örnek CSV, Qwen, Llama, GPT-OSS, Nemotron veya Mistral tahminlerini değil, kurgusal yöntemleri içeriyor. Burada gerçek verilere dayanan bir Konsey kayıt defteri yayımlanmıyor. Gelecekteki sonuçlar, başarısızlıklar ve nötr sonuçlar da dâhil olmak üzere bu tam kaydı gerektiriyor.

Gelecekteki fiyatlar ve işlem kârları için ayrı testler gerekir

Gelecekteki kesin fiyatları araştırmak için sabit bir tahmin ufku, önceden sunulmuş sayısal tahminler ve fiyat hatası ölçütleri içeren ayrı bir deney eklememiz gerekir. Doğal bir başlangıç referansı, son gözlenen fiyattır. Bu basit tahmin, finansal zaman serileri için standart bir karşılaştırma yöntemidir; basit olduğu için göz ardı edilmek yerine değerlendirilmelidir. [6].

Fiyat aralığı için ek bir kontrol gerekir: Aralığın genişliğiyle birlikte, gerçekleşen fiyatın ne sıklıkla gerçekten bu aralığa düştüğü incelenmeli. Yön olasılığından türetilen bir grafik konisi, otomatik olarak doğrulanmış bir fiyat aralığı değildir.

İşlem iddiaları daha da fazla kanıt gerektirir: giriş ve çıkış kuralı, gerçekleştirilebilir fiyatlar, komisyonlar, alış-satış farkı, fiyat kayması, pozisyon büyüklüğü ve zirveden düşüşler. Konsey'in simüle işlem göstergesi, saatlik pozisyon olarak (p − 0.5) × 2 kullanır ve komisyonları hesaba katmaz. Bu gösterge, bir yatırımcının elde edebileceği net getirilerin kanıtı değildir.

Dolayısıyla “Yapay zekâ finansal piyasaları tahmin edebilir mi?” sorusunun dürüst cevabı koşullara bağlıdır. Bazı çalışmalar belirli durumlarda yararlı sinyaller buluyor. Konsey'in bu beş koltuğu için yararlı saatlik Bitcoin tahmini, sonuçlardan önce yapılmış tahminler, şeffaf skorlar ve yeniden üretilebilir bir kayıt defteriyle gösterilmesi gereken bir iddia olmaya devam ediyor. En basit referansın kazanması da değerli bir sonuç olur.