Alım Satım İçin ChatGPT mi Claude mu? Hangi Yapay Zekâ Daha İyi?

Önce hangi alım satım görevinde yardıma ihtiyaç duyduğunuzu belirleyin

Bir şirketin finansal sonuç açıklamasını araştıran yatırımcı ile geriye dönük testte hata ayıklayan kişinin ihtiyaç duyduğu yardım farklıdır. Önce beklenen çıktıyı yazın: kaynaklı bir not, denetlenmiş bir CSV, grafik açıklaması veya incelenmiş bir kod değişikliği. Doğru yanıtın neleri içereceğini ve hangi bilgilere erişilebildiğini belirtin. Böylece seçiminizi test edebilirsiniz.

Dosyalarınız ve çalışma notlarınız zaten ChatGPT'deyse küçük bir denetime oradan başlayın. Ekibiniz Claude kullanıyorsa aynı göreve orada başlayın. Alışkanlık, kopyalama ve inceleme yükünü azaltır. Alternatif ürün; izlenebilir atıflar, korunan elektronik tablo formülleri veya daha az kod düzeltmesi gibi tekrarlayan bir sorunu daha iyi çözdüğünde geçiş yapın.

Yeni bir iş akışı için karar vermeden önce her iki üründe de bir araştırma görevi ve bir sayısal görev deneyin. Etkileyici bir piyasa anlatısı, yanlış komisyon hesabını telafi etmemelidir. Aynı şekilde kusursuz aritmetik, kaynakları yetersiz bir piyasa iddiasını güvenilir kılmaz.

ChatGPT ve Claude: gerçek iş akışını karşılaştırın

ChatGPT araması, atıflarla birlikte güncel kaynaklar getirebilir; erişilebilirlik çalışma alanı ayarlarına bağlı olabilir. [1] Claude da doğrudan kaynak atıfları içeren web araması sunar. [3] Bir haber sorusunda ikisine de aynı tarihli iddiayı sorun, ardından atıf yapılan materyali açıp yanıtı destekleyip desteklemediğini kontrol edin. Daha uzun bir kaynakça otomatik olarak daha iyi araştırma anlamına gelmez.

ChatGPT'nin analiz iş akışı, dosyalarla çalışmayı ve elektronik tablo hesaplamalarını içerir. [2] Claude'un belgelerinde Python ve grafikler dâhil dosya oluşturma ve analiz özellikleri açıklanır; bunlar etkinleştirilmiş denetimlere ve sınırlara tabidir. [4] Bu açıklamalardan hiçbiri sayısal doğrulukta üstünlük kanıtlamaz. Uygulamadaki fark, erişebildiğiniz kurulumun dosyayı inceleyip inceleyemediği, yöntemi gösterip gösteremediği ve kullanılabilir bir sonuç dışa aktarıp aktaramadığıdır.

Üç işlemlik denetim, kontrol edilebilir bir başlangıç görevi sunar

Büyük bir geçmiş dosyasını yüklemeden önce küçük ve yapay bir işlem kaydı kullanın. Üç kapatılmış işlemin brüt sonuçlarının +20, −10 ve +5 USDT olduğunu varsayalım. Her işlem için toplam 2 USDT ücret ödeniyor. Ücretler çıkarıldığında sonuçlar +18, −12 ve +3 USDT, toplam net kâr ise 9 USDT olur. Bunlar aritmetik alıştırması için oluşturulmuş girdilerdir; gerçek model testi çıktıları, TensorParadigm işlemleri veya beklenen getirilerin kanıtı değildir.

Üç net sonucun ikisi pozitif olduğundan kazanma oranı 2/3, yani yaklaşık %66,67'dir. Burada kâr faktörünü, pozitif net işlem sonuçları toplamının negatif net işlem sonuçları toplamının mutlak değerine bölümü olarak tanımlayın: (18 + 3) / 12 = 1,75. Brüt kâr faktörü farklı girdiler kullanır. Kullanılan tanımı açıklamak, iki doğru hesabın anlaşmazlık sanılmasını önler.

İki ürüne de aynı girdiyi vermek için varsayımsal işlem CSV'sini indirin. Şu istemi kullanın: Yalnızca sağlanan varsayımsal işlem kaydını denetle. Net sonuçları, toplam ücretleri, toplam net kâr/zararı, kazanma oranını ve net kâr faktörünü hesapla. Formülleri göster ve sıfır sonuçlu işlemlerin nasıl ele alınacağı dâhil eksik varsayımları işaretle. Piyasa verisi uydurma, varlık önerme veya emir verme. Karşılaştırmanın yeni bir yorumlama turu gerektirmeden birkaç dakika sürmesi için aynı dışa aktarım biçimini isteyin.

Grafiklerde yorumdan önce fiyatları ve zaman damgalarını isteyin

Grafik görüntüsü, görünen yapıyı tartışmaya yardımcı olabilir; ancak kesin değerleri okumak zor olabilir. Sembolü, işlem yerini, zaman aralığını, saat dilimini ve görüntünün alınma zamanını belirtin. Kesinlik gerektiğinde grafiğin temelindeki mum verilerini de ekleyin. Asistandan, piksellere bakarak giriş fiyatı tahmin etmesi yerine hangi değerleri okuyabildiğini ve hangileri için veri kümesi gerektiğini belirtmesini isteyin.

İki ürünü de aynı açıklamalı sorularla karşılaştırın: hangi mum belirtilen seviyenin üzerinde kapandı, düşüş ne zaman başladı ve gösterge tamamlanmış bir mum mu kullanıyor? Yanıtları bilinen veri satırlarıyla kontrol edin. Grafik açıklaması, gözlemleri olası destek gibi yorumlardan ayırmalıdır. Bu ifadelerin hiçbiri, işlemin gerçekleşebileceği fiyatı kanıtlamaz.

Belirli bir anda alınacak kararı değerlendirirken daha sonraki mumları gizleyin. Aksi hâlde test, sonucu önceden bilmeyi ödüllendirir. Bu görüntüden belirlenemez şeklindeki açık bir yanıtı, uydurulmuş bir fiyattan daha iyi puanlayın. Böylece asistanın piyasa yorumcusu gibi konuşmasını değil, yorumlamadaki disiplinini değerlendirirsiniz.

Strateji kodunda kodlama ajanlarını sohbetten ayrı karşılaştırın

Sohbet bir fonksiyonu açıklayabilir veya kod değişikliği önerebilir; ancak kod deposuyla çalışmak dosyaları okumayı, kodu düzenlemeyi ve davranışı kontrol etmeyi gerektirir. OpenAI, Codex'i kod yazma, inceleme ve hata ayıklama için bir kodlama ajanı olarak tanımlar. [5] Claude Code belgelerinde depo düzenlemeleri, komutlar ve testler açıklanır. [6] Göreviniz kod tabanında değişiklik yapmaksa bu iş akışlarını karşılaştırın; sıradan bir sohbet dökümü farklı bir deneydir.

Bir geriye dönük testin, mum kapanış göstergesini o mum kapanmadan uygulaması gibi somut bir hata kullanın. Aynı depo anlık görüntüsünü ve kabul ölçütlerini sağlayın. Doğru zamanlama düzeltmesini ve düzeltmeden önce başarısız olacak bir testi ödüllendirin. İlgisiz düzenlemeleri, açıklanmayan bağımlılıkları ve yalnızca uygulamanın yaptığını tekrar eden başarılı bir testi olumsuz değerlendirin.

API uygulaması başka bir kategoridir: davranışı, veri hattınıza, istemlere, araç tanımlarına ve doğrulama koduna da bağlıdır. Bireysel abonelik erişimi ile geliştirici API erişimi, farklı satın alma ve entegrasyon kararlarıdır. Bir kodlama karşılaştırma testi, eksiksiz bir işlem uygulamasının çalışmasını veya yatırım sonuçlarını doğrulamaz.

Finansal yapay zekâ karşılaştırma testleri gerçekte neyi gösterir?

2023'te tanıtılan FinanceBench, finansal belgelere dayanan soruları değerlendirir. Bildirilen sonuçları, test edilen modele ve bilgi getirme yapılandırmasına bağlıdır. [7] Bu, belirlenmiş koşullarda belge sorularını yanıtlama konusunda yararlı bir kanıttır; bir alım satım yarışması değildir. Şirketin bildirdiği geliri bulmak ile hisse fiyatının buna vereceği tepkiyi tahmin etmek farklı görevlerdir.

FinBen'in 2024 karşılaştırma testi, 24 finansal görevde 42 veri kümesini kapsar ve 10 hisseyi içeren tarihsel bir işlem simülasyonuna yer verir. [8] İşlem tablosu güncel bir Claude–ChatGPT karşılaştırması sunmaz. Bu kurulumdan elde edilen tarihsel bir sonuç, bugünkü ürün, sürüm ve araçları sizin iş akışınız için seçemez.

Bir sıralama tablosunu deneyin tanımı olarak okuyun. Girdileri, değerlendirme tarihlerini, izin verilen araçları, puanlamayı ve sürümleri kontrol edin. Bir karşılaştırma testi, her finansal görev için en iyi asistanı belirlemeden de yararlı bir yeteneği veya zayıflığı gösterebilir. Kaynak doğrulama ve komisyon denetimi görevlerinizin yine kendi kabul kontrollerine ihtiyacı vardır.

Adil ve kör bir görev karşılaştırması yapın

Aynı girdi paketini, kesin model sürümlerini, araç izinlerini, tarihi ve istemi sabitleyin. Çıktıları görmeden önce yanıt anahtarını hazırlayın. Sabit paketli görevlerde iki ürüne de aynı belgeleri ve verileri verin; web üzerinden bilgi getirmeyi kapatın. Açık web araştırmasını ayrı bir kolda yürütün; çünkü farklı arama sonuçları bu iş akışının bir parçasıdır, kontrollü girdi değildir.

Puanlamadan önce çıktılara anonim etiketler verin. Doğruluğu, desteklenen iddiaları, eksik varsayımları ve kullanılabilir dışa aktarımları önceden belirlenmiş ölçütlerle puanlayın. Hatalar ve yanıt vermekten kaçınmalar dâhil tüm çıktıları saklayın; tekrar denemeleri açıklayın. Geçen süreyi, maliyeti ve insanın düzeltme süresini kaydedin. Birkaç farklı görev çeşidi, tek bir olumlu gösterimi tekrar tekrar cilalamaktan daha fazla bilgi verir.

Puanlamayı somutlaştırın. Araştırma yanıtı destekleyici bölümü göstermeli ve bildirilen olguları yorumdan ayırmalıdır. İşlem kaydı denetimi her satırı yeniden üretmeli, belirtilen ücret tanımını kullanmalı ve yanıt anahtarıyla eşleşmelidir. Kod görevi, mevcut davranışı bozmadan üzerinde anlaşılmış regresyon kontrolünü geçmelidir. Bir görevi ancak gerekli çıktısı çalıştığında tamamlanmış sayın; ek açıklamaların yanlış bir toplamı telafi etmesine izin vermeyin. Öznel yargılar söz konusuysa anonim puan kartını başka bir inceleyiciyle paylaşın.

İleriye dönük tahmin deneyini ayrı tutun. Sonuçlar ortaya çıkmadan önce aracı, vadeyi, tahmin kaydını, karşılaştırma ölçütünü ve puanlamayı tanımlayın. Sabit paket üzerindeki analiz doğruluğu, tahmin becerisini göstermez. Bu makale bir test yöntemi önerir; böyle bir karşılaştırmalı değerlendirmeyi gerçekleştirdiğini iddia etmez.

Abonelik değerini tamamlanmış iş üzerinden karşılaştırın

Belirli bir iş akışı için erişim satın almadan önce güncel hesap özelliklerini ve sınırlarını kontrol edin. Bir abonelik, ancak gerekli dosya, araştırma veya kodlama araçları gerçekten kullanacağınız kurulumda mevcutsa yararlıdır. İhtiyaç duyulan aracı kapalı bırakıp yalnızca model adına göre seçim yapmayın.

Kullanılabilir sonuç başına maliyeti ölçün. Başarısız denemeleri, tekrarları ve atıfları kontrol etmek ya da dışa aktarılan dosyayı düzeltmek için harcanan dakikaları dâhil edin. API işlerinde model kullanımına ek olarak uygulama işletim maliyetlerini de hesaba katın. Daha hızlı gelen ilk yanıt, ek inceleme işi doğuruyorsa toplamda daha pahalı olabilir. Mevcut abonelikler ilk kontrollü deneme için yeterli olabilir.

Seçimi tekrarlanabilir bir iş akışı düzeyinde yapın

Kullanılabilir araçları ve mevcut çalışma alanınız daha iyi doğrulanmış çıktıyı üretiyorsa ChatGPT'yi seçin. Claude'un iş akışı aynı sonucu daha az düzeltmeyle veya daha düşük toplam maliyetle üretiyorsa Claude'u seçin. Kod deposu işleri için ilgili kodlama ajanı kurulumları arasında gerçek bir kod değişikliği göreviyle karar verin. Sağlanan iyileşme ek yükten büyükse araştırma için bir asistanı, kod için diğerini kullanmak makuldür.

Neden seçim yaptığınızı ve araç değişikliği ya da tekrarlayan hatalar gibi hangi durumların yeniden test gerektireceğini kaydedin. TensorParadigm ve diğer işlem hizmetlerini, belgelenmiş sistemleri ve kanıtları üzerinden ayrıca değerlendirin; bu karşılaştırma onların hangi modelleri kullandığına ilişkin bir iddiada bulunmaz.