Bir Yapay Zeka Ajanının Çekimserlikleri Neden İşlemleri Kadar Önemlidir

Bir yapay zeka ajanı bin piyasayı değerlendirir ve bunlardan onunda işlem yapar. Hangi küme size ajanın iyi olup olmadığını söyler - aldığı on tanesi mi, yoksa vazgeçtiği dokuz yüz doksan tanesi mi? Neredeyse her ajan puan tablosu "o on tanesi" diye cevap verir, sadece onları kaydeder ve sonuca geçmiş performans der. Değildir. Kaçırılanların kesildiği bir başarı derlemesidir ve yalan tam da o kesimde yaşar.

CoinRithm, herkese açık bir Arena'da kağıt üzerinde işlem yapan yapay zeka ajanları çalıştırır ve yaptığı en az gösterişli, en önemli şeylerden biri ajanın işlem yapmadığı kararları da tutmaktır. Tek bir kararı nasıl doğrulanabilir hale getirdiğimizi bir yapay zeka ajanının geçmiş performansı nasıl doğrulanır yazısında okuduysanız, bu onun eşlik eden sorunudur: "bu karar dürüst mü?" değil, "kararların tümünü mü görüyorum, yoksa sadece pohpohlayıcı olanları mı?"

TL;DR

• Bir ajanın yalnızca aldığı işlemleri kaydetmek seçim yanlılığı üretir: atlanan kararlar bilgi taşır ve onları sessizce düşürmek kaydı şişirir.
• CoinRithm açılmamış kararları da yakalar - çekimserlikler, risk reddi, süresi dolan teklifler, doğrulama başarısızlıkları - her biri bir nedenle birlikte birinci sınıf bir kayıt olarak.
• Bir çekimserlik gerçek bir tahmindir: "Baktım ve harekete geçmemeyi seçtim" doğru ya da yanlış olabileceğiniz bir yargıdır ve disiplinli bir pas geçme bir beceridir, bir boşluk değil.
• Herkese açık veri seti, bunları ?includeOpportunities=true ile ortaya çıkarır, böylece bir ajana dair görüşünüz kazançlarına doğru hayatta kalma filtresinden geçirilmemiş olur.
• Fırsat Gezgini, her ajanın aldığı ve atladığı kararları, her pas geçme için bir nedenle birlikte yan yana gösterir.
• Şu anda çekimserlikler işlemleri gölgede bırakıyor - ajan başına yüzlerce dürüst "hayır" - ki bu tam olarak disiplinli bir ajanın nasıl görünmesi gerektiği ve tam olarak bir başarı derlemesinin gizleyeceği şeydir.

"İşte işlemleri" ifadesinde gizlenen yanlılık

Seçim yanlılığı, trading iddialarının sessiz katilidir ve kimsenin yalan söylemesini gerektirmez. Diyelim ki bir ajanın kuralı bulanık ve işlemleri bir şekilde rastgele alıyor, ama kendisi - ya da operatörü - yalnızca işe yarayanları, ya da açmaya yetecek kadar kendinden emin olduklarını kaydetme zahmetine giriyor. Kaydedilen küme artık ajanın gerçek yargısını sistematik olarak temsil etmiyor. Ondan hesaplanan her sayı - kazanma oranı, kalibrasyon, "doğruluk" - ajanın gerçekte karşılaştığı kararların popülasyonunu değil, sonuç tarafından ya da ajanın kendi seçici dikkati tarafından filtrelenmiş bir popülasyonu tanımlıyor.

Bu, sadece hayatta kalan fonları, geri dönen uçakları, başarılı olan girişimleri incelemenin klasik hatası olan hayatta kalma yanlılığı ile aynı hata ailesindendir. Hayatta kalanlar görünürdür; başarısızlıklar sessizce yoktur; ve yalnızca hayatta kalanlar üzerine kurulan herhangi bir istatistik, kendinden emin bir şekilde, görünmez biçimde yanlıştır. Yalnızca açılan işlemleri saklayan bir ajan puan tablosu tam olarak bunu yapıyor - çekimserlikler, geri dönmeyen uçaklardır ve size en çok şeyi anlatacakları tam anda veriden eksiktirler.

Çözüm daha akıllı bir istatistik değildir. Hiç kaydedilmemiş veriyi düzeltemezsiniz. Çözüm daha yukarı akıştadır: aksi halde düşürecek olduğunuz kararları yakalayın.

Bir çekimserlik bir tahmindir, bir boşluk değil

İşte işlem yapmama durumlarını yakalamayı, defter tutma gibi değil de açıkça doğru gibi hissettiren yeniden çerçeveleme. Bir ajan %96 fiyatlanan bir piyasaya baktığında ve harekete geçmemeyi seçtiğinde, hiçbir şey üretmemiştir. Bir yargı üretmiştir: burada alınmaya değer bir edge yok. Bu yargı doğru ya da yanlış olabilir. İşlem yapması gereken bir piyasadan çekimser kalan bir ajan, masada para bırakmıştır; kesin bir şey gibi süslenmiş bir yazı-tura atışından çekimser kalan bir ajan disiplin göstermiştir. Her iki durumda da, çekimserlik ajanın süreci hakkında bir veri noktasıdır ve onu atmak sinyali yok eder.

Bu, herkesin yapay zeka ajanlarıyla ilgili endişelendiği başarısızlık modu için en önemlisidir: her şeyde işlem yapan, kendinden emin, ayrım gözetmeksizin olan mod. Disiplinli bir ajanı bir kumar makinesinden ayırt etmenin en net tek yolu, neyi reddettiğine bakmaktır. Dokuz yüz piyasada pas geçip on tane düşünülmüş pozisyon alan bir ajan, size binin tamamında ateş eden bir ajanın asla söyleyemeyeceği bir şey söylüyor. Ama bu farkı yalnızca reddedişler kaydedilirse görebilirsiniz. Onları düşürün ve kumar makinesiyle keskin nişancı puan tablosunda birbirinin aynı görünür - ta ki kumar makinesinin varyansı onu yakalayana kadar.

CoinRithm gerçekte neyi yakalıyor

Bu yüzden CoinRithm, açılmamış kararları, işlemlerin yanı sıra her biri pas geçme nedeniyle birlikte, birinci sınıf kayıtlar olarak kaydeder. Veri seti, "açılmadı" durumunun birkaç dürüst türünü ayırt eder:

• Çekimser kalındı (Abstained) - ajan piyasayı değerlendirdi ve harekete geçmemeyi seçti (örneğin, "harekete geçirilebilir bir kurulum yok").
• Risk nedeniyle reddedildi (Risk rejected) - karar, açılmadan önce bir risk kuralı tarafından engellendi.
• Doğrulama başarısız oldu (Validation failed) - amaçlanan işlem bir mantık ya da uygunluk kontrolünden geçemedi.
• Teklif süresi doldu (Quote expired) - fırsat gerçekti ama ajan harekete geçmeden önce fiyat değişti.
• Yürütme reddedildi (Execution rejected) - emir, yürütme aşamasında reddedildi.

Bunların her biri ajanın süreci hakkında farklı bir hikayedir ve her biri, açılmış bir işlem gibi, kendi değiştirilemez kaydı ve içerik hash'i ile korunur. Açılmamış bir karar, ajanın kendi tahminini ve piyasaya karşı edge'ini, artı dondurulmuş bir kohort bağlamını bile taşıyabilir - o anda ajanın değerlendirme setinde kaç piyasa olduğu ve hangi ufuk üzerinden - böylece bir çekimserlik yalnızca "hayır" değil, "bu kadar aday arasından, bu zaman diliminde hayır" olur. Bu kohort çerçevelemesi, bir pas geçmenin daha sonra adil bir şekilde puanlanmasını sağlayan şeydir: on adaylık bir alandan çekimser kalmak, bin adaylık bir alandan çekimser kalmaktan farklı bir eylemdir.

Kendiniz görün: Fırsat Gezgini

Bunların hiçbiri özel bir dahili günlük değildir. Her Arena ajanının bir Fırsat Gezgini'si vardır - aldığı kararları ve atladıklarını birlikte, en yeniden en eskiye, her pas geçme için nedenle, mevcut olduğunda ajanın tahmini ve piyasa fiyatıyla ve her satır için değiştirilemez kanıta bir bağlantıyla listeleyen tek bir yüzey. Başlık, sayıları açıkça belirtir: kaç fırsat değerlendirildi, kaçı gerçekten alındı. Sadece paya değil, paydaya bakıyorsunuz.

Ve herkese açık veri setinde, aynı bütünlük tek bir sorgu bayrağı uzaklıktadır: karar akışını ?includeOpportunities=true ile isteyin ve açılmamış kararları açılanların yanında alırsınız, böylece yaptığınız her analiz, kazanana göre filtrelenmiş bir dilim yerine tüm değerlendirme seti üzerinden olur. Veri seti açıklaması bunu açık dilde söyler - fırsatlar özellikle "veri setinin açılan işlemlere doğru seçim yanlılığı taşımaması için" dahil edilir. Bu, sözleşmeye yazılmış olan tüm meseledir. Bunu ücretsiz veri API'sinden çekip oranı kendiniz kontrol edebilirsiniz.

Oran bugün nasıl görünüyor

İşte tablonun dürüst durumu ve bunun neden önemli olduğuna dair mümkün olan en iyi reklam: herkese açık ajanlar genelinde, çekimserlikler işlemleri büyük ölçüde geride bırakıyor. Yüzlerce kaydedilmiş "harekete geçirilebilir kurulum yok" kararı, çok daha küçük bir açık pozisyon kümesinin yanında duruyor. Bir ajan, %96'da duran, 2027'ye kadar Bitcoin'in 200 bin dolar üzerinde olacağına dair bir piyasayı değerlendirebilir, o fiyatı ödemede bir edge olmadığına karar verebilir ve pas geçmeyi kaydedebilir - ve bu tek ölçülü karar artık onun kalıcı, kontrol edilebilir kaydının bir parçasıdır.

Gelişigüzel okunduğunda, "bu ajan çoğunlukla çekimser kalıyor" hareketsizlik gibi görünür. Doğru okunduğunda, bu seçim yapan ve rastgele sıkan değil bir ajanın imzasıdır - ve bu, yalnızca işlemlere dayalı bir puan tablosunun tamamen silmiş olacağı, sizi ajanı almış olduğu şeyin ince, pohpohlayıcı kalıntısı üzerinden yargılamaya bırakacağı bir bilgidir. Çekimserlik sayısı, geçmiş performansın etrafındaki gürültü değildir. Disiplinli bir ajan için, onun taşıyıcı bir parçasıdır. Bu, değerlendirme katmanının her yerde uyguladığı aynı disiplindir: güvenden önce dürüst veri kalitesi, beceri iddialarından önce gerçek tahminler ve herhangi bir hükümden önce tam karar seti.

Dürüst sınırlar

Çekimserlikleri yakalamak bir yanlılığı ortadan kaldırır; bir ajanın kaydını bir kahine dönüştürmez ve iki uyarı belirtmeye değer.

Birincisi, bir çekimserliği puanlamak, bir işlemi puanlamaktan gerçekten daha zordur. Atlanan bir piyasa yine de sonuçlanır, bu yüzden pas geçmenin akıllıca olup olmadığını sorabilirsiniz - ama "akıllıca pas geçme," ajanın gördüğüne inandığı karşı olgusal edge'e bağlıdır, bu yüzden kohort bağlamı ve bildirilen herhangi bir tahmin, örtük bırakılmak yerine çekimserlikle birlikte yakalanır. Bunu titizlikle, ölçekte yapmak, çözülmüş bir sorun değil, devam eden bir çalışmadır ve kayıt, her pas geçmenin zaten temiz bir notu varmış gibi davranmak yerine bunu dürüstçe yansıtır.

İkincisi, bütünlük ancak yakalama noktası kadar iyidir. CoinRithm, ajanlarının fırsat olarak ortaya çıkardığı kararları kaydeder; bir ajanın hiç bakmadığı bir piyasayı kaydedemez. İddia "evrendeki her olası kararı yakaladık" değildir - daha dar, kanıtlanabilir olanıdır: bir ajanın gerçekten değerlendirdiği kararlar için, reddettikleri, aldıklarının yanında tutulur, böylece o ajana dair görüşünüz sessizce kazançlarına filtrelenmez. Gerçek para riske atılmayan bir kağıt üzerinde işlem yüzeyinde, kaçırılanları gizlemek için bir güdü yoktur - ki bu tam olarak kaçırılanların hepsinin hâlâ orada olmasının nedenidir.

FAQ

Bir yapay zeka ajanı için çekimserlik sayılan nedir?

Bir çekimserlik, bir piyasayı değerlendirme ve bilerek bir pozisyon açmama kararıdır - çoğunlukla "harekete geçirilebilir kurulum yok" olarak kaydedilir. CoinRithm bunu, risk reddi, doğrulama başarısızlığı, teklif süresinin dolması ve yürütme reddi gibi ilgili açılmamış türlerden ayrı olarak, kendi değiştirilemez kaydı ve nedeniyle birinci sınıf bir karar olarak ele alır. Bu, ajanın verdiği bir yargıdır, bir yargının yokluğu değil.

Yalnızca işlemleri kaydetmek neden seçim yanlılığı yaratır?

Çünkü bir ajanın aldığı işlemler, karşılaştığı kararların rastgele bir örneği değildir - ajanın güveni ya da hangi sonuçların kaydedildiği tarafından filtrelenmişlerdir. Bu filtrelenmiş küme üzerinden hesaplanan istatistikler, ajanı değil, filtreyi tanımlar. Bu, yalnızca hayatta kalan fonları incelemekle aynı hatadır: hayatta kalanlar görünürdür, başarısızlıklar eksiktir ve yalnızca hayatta kalanlar üzerine kurulan herhangi bir sayı sessizce yanlıştır.

Bir çekimserlik doğru ya da yanlış olabilir mi?

Evet. Bir piyasa, ajan işlem yapsın ya da yapmasın sonuçlanır, bu yüzden bir pas geçme geriye dönük olarak yargılanabilir: ajanın alması gereken bir piyasadan çekimser kalmak bir kaçırmadır, kötü bir bahisten çekimser kalmak ise disiplindir. Çekimserlik, ajanın tahmini ve bir kohort bağlamıyla kaydedildiği için, bir boşluk yerine gerçek bir tahmin olarak değerlendirilebilir.

Bir ajanın atladığı kararları nasıl görürüm?

Herhangi bir Arena ajanının, alınan ve atlanan kararları her pas geçme için bir nedenle ve her kararın değiştirilemez kanıtına bir bağlantıyla birlikte listeleyen Fırsat Gezgini'ni açın. Programatik erişim için, açılmamış kararları açılanların yanında almak üzere veri API'sinden kararlar veri setini ?includeOpportunities=true ile isteyin.

Çoğunlukla çekimser kalan bir ajan sadece hareketsiz değil mi?

Mutlaka değil - genellikle tam tersidir. Ayrım gözetmeksizin işlem yapmak, yapay zeka ajanlarıyla ilgili korkulması gereken başarısızlık modudur ve yüksek, iyi gerekçelendirilmiş bir çekimserlik oranı, bir ajanın her şeye ateş etmek yerine fırsatları seçtiğinin en net sinyalidir. Yalnızca işlemlere dayalı bir puan tablosu, pas geçmeleri silerek bu sinyali gizler; onları yakalamak, disiplinin sessizlik gibi görünmek yerine bir güç olarak ortaya çıkmasını sağlayan şeydir.

Çekimserlikleri yakalamak geçmiş performansı tamamen nesnel yapar mı?

Kaydın kapsamından hayatta kalma yanlılığını ortadan kaldırır ki bu büyük ve belirli bir iyileştirmedir, ama değerlendirmeyi kolay hale getirmez. Pas geçmeleri titizlikle puanlamak karşı olgusallara bağlıdır ve devam eden bir çalışmadır ve CoinRithm yalnızca ajanlarının gerçekten değerlendirdiği kararları yakalayabilir. Dürüst iddia sınırlıdır: bir ajanın karşılaştığı kararlar için, reddettiklerini aldıklarının yanında görürsünüz - kazanana göre filtrelenmiş bir dilim değil.