«I mercati predittivi di solito hanno ragione» è il tipo di affermazione che la gente ripete senza mai verificarla. È anche verificabile: un mercato che dice 70% dovrebbe vincere circa sette volte su dieci e, se non lo fa, il mercato non è accurato quanto pensano i suoi sostenitori. L'accuratezza non è una sensazione; è una proprietà aritmetica che puoi misurare rispetto agli esiti già risolti, una piattaforma alla volta.
Se ti stai ancora facendo un'idea di cosa sono i mercati predittivi e di come i loro prezzi diventino probabilità, parti da lì. Questa guida riguarda la domanda più difficile: una volta che un mercato stampa un numero, quanto è buono quel numero e come potresti mai saperlo? La risposta breve a quanto sono accurati i mercati predittivi è che i migliori sono sorprendentemente ben calibrati, i peggiori no, e l'unico modo onesto per distinguerli è valutarli.
TL;DR
- L'accuratezza ha un significato preciso: gli eventi al 70% di un mercato ben calibrato accadono circa il 70% delle volte. È misurabile rispetto ai mercati risolti.
- Due numeri fanno il lavoro: l'errore di calibrazione (ECE) — quanto le probabilità previste si discostano dai tassi realizzati — e il Brier score, che premia anche la sicurezza.
- Una buona calibrazione richiede un test equo: abbastanza mercati risolti, esiti confermati dal provider e una storia reale precedente alla risoluzione. I mercati di breve durata e i book sottili la distorcono.
- Le piattaforme a soldi reali con liquidità profonda (Polymarket, Kalshi) tendono a essere ben calibrate; anche le piattaforme a soldi finti e di forecasting possono esserlo, ma gli incentivi sono diversi.
- CoinRithm valuta la calibrazione per ogni piattaforma a partire dagli esiti risolti e la pubblica sulla pagina delle fonti — così "accurato" è un numero che puoi ispezionare, non uno slogan di marketing.
- Nessun mercato è una sfera di cristallo. La calibrazione misura l'onestà delle quote, non la certezza sul futuro.
Cosa significa davvero "accurato"
Ci sono due cose diverse che si intendono per mercato predittivo accurato, e confonderle è la causa della maggior parte dei malintesi.
La prima è l'accuratezza di risoluzione: l'esito che il mercato indicava come più probabile è effettivamente accaduto? Questa è quella intuitiva — "il mercato ha azzeccato l'elezione" — ma da sola è quasi inutile. Un mercato che dice 55% e il favorito vince sembra "azzeccato", eppure una previsione al 55% che si avvera è appena più informativa del lancio di una moneta. Giudicare una previsione probabilistica in base al fatto che il suo favorito abbia vinto butta via proprio il numero che ne faceva una previsione.
La seconda, e quella che conta, è la calibrazione: in tutte le volte in cui una piattaforma ha detto "70%", la cosa è accaduta circa il 70% delle volte? Una piattaforma perfettamente calibrata è quella le cui probabilità dichiarate corrispondono alla realtà nel complesso. Può sbagliare su un singolo mercato — è questo che significa una probabilità — pur restando straordinariamente affidabile su centinaia di essi. La calibrazione è la proprietà che ti permette di fidarti di un prezzo che non hai mai visto prima, che è esattamente ciò di cui hai bisogno quando leggi un mercato a freddo.
Tutto ciò che segue riguarda la misurazione della seconda cosa.
La calibrazione, in un'immagine
Prendi ogni mercato risolto su una piattaforma e raggruppa le sue previsioni in base alla probabilità che ha assegnato: tutte le previsioni tra 0–10% in un bin, quelle tra 10–20% nel successivo, e così via fino a 90–100%. Ora, all'interno di ogni bin, calcola il tasso realizzato — quale frazione di quegli eventi è effettivamente accaduta.
Per una piattaforma ben calibrata i due valori coincidono: il bin 20–30% si risolve con Yes circa un quarto delle volte, il bin 70–80% circa tre quarti delle volte. Traccia la probabilità prevista rispetto al tasso realizzato e i punti si stringono attorno alla diagonale. Dove i punti scendono sotto la linea, la piattaforma era troppo sicura (diceva 80% ma quegli eventi accadevano il 65% delle volte); dove salgono sopra, era poco sicura.
CoinRithm costruisce esattamente questi bin di affidabilità per ogni piattaforma con una storia sufficiente, usando la probabilità che il mercato ha assegnato circa 24 ore prima della risoluzione — abbastanza tardi perché gran parte dell'informazione sia nel prezzo, abbastanza presto perché sia una previsione autentica e non una formalità di regolamento. È la stessa disciplina che un servizio meteo usa quando verifica se nei suoi giorni con "30% di probabilità di pioggia" ha effettivamente piovuto il 30% delle volte.
I due punteggi che la riassumono
Un grafico di affidabilità è onesto ma difficile da confrontare a colpo d'occhio, quindi due singoli numeri lo condensano.
Errore di calibrazione (ECE)
L'Expected Calibration Error è lo scarto medio, ponderato sul campione, tra la probabilità prevista di ogni bin e il suo tasso realizzato. Zero è perfetto; più cresce, più le quote dichiarate di una piattaforma si discostano dalla realtà. L'ECE è il titolo più pulito per rispondere a "il numero di questa piattaforma è affidabile?" perché non ignora nulla e non abbellisce nulla — misura semplicemente la distanza dalla verità. Nel campione di CoinRithm, le piattaforme a soldi reali meglio calibrate stanno vicine alla diagonale, con un errore di calibrazione abbastanza piccolo da rendere le loro probabilità degne di essere prese per buone; puoi leggere il dato attuale di ogni piattaforma sulla pagina delle fonti.
Il Brier score
Il Brier score è l'errore quadratico medio di una previsione probabilistica: per ogni mercato, prendi lo scarto tra la probabilità assegnata a ciò che è effettivamente accaduto e 1 (o 0 per ciò che non è accaduto), elevalo al quadrato e fanne la media. Premia l'essere sia calibrato sia sicuro — una piattaforma che copre tutto verso il 50% può sembrare calibrata pur essendo quasi inutile, e il Brier punisce quella timidezza. Più basso è, meglio è; 0 è un previsore perfetto e sicuro, 0,25 è il punteggio che ottieni dicendo 50% a tutto.
I due punteggi rispondono a domande diverse. L'errore di calibrazione chiede "le quote sono oneste?" Il Brier chiede "le quote sono oneste e nette?" Un'affermazione seria sull'accuratezza cita entrambi.
Perché un test equo è più difficile di quanto sembri
La maggior parte dei titoli tipo "i mercati predittivi sono accurati al 90%" bara silenziosamente, di solito in uno di questi modi — ed evitarli è il motivo per cui i nostri numeri sono più conservativi delle cifre di marketing che vedrai altrove.
- Accuratezza di risoluzione selezionata ad arte. Contare "il favorito ha vinto?" invece di valutare la probabilità gonfia qualsiasi piattaforma con molti mercati sbilanciati e quasi certi. Valuta le probabilità, non i vincitori.
- Valutare su mercati che si sarebbero comunque risolti. Includere la probabilità di un mercato nell'istante prima che si risolva — quando la risposta è già ovvia — fa sembrare ogni piattaforma chiaroveggente. Noi valutiamo il prezzo a ~24h di distanza, così è una previsione reale.
- Campioni minuscoli o sottili. Dieci mercati risolti non provano nulla. La calibrazione richiede un campione minimo (esigiamo una soglia minima prima di pubblicare il dato di una piattaforma) e liquidità sufficiente perché i prezzi riflettano una vera convinzione anziché un singolo ordine obsoleto.
- Escludere le cose difficili. I mercati di breve durata senza una vera storia precedente alla risoluzione vengono esclusi da un test di calibrazione pulito, il che onestamente riduce la dimensione del campione di alcune piattaforme — preferiamo mostrare un numero più piccolo ma equo piuttosto che uno più grande ma lusinghiero.
Ecco perché l'accuratezza è una grandezza per-piattaforma e per-metodologia, non una proprietà dei "mercati predittivi" come categoria. Due piattaforme possono entrambe definirsi accurate e intendere cose completamente diverse.
Quindi — sono accurati?
Per le piattaforme che superano un test equo, sì, e spesso in modo impressionante. I mercati profondi a soldi reali come Polymarket e Kalshi, regolamentato dalla CFTC, tendono a essere ben calibrati su ampi campioni: il loro 70% è davvero circa il 70%. Non è magia — sono soldi. Quando sbagliare costa capitale reale, i prezzi troppo sicuri vengono arbitraggiati verso la verità, che è lo stesso meccanismo che la nostra guida alla divergenza di probabilità descrive tra le piattaforme.
Anche le piattaforme a soldi finti e di forecasting come Manifold e Metaculus possono essere ben calibrate — a volte in modo sorprendente — perché la reputazione e le regole di punteggio danno ai previsori un proprio incentivo a essere onesti. Ma poiché nulla è finanziariamente in gioco, non mescoliamo mai le loro quote in un numero sostenuto da denaro; la probabilità di riferimento è solo a soldi reali proprio per questo motivo.
L'avvertenza fondamentale: la calibrazione è un'affermazione sulle quote, non sul futuro. Un mercato perfettamente calibrato che dice 30% ti sta dicendo la verità anche quando l'esito al 30% si verifica. Accuratezza significa che il prezzo è una probabilità onesta — non significa che il mercato sappia cosa accadrà. Trattare un 80% ben calibrato come una certezza è uno degli errori più comuni nei mercati predittivi.
Come CoinRithm la misura e la mostra
Calcoliamo la calibrazione a partire dai mercati risolti con esiti confermati dal provider — cioè la piattaforma stessa ha riportato come il mercato si è regolato, non una supposizione — e con tempi di risoluzione confermati dal provider, poi valutiamo ogni coppia (esito, probabilità) rispetto alla realtà. I risultati per-piattaforma, incluso quanta parte della storia di ciascuna piattaforma sia addirittura utilizzabile per un test di calibrazione equo, compaiono sulla pagina delle fonti insieme al suo modello di commissioni, alla valuta di regolamento e allo stato di salute della risoluzione.
L'accuratezza guida anche il nostro livello di fiducia. I mercati troppo sottili, troppo ambigui o troppo vicini alla risoluzione per potersene fidare con sicurezza vengono segnalati dal nostro motore di qualità dei dati anziché essere accettati silenziosamente — un prezzo di bassa qualità è esattamente quello che erode la calibrazione di una piattaforma. E quando gli agenti IA operano sulla nostra piattaforma, valutiamo le loro previsioni con la stessa disciplina Brier, descritta in come valutiamo le previsioni degli agenti, così un agente non può vantare un'abilità che non ha dimostrato.
Se vuoi verificare tu stesso qualcosa di tutto ciò, ogni mercato risolto e il suo esito confermato dal provider è raggiungibile tramite la API dati dei mercati predittivi gratuita, e l'intero approccio di valutazione è illustrato sulla nostra pagina della metodologia.
FAQ
Quanto sono accurati i mercati predittivi, in una frase?
Quelli ben gestiti e con liquidità profonda sono ben calibrati — i loro eventi al 70% accadono circa il 70% delle volte — mentre i mercati sottili o di breve durata sono molto meno affidabili, ed è per questo che l'accuratezza va misurata per ogni piattaforma anziché presunta per l'intera categoria.
Qual è la differenza tra la calibrazione e un Brier score?
L'errore di calibrazione (ECE) misura se le probabilità dichiarate di una piattaforma corrispondono ai tassi realizzati — "le quote sono oneste?" Il Brier score misura la stessa cosa ma premia anche la sicurezza, penalizzando un previsore che copre tutto verso il 50% — "le quote sono oneste e nette?" Un'affermazione credibile sull'accuratezza riporta entrambi.
I mercati predittivi sono più accurati dei sondaggi?
Spesso, nel complesso e più vicino alla risoluzione, perché i mercati incorporano continuamente nuove informazioni nel prezzo e mettono soldi dietro la convinzione — ma non sono infallibili e possono muoversi con il sentiment. Confrontiamo i due direttamente in mercati predittivi vs sondaggi.
Perché non contate semplicemente quante volte ha vinto il favorito?
Perché così si butta via la probabilità. Un mercato che dice 55% e vince è appena più informativo del lancio di una moneta, mentre un 90% ben calibrato che perde una volta su dieci era comunque una buona previsione. Valutare la probabilità rispetto all'esito realizzato — non il vincitore — è l'unico test equo.
Un mercato predittivo può essere ben calibrato e comunque sbagliato?
Sì, ed è proprio questo il punto. Un mercato calibrato che dice 30% ti sta dicendo la verità sulle quote anche quando l'esito al 30% si verifica. La calibrazione misura l'onestà del prezzo, non la certezza sul futuro — nessun mercato è una sfera di cristallo.
Dove posso vedere i numeri di accuratezza di CoinRithm?
Sulla pagina delle fonti, che mostra la calibrazione e lo stato di salute della risoluzione per ogni piattaforma, e sulle schede di valutazione degli agenti Arena per gli agenti IA. I dati sottostanti dei mercati risolti sono leggibili gratuitamente tramite la API pubblica.
