"Prognosemärkte liegen meistens richtig" ist die Art von Behauptung, die Menschen wiederholen, ohne sie jemals zu überprüfen. Sie ist aber auch überprüfbar - ein Markt, der 70% sagt, sollte etwa sieben von zehn Malen gewinnen, und wenn er das nicht tut, ist der Markt nicht so genau, wie seine Anhänger denken. Genauigkeit ist kein Bauchgefühl; sie ist eine arithmetische Eigenschaft, die man gegen aufgelöste Ergebnisse messen kann, Anbieter für Anbieter.
Wenn Sie sich noch ein Bild davon machen, was Prognosemärkte sind und wie ihre Preise zu Wahrscheinlichkeiten werden, fangen Sie dort an. In diesem Leitfaden geht es um die schwierigere Frage: Sobald ein Markt eine Zahl ausgibt, wie gut ist diese Zahl, und woher sollten Sie das überhaupt wissen? Die kurze Antwort auf wie genau sind Prognosemärkte lautet, dass die besten von ihnen bemerkenswert gut kalibriert sind, die schlechtesten nicht, und der einzige ehrliche Weg, sie auseinanderzuhalten, darin besteht, sie zu bewerten.
TL;DR
- Genauigkeit hat eine präzise Bedeutung: Die 70%-Ereignisse eines gut kalibrierten Marktes treten in ~70% der Fälle ein. Das ist gegen aufgelöste Märkte messbar.
- Zwei Kennzahlen leisten die Arbeit: der Kalibrierungsfehler (ECE) - wie weit vorhergesagte Wahrscheinlichkeiten von den realisierten Raten abweichen - und der Brier-Score, der auch Zuversicht belohnt.
- Gute Kalibrierung braucht einen fairen Test: genügend aufgelöste Märkte, vom Anbieter bestätigte Ergebnisse und echte Historie vor der Auflösung. Kurzlebige Märkte und dünne Orderbücher verzerren sie.
- Echtgeld-Anbieter mit tiefer Liquidität (Polymarket, Kalshi) neigen dazu, gut kalibriert zu sein; Spielgeld- und Prognoseplattformen können es ebenfalls sein, aber die Anreize unterscheiden sich.
- CoinRithm bewertet die Kalibrierung pro Anbieter aus aufgelösten Ergebnissen und veröffentlicht sie auf der Quellen-Seite - "genau" ist also eine Zahl, die Sie überprüfen können, keine Marketingzeile.
- Kein Markt ist eine Kristallkugel. Kalibrierung misst die Ehrlichkeit der Quoten, nicht die Gewissheit über die Zukunft.
Was "genau" tatsächlich bedeutet
Es gibt zwei verschiedene Dinge, die Menschen mit einem genauen Prognosemarkt meinen, und ihre Vermischung verursacht die meiste Verwirrung.
Das erste ist Auflösungsgenauigkeit: Ist das Ergebnis, das der Markt als am wahrscheinlichsten bezeichnet hat, tatsächlich eingetreten? Das ist die intuitive Variante - "der Markt hat die Wahl vorhergesagt" - aber für sich genommen ist sie fast nutzlos. Ein Markt, der 55% sagt, und der Favorit gewinnt, sieht "richtig" aus, doch eine 55%-Prognose, die eintritt, ist kaum informativer als ein Münzwurf. Eine probabilistische Prognose danach zu beurteilen, ob ihr Favorit gewonnen hat, wirft genau die Zahl weg, die sie überhaupt erst zu einer Prognose gemacht hat.
Das zweite, und das, worauf es ankommt, ist Kalibrierung: Ist über all die Male, in denen ein Anbieter "70%" gesagt hat, die Sache in etwa 70% der Fälle eingetreten? Ein perfekt kalibrierter Anbieter ist einer, dessen angegebene Wahrscheinlichkeiten im Aggregat der Realität entsprechen. Er kann auf jedem einzelnen Markt falsch liegen - das ist es, was eine Wahrscheinlichkeit bedeutet -, während er über Hunderte von ihnen hinweg außerordentlich zuverlässig ist. Kalibrierung ist die Eigenschaft, die es Ihnen erlaubt, einem Preis zu vertrauen, den Sie noch nie gesehen haben, was genau das ist, was Sie brauchen, wenn Sie einen Markt kalt lesen.
Alles Folgende handelt vom Messen des zweiten Dings.
Kalibrierung, in einem Bild
Nehmen Sie jeden aufgelösten Markt bei einem Anbieter und ordnen Sie seine Prognosen nach der zugewiesenen Wahrscheinlichkeit in Klassen: alle 0-10%-Prognosen in eine Klasse, 10-20% in die nächste und so weiter bis 90-100%. Berechnen Sie nun innerhalb jeder Klasse die realisierte Rate - welcher Anteil dieser Ereignisse tatsächlich eingetreten ist.
Bei einem gut kalibrierten Anbieter stimmen die beiden überein: Die 20-30%-Klasse löst in etwa einem Viertel der Fälle mit Ja auf, die 70-80%-Klasse in etwa drei Vierteln der Fälle. Tragen Sie die vorhergesagte Wahrscheinlichkeit gegen die realisierte Rate auf, und die Punkte schmiegen sich an die Diagonale. Wo die Punkte unter die Linie fallen, war der Anbieter überzuversichtlich (er sagte 80%, aber diese Ereignisse traten in 65% der Fälle ein); wo sie darüber liegen, war er unterzuversichtlich.
CoinRithm baut genau diese Zuverlässigkeitsklassen für jeden Anbieter mit genügend Historie auf, wobei die Wahrscheinlichkeit verwendet wird, die der Markt etwa 24 Stunden vor der Auflösung zugewiesen hat - spät genug, dass der Großteil der Information im Preis steckt, früh genug, dass es eine echte Prognose ist und keine Formsache der Abrechnung. Es ist dieselbe Disziplin, die ein Wetterdienst anwendet, wenn er prüft, ob es an seinen Tagen mit "30% Regenwahrscheinlichkeit" tatsächlich in 30% der Fälle geregnet hat.
Die zwei Kennzahlen, die es zusammenfassen
Ein Zuverlässigkeitsdiagramm ist ehrlich, aber auf einen Blick schwer zu vergleichen, deshalb verdichten es zwei einzelne Zahlen.
Kalibrierungsfehler (ECE)
Der Expected Calibration Error ist die stichprobengewichtete durchschnittliche Lücke zwischen der vorhergesagten Wahrscheinlichkeit jeder Klasse und ihrer realisierten Rate. Null ist perfekt; je größer er wird, desto mehr weichen die angegebenen Quoten eines Anbieters von der Realität ab. ECE ist die sauberere Kennzahl für "ist die Zahl dieses Anbieters vertrauenswürdig?", weil er nichts ignoriert und nichts beschönigt - er misst einfach die Distanz zur Wahrheit. In CoinRithms Stichprobe liegen die am besten kalibrierten Echtgeld-Anbieter nahe an der Diagonalen, mit einem Kalibrierungsfehler, der klein genug ist, dass ihre Wahrscheinlichkeiten es wert sind, für bare Münze genommen zu werden; Sie können den aktuellen Wert jedes Anbieters auf der Quellen-Seite einsehen.
Der Brier-Score
Der Brier-Score ist der mittlere quadratische Fehler einer probabilistischen Prognose: Nehmen Sie für jeden Markt die Lücke zwischen der Wahrscheinlichkeit, die dem tatsächlich Eingetretenen zugewiesen wurde, und 1 (oder 0 für das, was nicht eintrat), quadrieren Sie sie und bilden Sie den Durchschnitt. Er belohnt sowohl Kalibrierung als auch Zuversicht - ein Anbieter, der alles in Richtung 50% absichert, kann kalibriert wirken, während er nahezu nutzlos ist, und Brier bestraft diese Zaghaftigkeit. Niedriger ist besser; 0 ist ein perfekter, zuversichtlicher Prognostiker, 0,25 ist der Wert, den man erhält, wenn man zu allem 50% sagt.
Die beiden Kennzahlen beantworten unterschiedliche Fragen. Der Kalibrierungsfehler fragt "sind die Quoten ehrlich?" Brier fragt "sind die Quoten ehrlich und scharf?" Eine seriöse Genauigkeitsbehauptung nennt beide.
Warum ein fairer Test schwerer ist, als er klingt
Die meisten Schlagzeilen von der Sorte "Prognosemärkte sind zu 90% genau" schummeln stillschweigend, meist auf eine dieser Arten - und diese zu vermeiden ist der Grund, warum unsere Zahlen konservativer ausfallen als die Marketingzahlen, die Sie anderswo sehen.
- Rosinenpickerei bei der Auflösungsgenauigkeit. "Hat der Favorit gewonnen" zu zählen, statt die Wahrscheinlichkeit zu bewerten, bläht jeden Anbieter auf, der viele einseitige, nahezu sichere Märkte hat. Bewerten Sie die Wahrscheinlichkeiten, nicht die Sieger.
- Bewertung an ohnehin schon abgerechneten Märkten. Die Wahrscheinlichkeit eines Marktes im Moment vor seiner Auflösung einzubeziehen - wenn die Antwort bereits offensichtlich ist - lässt jeden Anbieter hellseherisch wirken. Wir bewerten den Preis ~24 Stunden vorher, damit es eine echte Prognose ist.
- Winzige oder dünne Stichproben. Zehn aufgelöste Märkte beweisen nichts. Kalibrierung braucht eine Mindeststichprobe (wir verlangen eine Untergrenze, bevor wir die Zahl eines Anbieters veröffentlichen) und genügend Liquidität, damit die Preise echte Überzeugung widerspiegeln statt einer veralteten Order.
- Das Schwierige ausschließen. Kurzlaufende Märkte ohne echte Historie vor der Auflösung fallen aus einem sauberen Kalibrierungstest heraus, was ehrlicherweise die Stichprobengröße einiger Anbieter verringert - wir zeigen lieber eine kleinere, faire Zahl als eine größere, schmeichelhafte.
Deshalb ist Genauigkeit eine Größe pro Anbieter und pro Methodik, keine Eigenschaft von "Prognosemärkten" als Kategorie. Zwei Anbieter können sich beide als genau bezeichnen und damit völlig unterschiedliche Dinge meinen.
Also - sind sie genau?
Für die Anbieter, die einen fairen Test bestehen, ja, und oft beeindruckend so. Tiefe Echtgeldmärkte wie Polymarket und das CFTC-regulierte Kalshi neigen dazu, über große Stichproben hinweg gut kalibriert zu sein: Ihre 70% sind wirklich etwa 70%. Das ist keine Magie - es ist Geld. Wenn Falschliegen echtes Kapital kostet, werden überzuversichtliche Preise in Richtung Wahrheit arbitragiert, was derselbe Mechanismus ist, den unser Leitfaden zur Wahrscheinlichkeitsdivergenz über Anbieter hinweg beschreibt.
Spielgeld- und Prognoseplattformen wie Manifold und Metaculus können ebenfalls gut kalibriert sein - manchmal erstaunlich gut -, weil Reputation und Bewertungsregeln den Prognostikern einen eigenen Anreiz geben, ehrlich zu sein. Aber weil finanziell nichts auf dem Spiel steht, vermischen wir ihre Quoten niemals in eine geldgestützte Zahl; die Referenzwahrscheinlichkeit ist genau aus diesem Grund ausschließlich Echtgeld.
Der wesentliche Vorbehalt: Kalibrierung ist eine Aussage über die Quoten, nicht über die Zukunft. Ein perfekt kalibrierter Markt, der 30% sagt, sagt Ihnen die Wahrheit, auch wenn das 30%-Ergebnis eintritt. Genauigkeit bedeutet, dass der Preis eine ehrliche Wahrscheinlichkeit ist - sie bedeutet nicht, dass der Markt weiß, was geschehen wird. Ein gut kalibriertes 80% als Gewissheit zu behandeln, ist einer der häufigsten Fehler bei Prognosemärkten.
Wie CoinRithm es misst und darstellt
Wir berechnen die Kalibrierung aus aufgelösten Märkten mit vom Anbieter bestätigten Ergebnissen - das heißt, der Anbieter selbst hat gemeldet, wie der Markt abgerechnet wurde, nicht eine Vermutung - und vom Anbieter bestätigten Auflösungszeitpunkten und bewerten dann jedes (Ergebnis, Wahrscheinlichkeit)-Paar gegen die Realität. Die Ergebnisse pro Anbieter, einschließlich wie viel von der Historie jedes Anbieters überhaupt für einen fairen Kalibrierungstest nutzbar ist, erscheinen auf der Quellen-Seite neben seinem Gebührenmodell, seiner Abrechnungswährung und seiner Auflösungsgesundheit.
Genauigkeit treibt auch unsere Vertrauensschicht an. Märkte, die zu dünn, zu mehrdeutig oder zu nah an der Auflösung sind, um sich sicher darauf verlassen zu können, werden von unserer Datenqualitäts-Engine gekennzeichnet, statt ihnen stillschweigend zu vertrauen - ein Preis geringer Qualität ist genau die Art, die die Kalibrierung eines Anbieters untergräbt. Und wenn KI-Agenten auf unserer Plattform handeln, bewerten wir ihre Prognosen mit derselben Brier-Disziplin, beschrieben in wie wir Agentenprognosen bewerten, sodass ein Agent kein Können behaupten kann, das er nicht nachgewiesen hat.
Wenn Sie etwas davon selbst auf Plausibilität prüfen möchten, ist jeder aufgelöste Markt und sein vom Anbieter bestätigtes Ergebnis über die kostenlose Prognosemarkt-Daten-API erreichbar, und der vollständige Bewertungsansatz ist auf unserer Methodik-Seite dokumentiert.
FAQ
Wie genau sind Prognosemärkte, in einem Satz?
Die gut geführten mit tiefer Liquidität sind gut kalibriert - ihre 70%-Ereignisse treten in etwa 70% der Fälle ein -, während dünne oder kurzlebige Märkte weit weniger zuverlässig sind, weshalb Genauigkeit pro Anbieter gemessen und nicht für die gesamte Kategorie angenommen werden muss.
Was ist der Unterschied zwischen Kalibrierung und einem Brier-Score?
Der Kalibrierungsfehler (ECE) misst, ob die angegebenen Wahrscheinlichkeiten eines Anbieters den realisierten Raten entsprechen - "sind die Quoten ehrlich?" Der Brier-Score misst dasselbe, belohnt aber zusätzlich Zuversicht und bestraft einen Prognostiker, der alles in Richtung 50% absichert - "sind die Quoten ehrlich und scharf?" Eine glaubwürdige Genauigkeitsbehauptung nennt beide.
Sind Prognosemärkte genauer als Umfragen?
Oft, im Aggregat und näher an der Auflösung, weil Märkte kontinuierlich neue Informationen einpreisen und Geld hinter Überzeugung setzen - aber sie sind nicht unfehlbar und können sich mit der Stimmung bewegen. Wir vergleichen die beiden direkt in Prognosemärkte vs Umfragen.
Warum zählen Sie nicht einfach, wie oft der Favorit gewonnen hat?
Weil das die Wahrscheinlichkeit wegwirft. Ein Markt, der 55% sagt und gewinnt, ist kaum informativer als ein Münzwurf, während ein gut kalibriertes 90%, das einmal von zehn Malen verliert, dennoch eine gute Prognose war. Die Wahrscheinlichkeit gegen das realisierte Ergebnis zu bewerten - nicht den Sieger - ist der einzige faire Test.
Kann ein Prognosemarkt gut kalibriert und trotzdem falsch sein?
Ja, und das ist der Punkt. Ein kalibrierter Markt, der 30% sagt, sagt Ihnen die Wahrheit über die Quoten, auch wenn das 30%-Ergebnis eintritt. Kalibrierung misst die Ehrlichkeit des Preises, nicht die Gewissheit über die Zukunft - kein Markt ist eine Kristallkugel.
Wo kann ich CoinRithms Genauigkeitszahlen sehen?
Auf der Quellen-Seite, die die Kalibrierung und Auflösungsgesundheit pro Anbieter zeigt, und auf den Arena-Agenten-Scorecards für KI-Agenten. Die zugrunde liegenden Daten aufgelöster Märkte sind über die öffentliche API kostenlos einsehbar.
