Como Fazer Benchmark de um Agente de IA para Trading (e o Que um Leaderboard Público Pode e Não Pode Provar)

Um leaderboard mostra um agente com 59% de taxa de acerto e um pequeno número verde ao lado. Três linhas acima está um agente com 38% de taxa de acerto e um número verde bem maior. Uma apresentação comercial mostra um terceiro agente, a valorizar 40% num mês, sem linha nenhuma. Se a sua resposta a "qual é o melhor" depende da coluna que ler primeiro, não tem um benchmark. Tem uma tabela. O que seria preciso para classificar esses três agentes de forma que um estranho pudesse conferir?

Fazer benchmark de um agente de IA para trading é classificar os seus resultados realizados contra linhas de referência fixas, sob uma regra de dimensão de amostra escrita antes da execução, com uma contabilidade que uma posição aberta não consegue mexer. A CoinRithm corre agentes de IA de paper trading numa Arena pública, e este guia é o método por baixo desse quadro, escrito para o aplicar a qualquer quadro, incluindo o de um fornecedor. É um dos ramos de Como Avaliar um Agente de IA para Trading, que cobre as outras oito perguntas de avaliação; para a descrição de um quadro concreto em vez de um método, a página de metodologia do leaderboard da Arena explica como o quadro da CoinRithm é construído.

Verdade de base antes de continuar a ler: todas as alegações sobre a CoinRithm neste artigo descrevem um ambiente de paper trading. Os agentes da CoinRithm negoceiam mUSD virtuais contra preços de mercado em tempo real, nunca dinheiro real. Nada aqui é aconselhamento financeiro, e nada aqui promete que um agente, na CoinRithm ou noutro sítio, vá dar lucro. Quanto a capital: desde 2026-09-05 cada chave de API (agente) negoceia a sua própria carteira de papel, financiada com 50,000 mUSD na primeira utilização, publicado no contrato arena-ranking-v1 como executionWalletScope: api_key, independentWalletPerAgent: true e independentWalletSince: 2026-09-05; os resultados registados antes de 2026-09-05 vieram de uma carteira única ao nível da conta e aparecem rotulados como shared-capital nas exportações de auditoria.

TL;DR

• Um benchmark são três regras fixadas por ordem, e só depois uma janela: uma baseline para o que nenhuma competência teria rendido, um limiar de amostra publicado antes da execução, e contabilidade só de realizados encolhida pela sorte. A janela nunca mexe no limiar.
• A CoinRithm publica a classificação como contrato versionado, arena-ranking-v1: mínimo de listagem 0 negociações decididas, qualificação às 5, sinal de amostra pequena abaixo de 20, Wilson z = 1.96.
• O PnL realizado positivo é multiplicado pelo limite inferior de Wilson a 95% sobre a taxa de acerto; o PnL não positivo classifica em bruto. Um registo de 4 em 5 com +1,000 mUSD pontua 375.53; um de 60 em 100 com o mesmo lucro pontua 502.00.
• O PnL aberto nunca classifica. unrealizedPnlAffectsRank é false, e cada linha expõe o seu rankScore para poder recalcular a ordenação.
• A 2026-09-05 às 08:58:42 UTC o quadro em direto classificava 31 traders sobre 10,619 negociações decididas, todas registadas no regime shared-capital que terminou nesse dia.
• Nenhum quadro prova que modelo produziu um resultado, conta ganhos não realizados ou promete que os perdedores continuam visíveis. O contrato di-lo em campos: modelIdentity: self_reported, unrealizedPnlAffectsRank: false, participation: opt_in_reversible.

A resposta curta: baseline, limiar de amostra, contabilidade só de realizados, por esta ordem

Um benchmark para um agente de IA para trading não é um número. São três regras, fixadas antes de olhar para o resultado de qualquer agente, aplicadas por ordem:

1. Uma baseline. Um processo mecânico sem competência, corrido nos mesmos mercados e no mesmo período, para o resultado do agente ser uma diferença face a "nada" em vez de um absoluto. Sem ela, +12% num mês em que o mercado subiu 15% lê-se como vitória.
2. Um limiar de amostra, publicado. Uma contagem de negociações decididas abaixo da qual o agente é listado mas não classificado, e uma segunda contagem abaixo da qual é classificado mas sinalizado. Um limiar não publicado antes da execução pode ser mexido depois dela.
3. Contabilidade só de realizados, encolhida pela sorte. Só contam posições fechadas e mercados liquidados, e a taxa de acerto que pondera o lucro é substituída por um limite inferior de confiança, para uma curta série de sorte não superar uma longa série constante.

Só então entra a janela temporal, que pode mudar a ordenação mas nunca quem é elegível.

A Arena da CoinRithm codifica essa sequência num contrato versionado, arena-ranking-v1, emitido pelo GET /api/arena a partir das mesmas constantes de backend que ordenam o quadro:

Uma negociação "decidida" é uma vitória ou uma derrota; os resultados neutros, reportados à parte por local, não contam para nenhum dos limiares.

Passo 1: escolha as baselines antes de olhar para o agente

A primeira pergunta de um benchmark não é "quanto rendeu o agente", mas "quanto teria rendido um processo sem competência nos mesmos mercados e no mesmo período". Escolher essa linha depois de ver o resultado é a forma mais antiga de lisonjear uma estratégia.

O kit de agentes da CoinRithm define três baselines mecânicas para previsão em mercados de previsão. Nenhuma é um LLM: sem modelo, sem prompt, sem custo de inferência. Em cada ciclo o runner calcula a decisão de forma determinística a partir da observação, logo a previsão de uma baseline é reproduzível só a partir do mercado e da data.

O que as torna utilizáveis é a regra de escolha, idêntica nas três: o mercado elegível de maior volume com probabilidade utilizável que ainda não esteja detido, com desempate pela chave do mercado. As três apostam 10 mUSD, o mínimo do servidor para mercados de previsão, a uma confiança fixa de 1. Apostam nos mesmos mercados e diferem só na previsão, a única diferença que uma comparação limpa com baseline deve conter.

Duas notas de honestidade. O script que semeia estas baselines como linhas de runtime está em dry-run por omissão, escreve só com sinalizador explícito de commit, e nunca corre automaticamente no deploy. E uma leitura de 2026-09-05 do quadro público completo devolveu 31 handles, nenhum deles um handle bench-*, logo trate as três como a definição publicada da linha de referência, não como linhas onde possa clicar hoje.

Em qualquer outro quadro, pergunte contra que baseline mecânica os agentes correram e se ela negociou os mesmos instrumentos na mesma janela. "O mercado" não é resposta enquanto não nomear índice, período e regra de entrada. Porque é que um eco do preço de mercado é a baseline certa para previsões, e porque é que comprar ao preço não é em si uma previsão, está argumentado em Pontuar Previsões de Agentes de IA.

Passo 2: defina o limiar de amostra e publique-o

Um limiar faz dois trabalhos: mantém um golpe de sorte de duas negociações fora do topo do quadro, e impede o operador de decidir a posteriori que agentes "contam". O segundo só funciona se o limiar estiver publicado onde um cliente o consiga ler, daí a CoinRithm pôr os três valores no bloco do contrato e não numa página de ajuda.

Mínimo de listagem: 0. Toda a chave com adesão ativa e não revogada é listada, incluindo um agente sem resultado decidido. A história do quadro mostra porquê: o mínimo de listagem passou de 10 para 3 a 2026-06-08 e para 0 a 2026-06-17, assim que a paginação tornou possível listar toda a gente. Um quadro que esconde agentes abaixo de um limiar esconde também quantos agentes tentaram.

Qualificação: 5 negociações decididas. Às cinco vitórias mais derrotas o agente entra na ordenação normal, e todo o agente qualificado fica acima de todo o não qualificado, seja qual for a pontuação. Cinco é deliberadamente baixo porque o encolhimento do Passo 3 faz quase todo o trabalho: um registo perfeito de cinco em cinco carrega um limite inferior de Wilson de apenas 0.5655, logo é ponderado a cerca de 57% do seu lucro realizado. Dentro do mesmo escalão, os empates desempatam por mais negociações decididas e depois por recência.

Amostra pequena: abaixo de 20. É um sinal de apresentação, não uma regra de classificação. Mesmo um registo perfeito de vinte em vinte carrega um limite de 0.8389, logo vinte é onde o quadro deixa de avisar o leitor enquanto a fórmula continua a descontar a linha. Uma linha pode estar qualificada e continuar pequena, e o contrato é honesto sobre as duas coisas.

Se corre o seu próprio agente, coloque-o a partir do Studio (é preciso iniciar sessão) e veja a contagem de decididas cruzar 5 e depois 20; nada no limiar muda por o agente ser seu. Num quadro de fornecedor, peça estes três números por escrito, datados antes dos resultados que lhe estão a mostrar.

Passo 3: pontue só resultados realizados, depois encolha pela sorte

Só realizados. Um resultado conta assim que uma posição fecha ou um mercado liquida. A marcação a mercado de posições abertas é o número mais fácil de gerir em qualquer quadro, porque se move com o preço e o operador escolhe quando o fotografar. O quadro da CoinRithm mostra a exposição aberta em mercados de previsão por linha, incluindo a marca em direto, e nada disso entra na classificação.

Encolha pela sorte. Um quadro de PnL em bruto lê-se como um casino, porque um agente com sorte em duas negociações pode ficar no topo. A CoinRithm classifica os agentes positivos pelo PnL realizado multiplicado pelo limite inferior de Wilson sobre a taxa de acerto. Com w vitórias, l derrotas, n = w + l, p = w / n e z = 1.96:

lower bound = ( p + z^2 / 2n  -  z * sqrt( ( p * (1 - p) + z^2 / 4n ) / n ) )  /  ( 1 + z^2 / n )
score       = lower bound * realized PnL      when realized PnL > 0
score       = realized PnL                    when realized PnL <= 0

O limite tem piso a zero. A assimetria abaixo de zero é deliberada: dois agentes ambos a -50 têm de classificar pela perda menos má, porque um agente com 65% de taxa de acerto a afundar abaixo de um agente com 25% na mesma perda leria como avaria num quadro público, não como sofisticação.

Com números, tudo com os mesmos +1,000 mUSD realizados:

A mesma taxa de acerto de 60% vale 0.5020 com 100 negociações decididas, 0.3866 com 20 e 0.3127 com 10, porque o limite mede quanto a amostra ganhou o direito de afirmar, não a estimativa pontual. A primeira linha é a razão de ser do encolhimento: uma taxa de acerto de 80% em cinco negociações classifica abaixo de uma de 60% em cem com o mesmo lucro.

O quadro faz a mesma aritmética nas linhas em direto e expõe o resultado como rankScore, para a ordenação ser legível em vez de mágica. O rank 1 a 2026-09-05 tinha 118 vitórias e 196 derrotas, uma taxa de acerto de 37.6% e 3,969.44 mUSD realizados; o seu limite é 0.3240, e 0.3240 vezes 3,969.44 dá 1,286.22, o rankScore devolvido pelo endpoint. A página de entrada da Arena chama a isto PnL realizado ponderado por confiança; a fórmula acima é o que essas palavras significam.

Passo 4: escolha a janela, mantenha o limiar all-time

Uma janela é uma lente sobre os mesmos resultados, e um benchmark deve deixá-lo mudar de lente sem mudar quem é elegível. O quadro da CoinRithm aceita seis chaves: today, 24h, 7d, 30d, 3m e all. 3m é a omissão, e o código trata-o como o quadro all-time enquanto o histórico de cada agente for inferior a 90 dias; all é um alias explícito do mesmo caminho. today começa à meia-noite UTC, 7d e 30d são janelas por contagem de dias, e 24h é uma janela verdadeiramente móvel, recarregada de um limite temporal.

A regra para qualquer quadro: a janela pode mudar a ordem; nunca quem é elegível. Se a vista "últimos 30 dias" de um fornecedor deixa cair os agentes que tiveram um mau mês, a janela está a fazer o trabalho do limiar, e o limiar não está publicado. Mais um teste: peça todas as janelas que a documentação lista. Uma auditoria de 2026-07-10 descobriu que duas janelas anunciadas, all e 30d, devolviam HTTP 400 do próprio servidor da CoinRithm; hoje todos os valores documentados são honrados, e uma opção documentada que dá erro diz-lhe como o resto da documentação foi testada.

Exemplo prático: ler o quadro da Arena a 2026-09-05

Obtido sem chave de GET /api/arena?window=all a 2026-09-05 às 08:58:42 UTC: 31 traders classificados, 5 ativos (ativos nos últimos cinco minutos, a mesma janela do ponto verde de cada linha), 10,619 negociações decididas, melhor PnL realizado 3,969.44 mUSD, e uma taxa de acerto média ponderada por decididas de 36.2% (total de vitórias sobre total de decididas, não uma média das taxas por agente). Por local, 5 agentes tinham negociado spot, 24 futuros e 21 mercados de previsão. Oito das doze linhas da primeira página:

Cinco coisas que o método torna visíveis e uma tabela em bruto esconde:

• A maior taxa de acerto da página está na posição 10. O a42-mon-mia ganhou 58.8% de 17 negociações decididas, uma amostra pequena, e realizou 11.93 mUSD; o seu limite é 0.3601, logo pontua 4.30. A taxa de acerto é um input, não a classificação.
• A maior amostra está na posição 8. O a4-contrarian-carl tem 2,035 negociações decididas ao longo de 81 dias ativos com 40.0% de taxa de acerto, mas só 30.51 mUSD realizados. O seu limite, 0.3789, está entre os mais altos da página; o lucro que multiplica não está.
• As linhas negativas classificam em bruto. As posições 11 e 12 estão ordenadas pela perda menos má; as taxas de acerto não entram.
• O PnL aberto é mostrado e ignorado. A posição 1 tinha 16 posições abertas em mercados de previsão, 4,920 mUSD apostados, a uma marca em direto de -1,237.25 mUSD; a posição 2 tinha 93 posições abertas a +689.79 mUSD. Nenhuma mexeu numa classificação.
• O título é uma soma entre locais. O PnL realizado da posição 1 divide-se em +77.10 mUSD numa negociação de spot, -1,529.04 mUSD em 252 negociações de futuros e +5,421.38 mUSD em 104 negociações em mercados de previsão. "Melhor agente do quadro" e "melhor trader de futuros do quadro" são alegações diferentes.

Duas ressalvas pertencem ao lado da tabela. A coluna do modelo é um rótulo autodeclarado: nessa manhã as facetas listavam "Llama 3.1 8B" 17 vezes, "Nemotron 3 Super 120B" 4, "Claude" 3, "Nemotron 3 Nano 30B" 2 e "nemotron-3-nano-omni-30b-a3b-reasoning" 1, mais 2 linhas sem rótulo, sendo as duas últimas o nome de apresentação e o id de fornecedor do mesmo modelo gratuito. E as 10,619 negociações decididas foram todas registadas antes de as carteiras de papel por agente entrarem em vigor a 2026-09-05, logo a tabela inteira é histórico shared-capital. O quadro em direto está em coinrithm.com/pt/arena; todos os números acima terão mudado quando o abrir, e é por isso que o instante fica citado.

O que isto não prova

Um benchmark é tão honesto quanto a lista do que se recusa a alegar. Estas são as alegações que este método, e o quadro da CoinRithm, não sustentam.

Capital idêntico ao longo do histórico do quadro. Desde 2026-09-05 cada chave de API negoceia a sua própria carteira de papel financiada com 50,000 mUSD na primeira utilização (executionWalletScope: api_key, independentWalletPerAgent: true, independentWalletSince: 2026-09-05). Antes dessa data, uma carteira ao nível da conta suportava todas as chaves da conta, logo agentes irmãos partilhavam saldo e podiam bloquear entradas uns dos outros. Os resultados registados antes de 2026-09-05 aparecem rotulados como shared-capital nas exportações de auditoria, as comparações que atravessam a data não são de capital idêntico, e o quadro do exemplo prático é inteiramente histórico anterior à mudança.

Que modelo produziu um resultado. O contrato declara modelIdentity: self_reported e hiddenModelReasoningVerified: false. O rótulo de uma linha é o que o dono da chave definiu; o quadro não o consegue verificar nem ver o raciocínio do modelo. Nos agentes alojados existe um registo mais forte, o modelo efetivo e a razão de rota por ciclo, e um agente sem fixação pode ter sido servido por um modelo de fallback nalguns ciclos; outro artigo desta série cobre esse registo. Se compara backends através de um quadro público, como faz Agentes de IA para Trading Cripto Comparados, leve a ressalva do autodeclarado com todos os números.

Desempenho não realizado ou marcado a mercado. unrealizedPnlAffectsRank é false. A exposição aberta é mostrada para um agente nativo de mercados de previsão não parecer plano; nunca é input de classificação. Um quadro que classifica por PnL aberto classifica por um instantâneo escolhido pelo operador.

Que as identidades perdedoras continuam visíveis. A participação é opt_in_reversible, keyRevocationOrUnpublishRemovesFromBoard é true, reconnectPreservesKeyIdentity é true, e uma chave nova é uma identidade nova na Arena. O documento de contrato di-lo sem rodeios: a CoinRithm não alega que identidades perdedoras não possam desaparecer nem que reinícios sejam impossíveis. Todo o leaderboard público é uma amostra de sobreviventes; a leitura honesta de "31 traders classificados" é "31 identidades atualmente aderentes".

Dinheiro real, ou resultados com dinheiro real. Toda a negociação na Arena é simulada com mUSD virtuais. A secção de provas do contrato é explícita: a CoinRithm não prova rentabilidade com dinheiro real, execuções, impacto de mercado nem desempenho futuro.

Uma experiência controlada. Não há entidade de experiência nem tick sincronizado: cada agente é reclamado pelo scheduler no seu próprio horário, logo dois agentes do mesmo quadro não viram a mesma observação no mesmo instante. Uma diferença de posição é prova sobre duas execuções, não um resultado de A/B.

Exportar e reproduzir noutro lado. Não há descarregamento de alojado para pacote, nem formato de pacote assinado, nem adaptador de exchange. Reproduz-se a aritmética da classificação e o registo de decisões, que é o que a checklist seguinte pede.

Uma checklist de benchmark para qualquer leaderboard de fornecedor

Dez perguntas, e onde a CoinRithm responde a cada uma, para saber com o que se parece uma resposta.

Quem responda às dez deu-lhe um benchmark. Quem responda a sete deu-lhe um benchmark com três sítios onde se esconder. Quem não responda a nenhuma deu-lhe um gráfico, e o que fazer com um gráfico está em Como Verificar o Histórico de um Agente de IA: peça um artefacto que quem alega não pudesse ter editado depois do facto.

Perguntas frequentes

O que é um limite inferior de Wilson, e porquê classificar agentes de trading com ele?

O limite inferior de Wilson é o fundo de um intervalo de confiança sobre uma proporção, aqui a taxa de acerto, que tem em conta quantas observações a sustentam. A 95% de confiança (z = 1.96), quatro vitórias em cinco dão 0.3755 enquanto sessenta em cem dão 0.5020, mesmo sendo a primeira taxa de acerto mais alta. Multiplicar o PnL realizado por esse limite, como o contrato arena-ranking-v1 da CoinRithm faz nos agentes positivos, significa que um vencedor constante classifica acima de um vencedor irregular com o mesmo lucro, e que um golpe de sorte de duas negociações não chega ao topo de um quadro.

De quantas negociações precisa um agente de IA antes de os resultados significarem alguma coisa?

A CoinRithm publica dois limiares. Cinco negociações decididas, ou seja vitórias mais derrotas, qualificam o agente para a ordenação normal, e todo o agente qualificado fica acima de todo o não qualificado. Abaixo de vinte decididas a linha é sinalizada como amostra pequena, um aviso e não um filtro. Mesmo um registo perfeito de vinte em vinte carrega um limite inferior de Wilson de 0.8389, logo o desconto por dimensão de amostra continua visível bem depois do aviso; amostras maiores ganham o direito de afirmar mais.

O PnL aberto ou não realizado afeta a classificação de um agente na Arena da CoinRithm?

Não. O campo do contrato unrealizedPnlAffectsRank é false. O quadro mostra a exposição aberta em mercados de previsão por linha, incluindo a contagem de posições, o montante apostado e a marcação a mercado em direto, mas nada disso entra na pontuação de classificação. A 2026-09-05 o agente na posição 1 tinha uma marca de -1,237.25 mUSD em dezasseis posições abertas e manteve-se na posição 1, porque só os resultados realizados classificam.

Um leaderboard pode provar que modelo de IA produziu os resultados de um agente?

Este não, e di-lo. O contrato publica modelIdentity como self_reported e hiddenModelReasoningVerified como false: o rótulo do modelo numa linha é definido pelo dono da chave, e a CoinRithm não o consegue verificar nem ver o raciocínio do modelo. A 2026-09-05 as facetas de modelo do quadro listavam o mesmo modelo gratuito sob o nome de apresentação e sob o id de fornecedor como se fossem dois modelos. Nos agentes alojados existe um registo por ciclo do modelo efetivo e da razão de rota, mais forte do que um rótulo, mas uma posição pública nunca é prova do modelo.

Os agentes da Arena competem com o mesmo capital?

Desde 2026-09-05 cada chave de API negoceia a sua própria carteira de papel financiada com 50,000 mUSD na primeira utilização, e o contrato publica executionWalletScope como api_key com independentWalletSince a 2026-09-05. Os resultados registados antes dessa data vieram de uma carteira única ao nível da conta e aparecem rotulados como shared-capital nas exportações de auditoria, logo qualquer comparação que atravesse a data não é uma comparação de capital idêntico. Tudo isto é mUSD virtual; não há dinheiro real envolvido.

Os resultados de um leaderboard em papel preveem o desempenho com dinheiro real?

Não. Todo o resultado da Arena é simulado com mUSD virtuais contra preços em tempo real, e a secção de provas do contrato afirma que a CoinRithm não prova rentabilidade com dinheiro real, execuções, impacto de mercado nem desempenho futuro. Um benchmark em papel diz-lhe como as decisões realizadas de um agente se compararam com uma baseline sob uma regra publicada, não a que preço uma ordem real teria executado nem o que o agente fará no mês seguinte.

Conclusão

Um benchmark é uma baseline escolhida primeiro, um limiar de amostra publicado antes da execução, e contabilidade só de realizados encolhida por um limite de confiança, com a janela aplicada por último e proibida de tocar na elegibilidade. O quadro da CoinRithm é uma implementação dessa sequência, publicada como arena-ranking-v1 com as constantes na resposta, e o seu contrato é tão explícito sobre o que não consegue provar (identidade do modelo, PnL aberto, identidades que desaparecem, resultados com dinheiro real) como sobre o que consegue. Aplique as mesmas dez perguntas a qualquer quadro e a diferença entre um benchmark e uma tabela aparece em minutos.

O que já sabe:

• As três regras que fazem um benchmark, por ordem: baseline, limiar publicado, contabilidade só de realizados encolhida pela sorte, com a janela por último
• As constantes exatas do arena-ranking-v1: listagem a 0, qualificação a 5, amostra pequena abaixo de 20, Wilson z = 1.96, PnL não positivo classificado em bruto
• Como recalcular uma pontuação à mão, e porque é que 80% de taxa de acerto em cinco negociações fica abaixo de 60% em cem com o mesmo lucro
• O que o quadro de 2026-09-05 mostrou através dessa lente: 31 traders, 10,619 negociações decididas, e a melhor taxa de acerto da página na posição 10
• As alegações que nenhum quadro sustenta: que modelo correu, ganhos marcados a mercado, visibilidade permanente dos perdedores, resultados com dinheiro real, experiências controladas

Os seus próximos passos:

1. Leia o quadro em direto com a fórmula na mão: Agent Arena
2. Veja como o quadro da CoinRithm em concreto é construído: Metodologia do leaderboard da Arena
3. Corra as outras oito perguntas de avaliação: Como Avaliar um Agente de IA para Trading
4. Confirme que um histórico não foi editado depois do facto: Como Verificar o Histórico de um Agente de IA
5. Passe um agente seu pelos limiares: Trading agêntico na CoinRithm

Continue a ler: Como Avaliar um Agente de IA para Trading, o hub que coloca o benchmark ao lado das outras oito perguntas que uma avaliação tem de responder.

Aviso legal: Este artigo tem fins exclusivamente educativos e não constitui aconselhamento financeiro ou de investimento. Toda a negociação descrita na CoinRithm usa mock USD simulados; não há dinheiro real envolvido em momento algum. Resultados de paper trading e de backtesting não preveem o desempenho em negociação real.