Qual é a IA que constrói melhor?

Oito modelos recebem as mesmas instruções e 150 retângulos. Cada um tem uma tentativa, avaliada de 0 a 100 por comparação com a imagem de referência exata. Há uma nova ronda todas as semanas.

Esta semana

Week 2026-W47, Nov 16 to 19

Variação em relação à semana passada.

O que cada modelo criou

Resultados sem alterações, renderizados a partir do JSON devolvido por cada modelo. O contorno tracejado indica a imagem de referência.

Imagem de referência100
Um robô branco sentado numa cadeira verde, a uma secretária com um monitor, um candeeiro, uma caneca e uma planta
Uma cabeça redonda, uma cadeira curva, um pequeno candeeiro de secretária. As instruções enumeram todas as formas com valores exatos.
  1. GPT-6.2 Sol sculpture
    GPT-6.2 Sol84.6
  2. Claude Fable 5.2 sculpture
    Claude Fable 5.279.3
  3. GPT-6.2 Astra sculpture
    GPT-6.2 Astra78.5
  4. Claude Opus 5.5 sculpture
    Claude Opus 5.574.7
  5. Claude Haiku 5.5 sculpture
    Claude Haiku 5.572.6
  6. GPT-6.1 Terra sculpture
    GPT-6.1 Terra70.7
  7. Claude Sonnet 5.5 sculpture
    Claude Sonnet 5.560.8
  8. GPT-6 Luna sculpture
    GPT-6 Luna34.9

O modelo perdeu capacidades?

As instruções são iguais todas as semanas, por isso vale a pena analisar um modelo cuja pontuação baixe de repente. Comparamos o resultado de cada ronda com a média do próprio modelo nas quatro rondas anteriores.

Que recursos foram necessários para cada resultado?

Total de tokens de entrada e de saída, e tempo decorrido, para a mesma semana. Nenhum outro modelo supera um modelo da linha tracejada tanto em pontuação como em custo.

Week 2026-W47

Ver as medições de tokens e tempo de execução

Porque variam as contagens de tokens de entrada? Todos os modelos recebem as mesmas instruções para o teste, mas estas contagens são comunicadas pelos fornecedores e abrangem toda a execução da CLI, incluindo as instruções incorporadas. Os modelos podem dividir o mesmo texto em tokens de formas diferentes, e os pedidos de continuação podem voltar a contabilizar o contexto. Os totais de entrada do Claude incluem os tokens fora da cache e os tokens lidos e escritos na cache. Os tokens de raciocínio só são contabilizados conforme o fornecedor os comunica. Os valores em falta ficam em branco. As contagens comunicadas não medem preços.

De ronda em ronda

A ronda inicial mantém os resultados originais. Cada ponto seguinte corresponde a uma nova ronda, medida nessa semana.

Ver as pontuações registadas

A referência inicial preserva os resultados originais da primeira ronda e as respetivas datas de medição.

Pontuação de 0 a 100 por ronda
RondaClaude Opus 5 / Claude Opus 5.5Claude Sonnet 5 / Claude Sonnet 5.5Claude Fable 5.1 / Claude Fable 5.2GPT-6.1 Sol / GPT-6.2 SolGPT-6 Astra / GPT-6.2 AstraGPT-6 LunaGPT-6.1 TerraClaude Haiku 5.5
2026-W4774.7 (Claude Opus 5.5)60.8 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)84.6 (GPT-6.2 Sol)78.5 (GPT-6.2 Astra)34.9 (GPT-6 Luna)70.7 (GPT-6.1 Terra)72.6 (Claude Haiku 5.5)
2026-W4674.8 (Claude Opus 5.5)61 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)72.5 (GPT-6.1 Sol)79.1 (GPT-6 Astra)38.8 (GPT-6 Luna)70.3 (GPT-6.1 Terra)65.3 (Claude Haiku 5.5)
2026-W4580.1 (Claude Opus 5.5)56.7 (Claude Sonnet 5.5)77.8 (Claude Fable 5.1)76.4 (GPT-6.1 Sol)78 (GPT-6 Astra)41.8 (GPT-6 Luna)71.3 (GPT-6.1 Terra)66 (Claude Haiku 5.5)
2026-W4474.4 (Claude Opus 5.5)64.9 (Claude Sonnet 5.5)76.9 (Claude Fable 5.1)81.4 (GPT-6.1 Sol)77.7 (GPT-6 Astra)46.7 (GPT-6 Luna)73.1 (GPT-6.1 Terra)73.2 (Claude Haiku 5.5)
2026-W4375.9 (Claude Opus 5.5)61 (Claude Sonnet 5.5)75.7 (Claude Fable 5.1)72.5 (GPT-6.1 Sol)79.7 (GPT-6 Astra)33.9 (GPT-6 Luna)-73.6 (Claude Haiku 5.5)
2026-W4275.1 (Claude Opus 5.5)67.4 (Claude Sonnet 5.5)69 (Claude Fable 5.1)77.9 (GPT-6.1 Sol)78.4 (GPT-6 Astra)43.7 (GPT-6 Luna)-65.7 (Claude Haiku 5.5)
2026-W4178.5 (Claude Opus 5.5)48.1 (Claude Sonnet 5.5)74.6 (Claude Fable 5.1)74.7 (GPT-6.1 Sol)73.5 (GPT-6 Astra)30.9 (GPT-6 Luna)-68.4 (Claude Haiku 5.5)
Referência inicial75.5 (Claude Opus 5)34.3 (Claude Sonnet 5)71.2 (Claude Fable 5.1)70.6 (GPT-6.1 Sol)77.5 (GPT-6 Astra)45.6 (GPT-6 Luna)--

Every weekly run

Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.

Score out of 100 for every model and round, newest first
WeekRun dateModelScoreChange vs previous round
2026-W47GPT-6.2 Sol84.6New model version
2026-W47Claude Fable 5.279.30.0
2026-W47GPT-6.2 Astra78.5New model version
2026-W47Claude Opus 5.574.7-0.1
2026-W47Claude Haiku 5.572.6+7.3
2026-W47GPT-6.1 Terra70.7+0.4
2026-W47Claude Sonnet 5.560.8-0.2
2026-W47GPT-6 Luna34.9-3.9
2026-W46Claude Fable 5.279.3New model version
2026-W46GPT-6 Astra79.1+1.1
2026-W46Claude Opus 5.574.8-5.3
2026-W46GPT-6.1 Sol72.5-3.9
2026-W46GPT-6.1 Terra70.3-1.0
2026-W46Claude Haiku 5.565.3-0.7
2026-W46Claude Sonnet 5.561+4.3
2026-W46GPT-6 Luna38.8-3.0
2026-W45Claude Opus 5.580.1+5.7
2026-W45GPT-6 Astra78+0.3
2026-W45Claude Fable 5.177.8+0.9
2026-W45GPT-6.1 Sol76.4-5.0
2026-W45GPT-6.1 Terra71.3-1.8
2026-W45Claude Haiku 5.566-7.2
2026-W45Claude Sonnet 5.556.7-8.2
2026-W45GPT-6 Luna41.8-4.9
2026-W44GPT-6.1 Sol81.4+8.9
2026-W44GPT-6 Astra77.7-2.0
2026-W44Claude Fable 5.176.9+1.2
2026-W44Claude Opus 5.574.4-1.5
2026-W44Claude Haiku 5.573.2-0.4
2026-W44GPT-6.1 Terra73.1First run
2026-W44Claude Sonnet 5.564.9+3.9
2026-W44GPT-6 Luna46.7+12.8
2026-W43GPT-6 Astra79.7+1.3
2026-W43Claude Opus 5.575.9+0.8
2026-W43Claude Fable 5.175.7+6.7
2026-W43Claude Haiku 5.573.6+7.9
2026-W43GPT-6.1 Sol72.5-5.4
2026-W43Claude Sonnet 5.561-6.4
2026-W43GPT-6 Luna33.9-9.8
2026-W42GPT-6 Astra78.4+4.9
2026-W42GPT-6.1 Sol77.9+3.2
2026-W42Claude Opus 5.575.1-3.4
2026-W42Claude Fable 5.169-5.6
2026-W42Claude Sonnet 5.567.4+19.3
2026-W42Claude Haiku 5.565.7-2.7
2026-W42GPT-6 Luna43.7+12.8
2026-W41Claude Opus 5.578.5New model version
2026-W41GPT-6.1 Sol74.7+4.1
2026-W41Claude Fable 5.174.6+3.4
2026-W41GPT-6 Astra73.5-4.0
2026-W41Claude Haiku 5.568.4First run
2026-W41Claude Sonnet 5.548.1New model version
2026-W41GPT-6 Luna30.9-14.7
2026-W41 (Starting baseline)GPT-6 Astra77.5First run
2026-W41 (Starting baseline)Claude Opus 575.5First run
2026-W41 (Starting baseline)Claude Fable 5.171.2First run
2026-W41 (Starting baseline)GPT-6.1 Sol70.6First run
2026-W41 (Starting baseline)GPT-6 Luna45.6First run
2026-W41 (Starting baseline)Claude Sonnet 534.3First run

Como funciona

Um único enunciado

O enunciado enumera todas as formas da imagem de referência com valores exatos.

Uma só tentativa

Cada modelo responde uma vez em JSON. Sem pistas nem seleção da melhor de N tentativas.

Uma só pontuação

Correspondência das formas e das cores com a imagem de referência, de 0 a 100.

Metodologia completa, perguntas e como citar

Last updated

A fórmula

percentagem de sobreposição de volume × proporção de cubos com a cor correta

Medido em unidades de 1 cm³. Impressão digital do enunciado 08fb5a5773fe89e7. A referência inicial preserva os resultados originais da primeira ronda.

Como funciona

As instruções enumeram todas as formas do modelo de referência com valores exatos. Cada modelo responde apenas em JSON: até 150 blocos, cada um com uma posição, um tamanho e uma de 11 cores. O modelo não desenha nada por si próprio. Quando atribuímos uma pontuação a uma execução, renderizamos os seus blocos e o modelo de referência com os mesmos pequenos cubos, com a mesma iluminação e câmara, e publicamos as imagens.

A pontuação corresponde à sobreposição de volume entre a escultura e o modelo de referência (interseção sobre união, medida em cubos de 1 cm), multiplicada pela proporção de cubos comuns com a cor correta. Usar uma caixa por forma dá menos de 40 pontos; dividir todas as formas em fatias iguais dá cerca de 50. As pernas inclinadas, os cabos finos e as cabeças redondas favorecem os modelos que planeiam a posição de cada caixa, e a vista Diferença mostra todos os cubos em falta, a mais ou com a cor incorreta.

Justo e repetível

A referência inicial corresponde à primeira ronda original, preservada com as datas reais das medições. Foi solicitada uma segunda ronda de medições para o lançamento. Ambas são apresentadas; nenhuma tem datas retroativas nem é escolhida por ser o melhor dos dois resultados. As rondas seguintes seguem o calendário semanal.

  • O mesmo enunciado, o mesmo programa de avaliação e as mesmas definições todas as semanas. O enunciado v3 tem a impressão digital 08fb5a5773fe89e7; qualquer alteração dá início a uma nova versão e a um novo gráfico.
  • Cada modelo responde uma única vez com um nível médio de esforço de raciocínio, através do Claude Code ou do Codex, com sessão iniciada através de uma subscrição, tal como são executados no VibeiDE. Sem ferramentas, sem acesso à Web e sem escolher a melhor de N tentativas.
  • Uma resposta em que não é possível pontuar nenhuma caixa (por não estar em JSON ou por todas as caixas estarem malformadas) é uma falha de formato, não uma escultura: pede-se ao modelo uma nova resposta, uma única vez, e essa resposta perde 2 pontos.
  • Os modelos são executados um após o outro, nunca em paralelo. Uma resposta que não chegue no prazo de 40 minutos recebe 0 pontos.
  • O programa de avaliação é determinístico. Nenhum modelo avalia outro modelo.

Leia o enunciado completo (texto simples, 7,691 caracteres). Os nomes dos modelos são os aliases disponibilizados por cada CLI; a página regista o identificador do modelo comunicado pela CLI.

Perguntas

Estão a reduzir as capacidades do Claude ou do GPT?

Esta página não permite ver o que se passa dentro de um fornecedor, mas mostra se o mesmo nome de modelo obtém pontuações diferentes na mesma tarefa fixa ao longo do tempo. Uma execução por semana é uma única amostra, por isso encare uma variação de alguns pontos como ruído e uma queda que persiste durante várias semanas como um sinal.

Porque é que nenhum modelo consegue chegar aos 100?

O modelo de referência é composto por esferas, elipsoides, cilindros e cápsulas inclinadas, mas a resposta só pode usar 150 caixas alinhadas com os eixos. As caixas não conseguem acompanhar as curvas com exatidão, pelo que todas as respostas perdem algum volume. Os melhores modelos concentram as caixas nas zonas curvas e as suas esculturas assemelham-se mais ao modelo de referência.

Como são executados os modelos?

Cada modelo recebe o enunciado uma única vez através da sua ferramenta oficial de linha de comandos, Claude Code ou Codex, com sessão iniciada através de uma subscrição normal e um nível médio de esforço de raciocínio. As ferramentas, os subagentes e o acesso à Web estão desativados; uma execução que, ainda assim, use uma ferramenta perde um quarto da sua pontuação. Só se pede uma nova resposta, uma única vez, quando não é possível pontuar nenhuma caixa da resposta original, e essa nova resposta perde 2 pontos. A resposta é pontuada por um programa determinístico, não por outro modelo.

Porque é que o teste de referência mudou para a v3?

As primeiras duas versões pediam aos modelos que organizassem um escritório. Nas primeiras rondas, os melhores modelos obtiveram 100 e 92 pontos, e todos os escritórios corretos tinham o mesmo aspeto. Um teste de referência em que os melhores modelos atingem a pontuação máxima não permite mostrar evolução, e um teste em que as respostas são semelhantes não permite mostrar qualidade. Por isso, a v3 pede uma escultura cuja qualidade seja visível à primeira vista.

Posso experimentar o enunciado?

Sim. O enunciado completo está disponível publicamente em texto simples. Cole-o em qualquer modelo e compare a resposta com o modelo de referência.

Cite this benchmark

Title
VibeiDE Robot scene v1: weekly Claude and GPT model tracking
URL
https://vibeide.dev/benchmark/
Latest week
2026-W47, run
Publisher
Crowie s.r.o.
Method
Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
Licence
Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47

Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Necessary cookies support sign-in, security, your language and this choice. Optional categories stay off until accepted.

First-party page views and acquisition measurement, plus Google Analytics 4 (Google Ireland, data may reach the US). Advertising personalization stays off.

With Analytics enabled, retain Google, Microsoft and Reddit ad click identifiers and share download, signup, activation and purchase conversions with the relevant ad provider. No personalized advertising.

Privacy · Cookie inventory