¿Qué IA construye mejor?

Ocho modelos reciben el mismo enunciado y 150 rectángulos. Cada uno tiene un único intento y recibe una puntuación de 0 a 100 según su fidelidad al objetivo exacto. Hay una ronda nueva cada semana.

Esta semana

Week 2026-W47, Nov 16 to 19

Cambio respecto a la semana pasada.

Qué creó cada modelo

Resultado sin retoques, generado a partir del JSON que devolvió cada modelo. El contorno discontinuo marca el objetivo.

El objetivo100
Un robot blanco sentado en una silla verde ante un escritorio con un monitor, una lámpara, una taza y una planta
Una cabeza redonda, una silla curva y una diminuta lámpara de escritorio. El enunciado detalla cada forma con valores exactos.
  1. GPT-6.2 Sol sculpture
    GPT-6.2 Sol84.6
  2. Claude Fable 5.2 sculpture
    Claude Fable 5.279.3
  3. GPT-6.2 Astra sculpture
    GPT-6.2 Astra78.5
  4. Claude Opus 5.5 sculpture
    Claude Opus 5.574.7
  5. Claude Haiku 5.5 sculpture
    Claude Haiku 5.572.6
  6. GPT-6.1 Terra sculpture
    GPT-6.1 Terra70.7
  7. Claude Sonnet 5.5 sculpture
    Claude Sonnet 5.560.8
  8. GPT-6 Luna sculpture
    GPT-6 Luna34.9

¿Han recortado sus capacidades?

El enunciado es el mismo cada semana, así que vale la pena examinar el caso de un modelo cuya puntuación baja de repente. Comparamos la puntuación de cada ronda con la media del propio modelo en las cuatro rondas anteriores.

¿Qué recursos requirió cada resultado?

Suma de los tokens de entrada y salida, y tiempo transcurrido en la misma semana. Ningún otro modelo supera a los de la línea discontinua tanto en puntuación como en coste.

Week 2026-W47

Consulta las mediciones de tokens y tiempo de ejecución

¿Por qué varían los tokens de entrada? Todos los modelos reciben el mismo enunciado de la prueba, pero los recuentos que comunican los proveedores corresponden a toda la ejecución de la CLI e incluyen las instrucciones integradas. Los modelos pueden tokenizar el mismo texto de forma distinta, y las peticiones de continuación pueden volver a contabilizar el contexto. Los totales de entrada de Claude incluyen los tokens sin caché y los correspondientes a las lecturas y escrituras de caché. Los tokens de razonamiento se contabilizan únicamente según lo que comunica el proveedor. Los valores que faltan se dejan en blanco. Los recuentos comunicados no indican los precios.

Evolución entre rondas

La ronda inicial conserva sus resultados originales. Cada punto posterior corresponde a una nueva ronda que se midió esa semana.

Consulta las puntuaciones registradas

La referencia inicial conserva los resultados originales de la primera ronda y las fechas de medición.

Puntuación sobre 100 por ronda
RondaClaude Opus 5 / Claude Opus 5.5Claude Sonnet 5 / Claude Sonnet 5.5Claude Fable 5.1 / Claude Fable 5.2GPT-6.1 Sol / GPT-6.2 SolGPT-6 Astra / GPT-6.2 AstraGPT-6 LunaGPT-6.1 TerraClaude Haiku 5.5
2026-W4774.7 (Claude Opus 5.5)60.8 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)84.6 (GPT-6.2 Sol)78.5 (GPT-6.2 Astra)34.9 (GPT-6 Luna)70.7 (GPT-6.1 Terra)72.6 (Claude Haiku 5.5)
2026-W4674.8 (Claude Opus 5.5)61 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)72.5 (GPT-6.1 Sol)79.1 (GPT-6 Astra)38.8 (GPT-6 Luna)70.3 (GPT-6.1 Terra)65.3 (Claude Haiku 5.5)
2026-W4580.1 (Claude Opus 5.5)56.7 (Claude Sonnet 5.5)77.8 (Claude Fable 5.1)76.4 (GPT-6.1 Sol)78 (GPT-6 Astra)41.8 (GPT-6 Luna)71.3 (GPT-6.1 Terra)66 (Claude Haiku 5.5)
2026-W4474.4 (Claude Opus 5.5)64.9 (Claude Sonnet 5.5)76.9 (Claude Fable 5.1)81.4 (GPT-6.1 Sol)77.7 (GPT-6 Astra)46.7 (GPT-6 Luna)73.1 (GPT-6.1 Terra)73.2 (Claude Haiku 5.5)
2026-W4375.9 (Claude Opus 5.5)61 (Claude Sonnet 5.5)75.7 (Claude Fable 5.1)72.5 (GPT-6.1 Sol)79.7 (GPT-6 Astra)33.9 (GPT-6 Luna)-73.6 (Claude Haiku 5.5)
2026-W4275.1 (Claude Opus 5.5)67.4 (Claude Sonnet 5.5)69 (Claude Fable 5.1)77.9 (GPT-6.1 Sol)78.4 (GPT-6 Astra)43.7 (GPT-6 Luna)-65.7 (Claude Haiku 5.5)
2026-W4178.5 (Claude Opus 5.5)48.1 (Claude Sonnet 5.5)74.6 (Claude Fable 5.1)74.7 (GPT-6.1 Sol)73.5 (GPT-6 Astra)30.9 (GPT-6 Luna)-68.4 (Claude Haiku 5.5)
Referencia inicial75.5 (Claude Opus 5)34.3 (Claude Sonnet 5)71.2 (Claude Fable 5.1)70.6 (GPT-6.1 Sol)77.5 (GPT-6 Astra)45.6 (GPT-6 Luna)--

Every weekly run

Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.

Score out of 100 for every model and round, newest first
WeekRun dateModelScoreChange vs previous round
2026-W47GPT-6.2 Sol84.6New model version
2026-W47Claude Fable 5.279.30.0
2026-W47GPT-6.2 Astra78.5New model version
2026-W47Claude Opus 5.574.7-0.1
2026-W47Claude Haiku 5.572.6+7.3
2026-W47GPT-6.1 Terra70.7+0.4
2026-W47Claude Sonnet 5.560.8-0.2
2026-W47GPT-6 Luna34.9-3.9
2026-W46Claude Fable 5.279.3New model version
2026-W46GPT-6 Astra79.1+1.1
2026-W46Claude Opus 5.574.8-5.3
2026-W46GPT-6.1 Sol72.5-3.9
2026-W46GPT-6.1 Terra70.3-1.0
2026-W46Claude Haiku 5.565.3-0.7
2026-W46Claude Sonnet 5.561+4.3
2026-W46GPT-6 Luna38.8-3.0
2026-W45Claude Opus 5.580.1+5.7
2026-W45GPT-6 Astra78+0.3
2026-W45Claude Fable 5.177.8+0.9
2026-W45GPT-6.1 Sol76.4-5.0
2026-W45GPT-6.1 Terra71.3-1.8
2026-W45Claude Haiku 5.566-7.2
2026-W45Claude Sonnet 5.556.7-8.2
2026-W45GPT-6 Luna41.8-4.9
2026-W44GPT-6.1 Sol81.4+8.9
2026-W44GPT-6 Astra77.7-2.0
2026-W44Claude Fable 5.176.9+1.2
2026-W44Claude Opus 5.574.4-1.5
2026-W44Claude Haiku 5.573.2-0.4
2026-W44GPT-6.1 Terra73.1First run
2026-W44Claude Sonnet 5.564.9+3.9
2026-W44GPT-6 Luna46.7+12.8
2026-W43GPT-6 Astra79.7+1.3
2026-W43Claude Opus 5.575.9+0.8
2026-W43Claude Fable 5.175.7+6.7
2026-W43Claude Haiku 5.573.6+7.9
2026-W43GPT-6.1 Sol72.5-5.4
2026-W43Claude Sonnet 5.561-6.4
2026-W43GPT-6 Luna33.9-9.8
2026-W42GPT-6 Astra78.4+4.9
2026-W42GPT-6.1 Sol77.9+3.2
2026-W42Claude Opus 5.575.1-3.4
2026-W42Claude Fable 5.169-5.6
2026-W42Claude Sonnet 5.567.4+19.3
2026-W42Claude Haiku 5.565.7-2.7
2026-W42GPT-6 Luna43.7+12.8
2026-W41Claude Opus 5.578.5New model version
2026-W41GPT-6.1 Sol74.7+4.1
2026-W41Claude Fable 5.174.6+3.4
2026-W41GPT-6 Astra73.5-4.0
2026-W41Claude Haiku 5.568.4First run
2026-W41Claude Sonnet 5.548.1New model version
2026-W41GPT-6 Luna30.9-14.7
2026-W41 (Starting baseline)GPT-6 Astra77.5First run
2026-W41 (Starting baseline)Claude Opus 575.5First run
2026-W41 (Starting baseline)Claude Fable 5.171.2First run
2026-W41 (Starting baseline)GPT-6.1 Sol70.6First run
2026-W41 (Starting baseline)GPT-6 Luna45.6First run
2026-W41 (Starting baseline)Claude Sonnet 534.3First run

Cómo funciona

Un solo enunciado

El enunciado detalla cada forma del objetivo con valores exactos.

Un solo intento

Cada modelo responde una sola vez en JSON. Sin pistas ni selección de la mejor respuesta entre N intentos.

Una sola puntuación

Coincidencia de formas y colores con el objetivo, de 0 a 100.

Metodología completa, preguntas y cómo citar

Last updated

La fórmula

porcentaje de superposición de volumen × proporción de cubos con el color correcto

Medido en unidades de 1 cm³. Huella digital de las instrucciones 08fb5a5773fe89e7. La referencia inicial conserva los resultados originales de la primera ronda.

Cómo funciona

El encargo enumera todas las formas del modelo de referencia con valores numéricos exactos. Cada modelo responde únicamente con JSON: hasta 150 bloques, cada uno con una posición, un tamaño y uno de los 11 colores. El modelo no dibuja nada por sí mismo. Al puntuar una ejecución, renderizamos sus bloques y el modelo de referencia con los mismos cubos pequeños, la misma iluminación y la misma cámara, y publicamos las imágenes.

La puntuación es el solapamiento de volumen entre la escultura y el modelo de referencia (intersección sobre unión, medida en cubos de 1 cm) multiplicado por la proporción de cubos compartidos que tienen el color correcto. Usar una caja por forma da menos de 40 puntos; dividir cada forma en láminas iguales da unos 50. Las patas inclinadas, los cables finos y las cabezas redondas favorecen a los modelos que planifican dónde colocar cada caja, y la vista Diferencia muestra todos los cubos ausentes, sobrantes y de color incorrecto.

Justo y reproducible

La referencia inicial es la primera ronda original, conservada con sus fechas reales de medición. Se solicitó una segunda ronda medida para el lanzamiento. Se muestran ambas; a ninguna se le asigna una fecha anterior ni se elige la mejor de las dos como resultado. Las rondas posteriores siguen el calendario semanal.

  • Las mismas instrucciones, el mismo programa de puntuación y los mismos ajustes cada semana. Las instrucciones v3 tienen la huella digital 08fb5a5773fe89e7; cualquier cambio inicia una nueva versión y un nuevo gráfico.
  • Cada modelo responde una sola vez con un nivel medio de esfuerzo de razonamiento, a través de Claude Code o Codex con una sesión iniciada mediante una suscripción, del mismo modo que los ejecuta VibeiDE. Sin herramientas, sin acceso a la web y sin elegir el mejor de N intentos.
  • Una respuesta en la que no se puede puntuar ninguna caja (porque no es JSON o porque todas las cajas tienen un formato incorrecto) es un fallo de formato, no una escultura: se solicita al modelo un segundo intento y esa nueva respuesta pierde 2 puntos.
  • Los modelos se ejecutan uno tras otro, nunca en paralelo. Una respuesta que no llega en 40 minutos obtiene 0.
  • El programa de evaluación es determinista. Ningún modelo evalúa a otro.

Lee las instrucciones completas (texto sin formato, 7,691 caracteres). Los nombres de los modelos son los alias que ofrece cada CLI; la página registra el identificador del modelo que comunicó la CLI.

Preguntas

¿Están reduciendo las capacidades de Claude o GPT?

Esta página no puede ver lo que ocurre dentro de un proveedor, pero muestra si un mismo nombre de modelo obtiene puntuaciones distintas en una misma tarea fija a lo largo del tiempo. Una ejecución semanal es una sola muestra, así que considera las variaciones de unos pocos puntos como ruido y una caída que se mantenga durante varias semanas como una señal.

¿Por qué ningún modelo puede alcanzar los 100 puntos?

El modelo de referencia está formado por esferas, elipsoides, cilindros y cápsulas inclinadas, y la respuesta solo puede usar 150 cajas alineadas con los ejes. Las cajas no pueden seguir las curvas con exactitud, por lo que todas las respuestas pierden algo de volumen. Los mejores modelos concentran sus cajas en las zonas curvas, y sus esculturas se parecen más al modelo de referencia.

¿Cómo se ejecutan los modelos?

Cada modelo recibe las instrucciones una sola vez a través de su herramienta oficial de línea de comandos, Claude Code o Codex, con una sesión iniciada mediante una suscripción normal y un nivel medio de esfuerzo de razonamiento. Las herramientas, los subagentes y el acceso a la web están desactivados; si aun así se usa una herramienta durante la ejecución, se pierde una cuarta parte de la puntuación. Solo se solicita un segundo intento si no se puede puntuar ninguna caja de la respuesta, y esa nueva respuesta pierde 2 puntos. Un programa determinista puntúa la respuesta, no otro modelo.

¿Por qué la prueba pasó a la v3?

Las dos primeras versiones pedían a los modelos que distribuyeran una oficina. En sus primeras rondas, los mejores modelos obtuvieron 100 y 92 puntos, y todas las oficinas correctas tenían el mismo aspecto. Una prueba en la que los mejores modelos alcanzan la puntuación máxima no permite apreciar cambios, y una en la que las respuestas se parecen no permite apreciar la calidad. Por eso, la v3 pide una escultura cuya calidad se pueda apreciar de un vistazo.

¿Puedo probar las instrucciones por mi cuenta?

Sí. Las instrucciones completas son públicas y están disponibles en texto sin formato. Pégalas en cualquier modelo y compara su respuesta con el modelo de referencia.

Cite this benchmark

Title
VibeiDE Robot scene v1: weekly Claude and GPT model tracking
URL
https://vibeide.dev/benchmark/
Latest week
2026-W47, run
Publisher
Crowie s.r.o.
Method
Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
Licence
Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47

Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Necessary cookies support sign-in, security, your language and this choice. Optional categories stay off until accepted.

First-party page views and acquisition measurement, plus Google Analytics 4 (Google Ireland, data may reach the US). Advertising personalization stays off.

With Analytics enabled, retain Google, Microsoft and Reddit ad click identifiers and share download, signup, activation and purchase conversions with the relevant ad provider. No personalized advertising.

Privacy · Cookie inventory