Quelle IA construit le mieux ?

Huit modèles reçoivent les mêmes consignes et 150 rectangles. Chacun a un seul essai, noté de 0 à 100 selon sa fidélité à la cible exacte. Une nouvelle manche chaque semaine.

Cette semaine

Week 2026-W47, Nov 16 to 19

Écart par rapport à la semaine dernière.

Ce que chaque modèle a créé

Résultat brut affiché à partir du JSON renvoyé par chaque modèle. Le contour en pointillés représente la cible.

La cible100
Un robot blanc assis sur une chaise verte devant un bureau avec un écran, une lampe, une tasse et une plante
Une tête ronde, une chaise aux lignes courbes, une toute petite lampe de bureau. Les consignes décrivent chaque forme avec des valeurs précises.
  1. GPT-6.2 Sol sculpture
    GPT-6.2 Sol84.6
  2. Claude Fable 5.2 sculpture
    Claude Fable 5.279.3
  3. GPT-6.2 Astra sculpture
    GPT-6.2 Astra78.5
  4. Claude Opus 5.5 sculpture
    Claude Opus 5.574.7
  5. Claude Haiku 5.5 sculpture
    Claude Haiku 5.572.6
  6. GPT-6.1 Terra sculpture
    GPT-6.1 Terra70.7
  7. Claude Sonnet 5.5 sculpture
    Claude Sonnet 5.560.8
  8. GPT-6 Luna sculpture
    GPT-6 Luna34.9

Le modèle a-t-il été bridé ?

Les consignes sont les mêmes chaque semaine. Si le score d’un modèle chute soudainement, cela mérite qu’on s’y attarde. À chaque manche, nous comparons le score du modèle à sa propre moyenne sur les quatre manches précédentes.

Quelles ressources chaque résultat a-t-il nécessitées ?

Total des tokens d’entrée et de sortie, et temps écoulé, pour la même semaine. Aucun autre modèle ne fait mieux à la fois sur le score et sur le coût que les modèles situés sur la ligne en pointillés.

Week 2026-W47

Consultez les mesures de tokens et de durée d’exécution

Pourquoi le nombre de tokens d’entrée varie-t-il ? Tous les modèles reçoivent les mêmes consignes pour le test, mais les décomptes sont ceux que les fournisseurs indiquent pour l’exécution complète du CLI, y compris les instructions intégrées. Les modèles peuvent découper le même texte en tokens de différentes manières, et les requêtes qui poursuivent un échange peuvent comptabiliser de nouveau le contexte. Le total de tokens d’entrée de Claude comprend les tokens hors cache, ainsi que les lectures et les écritures dans le cache. Les tokens de raisonnement sont comptabilisés uniquement selon les chiffres communiqués par le fournisseur. Les valeurs manquantes sont laissées vides. Les décomptes indiqués ne mesurent pas les prix.

D’une manche à l’autre

La première manche conserve ses résultats d’origine. Chaque point suivant correspond à une nouvelle manche, mesurée la semaine où elle a lieu.

Consultez les scores enregistrés

La référence de départ conserve les résultats d’origine de la première manche et leurs dates de mesure.

Score sur 100 par cycle
CycleClaude Opus 5 / Claude Opus 5.5Claude Sonnet 5 / Claude Sonnet 5.5Claude Fable 5.1 / Claude Fable 5.2GPT-6.1 Sol / GPT-6.2 SolGPT-6 Astra / GPT-6.2 AstraGPT-6 LunaGPT-6.1 TerraClaude Haiku 5.5
2026-W4774.7 (Claude Opus 5.5)60.8 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)84.6 (GPT-6.2 Sol)78.5 (GPT-6.2 Astra)34.9 (GPT-6 Luna)70.7 (GPT-6.1 Terra)72.6 (Claude Haiku 5.5)
2026-W4674.8 (Claude Opus 5.5)61 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)72.5 (GPT-6.1 Sol)79.1 (GPT-6 Astra)38.8 (GPT-6 Luna)70.3 (GPT-6.1 Terra)65.3 (Claude Haiku 5.5)
2026-W4580.1 (Claude Opus 5.5)56.7 (Claude Sonnet 5.5)77.8 (Claude Fable 5.1)76.4 (GPT-6.1 Sol)78 (GPT-6 Astra)41.8 (GPT-6 Luna)71.3 (GPT-6.1 Terra)66 (Claude Haiku 5.5)
2026-W4474.4 (Claude Opus 5.5)64.9 (Claude Sonnet 5.5)76.9 (Claude Fable 5.1)81.4 (GPT-6.1 Sol)77.7 (GPT-6 Astra)46.7 (GPT-6 Luna)73.1 (GPT-6.1 Terra)73.2 (Claude Haiku 5.5)
2026-W4375.9 (Claude Opus 5.5)61 (Claude Sonnet 5.5)75.7 (Claude Fable 5.1)72.5 (GPT-6.1 Sol)79.7 (GPT-6 Astra)33.9 (GPT-6 Luna)-73.6 (Claude Haiku 5.5)
2026-W4275.1 (Claude Opus 5.5)67.4 (Claude Sonnet 5.5)69 (Claude Fable 5.1)77.9 (GPT-6.1 Sol)78.4 (GPT-6 Astra)43.7 (GPT-6 Luna)-65.7 (Claude Haiku 5.5)
2026-W4178.5 (Claude Opus 5.5)48.1 (Claude Sonnet 5.5)74.6 (Claude Fable 5.1)74.7 (GPT-6.1 Sol)73.5 (GPT-6 Astra)30.9 (GPT-6 Luna)-68.4 (Claude Haiku 5.5)
Référence initiale75.5 (Claude Opus 5)34.3 (Claude Sonnet 5)71.2 (Claude Fable 5.1)70.6 (GPT-6.1 Sol)77.5 (GPT-6 Astra)45.6 (GPT-6 Luna)--

Every weekly run

Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.

Score out of 100 for every model and round, newest first
WeekRun dateModelScoreChange vs previous round
2026-W47GPT-6.2 Sol84.6New model version
2026-W47Claude Fable 5.279.30.0
2026-W47GPT-6.2 Astra78.5New model version
2026-W47Claude Opus 5.574.7-0.1
2026-W47Claude Haiku 5.572.6+7.3
2026-W47GPT-6.1 Terra70.7+0.4
2026-W47Claude Sonnet 5.560.8-0.2
2026-W47GPT-6 Luna34.9-3.9
2026-W46Claude Fable 5.279.3New model version
2026-W46GPT-6 Astra79.1+1.1
2026-W46Claude Opus 5.574.8-5.3
2026-W46GPT-6.1 Sol72.5-3.9
2026-W46GPT-6.1 Terra70.3-1.0
2026-W46Claude Haiku 5.565.3-0.7
2026-W46Claude Sonnet 5.561+4.3
2026-W46GPT-6 Luna38.8-3.0
2026-W45Claude Opus 5.580.1+5.7
2026-W45GPT-6 Astra78+0.3
2026-W45Claude Fable 5.177.8+0.9
2026-W45GPT-6.1 Sol76.4-5.0
2026-W45GPT-6.1 Terra71.3-1.8
2026-W45Claude Haiku 5.566-7.2
2026-W45Claude Sonnet 5.556.7-8.2
2026-W45GPT-6 Luna41.8-4.9
2026-W44GPT-6.1 Sol81.4+8.9
2026-W44GPT-6 Astra77.7-2.0
2026-W44Claude Fable 5.176.9+1.2
2026-W44Claude Opus 5.574.4-1.5
2026-W44Claude Haiku 5.573.2-0.4
2026-W44GPT-6.1 Terra73.1First run
2026-W44Claude Sonnet 5.564.9+3.9
2026-W44GPT-6 Luna46.7+12.8
2026-W43GPT-6 Astra79.7+1.3
2026-W43Claude Opus 5.575.9+0.8
2026-W43Claude Fable 5.175.7+6.7
2026-W43Claude Haiku 5.573.6+7.9
2026-W43GPT-6.1 Sol72.5-5.4
2026-W43Claude Sonnet 5.561-6.4
2026-W43GPT-6 Luna33.9-9.8
2026-W42GPT-6 Astra78.4+4.9
2026-W42GPT-6.1 Sol77.9+3.2
2026-W42Claude Opus 5.575.1-3.4
2026-W42Claude Fable 5.169-5.6
2026-W42Claude Sonnet 5.567.4+19.3
2026-W42Claude Haiku 5.565.7-2.7
2026-W42GPT-6 Luna43.7+12.8
2026-W41Claude Opus 5.578.5New model version
2026-W41GPT-6.1 Sol74.7+4.1
2026-W41Claude Fable 5.174.6+3.4
2026-W41GPT-6 Astra73.5-4.0
2026-W41Claude Haiku 5.568.4First run
2026-W41Claude Sonnet 5.548.1New model version
2026-W41GPT-6 Luna30.9-14.7
2026-W41 (Starting baseline)GPT-6 Astra77.5First run
2026-W41 (Starting baseline)Claude Opus 575.5First run
2026-W41 (Starting baseline)Claude Fable 5.171.2First run
2026-W41 (Starting baseline)GPT-6.1 Sol70.6First run
2026-W41 (Starting baseline)GPT-6 Luna45.6First run
2026-W41 (Starting baseline)Claude Sonnet 534.3First run

Comment cela fonctionne

Une seule consigne

La consigne décrit chaque forme de la cible avec des valeurs précises.

Un seul essai

Chaque modèle répond une seule fois au format JSON. Aucun indice, aucune sélection de la meilleure réponse parmi N essais.

Un seul score

Fidélité des formes et des couleurs à la cible, de 0 à 100.

Méthodologie complète, questions et citation

Last updated

La formule

pourcentage de recouvrement des volumes × proportion de cubes correctement colorés

Mesure par unités de 1 cm³. Empreinte de la consigne 08fb5a5773fe89e7. La référence initiale conserve les résultats originaux de la première manche.

Comment cela fonctionne

La consigne décrit toutes les formes du modèle de référence avec des valeurs numériques exactes. Chaque modèle répond uniquement en JSON : jusqu’à 150 blocs, chacun défini par une position, des dimensions et une couleur parmi 11. Le modèle ne dessine rien lui-même. Lorsqu’un essai est évalué, nous réalisons le rendu de ses blocs et du modèle de référence à partir des mêmes petits cubes, avec le même éclairage et la même caméra, puis nous publions les images.

Le score correspond au chevauchement des volumes de la sculpture et de la cible (intersection sur union, mesurée en cubes de 1 cm), multiplié par la proportion de cubes communs ayant la bonne couleur. Une boîte par forme donne un score inférieur à 40 ; découper chaque forme en tranches égales donne environ 50. Les pieds inclinés, les câbles fins et les têtes rondes favorisent les modèles qui planifient l’emplacement de chaque boîte. La vue Différence montre chaque cube manquant, en trop ou de couleur incorrecte.

Équitable et reproductible

La référence initiale correspond au premier cycle d’origine, conservé avec les dates réelles des mesures. Un deuxième cycle de mesures a été demandé pour le lancement. Les deux sont affichés ; aucun n’est antidaté ni retenu comme le meilleur des deux. Les cycles suivants suivent le calendrier hebdomadaire.

  • Les mêmes consignes, le même programme de calcul du score et les mêmes paramètres chaque semaine. Les consignes v3 ont pour empreinte 08fb5a5773fe89e7 ; toute modification entraîne une nouvelle version et un nouveau graphique.
  • Chaque modèle répond une seule fois avec un effort de raisonnement moyen, via Claude Code ou Codex connecté avec un abonnement, de la même manière que VibeiDE les exécute. Sans outils, sans accès au Web, sans sélection de la meilleure réponse parmi N essais.
  • Une réponse dans laquelle aucune boîte ne peut être évaluée (format autre que JSON, ou toutes les boîtes mal formées) constitue une erreur de format, pas une sculpture : le modèle est sollicité une nouvelle fois et cette nouvelle réponse perd 2 points.
  • Les modèles sont exécutés l’un après l’autre, jamais en parallèle. Une réponse qui n’arrive pas dans les 40 minutes obtient 0.
  • Le programme de notation est déterministe. Aucun modèle n’évalue un autre modèle.

Lire les consignes complètes (texte brut, 7,691 caractères). Les noms des modèles sont les alias proposés par chaque CLI ; la page consigne l’identifiant du modèle communiqué par la CLI.

Questions

Les performances de Claude ou GPT sont-elles bridées ?

Cette page ne permet pas de voir ce qui se passe chez un fournisseur, mais elle montre si un même nom de modèle obtient des scores différents au fil du temps sur une tâche figée. Une exécution par semaine ne représente qu’un seul échantillon : considérez donc une variation de quelques points comme du bruit et une baisse qui dure plusieurs semaines comme un signal.

Pourquoi aucun modèle ne peut-il atteindre 100 ?

La cible se compose de sphères, d’ellipsoïdes, de cylindres et de capsules inclinées, tandis que la réponse ne peut utiliser que 150 boîtes alignées sur les axes. Les boîtes ne peuvent pas épouser exactement les courbes : chaque réponse laisse donc une partie du volume non reproduite. Les meilleurs modèles consacrent leurs boîtes aux zones courbes, et leurs sculptures ressemblent davantage à la cible.

Comment les modèles sont-ils exécutés ?

Chaque modèle reçoit les consignes une seule fois via son outil officiel en ligne de commande, Claude Code ou Codex, connecté avec un abonnement classique, avec un effort de raisonnement moyen. Les outils, les sous-agents et l’accès au Web sont désactivés ; si une exécution utilise tout de même un outil, elle perd un quart de son score. Seule une réponse dans laquelle aucune boîte ne peut être évaluée donne lieu à une nouvelle tentative, et cette nouvelle réponse perd 2 points. La réponse est évaluée par un programme déterministe, et non par un autre modèle.

Pourquoi le benchmark est-il passé à la v3 ?

Les deux premières versions demandaient aux modèles d’aménager un bureau. Lors de leurs premières sessions, les meilleurs modèles ont obtenu 100 et 92, et tous les bureaux conformes se ressemblaient. Un benchmark où les meilleurs modèles atteignent le score maximal ne permet pas de montrer les progrès, et un benchmark où les réponses se ressemblent ne permet pas de montrer leur qualité. La v3 demande donc une sculpture dont la qualité se voit au premier coup d’œil.

Puis-je essayer le cahier des charges moi-même ?

Oui. Les consignes complètes sont publiques et disponibles en texte brut. Collez-les dans n’importe quel modèle et comparez sa réponse à la cible.

Cite this benchmark

Title
VibeiDE Robot scene v1: weekly Claude and GPT model tracking
URL
https://vibeide.dev/benchmark/
Latest week
2026-W47, run
Publisher
Crowie s.r.o.
Method
Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
Licence
Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47

Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Necessary cookies support sign-in, security, your language and this choice. Optional categories stay off until accepted.

First-party page views and acquisition measurement, plus Google Analytics 4 (Google Ireland, data may reach the US). Advertising personalization stays off.

With Analytics enabled, retain Google, Microsoft and Reddit ad click identifiers and share download, signup, activation and purchase conversions with the relevant ad provider. No personalized advertising.

Privacy · Cookie inventory