Welche KI baut am besten?

Acht Modelle bekommen dieselbe Aufgabenbeschreibung und 150 Rechtecke. Jedes Modell hat einen Versuch und erhält je nach Übereinstimmung mit der exakten Vorlage 0 bis 100 Punkte. Jede Woche gibt es eine neue Runde.

Diese Woche

Week 2026-W47, Nov 16 to 19

Veränderung gegenüber der Vorwoche.

Was die einzelnen Modelle erstellt haben

Die unveränderte Ausgabe als Bild, erzeugt aus dem JSON, das jedes Modell zurückgegeben hat. Die gestrichelte Kontur zeigt die Vorlage.

Die Vorlage100
Ein weißer Roboter auf einem grünen Stuhl an einem Schreibtisch mit Monitor, Lampe, Becher und Pflanze
Ein runder Kopf, ein geschwungener Stuhl, eine winzige Schreibtischlampe. Die Aufgabenbeschreibung führt jede Form mit exakten Zahlenwerten auf.
  1. GPT-6.2 Sol sculpture
    GPT-6.2 Sol84.6
  2. Claude Fable 5.2 sculpture
    Claude Fable 5.279.3
  3. GPT-6.2 Astra sculpture
    GPT-6.2 Astra78.5
  4. Claude Opus 5.5 sculpture
    Claude Opus 5.574.7
  5. Claude Haiku 5.5 sculpture
    Claude Haiku 5.572.6
  6. GPT-6.1 Terra sculpture
    GPT-6.1 Terra70.7
  7. Claude Sonnet 5.5 sculpture
    Claude Sonnet 5.560.8
  8. GPT-6 Luna sculpture
    GPT-6 Luna34.9

Wurde das Modell abgeschwächt?

Die Aufgabe ist jede Woche dieselbe. Wenn ein Modell plötzlich weniger Punkte erzielt, lohnt sich ein genauerer Blick. Wir vergleichen das Ergebnis jeder Runde mit dem Durchschnitt des jeweiligen Modells aus den vier vorangegangenen Runden.

Welchen Aufwand erforderte jedes Ergebnis?

Eingabe- und Ausgabetokens zusammen sowie die Laufzeit, jeweils aus derselben Woche. Bei den Modellen auf der gestrichelten Linie gibt es kein anderes Modell, das zugleich mehr Punkte erzielt und weniger kostet.

Week 2026-W47

Token- und Laufzeitmessungen ansehen

Warum unterscheidet sich die Zahl der Eingabetokens? Jedes Modell erhält dieselbe Benchmark-Aufgabe. Die hier gezeigten Tokenzahlen melden die Anbieter für den gesamten CLI-Lauf einschließlich der integrierten Anweisungen. Modelle können denselben Text unterschiedlich in Tokens zerlegen. Bei Folgeanfragen kann der Kontext erneut mitgezählt werden. Bei Claude umfasst die Gesamtzahl der Eingabetokens die Tokens ohne Cache sowie die beim Lesen und Schreiben des Caches gezählten Tokens. Reasoning-Tokens fließen so ein, wie der jeweilige Anbieter sie meldet. Fehlende Werte bleiben leer. Die gemeldeten Tokenzahlen geben keine Auskunft über die Preise.

Im Vergleich zur vorherigen Runde

Die Ergebnisse der ersten Runde bleiben unverändert erhalten. Jeder weitere Datenpunkt steht für eine neue Runde, die in der jeweiligen Woche gemessen wurde.

Erfasste Punktzahlen ansehen

Als Ausgangsbasis bleiben die ursprünglichen Ergebnisse und Messdaten der ersten Runde erhalten.

Punktzahl von 100 pro Runde
RundeClaude Opus 5 / Claude Opus 5.5Claude Sonnet 5 / Claude Sonnet 5.5Claude Fable 5.1 / Claude Fable 5.2GPT-6.1 Sol / GPT-6.2 SolGPT-6 Astra / GPT-6.2 AstraGPT-6 LunaGPT-6.1 TerraClaude Haiku 5.5
2026-W4774.7 (Claude Opus 5.5)60.8 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)84.6 (GPT-6.2 Sol)78.5 (GPT-6.2 Astra)34.9 (GPT-6 Luna)70.7 (GPT-6.1 Terra)72.6 (Claude Haiku 5.5)
2026-W4674.8 (Claude Opus 5.5)61 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)72.5 (GPT-6.1 Sol)79.1 (GPT-6 Astra)38.8 (GPT-6 Luna)70.3 (GPT-6.1 Terra)65.3 (Claude Haiku 5.5)
2026-W4580.1 (Claude Opus 5.5)56.7 (Claude Sonnet 5.5)77.8 (Claude Fable 5.1)76.4 (GPT-6.1 Sol)78 (GPT-6 Astra)41.8 (GPT-6 Luna)71.3 (GPT-6.1 Terra)66 (Claude Haiku 5.5)
2026-W4474.4 (Claude Opus 5.5)64.9 (Claude Sonnet 5.5)76.9 (Claude Fable 5.1)81.4 (GPT-6.1 Sol)77.7 (GPT-6 Astra)46.7 (GPT-6 Luna)73.1 (GPT-6.1 Terra)73.2 (Claude Haiku 5.5)
2026-W4375.9 (Claude Opus 5.5)61 (Claude Sonnet 5.5)75.7 (Claude Fable 5.1)72.5 (GPT-6.1 Sol)79.7 (GPT-6 Astra)33.9 (GPT-6 Luna)-73.6 (Claude Haiku 5.5)
2026-W4275.1 (Claude Opus 5.5)67.4 (Claude Sonnet 5.5)69 (Claude Fable 5.1)77.9 (GPT-6.1 Sol)78.4 (GPT-6 Astra)43.7 (GPT-6 Luna)-65.7 (Claude Haiku 5.5)
2026-W4178.5 (Claude Opus 5.5)48.1 (Claude Sonnet 5.5)74.6 (Claude Fable 5.1)74.7 (GPT-6.1 Sol)73.5 (GPT-6 Astra)30.9 (GPT-6 Luna)-68.4 (Claude Haiku 5.5)
Ausgangsbasis75.5 (Claude Opus 5)34.3 (Claude Sonnet 5)71.2 (Claude Fable 5.1)70.6 (GPT-6.1 Sol)77.5 (GPT-6 Astra)45.6 (GPT-6 Luna)--

Every weekly run

Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.

Score out of 100 for every model and round, newest first
WeekRun dateModelScoreChange vs previous round
2026-W47GPT-6.2 Sol84.6New model version
2026-W47Claude Fable 5.279.30.0
2026-W47GPT-6.2 Astra78.5New model version
2026-W47Claude Opus 5.574.7-0.1
2026-W47Claude Haiku 5.572.6+7.3
2026-W47GPT-6.1 Terra70.7+0.4
2026-W47Claude Sonnet 5.560.8-0.2
2026-W47GPT-6 Luna34.9-3.9
2026-W46Claude Fable 5.279.3New model version
2026-W46GPT-6 Astra79.1+1.1
2026-W46Claude Opus 5.574.8-5.3
2026-W46GPT-6.1 Sol72.5-3.9
2026-W46GPT-6.1 Terra70.3-1.0
2026-W46Claude Haiku 5.565.3-0.7
2026-W46Claude Sonnet 5.561+4.3
2026-W46GPT-6 Luna38.8-3.0
2026-W45Claude Opus 5.580.1+5.7
2026-W45GPT-6 Astra78+0.3
2026-W45Claude Fable 5.177.8+0.9
2026-W45GPT-6.1 Sol76.4-5.0
2026-W45GPT-6.1 Terra71.3-1.8
2026-W45Claude Haiku 5.566-7.2
2026-W45Claude Sonnet 5.556.7-8.2
2026-W45GPT-6 Luna41.8-4.9
2026-W44GPT-6.1 Sol81.4+8.9
2026-W44GPT-6 Astra77.7-2.0
2026-W44Claude Fable 5.176.9+1.2
2026-W44Claude Opus 5.574.4-1.5
2026-W44Claude Haiku 5.573.2-0.4
2026-W44GPT-6.1 Terra73.1First run
2026-W44Claude Sonnet 5.564.9+3.9
2026-W44GPT-6 Luna46.7+12.8
2026-W43GPT-6 Astra79.7+1.3
2026-W43Claude Opus 5.575.9+0.8
2026-W43Claude Fable 5.175.7+6.7
2026-W43Claude Haiku 5.573.6+7.9
2026-W43GPT-6.1 Sol72.5-5.4
2026-W43Claude Sonnet 5.561-6.4
2026-W43GPT-6 Luna33.9-9.8
2026-W42GPT-6 Astra78.4+4.9
2026-W42GPT-6.1 Sol77.9+3.2
2026-W42Claude Opus 5.575.1-3.4
2026-W42Claude Fable 5.169-5.6
2026-W42Claude Sonnet 5.567.4+19.3
2026-W42Claude Haiku 5.565.7-2.7
2026-W42GPT-6 Luna43.7+12.8
2026-W41Claude Opus 5.578.5New model version
2026-W41GPT-6.1 Sol74.7+4.1
2026-W41Claude Fable 5.174.6+3.4
2026-W41GPT-6 Astra73.5-4.0
2026-W41Claude Haiku 5.568.4First run
2026-W41Claude Sonnet 5.548.1New model version
2026-W41GPT-6 Luna30.9-14.7
2026-W41 (Starting baseline)GPT-6 Astra77.5First run
2026-W41 (Starting baseline)Claude Opus 575.5First run
2026-W41 (Starting baseline)Claude Fable 5.171.2First run
2026-W41 (Starting baseline)GPT-6.1 Sol70.6First run
2026-W41 (Starting baseline)GPT-6 Luna45.6First run
2026-W41 (Starting baseline)Claude Sonnet 534.3First run

So funktioniert es

Eine Aufgabe

Die Aufgabenbeschreibung führt jede Form der Vorlage mit exakten Zahlenwerten auf.

Ein Versuch

Jedes Modell antwortet einmal im JSON-Format. Es gibt keine Hinweise und keine Auswahl nach dem Best-of-N-Prinzip.

Eine Punktzahl

Je nach Übereinstimmung von Formen und Farben mit der Vorlage gibt es 0 bis 100 Punkte.

Vollständige Methodik, Fragen und Zitierhinweis

Last updated

Die Formel

Volumenüberschneidung in % × Anteil korrekt eingefärbter Würfel

Gemessen in Einheiten von 1 cm³. Fingerabdruck der Aufgabenbeschreibung: 08fb5a5773fe89e7. Die Ausgangsbasis bewahrt die ursprünglichen Ergebnisse der ersten Runde.

So funktioniert es

Die Aufgabenbeschreibung führt jede Form der Vorlage mit exakten Zahlen auf. Jedes Modell antwortet ausschließlich mit JSON: bis zu 150 Quader, jeweils mit einer Position, einer Größe und einer von 11 Farben. Das Modell zeichnet selbst nichts. Wenn ein Durchlauf bewertet wird, rendern wir seine Quader und die Vorlage aus denselben kleinen Würfeln, mit derselben Beleuchtung und Kamera, und veröffentlichen die Bilder.

Die Punktzahl ergibt sich aus der Volumenüberlappung zwischen Skulptur und Vorlage (Schnittmenge geteilt durch Vereinigungsmenge, gemessen in 1 cm großen Würfeln), multipliziert mit dem Anteil der überlappenden Würfel, die die richtige Farbe haben. Ein Quader pro Form ergibt weniger als 40 Punkte; wird jede Form in gleich große Scheiben zerlegt, sind es etwa 50 Punkte. Schräge Beine, dünne Kabel und runde Köpfe belohnen Modelle, die die Platzierung jedes Quaders planen. Die Ansicht „Unterschied“ zeigt jeden fehlenden, zusätzlichen und falsch eingefärbten Würfel.

Fair und wiederholbar

Die Ausgangsbasis ist die ursprüngliche erste Runde, deren tatsächliche Messdaten erhalten bleiben. Für den Launch wurde eine zweite gemessene Runde angefordert. Beide werden angezeigt; keine wird rückdatiert oder als bestes Ergebnis aus zwei Runden ausgewählt. Spätere Runden folgen dem wöchentlichen Zeitplan.

  • Jede Woche dieselbe Aufgabenbeschreibung, dasselbe Bewertungsprogramm und dieselben Einstellungen. Die Aufgabenbeschreibung v3 hat den Fingerabdruck 08fb5a5773fe89e7; jede Änderung beginnt eine neue Version mit einem neuen Diagramm.
  • Jedes Modell antwortet einmal mit mittlerem Reasoning-Aufwand über Claude Code oder Codex, angemeldet mit einem Abonnement, genauso wie VibeiDE die Modelle ausführt. Keine Tools, kein Webzugriff, kein Best-of-N.
  • Eine Antwort, in der sich keine einzige Box bewerten lässt (kein JSON oder alle Boxen fehlerhaft), gilt als Formatfehler, nicht als Skulptur: Das Modell wird ein weiteres Mal gefragt, und diese Antwort erhält 2 Punkte Abzug.
  • Die Modelle laufen nacheinander, nie parallel. Eine Antwort, die nicht innerhalb von 40 Minuten eintrifft, erhält 0 Punkte.
  • Das Bewertungsprogramm ist deterministisch. Kein Modell bewertet ein anderes Modell.

Lies die vollständige Aufgabenbeschreibung (Klartext, 7,691 Zeichen). Die Modellnamen sind die Aliasnamen, die die jeweilige CLI anbietet; die Seite erfasst die von der CLI gemeldete Modellkennung.

Fragen

Werden Claude oder GPT schlechter gemacht?

Diese Seite kann nicht hinter die Kulissen eines Anbieters schauen. Sie zeigt aber, ob dasselbe Modell unter demselben Namen bei derselben unveränderten Aufgabe im Laufe der Zeit anders abschneidet. Ein Durchlauf pro Woche ist nur eine einzelne Stichprobe. Betrachte eine Veränderung um wenige Punkte deshalb als Rauschen und einen Rückgang über mehrere Wochen als Signal.

Warum erreicht kein Modell 100 Punkte?

Die Vorlage besteht aus Kugeln, Ellipsoiden, Zylindern und schrägen Kapselformen, während die Antwort nur 150 achsenparallele Quader verwenden darf. Quader können Rundungen nicht exakt nachbilden, deshalb geht bei jeder Antwort etwas Volumen verloren. Bessere Modelle setzen ihre Quader gezielt an den Rundungen ein, sodass ihre Skulpturen der Vorlage stärker ähneln.

Wie werden die Modelle ausgeführt?

Jedes Modell erhält die Aufgabenbeschreibung einmal über sein offizielles Kommandozeilentool, Claude Code oder Codex, angemeldet mit einem regulären Abonnement und mit mittlerem Reasoning-Aufwand. Tools, Subagenten und Webzugriff sind deaktiviert; nutzt ein Durchlauf dennoch ein Tool, verliert er ein Viertel seiner Punktzahl. Nur wenn sich in einer Antwort keine einzige Box bewerten lässt, wird das Modell ein weiteres Mal gefragt, und diese Antwort erhält 2 Punkte Abzug. Die Antwort wird von einem deterministischen Programm bewertet, nicht von einem anderen Modell.

Warum wurde der Benchmark auf v3 umgestellt?

In den ersten beiden Versionen sollten die Modelle ein Büro einrichten. In den ersten Runden erreichten die besten Modelle 100 und 92 Punkte, und jedes korrekt eingerichtete Büro sah gleich aus. Ein Benchmark, bei dem Spitzenmodelle die Höchstpunktzahl erreichen, kann keine Veränderungen sichtbar machen. Wenn alle Antworten gleich aussehen, lässt sich auch die Qualität nicht erkennen. Deshalb verlangt v3 eine Skulptur, deren Qualität auf einen Blick sichtbar ist.

Kann ich die Aufgabe selbst ausprobieren?

Ja. Die vollständige Aufgabenbeschreibung ist als Klartext öffentlich zugänglich. Füge sie in ein beliebiges Modell ein und vergleiche seine Antwort mit der Vorlage.

Cite this benchmark

Title
VibeiDE Robot scene v1: weekly Claude and GPT model tracking
URL
https://vibeide.dev/benchmark/
Latest week
2026-W47, run
Publisher
Crowie s.r.o.
Method
Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
Licence
Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47

Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Necessary cookies support sign-in, security, your language and this choice. Optional categories stay off until accepted.

First-party page views and acquisition measurement, plus Google Analytics 4 (Google Ireland, data may reach the US). Advertising personalization stays off.

With Analytics enabled, retain Google, Microsoft and Reddit ad click identifiers and share download, signup, activation and purchase conversions with the relevant ad provider. No personalized advertising.

Privacy · Cookie inventory