Office-Benchmark
Wéi eng KI baut am beschten?
Sechs Modeller. Eng Aufgab. Ee Versuch pro Modell. Bewäert vun 0 bis 100 duerch de Verglach mat der exakter Virlag.
Ranglëscht.
Wat all Modell gebaut huet.
Déi onverännert Ausgab, duergestallt op Basis vum JSON, deen all Modell zeréckginn huet. Ee Versuch, keng Widderhuelungen.
All Skulptur gëtt mat der selwechter Beliichtung, Kamera a Moossstaf duergestallt. Wielt e Resultat aus, fir et mat der Virlag ze vergläichen, oder wiesselt op Ënnerscheed, fir d'Ofwäichungen ze ënnersichen.
- Claude Opus 5.578.5/100
- GPT-6.1 Sol74.7/100
- Claude Fable74.6/100
- GPT-6 Astra73.5/100
- Claude Sonnet 5.548.1/100
- GPT-6 Luna30.9/100
Notizen
Qualitéit, Token an Zäit
Wat war fir all Resultat néideg?
Vergläicht d'Punktzuel, déi gemellt Zomm vun den Input- an Output-Token an déi vergaange Lafzäit fir déi ausgewielte Ronn. Reasoning-Token ginn net nach eng Kéier derbäigerechent. Feelend Miessunge ginn ausgelooss an net als Null gezielt.
D'Miessunge vun den Token an der Lafzäit ukucken
Gemoosse Resultater
Ronn fir Ronn.
D'Ausgangsbasis behält déi ursprénglech Resultater vun der éischter Ronn an d'Datume vun de Miessunge bäi. Den nächste Punkt ass eng nei gemoosse Ronn, kee Resultat aus enger anerer Woch.
Déi erfaasst Punktzuelen ukucken
| Ronn | Claude Opus 5 / Claude Opus 5.5 | Claude Sonnet 5 / Claude Sonnet 5.5 | Claude Fable | GPT-6.1 Sol | GPT-6 Astra | GPT-6 Luna |
|---|---|---|---|---|---|---|
| 2026-W41 | 78.5 (Claude Opus 5.5) | 48.1 (Claude Sonnet 5.5) | 74.6 (Claude Fable) | 74.7 (GPT-6.1 Sol) | 73.5 (GPT-6 Astra) | 30.9 (GPT-6 Luna) |
| Ausgangsbasis | 75.5 (Claude Opus 5) | 34.3 (Claude Sonnet 5) | 71.2 (Claude Fable) | 70.6 (GPT-6.1 Sol) | 77.5 (GPT-6 Astra) | 45.6 (GPT-6 Luna) |
Iwwer de Benchmark
Gitt enger KI 150 Quaderen. Frot se, dëst ze bauen.
E ronne Kapp. E gebéite Stull. Eng kleng Schreifdëschluucht. Wéi no kënnt e Sproochmodell un d'Virlag erun, wann en nëmme rechteckeg Bausteng benotzt?
- Këschten héchstens
- 150
- Modeller
- 6
- Versuch pro Ronn
- 1
Wéi et funktionéiert.
Eng festgeluechten Aufgab.
All Modell kritt déiselwecht schrëftlech Aufgab mat de virgegebenen Dimensiounen a Faarwen. Déi komplett Aufgab ass ëffentlech zougänglech.
Nëmmen JSON.
D'Äntwert enthält näischt anescht: bis zu 150 Quadere mat Positiounen, Gréissten a Faarwen.
Ee Versuch.
Mëttleren Denkopwand, keng Tools, keng Widderhuelungen. Tokenverbrauch a Lafzäit ginn erfaasst.
Eng festgeluechte Bewäertungsfunktioun.
Volumeniwwerlappung mat der Virlag, gewiicht no der Faarfgenauegkeet, vun 0 bis 100.
D'Formel
Volumeniwwerlappung a % × Undeel vun de richteg gefierfte WierfelenGemooss an Eenheete vun 1 cm³. Fangerofdrock vun der Aufgab 08fb5a5773fe89e7. D'Ausgangsreferenz behält déi ursprénglech Resultater vun der éischter Ronn bäi.
Komplett Methodik a Froen
Wéi et funktionéiert
D'Aufgabebeschreiwung lëscht all Form vun der Virlag mat exakten Zuelen op. All Modell äntwert ausschliisslech mat JSON: bis zu 150 Quaderen, jidderee mat enger Positioun, enger Gréisst an enger vun 11 Faarwen. De Modell zeechent selwer näischt. Wann en Duerchlaf bewäert gëtt, rendere mir seng Quaderen an d'Virlag aus de selwechte klenge Wierfelen, mat der selwechter Beliichtung a Kamera, a publizéieren d'Biller.
D'Punktzuel entsprécht der Volumeniwwerschneidung tëscht Skulptur a Virlag (Schnëttmeng gedeelt duerch Vereenegungsmeng, a Wierfele vun 1 cm gemooss), multiplizéiert mam Undeel vun de gemeinsame Wierfelen, déi déi richteg Faarf hunn. Ee Quader pro Form erreecht manner wéi 40 Punkten; all Form a gläich déck Scheiwen opzedeelen erreecht ongeféier 50. Schréi Been, dënn Kabelen a ronn Käpp beloune Modeller, déi plangen, wou all Quader hikënnt. D'Vue Ënnerscheed weist all feelenden, zousätzlechen a falsch gefierfte Wierfel.
Fair a widderhuelbar
D'Ausgangsbasis ass déi ursprénglech éischt Ronn, déi mat hiren tatsächleche Miessdatume bäibehale gëtt. Fir de Start gouf eng zweet gemoosse Ronn ugefrot. Béid ginn ugewisen; keng vun hinne gëtt zeréckdatéiert oder als dat bescht Resultat vun deenen zwou ausgewielt. Spéider Ronne follegen dem wéchentlechen Zäitplang.
- All Woch déiselwecht Aufgab, dee selwechte Bewäertungsprogramm an déiselwecht Astellungen. D'Aufgab v3 huet de Fangerofdrock
08fb5a5773fe89e7; all Ännerung féiert zu enger neier Versioun an engem neien Diagramm. - All Modell äntwert eemol mat mëttlerem Denkopwand, iwwer Claude Code oder Codex, ageloggt mat engem Abonnement, esou wéi VibeiDE se ausféiert. Keng Tools, kee Webzougang, keng weider Versich, keng Auswiel vum beschte Resultat aus N Versich.
- D'Modeller ginn een nom aneren ausgefouert, ni parallel. Eng Äntwert, déi net bannent 40 Minutten ukënnt, kritt 0 Punkten.
- De Bewäertungsprogramm ass deterministesch. Kee Modell bewäert en anere Modell.
Liest déi komplett Aufgab (rengen Text, 7,691 Zeechen). D'Modellnimm sinn d'Aliasen, déi déi jeeweileg CLI ubitt; d'Säit hält d'Modellkennung fest, déi d'CLI gemellt huet.
Froen
Gëtt Claude oder GPT méi schwaach gemaach?
Dës Säit kann net an d'intern Oflaf vun engem Ubidder kucken, mee si weist, ob dee selwechte Modellnumm mat der Zäit aner Punkte bei der selwechter festgeluechter Aufgab kritt. Ee Versuch pro Woch ass nëmmen eng eenzel Miessung. Betruecht dofir eng Ännerung vun e puer Punkten als zoufälleg Schwankung an e Réckgang iwwer e puer Wochen als Signal.
Firwat erreecht kee Modell 100?
D'Virlag besteet aus Kugelen, Ellipsoiden, Zylinder a schréie Kapselformen, an d'Äntwert däerf nëmmen 150 Quaderen enthalen, déi un de Koordinatenachsen ausgeriicht sinn. Quadere kënne Kéieren net exakt noformen, dofir geet bei all Äntwert e bëssen Iwwerschneidungsvolumen verluer. Besser Modeller setzen hir Quaderen do an, wou d'Kéiere sinn, an hir Skulpture gesinn der Virlag méi änlech.
Wéi ginn d'Modeller ausgefouert?
All Modell kritt d'Aufgab eemol iwwer säin offiziellt Kommandozeilentool, Claude Code oder Codex, mat engem normale Abonnement ugemellt a mat mëttlerem Denkopwand. Tools, Ënneragenten, Webzougang an nei Versich sinn ausgeschalt; en Duerchlaf, deen en Tool benotzt, kritt 0 Punkten. D'Äntwert gëtt vun engem deterministesche Programm bewäert, net vun engem anere Modell.
Firwat gouf de Benchmark op v3 ëmgestallt?
An den éischten zwou Versioune sollten d'Modeller e Büro ariichten. An hiren éischte Ronnen hunn déi bescht Modeller 100 an 92 Punkten erreecht, an all korrekt Büroen hunn d'selwecht ausgesinn. E Benchmark, bei deem déi bescht Modeller déi maximal Punktzuel erreechen, ka keng Entwécklung weisen, an ee mat gläich ausgesinnenden Äntwerte ka keng Qualitéitsënnerscheeder weisen. Dofir verlaangt v3 eng Skulptur, där hir Qualitéit op ee Bléck ze erkennen ass.
Kann ech d'Aufgab selwer ausprobéieren?
Jo. Déi komplett Aufgab ass als rengen Text ëffentlech zougänglech. Füügt se an e beliebegt Modell an a vergläicht seng Äntwert mat der Virlag.