Ktorá AI stavia najlepšie?

Osem modelov dostane rovnaké zadanie a 150 obdĺžnikov. Každý má jeden pokus, ktorý hodnotíme od 0 do 100 podľa zhody s presnou predlohou. Každý týždeň prebieha nové kolo.

Tento týždeň

Week 2026-W47, Nov 16 to 19

Zmena oproti minulému týždňu.

Čo vytvorili jednotlivé modely

Neupravený výstup vykreslený z JSON, ktorý model vrátil. Prerušovaný obrys označuje predlohu.

Predloha100
Biely robot na zelenej stoličke pri stole s monitorom, lampou, hrnčekom a rastlinou
Okrúhla hlava, zaoblená stolička, maličká stolová lampa. Zadanie uvádza každý tvar s presnými číselnými hodnotami.
  1. GPT-6.2 Sol sculpture
    GPT-6.2 Sol84.6
  2. Claude Fable 5.2 sculpture
    Claude Fable 5.279.3
  3. GPT-6.2 Astra sculpture
    GPT-6.2 Astra78.5
  4. Claude Opus 5.5 sculpture
    Claude Opus 5.574.7
  5. Claude Haiku 5.5 sculpture
    Claude Haiku 5.572.6
  6. GPT-6.1 Terra sculpture
    GPT-6.1 Terra70.7
  7. Claude Sonnet 5.5 sculpture
    Claude Sonnet 5.560.8
  8. GPT-6 Luna sculpture
    GPT-6 Luna34.9

Zhoršil sa model?

Zadanie je každý týždeň rovnaké, takže náhly pokles skóre modelu stojí za pozornosť. Výsledok každého kola porovnávame s priemerom toho istého modelu za predchádzajúce štyri kolá.

Čo si vyžadoval každý výsledok?

Súčet vstupných a výstupných tokenov a čas spracovania za ten istý týždeň. Pri modeloch na prerušovanej čiare žiadny iný model nedosahuje súčasne vyššie skóre aj nižšie náklady.

Week 2026-W47

Zobraziť merania tokenov a času behu

Prečo sa líšia počty vstupných tokenov? Každý model dostane rovnaké testovacie zadanie, no poskytovatelia vykazujú počty za celý beh CLI vrátane vstavaných inštrukcií. Modely môžu ten istý text rozdeliť na tokeny rôzne a pri požiadavkách na pokračovanie sa kontext môže započítať znova. Celkový počet vstupných tokenov pre Claude zahŕňa tokeny mimo vyrovnávacej pamäte aj tokeny načítané z nej a zapísané do nej. Tokeny použité na uvažovanie započítavame len tak, ako ich vykazuje poskytovateľ. Chýbajúce hodnoty nechávame prázdne. Z vykázaného počtu tokenov sa cena nedá vyčítať.

Vývoj medzi kolami

Úvodné kolo si zachováva pôvodné výsledky. Každý ďalší bod predstavuje nové kolo merané v príslušnom týždni.

Zobraziť zaznamenané skóre

Východiskové údaje zachovávajú pôvodné výsledky prvého kola aj dátumy meraní.

Skóre zo 100 bodov podľa kola
KoloClaude Opus 5 / Claude Opus 5.5Claude Sonnet 5 / Claude Sonnet 5.5Claude Fable 5.1 / Claude Fable 5.2GPT-6.1 Sol / GPT-6.2 SolGPT-6 Astra / GPT-6.2 AstraGPT-6 LunaGPT-6.1 TerraClaude Haiku 5.5
2026-W4774.7 (Claude Opus 5.5)60.8 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)84.6 (GPT-6.2 Sol)78.5 (GPT-6.2 Astra)34.9 (GPT-6 Luna)70.7 (GPT-6.1 Terra)72.6 (Claude Haiku 5.5)
2026-W4674.8 (Claude Opus 5.5)61 (Claude Sonnet 5.5)79.3 (Claude Fable 5.2)72.5 (GPT-6.1 Sol)79.1 (GPT-6 Astra)38.8 (GPT-6 Luna)70.3 (GPT-6.1 Terra)65.3 (Claude Haiku 5.5)
2026-W4580.1 (Claude Opus 5.5)56.7 (Claude Sonnet 5.5)77.8 (Claude Fable 5.1)76.4 (GPT-6.1 Sol)78 (GPT-6 Astra)41.8 (GPT-6 Luna)71.3 (GPT-6.1 Terra)66 (Claude Haiku 5.5)
2026-W4474.4 (Claude Opus 5.5)64.9 (Claude Sonnet 5.5)76.9 (Claude Fable 5.1)81.4 (GPT-6.1 Sol)77.7 (GPT-6 Astra)46.7 (GPT-6 Luna)73.1 (GPT-6.1 Terra)73.2 (Claude Haiku 5.5)
2026-W4375.9 (Claude Opus 5.5)61 (Claude Sonnet 5.5)75.7 (Claude Fable 5.1)72.5 (GPT-6.1 Sol)79.7 (GPT-6 Astra)33.9 (GPT-6 Luna)-73.6 (Claude Haiku 5.5)
2026-W4275.1 (Claude Opus 5.5)67.4 (Claude Sonnet 5.5)69 (Claude Fable 5.1)77.9 (GPT-6.1 Sol)78.4 (GPT-6 Astra)43.7 (GPT-6 Luna)-65.7 (Claude Haiku 5.5)
2026-W4178.5 (Claude Opus 5.5)48.1 (Claude Sonnet 5.5)74.6 (Claude Fable 5.1)74.7 (GPT-6.1 Sol)73.5 (GPT-6 Astra)30.9 (GPT-6 Luna)-68.4 (Claude Haiku 5.5)
Východiskové meranie75.5 (Claude Opus 5)34.3 (Claude Sonnet 5)71.2 (Claude Fable 5.1)70.6 (GPT-6.1 Sol)77.5 (GPT-6 Astra)45.6 (GPT-6 Luna)--

Every weekly run

Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.

Score out of 100 for every model and round, newest first
WeekRun dateModelScoreChange vs previous round
2026-W47GPT-6.2 Sol84.6New model version
2026-W47Claude Fable 5.279.30.0
2026-W47GPT-6.2 Astra78.5New model version
2026-W47Claude Opus 5.574.7-0.1
2026-W47Claude Haiku 5.572.6+7.3
2026-W47GPT-6.1 Terra70.7+0.4
2026-W47Claude Sonnet 5.560.8-0.2
2026-W47GPT-6 Luna34.9-3.9
2026-W46Claude Fable 5.279.3New model version
2026-W46GPT-6 Astra79.1+1.1
2026-W46Claude Opus 5.574.8-5.3
2026-W46GPT-6.1 Sol72.5-3.9
2026-W46GPT-6.1 Terra70.3-1.0
2026-W46Claude Haiku 5.565.3-0.7
2026-W46Claude Sonnet 5.561+4.3
2026-W46GPT-6 Luna38.8-3.0
2026-W45Claude Opus 5.580.1+5.7
2026-W45GPT-6 Astra78+0.3
2026-W45Claude Fable 5.177.8+0.9
2026-W45GPT-6.1 Sol76.4-5.0
2026-W45GPT-6.1 Terra71.3-1.8
2026-W45Claude Haiku 5.566-7.2
2026-W45Claude Sonnet 5.556.7-8.2
2026-W45GPT-6 Luna41.8-4.9
2026-W44GPT-6.1 Sol81.4+8.9
2026-W44GPT-6 Astra77.7-2.0
2026-W44Claude Fable 5.176.9+1.2
2026-W44Claude Opus 5.574.4-1.5
2026-W44Claude Haiku 5.573.2-0.4
2026-W44GPT-6.1 Terra73.1First run
2026-W44Claude Sonnet 5.564.9+3.9
2026-W44GPT-6 Luna46.7+12.8
2026-W43GPT-6 Astra79.7+1.3
2026-W43Claude Opus 5.575.9+0.8
2026-W43Claude Fable 5.175.7+6.7
2026-W43Claude Haiku 5.573.6+7.9
2026-W43GPT-6.1 Sol72.5-5.4
2026-W43Claude Sonnet 5.561-6.4
2026-W43GPT-6 Luna33.9-9.8
2026-W42GPT-6 Astra78.4+4.9
2026-W42GPT-6.1 Sol77.9+3.2
2026-W42Claude Opus 5.575.1-3.4
2026-W42Claude Fable 5.169-5.6
2026-W42Claude Sonnet 5.567.4+19.3
2026-W42Claude Haiku 5.565.7-2.7
2026-W42GPT-6 Luna43.7+12.8
2026-W41Claude Opus 5.578.5New model version
2026-W41GPT-6.1 Sol74.7+4.1
2026-W41Claude Fable 5.174.6+3.4
2026-W41GPT-6 Astra73.5-4.0
2026-W41Claude Haiku 5.568.4First run
2026-W41Claude Sonnet 5.548.1New model version
2026-W41GPT-6 Luna30.9-14.7
2026-W41 (Starting baseline)GPT-6 Astra77.5First run
2026-W41 (Starting baseline)Claude Opus 575.5First run
2026-W41 (Starting baseline)Claude Fable 5.171.2First run
2026-W41 (Starting baseline)GPT-6.1 Sol70.6First run
2026-W41 (Starting baseline)GPT-6 Luna45.6First run
2026-W41 (Starting baseline)Claude Sonnet 534.3First run

Ako to funguje

Jedno zadanie

Zadanie uvádza každý tvar predlohy s presnými číselnými hodnotami.

Jeden pokus

Každý model odpovie raz vo formáte JSON. Bez nápovedy a bez výberu najlepšieho z N pokusov.

Jedno skóre

Zhoda tvarov a farieb s predlohou na stupnici od 0 do 100.

Úplná metodika, otázky a citácia

Last updated

Vzorec

objemový prekryv v % × podiel správne zafarbených kociek

Merané v jednotkách 1 cm³. Odtlačok zadania 08fb5a5773fe89e7. Východisková referencia zachováva pôvodné výsledky prvého kola.

Ako to funguje

Zadanie uvádza každý tvar predlohy s presnými číselnými údajmi. Každý model odpovedá výlučne vo formáte JSON: najviac 150 kvádrov, pri každom poloha, veľkosť a jedna z 11 farieb. Samotný model nič nekreslí. Pri hodnotení výsledku vykreslíme jeho kvádre aj predlohu z rovnakých malých kociek, pri rovnakom osvetlení a z rovnakého pohľadu kamery, a obrázky zverejníme.

Skóre je objemová zhoda sochy a predlohy (pomer prieniku k zjednoteniu, meraný v kockách s hranou 1 cm) vynásobená podielom spoločných kociek so správnou farbou. Jeden kváder na každý tvar dosiahne skóre pod 40; rozdelenie každého tvaru na rovnako hrubé vrstvy dosiahne približne 50. Naklonené nohy, tenké káble a okrúhle hlavy zvýhodňujú modely, ktoré plánujú umiestnenie každého kvádra, a zobrazenie Rozdiel ukáže každú chýbajúcu, nadbytočnú aj nesprávne zafarbenú kocku.

Férové a opakovateľné

Východiskové meranie predstavuje pôvodné prvé kolo, zachované so skutočnými dátumami meraní. Pri uvedení na trh bolo vyžiadané druhé merané kolo. Zobrazené sú obe kolá; ani jedno nemá spätne upravený dátum ani nebolo vybrané ako lepší z dvoch výsledkov. Ďalšie kolá sa riadia týždenným harmonogramom.

  • Každý týždeň rovnaké zadanie, rovnaký hodnotiaci program a rovnaké nastavenia. Zadanie v3 má digitálny odtlačok 08fb5a5773fe89e7; akákoľvek zmena znamená novú verziu a nový graf.
  • Každý model odpovedá raz so strednou úrovňou uvažovania prostredníctvom Claude Code alebo Codex s prihlásením cez predplatné, rovnako ako ich spúšťa VibeiDE. Bez nástrojov, bez webu a bez výberu najlepšieho z N pokusov.
  • Odpoveď, v ktorej sa nedá vyhodnotiť ani jeden kváder (nie je vo formáte JSON alebo sú všetky kvádre nesprávne zapísané), je chybou formátu, nie sochou: model dostane ešte jeden pokus a za túto odpoveď sa mu odpočítajú 2 body.
  • Modely sa spúšťajú jeden po druhom, nikdy nie súbežne. Ak odpoveď nepríde do 40 minút, výsledné skóre je 0.
  • Hodnotiaci program je deterministický. Žiadny model nehodnotí iný model.

Prečítajte si celé zadanie (obyčajný text, 7,691 znakov). Názvy modelov sú aliasy, ktoré ponúka príslušný nástroj CLI; stránka zaznamenáva identifikátor modelu, ktorý nástroj CLI uviedol.

Otázky

Zhoršuje sa výkon modelov Claude alebo GPT?

Táto stránka nevidí do interného fungovania poskytovateľa, ale ukazuje, či model s rovnakým názvom dosahuje pri rovnakom nemennom zadaní v priebehu času odlišné skóre. Jeden beh za týždeň predstavuje jedinú vzorku, preto berte posun o niekoľko bodov ako šum a pokles trvajúci niekoľko týždňov ako signál.

Prečo žiadny model nedokáže dosiahnuť 100?

Predloha pozostáva z gulí, elipsoidov, valcov a naklonených kapsúl, no odpoveď môže obsahovať iba 150 kvádrov zarovnaných so súradnicovými osami. Kvádre nedokážu presne kopírovať krivky, takže v každej odpovedi časť objemu chýba. Lepšie modely využívajú kvádre tam, kde sú zakrivené tvary, a ich sochy sa viac podobajú predlohe.

Ako sa modely spúšťajú?

Každý model dostane zadanie raz prostredníctvom svojho oficiálneho nástroja príkazového riadka, Claude Code alebo Codex, s prihlásením cez bežné predplatné a so strednou úrovňou uvažovania. Nástroje, podagenti a prístup na web sú vypnuté; ak model počas behu napriek tomu použije nástroj, stratí štvrtinu skóre. Iba ak odpoveď neobsahuje ani jeden kváder, ktorý sa dá vyhodnotiť, model dostane ešte jeden pokus, pričom sa mu za túto odpoveď odpočítajú 2 body. Odpoveď hodnotí deterministický program, nie iný model.

Prečo benchmark prešiel na v3?

Prvé dve verzie žiadali modely, aby navrhli rozloženie kancelárie. V ich prvých kolách získali najlepšie modely skóre 100 a 92 a každá správne navrhnutá kancelária vyzerala rovnako. Benchmark, v ktorom špičkové modely dosahujú maximum, nedokáže ukázať zmenu, a benchmark s podobne vyzerajúcimi odpoveďami nedokáže ukázať kvalitu. Preto v3 žiada sochu, ktorej kvalita je viditeľná na prvý pohľad.

Môžem si zadanie vyskúšať aj ja?

Áno. Úplné zadanie je verejne dostupné ako obyčajný text. Vložte ho do ľubovoľného modelu a porovnajte jeho odpoveď s predlohou.

Cite this benchmark

Title
VibeiDE Robot scene v1: weekly Claude and GPT model tracking
URL
https://vibeide.dev/benchmark/
Latest week
2026-W47, run
Publisher
Crowie s.r.o.
Method
Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
Licence
Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47

Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.

Necessary cookies support sign-in, security, your language and this choice. Optional categories stay off until accepted.

First-party page views and acquisition measurement, plus Google Analytics 4 (Google Ireland, data may reach the US). Advertising personalization stays off.

With Analytics enabled, retain Google, Microsoft and Reddit ad click identifiers and share download, signup, activation and purchase conversions with the relevant ad provider. No personalized advertising.

Privacy · Cookie inventory