Ktorá AI stavia najlepšie?
Osem modelov dostane rovnaké zadanie a 150 obdĺžnikov. Každý má jeden pokus, ktorý hodnotíme od 0 do 100 podľa zhody s presnou predlohou. Každý týždeň prebieha nové kolo.
Week 2026-W47, Nov 16 to 19
Tento týždeň
Week 2026-W47, Nov 16 to 19
Zmena oproti minulému týždňu.
Čo vytvorili jednotlivé modely
Neupravený výstup vykreslený z JSON, ktorý model vrátil. Prerušovaný obrys označuje predlohu.
Poznámky
Zhoršil sa model?
Zadanie je každý týždeň rovnaké, takže náhly pokles skóre modelu stojí za pozornosť. Výsledok každého kola porovnávame s priemerom toho istého modelu za predchádzajúce štyri kolá.
Čo si vyžadoval každý výsledok?
Súčet vstupných a výstupných tokenov a čas spracovania za ten istý týždeň. Pri modeloch na prerušovanej čiare žiadny iný model nedosahuje súčasne vyššie skóre aj nižšie náklady.
Week 2026-W47
Zobraziť merania tokenov a času behu
Prečo sa líšia počty vstupných tokenov? Každý model dostane rovnaké testovacie zadanie, no poskytovatelia vykazujú počty za celý beh CLI vrátane vstavaných inštrukcií. Modely môžu ten istý text rozdeliť na tokeny rôzne a pri požiadavkách na pokračovanie sa kontext môže započítať znova. Celkový počet vstupných tokenov pre Claude zahŕňa tokeny mimo vyrovnávacej pamäte aj tokeny načítané z nej a zapísané do nej. Tokeny použité na uvažovanie započítavame len tak, ako ich vykazuje poskytovateľ. Chýbajúce hodnoty nechávame prázdne. Z vykázaného počtu tokenov sa cena nedá vyčítať.
Vývoj medzi kolami
Úvodné kolo si zachováva pôvodné výsledky. Každý ďalší bod predstavuje nové kolo merané v príslušnom týždni.
Zobraziť zaznamenané skóre
Východiskové údaje zachovávajú pôvodné výsledky prvého kola aj dátumy meraní.
| Kolo | Claude Opus 5 / Claude Opus 5.5 | Claude Sonnet 5 / Claude Sonnet 5.5 | Claude Fable 5.1 / Claude Fable 5.2 | GPT-6.1 Sol / GPT-6.2 Sol | GPT-6 Astra / GPT-6.2 Astra | GPT-6 Luna | GPT-6.1 Terra | Claude Haiku 5.5 |
|---|---|---|---|---|---|---|---|---|
| 2026-W47 | 74.7 (Claude Opus 5.5) | 60.8 (Claude Sonnet 5.5) | 79.3 (Claude Fable 5.2) | 84.6 (GPT-6.2 Sol) | 78.5 (GPT-6.2 Astra) | 34.9 (GPT-6 Luna) | 70.7 (GPT-6.1 Terra) | 72.6 (Claude Haiku 5.5) |
| 2026-W46 | 74.8 (Claude Opus 5.5) | 61 (Claude Sonnet 5.5) | 79.3 (Claude Fable 5.2) | 72.5 (GPT-6.1 Sol) | 79.1 (GPT-6 Astra) | 38.8 (GPT-6 Luna) | 70.3 (GPT-6.1 Terra) | 65.3 (Claude Haiku 5.5) |
| 2026-W45 | 80.1 (Claude Opus 5.5) | 56.7 (Claude Sonnet 5.5) | 77.8 (Claude Fable 5.1) | 76.4 (GPT-6.1 Sol) | 78 (GPT-6 Astra) | 41.8 (GPT-6 Luna) | 71.3 (GPT-6.1 Terra) | 66 (Claude Haiku 5.5) |
| 2026-W44 | 74.4 (Claude Opus 5.5) | 64.9 (Claude Sonnet 5.5) | 76.9 (Claude Fable 5.1) | 81.4 (GPT-6.1 Sol) | 77.7 (GPT-6 Astra) | 46.7 (GPT-6 Luna) | 73.1 (GPT-6.1 Terra) | 73.2 (Claude Haiku 5.5) |
| 2026-W43 | 75.9 (Claude Opus 5.5) | 61 (Claude Sonnet 5.5) | 75.7 (Claude Fable 5.1) | 72.5 (GPT-6.1 Sol) | 79.7 (GPT-6 Astra) | 33.9 (GPT-6 Luna) | - | 73.6 (Claude Haiku 5.5) |
| 2026-W42 | 75.1 (Claude Opus 5.5) | 67.4 (Claude Sonnet 5.5) | 69 (Claude Fable 5.1) | 77.9 (GPT-6.1 Sol) | 78.4 (GPT-6 Astra) | 43.7 (GPT-6 Luna) | - | 65.7 (Claude Haiku 5.5) |
| 2026-W41 | 78.5 (Claude Opus 5.5) | 48.1 (Claude Sonnet 5.5) | 74.6 (Claude Fable 5.1) | 74.7 (GPT-6.1 Sol) | 73.5 (GPT-6 Astra) | 30.9 (GPT-6 Luna) | - | 68.4 (Claude Haiku 5.5) |
| Východiskové meranie | 75.5 (Claude Opus 5) | 34.3 (Claude Sonnet 5) | 71.2 (Claude Fable 5.1) | 70.6 (GPT-6.1 Sol) | 77.5 (GPT-6 Astra) | 45.6 (GPT-6 Luna) | - | - |
Every weekly run
Generated from the same records as the chart. Each week has its own address, for example https://vibeide.dev/benchmark/#2026-w47. Download every run as CSV.
| Week | Run date | Model | Score | Change vs previous round |
|---|---|---|---|---|
| 2026-W47 | GPT-6.2 Sol | 84.6 | New model version | |
| 2026-W47 | Claude Fable 5.2 | 79.3 | 0.0 | |
| 2026-W47 | GPT-6.2 Astra | 78.5 | New model version | |
| 2026-W47 | Claude Opus 5.5 | 74.7 | -0.1 | |
| 2026-W47 | Claude Haiku 5.5 | 72.6 | +7.3 | |
| 2026-W47 | GPT-6.1 Terra | 70.7 | +0.4 | |
| 2026-W47 | Claude Sonnet 5.5 | 60.8 | -0.2 | |
| 2026-W47 | GPT-6 Luna | 34.9 | -3.9 | |
| 2026-W46 | Claude Fable 5.2 | 79.3 | New model version | |
| 2026-W46 | GPT-6 Astra | 79.1 | +1.1 | |
| 2026-W46 | Claude Opus 5.5 | 74.8 | -5.3 | |
| 2026-W46 | GPT-6.1 Sol | 72.5 | -3.9 | |
| 2026-W46 | GPT-6.1 Terra | 70.3 | -1.0 | |
| 2026-W46 | Claude Haiku 5.5 | 65.3 | -0.7 | |
| 2026-W46 | Claude Sonnet 5.5 | 61 | +4.3 | |
| 2026-W46 | GPT-6 Luna | 38.8 | -3.0 | |
| 2026-W45 | Claude Opus 5.5 | 80.1 | +5.7 | |
| 2026-W45 | GPT-6 Astra | 78 | +0.3 | |
| 2026-W45 | Claude Fable 5.1 | 77.8 | +0.9 | |
| 2026-W45 | GPT-6.1 Sol | 76.4 | -5.0 | |
| 2026-W45 | GPT-6.1 Terra | 71.3 | -1.8 | |
| 2026-W45 | Claude Haiku 5.5 | 66 | -7.2 | |
| 2026-W45 | Claude Sonnet 5.5 | 56.7 | -8.2 | |
| 2026-W45 | GPT-6 Luna | 41.8 | -4.9 | |
| 2026-W44 | GPT-6.1 Sol | 81.4 | +8.9 | |
| 2026-W44 | GPT-6 Astra | 77.7 | -2.0 | |
| 2026-W44 | Claude Fable 5.1 | 76.9 | +1.2 | |
| 2026-W44 | Claude Opus 5.5 | 74.4 | -1.5 | |
| 2026-W44 | Claude Haiku 5.5 | 73.2 | -0.4 | |
| 2026-W44 | GPT-6.1 Terra | 73.1 | First run | |
| 2026-W44 | Claude Sonnet 5.5 | 64.9 | +3.9 | |
| 2026-W44 | GPT-6 Luna | 46.7 | +12.8 | |
| 2026-W43 | GPT-6 Astra | 79.7 | +1.3 | |
| 2026-W43 | Claude Opus 5.5 | 75.9 | +0.8 | |
| 2026-W43 | Claude Fable 5.1 | 75.7 | +6.7 | |
| 2026-W43 | Claude Haiku 5.5 | 73.6 | +7.9 | |
| 2026-W43 | GPT-6.1 Sol | 72.5 | -5.4 | |
| 2026-W43 | Claude Sonnet 5.5 | 61 | -6.4 | |
| 2026-W43 | GPT-6 Luna | 33.9 | -9.8 | |
| 2026-W42 | GPT-6 Astra | 78.4 | +4.9 | |
| 2026-W42 | GPT-6.1 Sol | 77.9 | +3.2 | |
| 2026-W42 | Claude Opus 5.5 | 75.1 | -3.4 | |
| 2026-W42 | Claude Fable 5.1 | 69 | -5.6 | |
| 2026-W42 | Claude Sonnet 5.5 | 67.4 | +19.3 | |
| 2026-W42 | Claude Haiku 5.5 | 65.7 | -2.7 | |
| 2026-W42 | GPT-6 Luna | 43.7 | +12.8 | |
| 2026-W41 | Claude Opus 5.5 | 78.5 | New model version | |
| 2026-W41 | GPT-6.1 Sol | 74.7 | +4.1 | |
| 2026-W41 | Claude Fable 5.1 | 74.6 | +3.4 | |
| 2026-W41 | GPT-6 Astra | 73.5 | -4.0 | |
| 2026-W41 | Claude Haiku 5.5 | 68.4 | First run | |
| 2026-W41 | Claude Sonnet 5.5 | 48.1 | New model version | |
| 2026-W41 | GPT-6 Luna | 30.9 | -14.7 | |
| 2026-W41 (Starting baseline) | GPT-6 Astra | 77.5 | First run | |
| 2026-W41 (Starting baseline) | Claude Opus 5 | 75.5 | First run | |
| 2026-W41 (Starting baseline) | Claude Fable 5.1 | 71.2 | First run | |
| 2026-W41 (Starting baseline) | GPT-6.1 Sol | 70.6 | First run | |
| 2026-W41 (Starting baseline) | GPT-6 Luna | 45.6 | First run | |
| 2026-W41 (Starting baseline) | Claude Sonnet 5 | 34.3 | First run |
Ako to funguje
Jedno zadanie
Zadanie uvádza každý tvar predlohy s presnými číselnými hodnotami.
Jeden pokus
Každý model odpovie raz vo formáte JSON. Bez nápovedy a bez výberu najlepšieho z N pokusov.
Jedno skóre
Zhoda tvarov a farieb s predlohou na stupnici od 0 do 100.
Úplná metodika, otázky a citácia
Last updated
Vzorec
objemový prekryv v % × podiel správne zafarbených kociekMerané v jednotkách 1 cm³. Odtlačok zadania 08fb5a5773fe89e7. Východisková referencia zachováva pôvodné výsledky prvého kola.
Ako to funguje
Zadanie uvádza každý tvar predlohy s presnými číselnými údajmi. Každý model odpovedá výlučne vo formáte JSON: najviac 150 kvádrov, pri každom poloha, veľkosť a jedna z 11 farieb. Samotný model nič nekreslí. Pri hodnotení výsledku vykreslíme jeho kvádre aj predlohu z rovnakých malých kociek, pri rovnakom osvetlení a z rovnakého pohľadu kamery, a obrázky zverejníme.
Skóre je objemová zhoda sochy a predlohy (pomer prieniku k zjednoteniu, meraný v kockách s hranou 1 cm) vynásobená podielom spoločných kociek so správnou farbou. Jeden kváder na každý tvar dosiahne skóre pod 40; rozdelenie každého tvaru na rovnako hrubé vrstvy dosiahne približne 50. Naklonené nohy, tenké káble a okrúhle hlavy zvýhodňujú modely, ktoré plánujú umiestnenie každého kvádra, a zobrazenie Rozdiel ukáže každú chýbajúcu, nadbytočnú aj nesprávne zafarbenú kocku.
Férové a opakovateľné
Východiskové meranie predstavuje pôvodné prvé kolo, zachované so skutočnými dátumami meraní. Pri uvedení na trh bolo vyžiadané druhé merané kolo. Zobrazené sú obe kolá; ani jedno nemá spätne upravený dátum ani nebolo vybrané ako lepší z dvoch výsledkov. Ďalšie kolá sa riadia týždenným harmonogramom.
- Každý týždeň rovnaké zadanie, rovnaký hodnotiaci program a rovnaké nastavenia. Zadanie v3 má digitálny odtlačok
08fb5a5773fe89e7; akákoľvek zmena znamená novú verziu a nový graf. - Každý model odpovedá raz so strednou úrovňou uvažovania prostredníctvom Claude Code alebo Codex s prihlásením cez predplatné, rovnako ako ich spúšťa VibeiDE. Bez nástrojov, bez webu a bez výberu najlepšieho z N pokusov.
- Odpoveď, v ktorej sa nedá vyhodnotiť ani jeden kváder (nie je vo formáte JSON alebo sú všetky kvádre nesprávne zapísané), je chybou formátu, nie sochou: model dostane ešte jeden pokus a za túto odpoveď sa mu odpočítajú 2 body.
- Modely sa spúšťajú jeden po druhom, nikdy nie súbežne. Ak odpoveď nepríde do 40 minút, výsledné skóre je 0.
- Hodnotiaci program je deterministický. Žiadny model nehodnotí iný model.
Prečítajte si celé zadanie (obyčajný text, 7,691 znakov). Názvy modelov sú aliasy, ktoré ponúka príslušný nástroj CLI; stránka zaznamenáva identifikátor modelu, ktorý nástroj CLI uviedol.
Otázky
Zhoršuje sa výkon modelov Claude alebo GPT?
Táto stránka nevidí do interného fungovania poskytovateľa, ale ukazuje, či model s rovnakým názvom dosahuje pri rovnakom nemennom zadaní v priebehu času odlišné skóre. Jeden beh za týždeň predstavuje jedinú vzorku, preto berte posun o niekoľko bodov ako šum a pokles trvajúci niekoľko týždňov ako signál.
Prečo žiadny model nedokáže dosiahnuť 100?
Predloha pozostáva z gulí, elipsoidov, valcov a naklonených kapsúl, no odpoveď môže obsahovať iba 150 kvádrov zarovnaných so súradnicovými osami. Kvádre nedokážu presne kopírovať krivky, takže v každej odpovedi časť objemu chýba. Lepšie modely využívajú kvádre tam, kde sú zakrivené tvary, a ich sochy sa viac podobajú predlohe.
Ako sa modely spúšťajú?
Každý model dostane zadanie raz prostredníctvom svojho oficiálneho nástroja príkazového riadka, Claude Code alebo Codex, s prihlásením cez bežné predplatné a so strednou úrovňou uvažovania. Nástroje, podagenti a prístup na web sú vypnuté; ak model počas behu napriek tomu použije nástroj, stratí štvrtinu skóre. Iba ak odpoveď neobsahuje ani jeden kváder, ktorý sa dá vyhodnotiť, model dostane ešte jeden pokus, pričom sa mu za túto odpoveď odpočítajú 2 body. Odpoveď hodnotí deterministický program, nie iný model.
Prečo benchmark prešiel na v3?
Prvé dve verzie žiadali modely, aby navrhli rozloženie kancelárie. V ich prvých kolách získali najlepšie modely skóre 100 a 92 a každá správne navrhnutá kancelária vyzerala rovnako. Benchmark, v ktorom špičkové modely dosahujú maximum, nedokáže ukázať zmenu, a benchmark s podobne vyzerajúcimi odpoveďami nedokáže ukázať kvalitu. Preto v3 žiada sochu, ktorej kvalita je viditeľná na prvý pohľad.
Môžem si zadanie vyskúšať aj ja?
Áno. Úplné zadanie je verejne dostupné ako obyčajný text. Vložte ho do ľubovoľného modelu a porovnajte jeho odpoveď s predlohou.
Cite this benchmark
- Title
- VibeiDE Robot scene v1: weekly Claude and GPT model tracking
- URL
https://vibeide.dev/benchmark/- Latest week
- 2026-W47, run
- Publisher
- Crowie s.r.o.
- Method
- Each model answers the same frozen brief once at medium reasoning effort, with no tools. A reply with no usable boxes is asked once more, with a 2-point penalty. Volume overlap against the target, weighted by color accuracy, from 0 to 100.
- Licence
- Benchmark data and charts are licensed under CC BY 4.0. Please credit 'VibeiDE benchmark' with a link to https://vibeide.dev/benchmark/.
Suggested citationCrowie s.r.o. (2026). VibeiDE Robot scene v1: weekly Claude and GPT model tracking, week 2026-W47. https://vibeide.dev/benchmark/#2026-w47