Office-samanberingarroynd
Hvør AI byggir best?
Seks modell. Ein uppgávulýsing. Ein roynd hjá hvørjum. Meting frá 0 til 100 við neyvu fyrimyndini sum grundarlagi.
Úrslitalisti.
Hetta bygdi hvørt modell.
Óviðgjørt úttak, víst út frá JSON-svarinum frá hvørjum modelli. Ein roynd, eingin endurtøka.
Allir skulpturarnir hava sama ljós, myndatól og støddarlutfall. Vel eitt úrslit fyri at samanbera tað við fyrimyndina, ella skift til Munur fyri at kanna frávikini.
- Claude Opus 5.578.5/100
- GPT-6.1 Sol74.7/100
- Claude Fable74.6/100
- GPT-6 Astra73.5/100
- Claude Sonnet 5.548.1/100
- GPT-6 Luna30.9/100
Viðmerkingar
Góðska, token og tíð
Hvat kravdi hvørt úrslit?
Samanber stigatal, fráboðaða talið av inntaks- og úttakstokenum tilsamans og nýttu koyritíðina fyri valda umfarið. Token brúkt til grundað umhugsan verða ikki løgd afturat aftur. Mátingar, ið vanta, verða ikki tiknar við og verða ikki taldar sum null.
Sí mátingar av tokennýtslu og koyritíð
Máld úrslit
Umfar fyri umfar.
Upprunaliga samanberingargrundarlagið varðveitir upprunaligu úrslitini úr fyrsta umfari og dagfestingarnar fyri mátingarnar. Næsta punktið er eitt nýtt mált umfar, ikki eitt úrslit frá einari aðrari viku.
Sí skrásettu stigatølini
| Umfar | Claude Opus 5 / Claude Opus 5.5 | Claude Sonnet 5 / Claude Sonnet 5.5 | Claude Fable | GPT-6.1 Sol | GPT-6 Astra | GPT-6 Luna |
|---|---|---|---|---|---|---|
| 2026-W41 | 78.5 (Claude Opus 5.5) | 48.1 (Claude Sonnet 5.5) | 74.6 (Claude Fable) | 74.7 (GPT-6.1 Sol) | 73.5 (GPT-6 Astra) | 30.9 (GPT-6 Luna) |
| Upprunaligt samanberingargrundarlag | 75.5 (Claude Opus 5) | 34.3 (Claude Sonnet 5) | 71.2 (Claude Fable) | 70.6 (GPT-6.1 Sol) | 77.5 (GPT-6 Astra) | 45.6 (GPT-6 Luna) |
Um samanberingarroyndina
Gev einari AI 150 kassar. Bið hana byggja hetta.
Eitt runt høvd. Ein bogin stólur. Ein lítil skriviborðslampa. Hvussu nær kann eitt málmodell koma við bara at brúka rétthyrndar kubbar?
- kassar í mesta lagi
- 150
- modell
- 6
- roynd í hvørjum umfari
- 1
Soleiðis virkar tað.
Ein føst uppgávulýsing.
Øll modell fáa somu skrivligu uppgávulýsing við mátum og litum á fyrimyndini. Øll uppgávulýsingin er alment atkomulig.
Bert JSON.
Svarið inniheldur einki annað: upp til 150 kassar við staðsetingum, støddum og litum.
Ein roynd.
Miðal reasoning effort, eingi amboð, eingar endurtøkur. Token-nýtsla og koyritíð verða skrásett.
Ein føst stigameting.
Rúmmálssamsvar við fyrimyndina, vektað eftir litneyvleika, frá 0 til 100.
Formilin
rúmmálssamsvar í % × parturin av terningum við røttum litiMátað í eindum á 1 cm³. Fingramerki uppgávulýsingarinnar 08fb5a5773fe89e7. Upprunaliga samanberingargrundarlagið varðveitir upprunaligu úrslitini úr fyrsta umfari.
Fullfíggjað háttalag og spurningar
Soleiðis virkar tað
Uppgávulýsingin tilskilar hvørt skap í fyrimyndini við neyvu tølunum. Hvørt modell svarar bara við JSON: í mesta lagi 150 kassar, hvør við einari staðseting, einari stødd og einum av 11 litum. Modellið teknar einki sjálvt. Tá ið ein koyring verður stigamett, myndgera vit kassarnar hjá modellinum og fyrimyndina við somu smáu terningum, somu lýsing og sama myndatóli og almannakunngera myndirnar.
Stigatalið er rúmdarskaran millum standmyndina og fyrimyndina (felagsrúmd býtt við samlaðari rúmd, mátað í 1 cm kubbum), faldað við partinum av felags kubbum við røttum liti. Ein kassi fyri hvørt skap gevur undir 40 stig; at skera hvørt skap í eins tjúkkar flísar gevur umleið 50 stig. Skáksett bein, tunnir kaðlar og rund høvd geva fleiri stig til modell, sum leggja til rættis, hvar hvør kassi skal vera, og sýningin Munur vísir hvønn manglandi, eyka og skeivt litaðan kubba.
Rættvíst og endurtakandi
Upprunaliga samanberingargrundarlagið er upprunaliga fyrsta umfarið, varðveitt við veruligu dagfestingunum fyri mátingarnar. Biðið varð um eitt annað mált umfar til lanseringina. Bæði verða víst; hvørki hevur fingið eina eldri dagfesting ella er valt sum besta úrslitið av teimum báðum. Seinni umfør fylgja vikuligu tíðarætlanini.
- Sama uppgávulýsing, sama stigmetingarforrit og somu stillingar hvørja viku. Uppgávulýsing v3 hevur fingramerkið
08fb5a5773fe89e7; hvør broyting byrjar eina nýggja útgávu og eina nýggja ritmynd. - Hvørt modell svarar eina ferð við miðal hugsanarátaki, gjøgnum Claude Code ella Codex innritað við haldi, á sama hátt sum VibeiDE koyrir tey. Eingin amboð, eingin netatgongd, eingin nýggj roynd og einki úrval av tí besta av N svarum.
- Modellini verða koyrd eitt í senn, ongantíð samstundis. Eitt svar, ið ikki kemur innan 40 minuttir, fær 0 stig.
- Metingarforritið er deterministiskt. Einki modell metir eitt annað modell.
Les alla uppgávulýsingina (reinur tekstur, 7,691 tekn). Modellnøvnini eru tey hjáheiti, sum hvør CLI bjóðar; síðan skrásetur modellauðkennið, sum CLI boðaði frá.
Spurningar
Verða Claude ella GPT gjørd veikari?
Henda síðan kann ikki síggja, hvat fer fram hjá einum veitara, men hon vísir, um sama modellnavn fær ymisk stig fyri somu óbroyttu uppgávu við tíðini. Ein koyring um vikuna er bara ein einstøk roynd, so rokna broytingar upp á nøkur fá stig sum tilvild og eina lækking, ið varir fleiri vikur, sum eitt tekin.
Hví kann eingin modell røkka 100?
Fyrimyndin er gjørd úr kúlum, ellipsoidum, sylindarum og skáksettum kapslum, og svarið má bara brúka 150 kassar við síðum, sum fylgja koordinatásunum. Kassar kunnu ikki fylgja bogum heilt neyvt, so í hvørjum svari manglar nakað av rúmdini. Betri modell brúka kassarnar har, sum bogarnir eru, og standmyndir teirra líkjast tí betur fyrimyndini.
Hvussu verða modellini koyrd?
Hvør modell fær uppgávulýsingina eina ferð gjøgnum sítt almenna kommandolinjuamboð, Claude Code ella Codex, innritað við vanligum haldi og við miðalhøgari hugsanarorku. Amboð, undirumboð, netatgongd og endurtøkur eru sløkt; ein koyring, sum brúkar eitt amboð, fær 0 stig. Svarið verður stigmett av einum deterministiskum forriti, ikki av einum øðrum modelli.
Hví varð samanberingarroyndin broytt til v3?
Í fyrstu tveimum útgávunum skuldu modellini innrætta eina skrivstovu. Í fyrstu umførunum fingu bestu modellini 100 og 92 stig, og allar rættar skrivstovur sóu eins út. Ein samanberingarroynd, har bestu modellini fáa hægsta møguliga stigatal, kann ikki vísa broytingar, og ein roynd, har svarini líkjast, kann ikki vísa góðsku. Tí biður v3 um eina standmynd, har góðskan sæst við einum eygnabrá.
Kann eg sjálv royna uppgávulýsingina?
Ja. Øll uppgávulýsingin er alment tøk sum reinur tekstur. Líma hana inn í eitthvørt modell og samanber svarið við fyrimyndina.