Skrifstofuprófið
Hvaða gervigreind byggir best?
Sex líkön. Ein verklýsing. Ein tilraun fyrir hvert líkan. Gefin eru 0 til 100 stig eftir því hversu nákvæmlega útkoman samsvarar fyrirmyndinni.
Stigatafla.
Það sem hvert líkan byggði.
Óbreytt úttak, birt myndrænt út frá JSON-gögnunum sem hvert líkan skilaði. Ein tilraun, engar endurtekningar.
Allir skúlptúrarnir nota sömu lýsingu, myndavél og kvarða. Veldu niðurstöðu til að bera hana saman við fyrirmyndina eða skiptu yfir í Mismun til að skoða frávikin.
- Claude Opus 5.578.5/100
- GPT-6.1 Sol74.7/100
- Claude Fable74.6/100
- GPT-6 Astra73.5/100
- Claude Sonnet 5.548.1/100
- GPT-6 Luna30.9/100
Athugasemdir
Gæði, tókar og tími
Hvað þurfti til að ná hverri niðurstöðu?
Berðu saman einkunn, uppgefinn samanlagðan fjölda inntaks- og úttakstóka og keyrslutíma fyrir valda umferð. Rökhugsunartókum er ekki bætt við aftur. Mælingum sem vantar er sleppt, þær eru ekki taldar sem núll.
Skoða mælingar á tókafjölda og keyrslutíma
Mældar niðurstöður
Umferð fyrir umferð.
Upphafsviðmiðið varðveitir upprunalegar niðurstöður fyrstu umferðar og dagsetningar mælinganna. Næsti punktur sýnir nýja mælda umferð, en ekki niðurstöðu frá annarri viku.
Skoða skráðar einkunnir
| Umferð | Claude Opus 5 / Claude Opus 5.5 | Claude Sonnet 5 / Claude Sonnet 5.5 | Claude Fable | GPT-6.1 Sol | GPT-6 Astra | GPT-6 Luna |
|---|---|---|---|---|---|---|
| 2026-W41 | 78.5 (Claude Opus 5.5) | 48.1 (Claude Sonnet 5.5) | 74.6 (Claude Fable) | 74.7 (GPT-6.1 Sol) | 73.5 (GPT-6 Astra) | 30.9 (GPT-6 Luna) |
| Upphafsviðmið | 75.5 (Claude Opus 5) | 34.3 (Claude Sonnet 5) | 71.2 (Claude Fable) | 70.6 (GPT-6.1 Sol) | 77.5 (GPT-6 Astra) | 45.6 (GPT-6 Luna) |
Um samanburðarprófið
Gefðu gervigreind 150 kassa. Biddu hana um að búa þetta til.
Kringlótt höfuð. Sveigður stóll. Pínulítill skrifborðslampi. Hversu nálægt getur mállíkan komist með því að nota eingöngu rétthyrnda kubba?
- kassar að hámarki
- 150
- líkön
- 6
- tilraun í hverri umferð
- 1
Svona virkar það.
Föst verklýsing.
Öll líkön fá sömu skriflegu verklýsinguna með stærðarmálum og litum fyrirmyndarinnar. Verklýsingin er aðgengileg öllum í heild sinni.
Aðeins JSON.
Svarið inniheldur ekkert annað: allt að 150 kassa með staðsetningu, stærð og lit.
Ein tilraun.
Miðlungsröksemdavinna, engin verkfæri, engar endurtekningar. Fjöldi tóka og keyrslutími eru skráð.
Fast stigamat.
Skörun rúmmáls við fyrirmyndina, vegin eftir litanákvæmni, gefur 0 til 100 stig.
Formúlan
skörun rúmmáls í % × hlutfall teninga með réttum litMælt í einingum sem eru 1 cm³. Fingrafar verklýsingar 08fb5a5773fe89e7. Upphaflega viðmiðið varðveitir upprunalegar niðurstöður fyrstu umferðar.
Aðferðafræðin í heild og spurningar
Svona virkar þetta
Verkefnislýsingin tilgreinir öll form fyrirmyndarinnar með nákvæmum tölum. Hvert líkan svarar eingöngu með JSON: allt að 150 kössum, hverjum með staðsetningu, stærð og einum af 11 litum. Líkanið teiknar ekkert sjálft. Þegar keyrsla fær einkunn myndgerum við kassana hennar og fyrirmyndina úr sömu litlu teningunum, með sömu lýsingu og myndavél, og birtum myndirnar.
Einkunnin er rúmmálssamsvörun skúlptúrsins og fyrirmyndarinnar (sniðmengi deilt með sammengi, mælt í 1 cm teningum), margfölduð með hlutfalli sameiginlegra teninga sem hafa réttan lit. Einn kassi fyrir hvert form gefur undir 40 stigum; að skera hvert form í jafnþykkar sneiðar gefur um 50 stig. Hallandi fætur, þunnar snúrur og kringlótt höfuð gefa líkönum fleiri stig ef þau skipuleggja hvar hver kassi á að vera. Sýnin Munur sýnir alla teninga sem vantar, eru umfram eða hafa rangan lit.
Sanngjarnt og endurtakanlegt
Upphafsviðmiðið er upprunalega fyrsta umferðin, varðveitt með raunverulegum dagsetningum mælinganna. Óskað var eftir annarri mældri umferð fyrir útgáfu. Báðar eru sýndar; hvorug er bakdagsett eða valin sem betri niðurstaðan af tveimur. Síðari umferðir fylgja vikulegri áætlun.
- Sama verkefnislýsing, sama einkunnakerfi og sömu stillingar í hverri viku. Verkefnislýsing v3 hefur auðkennisfingrafarið
08fb5a5773fe89e7; hver breyting leiðir til nýrrar útgáfu og nýs línurits. - Hvert líkan svarar einu sinni með miðlungs rökhugsunarátaki í gegnum Claude Code eða Codex með innskráningu í áskrift, á sama hátt og VibeiDE keyrir þau. Engin verkfæri, enginn vefaðgangur, engar endurtilraunir og ekkert val á besta svari af N.
- Líkönin eru keyrð hvert á eftir öðru, aldrei samhliða. Svar sem berst ekki innan 40 mínútna fær 0 stig.
- Stigagjafinn er forrit sem skilar alltaf sömu niðurstöðu fyrir sama inntak. Ekkert líkan metur annað líkan.
Lestu alla verkefnislýsinguna (hreinn texti, 7,691 stafir). Nöfn líkananna eru samheitin sem hvert CLI býður upp á; síðan skráir líkanaauðkennið sem CLI gaf upp.
Spurningar
Er verið að draga úr getu Claude eða GPT?
Þessi síða getur ekki séð hvað gerist hjá þjónustuveitanda, en hún sýnir hvort sama líkanheiti fái mismunandi stig fyrir sama óbreytta verkefnið með tímanum. Ein keyrsla á viku er aðeins eitt úrtak, svo líttu á breytingu um örfá stig sem suð og lækkun sem varir í nokkrar vikur sem vísbendingu.
Af hverju nær ekkert líkan 100 stigum?
Fyrirmyndin er gerð úr kúlum, sporvölum, sívalningum og hallandi hylkjum, en svarið má aðeins nota 150 kassa sem liggja samsíða hnitásunum. Kassar geta ekki fylgt sveigðum flötum nákvæmlega, svo í hverju svari tapast eitthvað rúmmál. Betri líkön nota kassana þar sem sveigjurnar eru og skúlptúrar þeirra líkjast fyrirmyndinni betur.
Hvernig eru líkönin keyrð?
Hvert líkan fær verkefnislýsinguna einu sinni í gegnum opinbert skipanalínuverkfæri sitt, Claude Code eða Codex, innskráð með venjulegri áskrift og með miðlungs rökhugsunarátaki. Verkfæri, undirumboðsmenn, vefaðgangur og endurteknaðar tilraunir eru óvirk; keyrsla sem notar verkfæri fær 0 stig. Svarið er metið af forriti sem gefur alltaf sömu niðurstöðu fyrir sama inntak, en ekki af öðru líkani.
Af hverju var viðmiðunarprófinu breytt í v3?
Fyrstu tvær útgáfurnar báðu líkönin að skipuleggja skrifstofu. Í fyrstu umferðum þeirra fengu bestu líkönin 100 og 92 stig og allar rétt útfærðar skrifstofur litu eins út. Viðmiðunarpróf þar sem bestu líkönin ná hámarkseinkunn getur ekki sýnt breytingar og próf þar sem svörin líta eins út getur ekki sýnt gæði. Því biður v3 um skúlptúr sem hægt er að meta gæði á í fljótu bragði.
Get ég prófað verkefnislýsinguna sjálf eða sjálfur?
Já. Verkefnislýsingin í heild er aðgengileg öllum sem hreinn texti. Límdu hana inn í hvaða líkan sem er og berðu svar þess saman við fyrirmyndina.