Hvilken KI bygger best?

Slik fungerer det

Oppgavebeskrivelsen oppgir alle formene i referansefiguren med nøyaktige tall. Hver modell svarer kun med JSON: opptil 150 bokser, hver med en posisjon, en størrelse og én av 11 farger. Modellen tegner ingenting selv. Når en kjøring poengsettes, gjengir vi boksene og referansefiguren med de samme små kubene, samme belysning og samme kamera, og publiserer bildene.

Poengsummen beregnes som volumoverlappet mellom skulpturen og målfiguren (snitt delt på union, målt i kuber på 1 cm), multiplisert med andelen overlappende kuber som har riktig farge. Én boks per form gir under 40 poeng. Å dele hver form i like tykke skiver gir omtrent 50 poeng. Skråstilte ben, tynne kabler og runde hoder belønner modeller som planlegger plasseringen av hver boks, og visningen Forskjell viser hver kube som mangler, er overflødig eller har feil farge.

Rettferdig og repeterbart

Den opprinnelige referansen er den første runden, bevart med de faktiske måledatoene. En ny målt runde ble etterspurt til lanseringen. Begge vises; ingen av dem er tilbakedatert eller valgt ut som det beste av to resultater. Senere runder følger den ukentlige planen.

• Samme oppgave, samme poengberegningsprogram og samme innstillinger hver uke. Oppgave v3 har fingeravtrykket 08fb5a5773fe89e7. Enhver endring starter en ny versjon og et nytt diagram.
• Hver modell svarer én gang med middels resonneringsinnsats, gjennom Claude Code eller Codex innlogget med et abonnement, på samme måte som VibeiDE kjører dem. Ingen verktøy, ingen nettilgang, ingen nye forsøk og ingen utvelgelse av det beste av N svar.
• Modellene kjøres etter hverandre, aldri parallelt. Et svar som ikke kommer innen 40 minutter, får 0 poeng.
• Poengberegningen utføres av et deterministisk program. Ingen modell vurderer en annen modell.

Les hele oppgaven (ren tekst, 7,691 tegn). Modellnavnene er aliasene som hvert kommandolinjeverktøy tilbyr. Siden registrerer modellidentifikatoren som verktøyet rapporterte.