Test komparattiv tal-uffiċċju
Liema AI tibni l-aħjar?
Sitt mudelli. Sett wieħed ta' istruzzjonijiet. Tentattiv wieħed kull wieħed. Punteġġ minn 0 sa 100 skont kemm jaqblu eżatt mal-mira.
Klassifika.
X'bena kull mudell.
L-output mhux ipproċessat, muri viżwalment mill-JSON li rritorna kull mudell. Tentattiv wieħed, mingħajr tentattivi oħra.
Kull skultura tuża l-istess dawl, kamera u skala. Agħżel kwalunkwe riżultat biex tqabblu mal-mira, jew aqleb għal Differenza biex teżamina fejn ma jaqblux.
- Claude Opus 5.578.5/100
- GPT-6.1 Sol74.7/100
- Claude Fable74.6/100
- GPT-6 Astra73.5/100
- Claude Sonnet 5.548.1/100
- GPT-6 Luna30.9/100
Noti
Il-kwalità, it-tokens u l-ħin
Kemm kien jeħtieġ kull riżultat?
Qabbel il-punteġġ, it-total irrappurtat tat-tokens tad-dħul u tal-ħruġ, u l-ħin li ħadet l-eżekuzzjoni għar-rawnd magħżul. It-tokens tar-raġunament ma jerġgħux jingħaddu. Il-kejl nieqes jitħalla barra u ma jingħaddx bħala żero.
Ara l-kejl tat-tokens u tal-ħin tal-eżekuzzjoni
Ir-riżultati mkejla
Rawnd wara l-ieħor.
Il-linja bażi inizjali żżomm ir-riżultati oriġinali tal-ewwel rawnd u d-dati tal-kejl. Il-punt li jmiss huwa rawnd ġdid imkejjel, u mhux riżultat minn ġimgħa oħra.
Ara l-punteġġi rreġistrati
| Rawnd | Claude Opus 5 / Claude Opus 5.5 | Claude Sonnet 5 / Claude Sonnet 5.5 | Claude Fable | GPT-6.1 Sol | GPT-6 Astra | GPT-6 Luna |
|---|---|---|---|---|---|---|
| 2026-W41 | 78.5 (Claude Opus 5.5) | 48.1 (Claude Sonnet 5.5) | 74.6 (Claude Fable) | 74.7 (GPT-6.1 Sol) | 73.5 (GPT-6 Astra) | 30.9 (GPT-6 Luna) |
| Il-linja bażi inizjali | 75.5 (Claude Opus 5) | 34.3 (Claude Sonnet 5) | 71.2 (Claude Fable) | 70.6 (GPT-6.1 Sol) | 77.5 (GPT-6 Astra) | 45.6 (GPT-6 Luna) |
Dwar it-test komparattiv
Agħti lil AI 150 kaxxa. Itlobha tibni dan.
Ras tonda. Siġġu mgħawweġ. Lampa ċkejkna tal-iskrivanija. Kemm jista' mudell tal-lingwa joqrob lejn l-oriġinal billi juża biss blokok rettangolari?
- kaxxa l-aktar
- 150
- mudelli
- 6
- tentattiv għal kull rawnd
- 1
Kif jaħdem.
Istruzzjonijiet fissi.
Kull mudell jirċievi l-istess istruzzjonijiet bil-miktub bid-dimensjonijiet u l-kuluri tal-mira. L-istruzzjonijiet sħaħ huma pubbliċi.
JSON biss.
It-tweġiba ma fiha xejn aktar: sa 150 kaxxa bil-pożizzjonijiet, id-daqsijiet u l-kuluri tagħhom.
Tentattiv wieħed.
Livell medju ta' sforz ta' raġunament, mingħajr għodod u mingħajr tentattivi oħra. Jiġu rreġistrati t-tokens u l-ħin tal-eżekuzzjoni.
Sistema fissa ta' punteġġ.
Il-volum li jikkoinċidi ma' dak tal-mira, ippeżat skont il-preċiżjoni tal-kuluri, minn 0 sa 100.
Il-formula
% tal-volum li jikkoinċidi × proporzjon ta' kubi bil-kulur korrettImkejjel f'unitajiet ta' 1 cm³. Marka diġitali tal-istruzzjonijiet 08fb5a5773fe89e7. Il-linja bażi inizjali żżomm ir-riżultati oriġinali tal-ewwel rawnd.
Il-metodoloġija sħiħa u l-mistoqsijiet
Kif jaħdem
Id-deskrizzjoni tal-kompitu telenka kull forma tal-mudell ta' referenza b'numri eżatti. Kull mudell iwieġeb b'JSON biss: sa 150 kaxxa, kull waħda b'pożizzjoni, daqs u wieħed minn 11-il kulur. Il-mudell innifsu ma jpinġi xejn. Meta nagħtu punteġġ lil prova, nirrendjaw il-kaxxi tagħha u l-mudell ta' referenza bl-istess kubi żgħar, bl-istess dawl u kamera, u nippubblikaw l-immaġnijiet.
Il-punteġġ huwa l-volum komuni bejn l-iskultura u l-mudell fil-mira (l-intersezzjoni diviża bl-unjoni, imkejla f'kubi ta' 1 cm) immultiplikat bil-proporzjon tal-kubi komuni li għandhom il-kulur it-tajjeb. Kaxxa waħda għal kull forma tikseb inqas minn 40; il-qsim ta' kull forma fi flieli ndaqs jikseb madwar 50. Is-saqajn immejla, il-kejbils irqaq u l-irjus tondi jippremjaw lill-mudelli li jippjanaw fejn tmur kull kaxxa, u l-veduta Differenza turi kull kubu nieqes, żejjed jew b'kulur ħażin.
Ġust u ripetibbli
Il-linja bażi inizjali hija l-ewwel rawnd oriġinali, miżmum bid-dati reali tal-kejl tiegħu. Intalab it-tieni rawnd imkejjel għat-tnedija. It-tnejn jintwerew; l-ebda wieħed ma jingħata data aktar bikrija minn dik reali jew jintgħażel bħala l-aħjar riżultat mit-tnejn. Ir-rawnds ta' wara jsegwu l-iskeda ta' kull ġimgħa.
- L-istess speċifikazzjoni, l-istess programm tal-punteġġ u l-istess settings kull ġimgħa. L-ispeċifikazzjoni v3 għandha l-marka diġitali
08fb5a5773fe89e7; kull bidla tibda verżjoni ġdida u grafika ġdida. - Kull mudell iwieġeb darba b'livell medju ta' sforz fir-raġunament, permezz ta' Claude Code jew Codex b'kont illoggjat b'abbonament, bl-istess mod kif iħaddimhom VibeiDE. Ebda għodda, ebda web, ebda tentattiv mill-ġdid, ebda għażla tal-aħjar minn N.
- Il-mudelli jitħaddmu wieħed wara l-ieħor, qatt b'mod parallel. Tweġiba li ma tasalx fi żmien 40 minuta tikseb 0.
- Il-programm tal-punteġġ huwa deterministiku. Ebda mudell ma jevalwa mudell ieħor.
Aqra l-ispeċifikazzjoni sħiħa (test sempliċi, 7,691 karattru). L-ismijiet tal-mudelli huma l-psewdonimi li toffri kull CLI; il-paġna tirreġistra l-identifikatur tal-mudell irrappurtat mill-CLI.
Mistoqsijiet
Qed titnaqqas il-kapaċità ta' Claude jew GPT?
Din il-paġna ma tistax tara x'jiġri ġewwa fornitur, iżda turi jekk l-istess isem ta' mudell jiksibx punteġġi differenti għall-istess kompitu fiss maż-żmien. Eżekuzzjoni waħda fil-ġimgħa hija kampjun wieħed, għalhekk qies bidla ta' ftit punti bħala varjazzjoni każwali u tnaqqis li jdum diversi ġimgħat bħala sinjal.
Għaliex l-ebda mudell ma jista' jilħaq 100?
Il-mudell fil-mira huwa magħmul minn sferi, ellissojdi, ċilindri u kapsuli mmejla, filwaqt li t-tweġiba tista' tuża biss 150 kaxxa allinjata mal-assi. Il-kaxxi ma jistgħux isegwu l-kurvi eżatt, għalhekk kull tweġiba titlef xi volum. Il-mudelli aħjar jużaw il-kaxxi tagħhom fejn hemm il-kurvi, u l-iskulturi tagħhom jixbhu aktar lill-mudell fil-mira.
Kif jitħaddmu l-mudelli?
Kull mudell jirċievi l-ispeċifikazzjoni darba permezz tal-għodda uffiċjali tiegħu tal-linja tal-kmand, Claude Code jew Codex, b'sessjoni miftuħa b'abbonament normali u b'livell medju ta' sforz ta' raġunament. L-għodod, is-sottoaġenti, l-aċċess għall-web u t-tentattivi mill-ġdid huma diżattivati; eżekuzzjoni li tuża għodda tieħu punteġġ ta' 0. It-tweġiba tiġi evalwata minn programm deterministiku, mhux minn mudell ieħor.
Għaliex il-benchmark inbidel għal v3?
L-ewwel żewġ verżjonijiet talbu lill-mudelli jfasslu t-tqassim ta' uffiċċju. Fl-ewwel rawnds tagħhom, l-aħjar mudelli kisbu punteġġi ta' 100 u 92, u kull uffiċċju korrett kien jidher l-istess. Benchmark li l-aqwa mudelli jilħqu fih il-punteġġ massimu ma jistax juri bidla, u wieħed fejn it-tweġibiet jixbhu lil xulxin ma jistax juri l-kwalità, għalhekk v3 titlob skultura li l-kwalità tagħha tidher mal-ewwel daqqa t'għajn.
Nista' nipprova l-ispeċifikazzjoni jien stess?
Iva. L-ispeċifikazzjoni sħiħa hija pubblika bħala test sempliċi. Ikkopjaha f'kwalunkwe mudell u qabbel it-tweġiba tiegħu mal-mudell fil-mira.