Hvis du leder efter en ny grund til at føle dig urolig over kunstig intelligens, så overvej dette: nogle af verdens lyseste sind har svært ved at skabe tests, som A. I. -systemer ikke kan bestå. I årevis er A. I. -systemer blevet vurderet ved hjælp af en række standardiserede benchmark-tests. Mange af disse tests har indeholdt udfordrende spørgsmål på SAT-niveau inden for emner som matematik, naturvidenskab og logik. At følge med i disse modelleres resultater over tid har givet en grov indikation af fremskrittene inden for A. I. Imidlertid har A. I. -systemer til sidst udmærket sig i disse vurderinger, hvilket har ført til udviklingen af sværere tests – ofte med spørgsmål, som kandidatstuderende kunne møde i deres eksamener. Desværre klarer disse tests sig heller ikke godt. Nye modeller fra virksomheder som OpenAI, Google og Anthropic har opnået høje scorer på mange Ph. D. -niveau udfordringer, hvilket mindsker testenes effektivitet og rejser et bekymrende spørgsmål: bliver A. I. -systemer for intelligente til, at vi kan vurdere dem? Denne uge er forskere fra Center for AI Safety og Scale AI klar til at tilbyde et potentielt svar: en ny evaluering kaldet “Humanity’s Last Exam, ” som de hævder er den mest udfordrende test, der nogensinde er givet til A. I. -systemer. Humanity’s Last Exam blev udtænkt af Dan Hendrycks, en anerkendt A. I. -sikkerhedsforsker og direktør for Center for AI Safety.

(Testens oprindelige titel, “Humanity’s Last Stand, ” blev opgivet, da den var for dramatisk. ) Tak for din forståelse, mens vi bekræfter adgangen. Hvis du er i læsetilstand, skal du forlade den og logge ind på din Times-konto, eller abonnere for at få fuld adgang til The Times. Tak for din forståelse under verifikationsprocessen. Er du allerede abonnent?Log ind. Vil du have fuld adgang til The Times?Tilmeld dig.