Eerder dit jaar trok OpenAI medeoprichter en voormalig hoofdwetenschapper Ilya Sutskever de aandacht nadat hij vertrok om zijn eigen AI-lab, Safe Superintelligence Inc. , te starten. Sinds zijn vertrek is hij uit de schijnwerpers gebleven, maar vrijdag verscheen hij zeldzaam in het openbaar op de Conference on Neural Information Processing Systems (NeurIPS) in Vancouver. Op het podium verklaarde Sutskever: "Voortraining zoals wij die kennen, zal ongetwijfeld eindigen. " Dit verwijst naar de eerste fase van AI-modelontwikkeling, waarbij een groot taalmodel leert van enorme hoeveelheden ongemarkeerde gegevens, meestal afkomstig van het internet, boeken en andere materialen. "We hebben het piek datatijdperk bereikt, en er zal niets meer zijn. " Sutskever merkte op dat hoewel huidige gegevens de AI-ontwikkeling nog vooruit kunnen helpen, de industrie nieuwe gegevensbronnen aan het uitputten is. Deze beperking zal uiteindelijk een verschuiving vereisen in de manier waarop modellen worden getraind. Hij vergeleek de situatie met fossiele brandstoffen en merkte op dat, net als olie, het internet een eindige hoeveelheid door mensen gegenereerde inhoud heeft. Hij voorspelde dat de volgende generatie modellen "agent-achtig in echte zin" zullen zijn. Hoewel Sutskever deze term tijdens zijn toespraak niet definieerde, verwijst het over het algemeen naar autonome AI-systemen die in staat zijn zelfstandig taken uit te voeren, beslissingen te nemen en met software te interageren. Naast "agent-achtig" stelde Sutskever voor dat toekomstige AI-systemen redeneer capaciteiten zullen hebben. In tegenstelling tot de huidige AI, die voornamelijk op patroonherkenning vertrouwt, zullen toekomstige systemen informatie stap voor stap kunnen verwerken op een manier die meer lijkt op menselijk denken. Hij merkte op: "Hoe meer een systeem redeneert, hoe onvoorspelbaarder het wordt, " en vergeleek hoog-reasonerende systemen met geavanceerde AI in schaken, die zelfs voor top menselijke spelers onvoorspelbaar kunnen zijn. "Ze zullen dingen begrijpen met beperkte data, " voegde hij toe. "Ze zullen niet in de war raken. " Tijdens zijn toespraak vergeleek Sutskever AI-scaling met evolutionaire biologie, waarbij hij onderzoek benadrukte dat verschillen in hersen-tot-lichaamsmassa-ratio's tussen soorten laat zien.

Hij merkte op dat terwijl de meeste zoogdieren een schaalpatroon delen, hominiden (menselijke voorouders) op logaritmische schalen een andere helling vertonen. Hij suggereerde dat AI mogelijk nieuwe schaalbenaderingen zou kunnen ontdekken buiten de huidige voortrainingsmethoden. Na zijn toespraak vroeg een lid van het publiek hoe prikkelmechanismen gecreëerd kunnen worden voor de ontwikkeling van AI die het vrijheden geeft vergelijkbaar met die van mensen. Sutskever dacht na dat hoewel dit belangrijke vragen zijn, hij niet voldoende vertrouwen heeft om ze volledig te beantwoorden, omdat het mogelijk een "top-down overheidsstructuur" vereist. Toen het publiek lid cryptocurrency voorstelde, lachte de zaal. "Ik heb niet het gevoel dat ik de juiste persoon ben om te praten over cryptocurrency, " zei Sutskever. "Maar er is een kans dat wat u beschrijft zal gebeuren. In zekere zin is het geen slecht eindresultaat als u AIs hebt die met ons willen samenleven en rechten hebben. Misschien zal dat wel goed gaan. . . Ik denk dat dingen zo ongelooflijk onvoorspelbaar zijn. Ik aarzel om iets te zeggen maar moedig de speculatie aan. " Als je bij OpenAI werkt en dit verder wilt bespreken, neem dan gerust contact met me op via Signal @kylie. 01 of via e-mail op kylie@theverge. com.