Eine Ausgabe dieser Geschichte wurde im Nightcap-Newsletter von CNN Business vorgestellt. Melden Sie sich hier an, um diesen kostenlos in Ihrem Posteingang zu erhalten. Vor zwei Jahren stellte OpenAI ChatGPT vor, was eine Art Goldrausch in der künstlichen Intelligenz auslöste. Milliarden werden in KI-zentrierte und verwandte Unternehmen investiert, angetrieben von der Erwartung, dass diese Technologie jeden Aspekt des modernen Lebens transformieren (oder potenziell stören) wird. Die Botschaft aus dem Silicon Valley ist klar: Die KI-Revolution ist im Gange, und kluge Investoren sollten sich beteiligen, bevor diese Innovationen „superintelligent“ werden und alle Probleme der Welt angehen. Für überzeugte Gläubige ist dies keine Übertreibung, und solche Erwartungen haben Unternehmen wie den Chiphersteller Nvidia, dessen Gewinne am Mittwoch bekannt gegeben werden, zu einigen der am meisten geschätzten globalen Vermögenswerte gemacht. Im Zentrum dieser Erzählung steht der Gedanke, dass große Sprachmodelle (LLMs) wie ChatGPT sich weiterhin schnell entwickeln. Jedoch warnen Kritiker der KI seit Jahren vor „Skalierungsgesetzen“ – die besagen, dass die Leistung eines Modells durch einfaches Erhöhen von Daten und Rechenressourcen dauerhaft verbessert werden kann. Dies sind eher fundierte Vermutungen als tatsächliche Gesetze. Tatsächlich verstehen nicht einmal die Entwickler von LLMs vollständig, wie sie funktionieren. Jüngst scheint es, dass einige führende Sprachmodelle auf Grenzen stoßen, laut drei Berichten von letzter Woche.

Siehe hier: OpenAI-CEO Sam Altman widerlegte diese Behauptungen und postete letzte Woche auf X, dass „es keine Wand gibt. “ Sei es eine Wand, ein Berg oder ein Plateau, selbst KI-Befürworter erkennen einen möglichen Wendepunkt an, gemessen an den jüngsten Produkteinführungen. „Wir haben seit einiger Zeit kein Durchbruchsmodell mehr gesehen“, sagte Gil Luria, Geschäftsführer bei D. A. Davidson. „Wir haben auf alle verfügbaren menschlichen Daten zugegriffen, und mehr Rechenleistung verbessert die Ergebnisse vielleicht nicht. “ Dies ist ein technisches Problem, aber entscheidend für das Verständnis der Grenzen der Modelle: Um KI menschlich erscheinen zu lassen, müssen sie mit menschlichen Daten trainiert werden, im Wesentlichen alle Texte oder Audios online abdecken. Einmal aufgenommen, gibt es keine „echten“ neuen Daten mehr zum Trainieren. Um es klarzustellen, ein Plateau ist nicht unbedingt ein Todesstoß für die KI-Branche. Doch es stellt Herausforderungen dar, insbesondere da sich die Wall Street fragt, wann diese kostspieligen Produkte greifbare Einnahmen generieren werden. Unternehmen wie Nvidia, die auf fast 3, 5 Billionen Dollar geschätzt werden, und andere große KI-Firmen werden wahrscheinlich nicht sofort mit Skalierungsproblemen konfrontiert. „Die Nachfrage nach Nvidia im letzten und in diesem Quartal überstieg ihr Angebot“, erklärte Luria. Doch wenn eine Skalierungsgrenze erreicht wurde, „könnte das darauf hindeuten, dass Tech-Giganten übermäßig investiert haben“ und bald kürzen könnten. Das ist die optimistische/pragmatische Haltung zur KI. Für eine weniger optimistische Ansicht konsultierte ich Gary Marcus, emeritierter Professor der NYU und einen offenen KI-Skeptiker.