Jakob Uszkoreit, co-fondateur de la start-up biotechnologique Inceptive, a été à l'origine de l'idée qui a ouvert la voie à l'intelligence artificielle générative. Alors qu'il travaillait en tant que chercheur chez Google en 2017, Uszkoreit cherchait à améliorer la vitesse de formation des réseaux neuronaux. Il a proposé une approche novatrice de l'interprétation des données appelée auto-attention, qui a finalement conduit au développement du transformeur, une architecture de réseau neuronal cruciale pour l'IA générative. Dans une interview accordée à CNBC en juin, Uszkoreit a reconnu que les transformeurs avaient déjà été utilisés dans des applications pratiques chez Google et dans d'autres organisations bien avant, bien que sans autant d'attention. Il a attribué à ChatGPT d'OpenAI, lancé fin 2022, le mérite de mettre en lumière ces applications. Uszkoreit et sept autres chercheurs de Google ont publié le concept des transformeurs dans leur article de 2017 intitulé "Attention Is All You Need".

Depuis lors, les huit auteurs ont tous quitté Google. Uszkoreit a mentionné que des entreprises plus petites, comme OpenAI, pourraient être plus audacieuses que Google dans l'application de cette technologie à divers produits. Il a exprimé sa gratitude pour les contributions de Google dont nous dépendons dans notre vie quotidienne, même si l'approche de l'entreprise peut être plus prudente.