OpenAI est très secret sur son dernier modèle d'IA, la famille 'Strawberry', en particulier en ce qui concerne ses capacités de raisonnement dans les versions o1-preview et o1-mini. Depuis leur sortie la semaine dernière, la société a envoyé des e-mails d'avertissement aux utilisateurs essayant de comprendre comment fonctionne le modèle, ce qui n’avait pas été observé avec les modèles précédents comme le GPT-4o. Les modèles o1 ont été spécialement conçus pour suivre une méthode systématique de résolution de problèmes avant de fournir des réponses. Bien que les utilisateurs puissent choisir de voir le processus de raisonnement dans ChatGPT, OpenAI obscurcit délibérément le processus de pensée brut, offrant seulement une version filtrée créée par une autre IA. Ce manque de transparence a suscité l'intérêt parmi les hackers et les équipes red qui sont désireux de découvrir le raisonnement sous-jacent par des techniques telles que le jailbreaking et l'injection de prompt. Quelques premiers succès ont été rapportés, mais rien de définitif n'a émergé.

Pendant ce temps, OpenAI surveille de près les tentatives de plonger plus profondément dans l'aspect du raisonnement, en émettant des avertissements aux utilisateurs qui mentionnent des termes comme 'trace de raisonnement'. Les avertissements ont souligné les violations des politiques contre le contournement des mesures de sécurité, avertissant que des infractions répétées pourraient entraîner la perte de l'accès au modèle. Les critiques, y compris Marco Figueroa, soutiennent que de telles politiques entravent la recherche bénévole sur la sécurité du modèle. Dans un article de blog intitulé 'Apprendre à raisonner avec les LLMs', OpenAI explique comment la surveillance des chaînes de pensée cachées peut fournir des informations sur les processus du modèle. Cependant, ils estiment que partager ces informations avec les utilisateurs pourrait compromettre à la fois l'expérience utilisateur et l'avantage concurrentiel. Le chercheur AI indépendant Simon Willison a exprimé des préoccupations concernant le manque de transparence, arguant que cette décision empêche la communauté d'acquérir des informations précieuses sur le fonctionnement du modèle. En fin de compte, la situation reflète une tension continue entre les intérêts propriétaires et la demande de transparence dans le développement de l'IA.