La prompt engineering a connu une popularité significative dans l'industrie de l'IA l'année dernière, mais il semble qu'Anthropic développe maintenant des outils pour l'automatiser dans une certaine mesure. Selon un article de blog de l'entreprise, Anthropic a récemment introduit plusieurs nouvelles fonctionnalités qui aident les développeurs à créer des applications plus efficaces en utilisant leur modèle de langage, Claude. L'une de ces fonctionnalités est Claude 3. 5 Sonnet, qui permet aux développeurs de générer, tester et évaluer des prompts. En utilisant des techniques de prompt engineering, les développeurs peuvent améliorer les entrées et optimiser les réponses de Claude pour des tâches spécialisées. Bien que les modèles de langage soient généralement très polyvalents, de petits ajustements dans la formulation d'un prompt peuvent entraîner des améliorations substantielles dans les résultats. Normalement, les individus devraient trouver eux-mêmes la formulation idéale ou engager des prompt engineers pour le faire. Cependant, cette nouvelle fonctionnalité offre des retours d'information sur les prompts qui simplifient le processus de recherche d'améliorations. Ces fonctionnalités sont accessibles via l'onglet "Évaluer" de la Console Anthropic. La Console sert de terrain d'essai aux développeurs et est spécialement conçue pour attirer les entreprises intéressées à utiliser Claude pour développer des produits. Parmi les fonctionnalités introduites en mai se trouve le générateur de prompt intégré d'Anthropic, qui prend une brève description de la tâche et crée un prompt complet en utilisant les techniques de prompt engineering de l'entreprise.

Bien que les outils d'Anthropic ne puissent pas complètement remplacer les prompt engineers, ils visent à aider les nouveaux utilisateurs et à faire gagner du temps aux ingénieurs expérimentés. Dans la section "Évaluer", les développeurs peuvent tester l'efficacité des prompts de leur application d'IA dans plusieurs scénarios. Ils ont la possibilité de télécharger des exemples du monde réel dans une suite de tests ou de demander à Claude de générer différentes cases de tests générées par l'IA. Les développeurs peuvent ensuite comparer l'efficacité de différents prompts côte à côte et évaluer les réponses d'échantillon sur une échelle de cinq points. Un exemple mentionné dans l'article de blog d'Anthropic montre un développeur qui a identifié que son application produisait des réponses excessivement courtes dans plusieurs cas de tests. En apportant une légère modification à son prompt, le développeur a pu générer des réponses plus longues simultanément dans tous les cas de tests. Cette capacité peut faire gagner considérablement du temps et des efforts aux développeurs, en particulier à ceux qui ont peu d'expertise en prompt engineering. Lors d'une interview lors de Google Cloud Next plus tôt cette année, le PDG et co-fondateur d'Anthropic, Dario Amodei, a souligné l'importance du prompt engineering dans l'adoption généralisée de l'IA générative par les entreprises. Selon Amodei, passer seulement 30 minutes avec un prompt engineer peut souvent permettre à une application de fonctionner alors qu'elle ne le faisait pas auparavant.