L'intégration de l'intelligence artificielle (IA) pourrait être la clé pour faire avancer la technologie portable telle que les lunettes intelligentes, qui connaissent jusqu'à présent un succès limité. Les lunettes intelligentes Ray-Ban Meta aux États-Unis et au Canada ont récemment été équipées d'une technologie d'IA multimodale et d'un assistant virtuel appelé "Meta AI". Cette IA générative peut traiter des requêtes impliquant plusieurs médias, tels que l'audio et l'imagerie, ce qui permet à l'appareil de fournir des réponses plus précises en fonction de ce que le porteur regarde. Par exemple, lorsqu'on voyage et qu'on essaie de lire un menu en français, les lunettes intelligentes peuvent utiliser leur appareil photo intégré et Meta AI pour traduire le texte, éliminant ainsi le besoin d'un téléphone ou d'un écran. Ce processus consiste à prendre une photo du texte, qui est ensuite traitée dans le cloud pour fournir la traduction par la parole. Meta a réalisé un lancement limité de l'intégration de l'IA multimodale dans les lunettes intelligentes Ray-Ban Meta en décembre 2023. Lors des tests, un reporter de The Verge a constaté que l'IA identifiait principalement avec précision le modèle d'une voiture et décrivait un type de chat en se basant sur les images prises avec l'appareil photo des lunettes. Cependant, elle avait du mal à identifier correctement les espèces végétales et une marmotte dans le jardin d'un voisin. Bien que des assistants virtuels alimentés par l'IA tels que Google Assistant, Amazon Alexa et Siri d'Apple existent depuis un certain temps, la caractéristique distinctive de Meta AI dans les lunettes intelligentes Ray-Ban est sa fonctionnalité multimodale.

En fusionnant et en traitant les données des modules de capteurs multiples tels que les caméras et les microphones, les systèmes d'IA multimodaux peuvent générer des résultats plus précis et sophistiqués par rapport à l'IA unimodale. Ces systèmes peuvent traiter différents types de données d'entrée, y compris le texte, les images et l'audio. Dans le contexte des lunettes intelligentes, l'IA multimodale permet à l'IA de comprendre l'environnement du porteur en combinant les données des capteurs sur les lunettes avec les réseaux neuronaux. Cela permet de répondre à des requêtes plus complexes et de fournir des informations contextuelles plus intelligentes. Cependant, les capacités d'IA du dispositif Ray-Ban Meta ont encore besoin d'améliorations par rapport à la puissance de traitement de l'IA des derniers smartphones. Ces smartphones bénéficient de chipsets plus puissants et de la fusion des capteurs, où les données de plusieurs capteurs sont traitées ensemble pour offrir des fonctionnalités telles que la reconnaissance de scène et les ajustements intelligents de l'éclairage et de l'équilibre des couleurs dans les applications de l'appareil photo, ou un retour d'information amélioré pendant les séances d'entraînement en combinant les données des thermomètres et des capteurs optiques des montres intelligentes.