Onderzoekers van het MIT en het MIT-IBM Watson AI Lab hebben een techniek ontwikkeld om de betrouwbaarheid van foundation-modellen te schatten. Deze modellen zijn enorme deep-learning modellen die vooraf zijn getraind op een grote hoeveelheid ongelabelde data. Dergelijke modellen, zoals ChatGPT en DALL-E, kunnen soms onjuiste of misleidende informatie verstrekken, met mogelijk ernstige gevolgen. De onderzoekers hebben een set van licht verschillende foundation-modellen getraind en een algoritme gebruikt om de consistentie van de representaties die elk model heeft geleerd over dezelfde testdatapunten te beoordelen.

Door hun techniek te vergelijken met basismethoden, ontdekten ze dat het beter de betrouwbaarheid van foundation-modellen vastlegde bij verschillende classificatietaken. Deze techniek kan handig zijn om te bepalen of een model moet worden toegepast in een specifieke omgeving, zelfs zonder het te testen met echte gegevenssets, wat met name nuttig kan zijn in privacygevoelige omgevingen zoals de gezondheidszorg. De onderzoekers noemden ook de mogelijkheid om modellen te rangschikken op basis van betrouwbaarheidsscores, waardoor gebruikers het meest geschikte model kunnen kiezen voor hun taak.