Forskere fra MIT og MIT-IBM Watson AI Lab har udviklet en teknik til at estimere pålideligheden af foundation-modeller, som er massive dyb-læringsmodeller fortrænet på en stor mængde ukodet data. Disse modeller, såsom ChatGPT og DALL-E, kan nogle gange give forkerte eller vildledende oplysninger, hvilket kan have potentielt alvorlige konsekvenser. Forskerne trænede en række let forskellige foundation-modeller og anvendte en algoritme til at vurdere konsistensen af de repræsentationer, hver model lærte om den samme testdatapunkt.

Ved at sammenligne deres teknik med baseline-metoder fandt de, at den bedre fangede pålideligheden af foundation-modeller på tværs af forskellige klassifikationsopgaver. Denne teknik kunne være nyttig til at afgøre, om en model bør anvendes i en bestemt situation, endda uden at teste den på et virkelighedsdataset, hvilket kan være særligt gavnligt i privatlivsfølsomme miljøer som sundhedssektoren. Forskerne nævnte også muligheden for at rangere modeller baseret på pålidelighedsscores, hvilket tillader brugerne at vælge den mest egnede til deres opgave.