MIT ve MIT-IBM Watson AI Lab araştırmacıları, büyük miktarda etiketlenmemiş veri üzerinde önceden eğitilen büyük ölçekli derin öğrenme modelleri olan temel modellerin güvenilirliğini tahmin etmek için bir teknik geliştirdi. ChatGPT ve DALL-E gibi bu modeller bazen yanlış veya yanıltıcı bilgi sağlayabilir ve potansiyel ciddi sonuçlara yol açabilir. Araştırmacılar, birbirinden hafifçe farklı temel modeller kümesini eğitti ve her bir modelin aynı test veri noktası hakkında öğrendiği temsillerin tutarlılığını değerlendirmek için bir algoritma kullandı.

Tekniklerini temel yöntemlerle karşılaştırdıklarında, farklı sınıflandırma görevlerinde temel modellerin güvenilirliğini daha iyi yakaladıklarını buldular. Bu teknik, gerçek dünya veri kümesi üzerinde test etmeden bile bir modelin belirli bir ortamda uygulanıp uygulanmamasını belirlemekte faydalı olabilir ve özellikle sağlık gibi gizlilik hassasiyeti olan ortamlarda büyük bir avantaj sağlayabilir. Araştırmacılar ayrıca güvenilirlik puanlarına dayanarak modelleri sıralama olasılığından da bahsettiler, bu da kullanıcıların görevlerine en uygun olanı seçmelerine olanak tanır.