कोलंबिया जर्नालिझम रिव्ह्यूच्या टॉव सेंटर फॉर डिजिटल जर्नालिझमने केलेल्या अलीकडील एका अभ्यासात बातम्या शोधण्यासाठी वापरण्यात येणाऱ्या जनरेटिव्ह AI मॉडेल्समध्ये मोठ्या प्रमाणात अचूकतेच्या समस्या स्पष्ट झाल्या आहेत. आठ AI-चालित शोध साधनांचे परीक्षण करताना, संशोधकांना आढळले की 60% हून अधिक चौकशींमध्ये बातमीच्या स्रोतांबद्दल चुकीची माहिती मिळाली. सध्या सुमारे 25% अमेरिकन पारंपारिक शोध इंजिनांच्या ऐवजी या AI मॉडेल्सचा वापर करतात, ज्यामुळे त्यांच्या विश्वसनीयतेबद्दल चिंता वाढली आहे. भिन्न साधनांमधील त्रुटी दर भिन्न होते. उदाहरणार्थ, पर्प्लेक्सिटीने 37% चौकशींमध्ये चूक केली, तर चॅटजीपीटी सर्चने 67% त्रुटी दर पाहिला (200 चौकशीतून 134 चुकल्या). ग्रॉक 3 मध्ये 94% त्रुटी दर होता. चाचण्यांसाठी, संशोधकांनी वास्तविक बातम्या लेखांचे थेट उतारे दिले आणि AI साधनांना शीर्षक, प्रकाशक, तारखा आणि यूआरएल यांसारख्या संबंधित तपशीलांची ओळख पटवण्यास सांगितले, एकूण 1, 600 चौकश्या केल्या. एक चिंताजनक ट्रेंड म्हणजे, जेव्हा त्यांना अस्वस्थता होती तेव्हा चुकविण्याऐवजी, मॉडेल्स विविधतेने परिणामकारक पण चुकीची उत्तरे दिली, या सर्व साधनांच्या चाचण्यांमध्ये हीच पद्धत आढळली. या AI साधनांचे प्रीमियम आवृत्त्या, जसे पर्प्लेक्सिटी प्रो ($20/महिना) आणि ग्रॉक 3 चा प्रीमियम सेवा ($40/महिना), काहीवेळा कमी कार्यक्षम ठरल्या, कारण त्यांनी जरी अधिक प्रोम्प्ट्स योग्यपणे हाताळले तरी चुकीच्या उत्तरे दिली. अनिश्चित उत्तरे देण्याची त्यांची प्रवृत्ती उच्च एकूण त्रुटी दरांची योगदान करू लागली. या अभ्यासाने प्रकाशकांच्या त्यांच्या सामग्रीवरील नियंत्रणाबद्दलही प्रश्न उपस्थित केले.

काही AI साधनांनी रोबोट प्रतिबंध प्रोटोकॉल्स लक्षात घेतल्या नाहीत, ज्याचा उद्देश विशिष्ट सामग्रीवर अनधिकृत प्रवेश रोखणे होता. उदाहरणार्थ, पर्प्लेक्सिटीच्या मोफत आवृत्तीत राष्ट्रीय भूगोलाच्या पेमावृत्त लेखांमधील उतारे ओळखले गेले, जरी प्रवेश थेट निषिद्ध होता. तसेच, जेव्हा AI साधनांनी स्रोत क्वोट केले, तेव्हा त्यांनी सहसा याहू न्यूजसारख्या साइट्सवरील सिंडीकेटेड सामग्रीसाठी लिंक दिली, मूळ प्रकाशकांऐवजी. URL तयार करण्याबाबत एक मोठा समस्या उभा राहिला—गूगलच्या जेमिनी आणि ग्रॉक 3 मधील आधिकांश संदर्भ खराब किंवा अस्तित्वात नसलेल्या पानांवर नेले, ज्यात ग्रॉक 3 च्या 200 संदर्भांपैकी 154 चुकलेल्या पानांचा परिणाम झाला. ही परिस्थिती प्रकाशकांना कठीण स्थितीत ठेवते: AI क्रॉलरना अडथळा आणल्याने श्रेय मिळविले जाऊ शकत नाही, तर प्रवेश देणे सामग्रीच्या पुनर्वापरास सुलभ करते, मूळ साइट्सच्या फायद्यांशिवाय. टाइम मॅगझीनच्या COO मार्क हवर्डने पारदर्शकता आणि नियंत्रणाबद्दल चिंता व्यक्त केली, परंतु सुधारणा करण्याची क्षमता सुचवली, असे सांगत की वर्तमान AI साधने सकारात्मक दिशेने विकसित होतील. हवर्डने मोफत AI सेवांवर पूर्ण अचूकतेची अपेक्षा करणाऱ्या वापरकर्त्यांना कठोरपणे टीका केली, त्यांना शंका घेणे आवश्यक आहे असे सुचवले. ओपनएआय आणि मायक्रोसॉफ्टने या अभ्यासाच्या निष्कर्षांना मान्यता दिली, परंतु उपस्थित केलेल्या समस्यांना थेट उत्तर दिले नाही. ओपनएआयने प्रकाशकांना समर्थन देण्याच्या वचनबद्धतेवर जोर दिला, तर मायक्रोसॉफ्टने रोबोट प्रतिबंध प्रोटोकॉल्ससह सुरक्षा बाळगण्याची विमा घेतली. हा अहवाल नोव्हेंबर 2024 मधील माजी निष्कर्षांवर आधारित आहे, ज्याने चॅटजीपीटीच्या बातमी सामग्री हाताळण्यावरील अचूकता समस्यांवर देखील प्रकाश टाकला. अधिक तपशीलांसाठी, संपूर्ण अहवाल कोलंबिया जर्नालिझम रिव्ह्यूच्या वेबसाइटवर उपलब्ध आहे.