Natuklasan sa pananaliksik na inilathala sa *Proceedings of the National Academy of Sciences* na ang mga malaking language model (LLMs) tulad ng ChatGPT-4 ay may makabuluhang kakayahan sa pagsasagawa ng mga gawain na sumusukat sa "theory of mind"—ang kapasidad na maunawaan ang paniniwala at emosyon ng iba. Nakamit ng ChatGPT-4 ang 75% ng mga gawaing ito, katumbas ng antas ng isang anim na taong gulang na bata, na nagpapabuti sa kakayahan ng AI sa mga kaugnay sa lipunang pangangatwiran. Ang mga LLM ay mga makabagong AI na sistema na bumubuo ng tekstong kahalintulad ng sa tao sa pamamagitan ng pagsusuri ng mga pattern ng wika sa malalawak na dataset. Ang mga modelong ito ay gumagamit ng neural networks, partikular ang mga transformer, para maunawaan ang mga ugnayan ng mga salita at parirala. Sa kabaligtaran, ang "theory of mind" ay isang kakayahang kognitibo ng tao na mahalaga sa pakikipag-ugnayan sa lipunan, na nagpapahintulot sa pag-unawa at pagtataya sa mental na estado ng iba. Sinaliksik ni Michal Kosinski ng Stanford ang LLMs gamit ang "false-belief tasks, " sinusukat ang mga modelo laban sa mga senaryo tulad ng "Unexpected Contents Task" at "Unexpected Transfer Task. " Hindi nasolusyunan ng GPT-1 at GPT-2 ang mga gawaing ito, habang ang mga mas advanced na modelo, partikular ang ChatGPT-4, ay nagpakita ng malaking pagpapabuti, may 75% na tagumpay na maihahambing sa isang anim na taong gulang. Humusay ang ChatGPT-4 sa mas simple na mga false-belief na senaryo, na nakamit ang 90% na tagumpay sa paghula ng maling paniniwala ng isang tauhan batay sa mga mapanlinlang na pahiwatig. Gayunpaman, bumaba ang tagumpay nito sa 60% sa mas masalimuot na gawain na may kinalaman sa mga dynamic na senaryo.

Gayunpaman, ang modelo ay nagpakita ng pagkakapare-pareho, inaangkop ang mga prediksyon batay sa mga pagbabago sa salaysay, na nagpapakita na higit pa ito sa simpleng pagkilala ng pattern. Ang pananaliksik ni Kosinski ay gumamit ng mahigpit na pagsusuri upang maiwasan na ang mga modelo ay default na umaasa sa pagkilala ng pattern, na nagbunyag sa nuanced na pag-unawa ng ChatGPT-4 sa konteksto ng salaysay. Ipinapahiwatig ng mga natuklasang ito na ang mga LLM ay nagtataglay ng lumilitaw na kakayahan para sa theory of mind-like na pangangatwiran. Habang minsang nabigo ang ChatGPT-4, na nagha-highlight ng ilang limitasyon, ang mabilis na ebolusyon ng kakayahan nito ay nagtataas ng mga katanungan tungkol sa potensyal na kamalayan ng AI at pag-unlad nang lampas sa pag-unawa ng tao. Ang hinaharap na pananaliksik ay maaaring sumuri sa kapasidad ng AI sa mas kumplikadong mga senaryo ng sosyal na pangangatwiran at ang implikasyon nito para sa kognisyon ng tao at kaligtasan ng AI.