Meta 公司攜手華盛頓大學(xué)和卡內(nèi)基梅隆大學(xué)，組建科研團(tuán)隊(duì)，合作開(kāi)發(fā)了 ExploreToM 框架，旨在更有效地評(píng)估和訓(xùn)練大語(yǔ)言模型（LLM）的心智理論（Theory of Mind，ToM）能力。

心智理論

心智理論（Theory of Mind，ToM）是人類社會(huì)智能的基礎(chǔ)之一，能讓我們能夠理解他人的想法、意圖和信念。這種認(rèn)知能力對(duì)于有效的溝通和協(xié)作至關(guān)重要，是復(fù)雜社交互動(dòng)的支柱。

讓 AI 也具備 ToM 能力，對(duì)于創(chuàng)建能與人類無(wú)縫互動(dòng)的智能體至關(guān)重要，只是當(dāng)前大型語(yǔ)言模型（LLM）在 ToM 方面仍面臨巨大挑戰(zhàn)。

現(xiàn)有的基準(zhǔn)通常缺乏復(fù)雜性和多樣性，導(dǎo)致高估模型能力。例如，許多基準(zhǔn)測(cè)試基于簡(jiǎn)單的預(yù)定義場(chǎng)景，無(wú)法復(fù)制人類用來(lái)推斷心理狀態(tài)的復(fù)雜推理。

ExploreToM 框架

ExploreToM 通過(guò)生成多樣化、可擴(kuò)展的對(duì)抗性數(shù)據(jù)集，為提升 AI 的 ToM 能力奠定了堅(jiān)實(shí)基礎(chǔ)。該研究強(qiáng)調(diào)了當(dāng)前模型的局限性，以及高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì)于彌合這些差距的潛力。

在數(shù)據(jù)集方面，ExploreToM 利用 A* 搜索算法和特定領(lǐng)域語(yǔ)言生成多樣化、高難度的測(cè)試數(shù)據(jù)集，模擬復(fù)雜的社會(huì)情景，挑戰(zhàn) LLM 的認(rèn)知極限。

ExploreToM 與現(xiàn)有基準(zhǔn)測(cè)試不同，通過(guò)創(chuàng)建對(duì)抗性故事場(chǎng)景，旨在揭示 LLM 在 ToM 推理中的盲點(diǎn)。

此外該框架還引入了非對(duì)稱信念更新機(jī)制，可以模擬不同角色對(duì)同一情況持有不同觀點(diǎn)的復(fù)雜社交互動(dòng)。

主流模型測(cè)試效果

GPT-4o 和 Llama-3.1-70B 模型在 ExploreToM 數(shù)據(jù)集上的準(zhǔn)確率分別只有 9% 和 0%，凸顯了現(xiàn)有 LLM 在處理復(fù)雜 ToM 推理方面的不足。

在 ExploreToM 數(shù)據(jù)上進(jìn)行微調(diào)后，模型在經(jīng)典 ToMi 基準(zhǔn)測(cè)試中的準(zhǔn)確率提高了 27 個(gè)百分點(diǎn)，證明了該框架的有效性。

附上參考地址

Meta AI Introduces ExploreToM: A Program-Guided Adversarial Data Generation Approach for Theory of Mind Reasoning

Explore Theory-of-Mind: Program-Guided Adversarial Data Generation for Theory of Mind Reasoning

GitHub

huggingface