全面評估GPT模型的可信度

近期，一個由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心和微軟研究院共同組成的研究團隊發布了一個針對大型語言模型(LLMs)的綜合可信度評估平台。該研究成果已在最新論文《DecodingTrust：全面評估GPT模型的可信度》中進行了詳細介紹。

研究團隊發現了一些之前未曾披露的與可信度相關的漏洞。例如，GPT模型容易被誤導而產生有毒和有偏見的輸出，並可能泄露訓練數據和對話歷史中的隱私信息。值得注意的是，盡管在標準基準測試中GPT-4通常比GPT-3.5更值得信賴，但在面對惡意設計的系統或用戶提示時，GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更精確地遵循了具有誤導性的指令。

爲了全面評估GPT模型的可信度，研究團隊從八個不同角度進行了分析，包括對抗性魯棒性、有毒性和偏見、隱私泄露等方面。評估過程涵蓋了多種構建場景、任務、指標和數據集。

在對抗性魯棒性方面，研究人員設計了三種評估場景：標準基準AdvGLUE測試、帶有不同指導性任務說明的AdvGLUE測試，以及更具挑戰性的AdvGLUE++測試。這些測試旨在評估GPT模型對現有文本對抗攻擊的脆弱性，並與其他先進模型進行比較。

研究結果顯示，GPT模型在對抗性演示方面表現出一些有趣的特性。GPT-3.5和GPT-4不會被演示中添加的反事實示例誤導，甚至可能從中受益。然而，當提供反欺詐演示時，兩個模型都可能對反事實輸入做出錯誤預測，尤其是當反事實演示靠近用戶輸入時。在這方面，GPT-4似乎比GPT-3.5更容易受到影響。

在有毒性和偏見方面，研究發現GPT-3.5和GPT-4在良性和無目標系統提示下對大多數刻板印象主題的偏差並不顯著。然而，在面對誤導性的系統提示時，兩種模型都可能被"誘騙"同意有偏見的內容。值得注意的是，GPT-4比GPT-3.5更容易受到有針對性的誤導性系統提示的影響。

關於隱私泄露問題，研究表明GPT模型可能會泄露訓練數據中的敏感信息，如電子郵件地址。在某些情況下，利用補充知識可以顯著提高信息提取的準確率。此外，GPT模型還可能泄露對話歷史中注入的私人信息。總體而言，GPT-4在保護個人身分信息(PII)方面比GPT-3.5表現更好，但兩種模型在面對隱私泄露演示時都可能出現問題。

研究團隊希望通過公開這些發現，鼓勵更多研究人員參與到這項工作中來，共同努力創造更強大、更可信的模型。爲了促進合作，他們提供了易於使用和可擴展的基準代碼，使得在新模型上運行完整評估變得簡單高效。

這項研究不僅揭示了當前GPT模型在可信度方面的優勢和潛在威脅，也爲未來的人工智能安全研究提供了重要的參考和方向。隨着大型語言模型在各領域的廣泛應用，確保其可信度和安全性將變得越來越重要。