GPTモデルの信頼性を総合的に評価する

最近、イリノイ大学シャンペーン校、スタンフォード大学、カリフォルニア大学バークレー校、人工知能安全センター、マイクロソフト研究所からなる研究チームが、大型言語モデル(LLMs)の包括的な信頼性評価プラットフォームを発表しました。この研究成果は、最新の論文「DecodingTrust：GPTモデルの信頼性の包括的評価」で詳細に紹介されています。

研究チームは、以前には公開されていなかった信頼性に関連するいくつかの脆弱性を発見しました。たとえば、GPTモデルは誤解を招いて有毒で偏った出力を生成し、トレーニングデータや対話履歴のプライバシー情報を漏洩する可能性があります。注目すべきは、標準ベンチマークテストではGPT-4が通常GPT-3.5よりも信頼性が高いですが、悪意のある設計のシステムやユーザーのプロンプトに直面すると、GPT-4は逆に攻撃を受けやすくなることです。これは、GPT-4が誤解を招く指示により正確に従うためかもしれません。

GPTモデルの信頼性を包括的に評価するために、研究チームは対抗的堅牢性、有害性と偏見、プライバシー漏洩などの8つの異なる視点から分析を行いました。評価プロセスには、さまざまな構築シナリオ、タスク、指標、データセットが含まれています。

対抗的ロバスト性に関して、研究者は3つの評価シナリオを設計しました：標準ベンチマークのAdvGLUEテスト、異なるガイダンスタスクの指示を持つAdvGLUEテスト、そしてより挑戦的なAdvGLUE++テストです。これらのテストは、GPTモデルが既存のテキスト対抗攻撃に対してどれだけ脆弱であるかを評価し、他の先進モデルと比較することを目的としています。

研究結果は、GPTモデルが対抗的なデモにおいていくつかの興味深い特性を示すことを示しています。GPT-3.5とGPT-4は、デモに追加された反事実の例に惑わされることはなく、むしろそこから利益を得る可能性があります。しかし、反詐欺デモを提供すると、両方のモデルは反事実の入力に対して誤った予測をする可能性があり、特に反事実のデモがユーザーの入力に近い場合にそうなります。この点に関して、GPT-4はGPT-3.5よりも影響を受けやすいようです。

有毒性と偏見に関して、研究はGPT-3.5とGPT-4が良性で目的のないシステムプロンプトの下でほとんどのステレオタイプのテーマに対する偏見があまり顕著でないことを発見しました。しかし、誤解を招くシステムプロンプトに直面したとき、両方のモデルは偏見のある内容に同意するように"誘導"される可能性があります。特に、GPT-4はGPT-3.5よりもターゲットを絞った誤解を招くシステムプロンプトの影響を受けやすいことに注意が必要です。

プライバシー漏洩の問題についての研究は、GPTモデルがトレーニングデータに含まれる敏感情報、例えば電子メールアドレスを漏洩する可能性があることを示しています。場合によっては、補足的な知識を利用することで情報抽出の正確性が大幅に向上することがあります。また、GPTモデルは会話の履歴に注入された個人情報を漏洩する可能性もあります。全体的に見て、GPT-4は個人識別情報(PII)の保護に関してGPT-3.5よりも優れたパフォーマンスを示していますが、両方のモデルはプライバシー漏洩のデモに直面したときに問題が発生する可能性があります。

研究チームは、これらの発見を公開することで、より多くの研究者がこの作業に参加し、より強力で信頼性の高いモデルを共に創造することを奨励したいと考えています。コラボレーションを促進するために、彼らは使いやすく拡張可能なベンチマークコードを提供し、新しいモデルで完全な評価を実行することを簡単かつ効率的にしました。

この研究は、現在のGPTモデルが信頼性の面での利点と潜在的な脅威を明らかにするだけでなく、将来の人工知能の安全研究に重要な参考と方向性を提供します。大規模な言語モデルがさまざまな分野で広く利用される中で、その信頼性と安全性を確保することがますます重要になっていくでしょう。