Amazon Web Services(AWS)は、大言語モデル(LLM)の幻覚を軽減するために、応答の精度を数学的に検証する、Amazon Bedrock Guardrailsの新しいセーフガードであるAutomated Reasoning checks(プレビュー)を発表しました。これは、システムやプログラムの動作を検証するために数学的証明と論理的推論を使用するコンピュータサイエンスの分野である自動推論を活用しています。予測を行う機械学習(ML)とは異なり、自動推論はシステムの動作に関する数学的保証を提供します。AWSはすでに、ストレージ、ネットワーキング、仮想化、ID、暗号化などの主要なサービス分野で自動推論を使用しています。たとえば、自動推論は、暗号化実装の正確さを正式に検証するために使用され、パフォーマンスと開発速度の両方を向上させています。現在、AWSは同様のアプローチを生成AIに適用しています。Amazon Bedrock Guardrailsの新しいAutomated Reasoning checks(プレビュー)は、生成AIの応答が正しい理由を説明する論理的に正確で検証可能な推論を使用して、幻覚による事実上の誤りを防ぐのに役立つ最初の生成AIセーフガードです。Automated Reasoning checksは、事実に基づく正確さと説明責任が重要なユースケースに特に役立ちます。たとえば、人事(HR)ポリシー、会社の製品情報、または運用ワークフローに関するLLM生成の応答を検証するためにAutomated Reasoning checksを使用できます。プロンプトエンジニアリング、Retrieval-Augmented Generation(RAG)、コンテキストに基づくグラウンディングチェックなどの他の手法と併用することで、Automated Reasoning checksは、LLM生成の出力が事実に基づいて正確であることを保証するためのより厳密で検証可能なアプローチを追加します。ドメイン知識を構造化ポリシーにエンコードすることにより、会話型AIアプリケーションが信頼できる信頼できる情報をユーザーに提供していることを保証できます。
数学的に健全な自動推論チェックでLLMの幻覚による事実誤認を防ぐ(プレビュー)
AWS