Amazonは、Amazon Bedrock Model Distillationのプレビュー版を発表しました。これは、教師モデルと呼ばれる大規模基盤モデル(FM)から応答を生成し、生成された応答で生徒モデルと呼ばれるより小さなFMを微調整することにより、特定のユースケース向けに蒸留モデルを作成するプロセスを自動化します。教師モデルからの応答を改善するために、データ合成技術を使用します。Amazon Bedrockは、最終的な蒸留モデルを推論用にホストし、ユースケースに合わせて、教師モデルに近い精度で、より高速で費用対効果の高いモデルを提供します。この新機能には本当に感銘を受けました。生成AIモデルを使用したいが、レイテンシとコストが気になる顧客にとって非常に役立つと思います。大規模なモデルを小規模なモデルに蒸留することで、顧客は精度を維持しながらレイテンシとコストを削減できます。この機能は、生成AIの分野におけるゲームチェンジャーになると考えています。
Amazon Bedrock Model Distillationで、より高速で費用対効果の高い高精度モデルを構築(プレビュー)
AWS