Google Cloudは、トレーニングと推論のパフォーマンスを向上させ、大規模な回復力を向上させ、AI Hypercomputerリソースの中央ハブを提供することに重点を置いて、AI Hypercomputerソフトウェアレイヤーの重要なアップデートを発表しました。

重要なアップデートの1つは、A3メガVMでのMaxTextのサポートです。これにより、大規模言語モデル（LLM）のトレーニングをより迅速かつ効率的に行うことができます。NVIDIA H100 Tensor Core GPUを搭載したこれらのVMは、A3 VMと比較して、GPU間のネットワーク帯域幅が2倍向上しています。

さらに、Google CloudはCloud TPU v5pでSparseCoreを導入しました。これは、埋め込み操作のハードウェアアクセラレーションを提供し、レコメンデーションシステムのパフォーマンスを向上させます。

LLMの推論を強化するために、Google CloudはJetStreamにKVキャッシュの量子化とRagged Attentionカーネルも導入し、Cloud TPU v5eでの推論パフォーマンスを最大2倍向上させました。

これらのアップデートにより、Google Cloudは、パフォーマンスと費用対効果の高いインフラストラクチャを提供することで、組織がAIの取り組みを加速できるように引き続き支援します。最適化されたハードウェアとソフトウェア、そして包括的なリソースに重点を置くことで、AI Hypercomputerは、AIの力を活用しようとする企業にとって魅力的なソリューションとなっています。