AWSは、Amazon S3バケット向けのクエリ可能なオブジェクトメタデータ(プレビュー)の導入を発表しました。この機能により、Athena、Redshift、QuickSight、SparkなどのIceberg互換ツールを使用して、S3バケット内のオブジェクトメタデータをクエリできます。これにより、キー、サイズ、タグなどの特定の基準に基づいてオブジェクトを検索できるようになるため、S3で大量のデータを管理するという課題に対処できます。この機能により、ユーザーはデータ分析、データ処理、AIトレーニングのワークフローを改善できます。この機能の興味深い側面は、S3オブジェクトが追加または変更されたときにリッチメタデータを自動的にキャプチャできることです。このメタデータは完全に管理されたApache Icebergテーブルに保存されるため、効率的なクエリが可能になります。これは、大規模なデータセットを保存するためにS3を使用し、それらのデータセット内で特定のオブジェクトを見つけるための効率的な方法を必要とする組織にとって特に役立ちます。この機能により、データの検出が簡素化され、全体的な効率が向上します。
Amazon S3バケット用のクエリ可能なオブジェクトメタデータ(プレビュー)
AWS