概要
AWSは8月21日、フルマネージドのデータ統合サービス「AWS Glue」の新ランタイム「AWS Glue 6.0」を一般提供開始したと発表した。最大の目玉は料金体系の見直しで、従来バージョンと比較して30%の値下げを実施した。あわせて、データレイクフォーマットとして急速に採用が広がっているApache Iceberg v3の全機能をサポートし、データレイクの構築・運用コストを大幅に削減できるとしている。
技術的な詳細
AWS Glue 6.0は、Apache Spark 4.1、Python 3.13、Scala 2.13を採用したモダナイズ済みのランタイムを基盤としている。Iceberg v3対応の目玉機能として、セミ構造化データ向けの新しい「VARIANT型」とそのシュレッディング（分割格納）機能が挙げられ、従来の文字列型カラムと比較して高速なクエリ読み取り性能を実現するという。このほか、GIS分析向けの地理情報型、IoTセンサーや金融取引データに適したナノ秒精度のタイムスタンプ、スキーマの互換性のない型変更にも対応する仕組みが追加された。
Spark 4.1側の改善としては、パイプライン開発の複雑さを軽減する宣言的パイプライン機能や、シリアライゼーションのオーバーヘッドを削減するArrowネイティブのPython UDFが搭載されている。またリアルタイムストリーミング処理では1桁ミリ秒台のレイテンシを実現するとしており、低遅延が求められるユースケースへの対応力を高めている。
移行方法
既存のAWS Glueユーザーは、AWS Glue Studioコンソールやジョブ設定の--glue-versionパラメータを6.0に指定するだけで新ランタイムへ切り替えられる。自動アップグレード機能も用意されており、比較的スムーズな移行が可能だとしている。料金引き下げとIceberg v3対応が同時に行われたことで、既にIcebergベースのデータレイク運用を検討している企業にとっては、移行を後押しする材料になりそうだ。