AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。第3回は「OTFのこれから」として、OTFに今後期待されていることや、カタログの重要性、データエンジン以外からのアクセスについてお話を伺いました。

OTFに期待されること/相互運用性/カタログの重要性/データエンジン以外からのアクセス

guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

■全般

べりんぐさんブログでのOTFへの全般的な解説

https://bering.hatenadiary.com/entry/2023/07/17/235246

Iceberg, Hudi, Delta Lakeの比較記事

※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

■ Apache Iceberg

ホームページ https://iceberg.apache.org/

べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953

Iceberg: a fast table format for S3

当時Netflix所属のRyan BlueがIcebergをどんなモチベーションで作ったかを語るもの(2018年）

https://www.youtube.com/watch?v=nWwQMlrjhy0

Iceberg Summit 2024動画リスト。様々な企業のIceberg活用事例や技術的トピック多数

https://www.youtube.com/playlist?list=PLkifVhhWtccxBSrKFPXOmjAFFEpeYii5K

■ Apache Hudi

ホームページ https://hudi.apache.org/

Uber Blog: Hudi開発の背景 https://www.uber.com/en-JP/blog/hoodie/

Yahoo! Japan:Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

データレイク上のデータ削除の必要性と、どのようにしてHudiを活用しているかを解説

https://techblog.yahoo.co.jp/entry/2022052530303179/

■ Delta Lake

ホームページ https://delta.io/

DataBricks社のkitaokaさんによる解説 https://ktksq.hatenablog.com/entry/deltalake

Databricks社による Data+AI Summit 2024 / Data lake house 関連の動画リスト

※Delta Lake はDatabricks社によって開発がリードされていることもあり、Databricks社のイベント "Data + AI Summit"で色々な発表が行われることが多いです。以下はその一部で、Data lake house関連のリストです。

https://www.youtube.com/watch?v=31BQwOiR260&list=PLTPXxbhUt-YW18S6p5wNu1SJxoF24S_UB