OTF Talk

OTF Talk 第6回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユースケースの１つであるCDC (Change Data Capture)の活用についてお話をうかがいました。

※今回は録音環境に問題があったため、ゲストの声が聴きづらくなっています。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

RDBをリアルタイムにdata lakeに連携したい/CDC (Change Data Capture)/なぜ実現困難だったのか/Upsertとトランザクション/データレイクをデータソースにする

guest： @moomindani (関山 宜孝)

AWS Glue product team 所属の Principal Big Data Architect

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

Iceberg のChangelog View解説（べりんぐさんのブログ）

https://bering.hatenadiary.com/entry/2024/03/31/150946

OSSのCDCツール Debezium https://debezium.io/

データベースをCDCでApache Icebergに反映するサンプル構成 (AWS Blog)

https://aws.amazon.com/jp/blogs/big-data/implement-a-cdc-based-upsert-in-a-data-lake-using-apache-iceberg-and-aws-glue/

メダリオンアーキテクチャ (databricks)

https://www.databricks.com/jp/glossary/medallion-architecture

EUの一般データ保護規則(GDPR) https://www.ppc.go.jp/enforcement/infoprovision/EU/

日本の改正個人情報保護法 https://www.ppc.go.jp/news/kaiseihou_feature/

Yahoo! Japan 事例 「Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話」

https://techblog.yahoo.co.jp/entry/2022052530303179/

OTF Talk 第5回は、AWSの田中 智大さんをゲストに Delta Lake UniForm (Universal Format) についてと、カンファレンスに登壇する意義についてお話を伺いました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Data + AI Summit で登壇/UniForm (Universal Format)ってなに？/UniFormの仕組みと、活用領域/ カンファレンスに登壇するモチベーション/物理的に会ったあとに何が変わったか

guest：Tomohiro Tanaka (Linkedin https://www.linkedin.com/in/ttomtan/)

AWSのシニア・クラウドサポートエンジニア(Bigdata profile)

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

Apache Iceberg Github https://github.com/apache/iceberg

田中さんの最初のPull Request https://github.com/apache/iceberg/pull/3468

Icebergプロジェクトのコントリビューター https://github.com/apache/iceberg/graphs/contributors

Good first issue https://goodfirstissue.dev/

Apache Iceberg の中でOpenになっているProject https://github.com/apache/iceberg/projects?query=is%3Aopen

Data + AI Summit での田中さん発表

Recording https://www.databricks.com/dataaisummit/session/delivering-portability-open-data-lakes-delta-lake-uniform

YouTube https://www.youtube.com/watch?v=lIOLzX2bVdg

UniForm (Universal Format) の日本語解説 (Databricks) https://www.databricks.com/jp/blog/delta-lake-universal-format-uniform-iceberg-compatibility-now-ga

UniFormドキュメント https://docs.delta.io/latest/delta-uniform.html

OTF Talk 第4回は、AWSの田中 智大 (tomtan) さんをゲストに、Apache Iceberg へのコントリビューションの経験や、Icebergコミュニティについてお話を伺いました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Apache Iceberg との出会い/はじめてのコントリビューション/どうすれば貢献できる?/Good first issue/Iceberg コミュニティ

guest：Tomohiro Tanaka (Linkedin https://www.linkedin.com/in/ttomtan/)

AWSのシニア・クラウドサポートエンジニア(Bigdata profile)

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

Apache Iceberg Github https://github.com/apache/iceberg

田中さんの最初のPull Request https://github.com/apache/iceberg/pull/3468

Icebergプロジェクトのコントリビューター https://github.com/apache/iceberg/graphs/contributors

Good first issue https://goodfirstissue.dev/

Apache Iceberg の中でOpenになっているProject https://github.com/apache/iceberg/projects?query=is%3Aopen

Data + AI Summit での田中さん発表

Recording https://www.databricks.com/dataaisummit/session/delivering-portability-open-data-lakes-delta-lake-uniform

YouTube https://www.youtube.com/watch?v=lIOLzX2bVdg

UniForm (Universal Format) の日本語解説 (Databricks) https://www.databricks.com/jp/blog/delta-lake-universal-format-uniform-iceberg-compatibility-now-ga

UniFormドキュメント https://docs.delta.io/latest/delta-uniform.html

AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。第3回は「OTFのこれから」として、OTFに今後期待されていることや、カタログの重要性、データエンジン以外からのアクセスについてお話を伺いました。

OTFに期待されること/相互運用性/カタログの重要性/データエンジン以外からのアクセス

guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

■全般

べりんぐさんブログでのOTFへの全般的な解説

https://bering.hatenadiary.com/entry/2023/07/17/235246

Iceberg, Hudi, Delta Lakeの比較記事

※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

■ Apache Iceberg

ホームページ https://iceberg.apache.org/

べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953

Iceberg: a fast table format for S3

当時Netflix所属のRyan BlueがIcebergをどんなモチベーションで作ったかを語るもの(2018年）

https://www.youtube.com/watch?v=nWwQMlrjhy0

Iceberg Summit 2024動画リスト。様々な企業のIceberg活用事例や技術的トピック多数

https://www.youtube.com/playlist?list=PLkifVhhWtccxBSrKFPXOmjAFFEpeYii5K

■ Apache Hudi

ホームページ https://hudi.apache.org/

Uber Blog: Hudi開発の背景 https://www.uber.com/en-JP/blog/hoodie/

Yahoo! Japan:Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

データレイク上のデータ削除の必要性と、どのようにしてHudiを活用しているかを解説

https://techblog.yahoo.co.jp/entry/2022052530303179/

■ Delta Lake

ホームページ https://delta.io/

DataBricks社のkitaokaさんによる解説 https://ktksq.hatenablog.com/entry/deltalake

Databricks社による Data+AI Summit 2024 / Data lake house 関連の動画リスト

※Delta Lake はDatabricks社によって開発がリードされていることもあり、Databricks社のイベント "Data + AI Summit"で色々な発表が行われることが多いです。以下はその一部で、Data lake house関連のリストです。

https://www.youtube.com/watch?v=31BQwOiR260&list=PLTPXxbhUt-YW18S6p5wNu1SJxoF24S_UB

AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。第2回は「OTFの今」として、Iceberg, Hudi, Delta Lakeといった３種類のOTF、およびその機能の概要についてお話を伺いました。

Iceberg, Hudi, Delta Lake/OTFの機能/ストレージと処理系の分離/ACIDトランザクション

guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

■全般

べりんぐさんブログでのOTFへの全般的な解説

https://bering.hatenadiary.com/entry/2023/07/17/235246

Iceberg, Hudi, Delta Lakeの比較記事

※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

■ Apache Iceberg

ホームページ https://iceberg.apache.org/

べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953

Iceberg: a fast table format for S3

当時Netflix所属のRyan BlueがIcebergをどんなモチベーションで作ったかを語るもの(2018年）

https://www.youtube.com/watch?v=nWwQMlrjhy0

Iceberg Summit 2024動画リスト。様々な企業のIceberg活用事例や技術的トピック多数

https://www.youtube.com/playlist?list=PLkifVhhWtccxBSrKFPXOmjAFFEpeYii5K

■ Apache Hudi

ホームページ https://hudi.apache.org/

Uber Blog: Hudi開発の背景 https://www.uber.com/en-JP/blog/hoodie/

Yahoo! Japan:Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

データレイク上のデータ削除の必要性と、どのようにしてHudiを活用しているかを解説

https://techblog.yahoo.co.jp/entry/2022052530303179/

■ Delta Lake

ホームページ https://delta.io/

DataBricks社のkitaokaさんによる解説 https://ktksq.hatenablog.com/entry/deltalake

Databricks社による Data+AI Summit 2024 / Data lake house 関連の動画リスト

※Delta Lake はDatabricks社によって開発がリードされていることもあり、Databricks社のイベント "Data + AI Summit"で色々な発表が行われることが多いです。以下はその一部で、Data lake house関連のリストです。

https://www.youtube.com/watch?v=31BQwOiR260&list=PLTPXxbhUt-YW18S6p5wNu1SJxoF24S_UB

AWSの疋田さんをゲストに、OTF (Open Table Format) 入門と題して3回にわたってお話を伺いました。第1回は「OTF誕生の背景」として、データレイク上の分析にどういった課題があって、それらを解決するためにOTFが生まれてきた背景を解説していただきました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

データレイクとは/なぜOTFが現れたか/Netflx:60PBのデータレイクでの運用・利用の課題/何が課題だったか、何を解決したのか/Uber: バッチとストリーミングの統合

guest: @_Bassari (疋田 宗太郎/べりんぐ)

AWSで金融のお客様を担当するソリューションアーキテクト。余暇はOTF/Iceberg関連の技術を探求中。

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

■全般

べりんぐさんブログでのOTFへの全般的な解説

https://bering.hatenadiary.com/entry/2023/07/17/235246

Iceberg, Hudi, Delta Lakeの比較記事

※記事はDremio社によるものです。DremioはIcebergにコミットしている企業である事に留意してください。

https://www.dremio.com/blog/comparison-of-data-lake-table-formats-apache-iceberg-apache-hudi-and-delta-lake/

■ Apache Iceberg

ホームページ https://iceberg.apache.org/

べりんぐさんブログでのIcebergの解説 https://bering.hatenadiary.com/entry/2023/09/24/175953

Iceberg: a fast table format for S3

当時Netflix所属のRyan BlueがIcebergをどんなモチベーションで作ったかを語るもの(2018年）

https://www.youtube.com/watch?v=nWwQMlrjhy0

Iceberg Summit 2024動画リスト。様々な企業のIceberg活用事例や技術的トピック多数

https://www.youtube.com/playlist?list=PLkifVhhWtccxBSrKFPXOmjAFFEpeYii5K

■ Apache Hudi

ホームページ https://hudi.apache.org/

Uber Blog: Hudi開発の背景 https://www.uber.com/en-JP/blog/hoodie/

Yahoo! Japan:Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

データレイク上のデータ削除の必要性と、どのようにしてHudiを活用しているかを解説

https://techblog.yahoo.co.jp/entry/2022052530303179/

■ Delta Lake

ホームページ https://delta.io/

DataBricks社のkitaokaさんによる解説 https://ktksq.hatenablog.com/entry/deltalake

Databricks社による Data+AI Summit 2024 / Data lake house 関連の動画リスト

※Delta Lake はDatabricks社によって開発がリードされていることもあり、Databricks社のイベント "Data + AI Summit"で色々な発表が行われることが多いです。以下はその一部で、Data lake house関連のリストです。

https://www.youtube.com/watch?v=31BQwOiR260&list=PLTPXxbhUt-YW18S6p5wNu1SJxoF24S_UB