OTF Talk

OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg)

guest：鯵坂 明さん @ajis_ka

AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

Apache PMC (Project Management Committee)

https://www.apache.org/dev/pmc.html

Apache Ozone

https://ozone.apache.org/

AWS Glue

https://aws.amazon.com/jp/glue/

Hudiのログメッセージ改善Pull Request

https://github.com/apache/hudi/pull/9577

Icebergのコメント対応Pull Request

https://github.com/apache/iceberg/pull/10199

OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ

guest：鯵坂 明さん @ajis_ka

AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

Apache PMC (Project Management Committee)

https://www.apache.org/dev/pmc.html

Apache Ozone

https://ozone.apache.org/

AWS Glue

https://aws.amazon.com/jp/glue/

Hudiのログメッセージ改善Pull Request

https://github.com/apache/hudi/pull/9577

Icebergのコメント対応Pull Request

https://github.com/apache/iceberg/pull/10199

OTF Talk 第14回は、ケビンさんに、Apache Iceberg The Definitive Guide 輪読会と、その輪読会での学習内容であるIceberg概要やIcebergのパフォーマンス最適化についてお話をうかがいます。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

輪読会を運営中/なぜSnowflakeコミュニティがIcebergの勉強会を？/第1章：Icebergとは何か/第4章：パフォーマンス

guest： @kevinrobot34 (ケビン)

ナウキャスト　データプラットフォームエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

SnowflakeのIcebergサポート (Snowflakeドキュメント)

https://docs.snowflake.com/en/release-notes/2024/other/2024-06-10-iceberg-tables

Apache Iceberg: The Definitive Guide

https://www.amazon.co.jp/dp/B0CZ4F2MP3

輪読会発表資料：1章　前田さん

https://drive.google.com/file/d/1a7J1OJustb5125KT6s2HkAqtzuifJvNT/view

輪読会発表資料：4章前半　※ケビンさん

https://speakerdeck.com/kevinrobot34/apache-iceberg-the-definitive-guide-ch4

輪読会発表資料：4章後半　※島尻さん

https://speakerdeck.com/rshimajiri/apache-iceberg-the-definitive-guide-lun-du-hui-4zhang-optimizing-the-performance-of-iceberg-tables-hou-ban

Bloom filter (Wikipedia)

https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AB%E3%83%BC%E3%83%A0%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF

OTF Talk 第13回はケビンさんに、DWH利用者からみた、Apache Icebergの魅力についてお話を伺いました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

SnowflakeのIceberg対応/Icebergの学習を通してDWHの内部を想像する/DWHとIcebergの使いわけ

guest： @kevinrobot34 (ケビン)

ナウキャスト　データプラットフォームエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

SnowflakeのIcebergサポート (Snowflakeドキュメント)

https://docs.snowflake.com/en/release-notes/2024/other/2024-06-10-iceberg-tables

Apache Iceberg: The Definitive Guide

https://www.amazon.co.jp/dp/B0CZ4F2MP3

輪読会発表資料：1章　前田さん

https://drive.google.com/file/d/1a7J1OJustb5125KT6s2HkAqtzuifJvNT/view

輪読会発表資料：4章前半　※ケビンさん

https://speakerdeck.com/kevinrobot34/apache-iceberg-the-definitive-guide-ch4

輪読会発表資料：4章後半　※島尻さん

https://speakerdeck.com/rshimajiri/apache-iceberg-the-definitive-guide-lun-du-hui-4zhang-optimizing-the-performance-of-iceberg-tables-hou-ban

Bloom filter (Wikipedia)

https://ja.wikipedia.org/wiki/%E3%83%96%E3%83%AB%E3%83%BC%E3%83%A0%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF

OTF Talk 第12回は、Starburst の 蛯原 裕弥 さんに、OTF(Iceberg, Delta lake)をサポートするTrinoのコネクタについて、概要やその実装方法についてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Trinoコネクタの役割/Icebergコネクタ/Trino+コネクタの特徴/Delta lakeコネクタ/Delta kernelを使っていない理由

guest： @ebyhr (蛯原 裕弥)

Starburst Engineer / Trino, Apache Polaris committer

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

--------------------

参考文献）

Starburst

https://www.starburst.io/

Apache Polaris

https://polaris.apache.org/

Presto

https://prestodb.github.io/

Trino

https://trino.io/

Write-Audit-Publish (WAP)解説 (Tabular)

https://www.tabular.io/apache-iceberg-cookbook/data-engineering-write-audit-publish/

蛯原さんのWrite-Audit-Publish (WAP)の実装のための活動(pull request)

https://github.com/trinodb/trino/pull/23513

誤った統計情報を読み取った場合の挙動についてのpull request

https://github.com/apache/iceberg/pull/8559

Delta kernel

https://delta.io/blog/delta-kernel/

OTF Talk 第11回は、Starburst の 蛯原 裕弥 さんに、OTFのデータをクエリする際によく利用されている分散SQLエンジンであるPresto/Trinoの成り立ちや、Trinoのフェデレーション機能と各種コネクタについてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

PrestoとTrinoの成り立ち/Trinoの特徴/フェデレーション機能とコネクタ/実装はどこが担うのか

guest： @ebyhr (蛯原 裕弥)

Starburst Engineer / Trino, Apache Polaris committer

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

Starburst

https://www.starburst.io/

Apache Polaris

https://polaris.apache.org/

Presto

https://prestodb.github.io/

Trino

https://trino.io/

Write-Audit-Publish (WAP)解説 (Tabular)

https://www.tabular.io/apache-iceberg-cookbook/data-engineering-write-audit-publish/

蛯原さんのWrite-Audit-Publish (WAP)の実装のための活動(pull request)

https://github.com/trinodb/trino/pull/23513

誤った統計情報を読み取った場合の挙動についてのpull request

https://github.com/apache/iceberg/pull/8559

Delta kernel

https://delta.io/blog/delta-kernel/

OTF Talk 第10回は、”やっさん”こと、永富安和さんに、Icebergのセキュリティ（暗号化等）の動きや、検討されている機能追加についてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Icebergとセキュリティ/暗号化/アクセス制御/どこまでスペックにいれるべきか？/その他検討されている機能/OTFSGへの参加お待ちしております

guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/

Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/

Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html

Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html

Apache Porlris (Polaris Catalog)

https://polaris.apache.org/

Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/

Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/

Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog

Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908

HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145

Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619

OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html

IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/

OTF Talk 第9回は、”やっさん”こと、永富安和さんに、Icebergのカタログ周りやPolaris Catalogについてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Icebergにとってのカタログの位置づけ/Polaris Catallog/OSS化の動きと意義/Iceberg REST API 仕様を内包する動き

guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/

Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/

Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html

Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html

Apache Porlris (Polaris Catalog)

https://polaris.apache.org/

Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/

Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/

Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog

Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908

HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145

Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619

OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html

IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/

OTF Talk 第8回は、”やっさん”こと、永富安和さんに、日本のOTFコミュニティであるOTFSGや、シンガポールで開催されたIceberg meet-upでの話題についてお話を伺いました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

日本のコミュニティOTFSG/Cloudera Evolve 2024 Singapore/Iceberg Meetupでの今後の方向性/

guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/

Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/

Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html

Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html

Apache Porlris (Polaris Catalog)

https://polaris.apache.org/

Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/

Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/

Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog

Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908

HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145

Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619

OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html

IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/

OTF Talk 第7回は、AWS Glue プロダクトチームの関山 宜孝さんをゲストに、OTFのユースケースである、個人情報保護対応のためのデータ更新・削除についてお話をうかがいました。

※今回は録音環境に問題があったため、ゲストの声が聴きづらくなっています。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

個人情報を消したい・マスクしたいというニーズ/なぜ実現困難だったのか/OTF でどう実現できるのか/削除とトランザクション/本当に消す必要があるのか/事例

guest： @moomindani (関山 宜孝)

AWS Glue product team 所属の Principal Big Data Architect

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献)

Iceberg のChangelog View解説（べりんぐさんのブログ）

https://bering.hatenadiary.com/entry/2024/03/31/150946

OSSのCDCツール Debezium https://debezium.io/

データベースをCDCでApache Icebergに反映するサンプル構成 (AWS Blog)

https://aws.amazon.com/jp/blogs/big-data/implement-a-cdc-based-upsert-in-a-data-lake-using-apache-iceberg-and-aws-glue/

メダリオンアーキテクチャ (databricks)

https://www.databricks.com/jp/glossary/medallion-architecture

EUの一般データ保護規則(GDPR) https://www.ppc.go.jp/enforcement/infoprovision/EU/

日本の改正個人情報保護法 https://www.ppc.go.jp/news/kaiseihou_feature/

Yahoo! Japan 事例 「Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話」

https://techblog.yahoo.co.jp/entry/2022052530303179/