OTF Talk 第9回は、”やっさん”こと、永富安和さんに、Icebergのカタログ周りやPolaris Catalogについてお話をうかがいました。

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。

Icebergにとってのカタログの位置づけ/Polaris Catallog/OSS化の動きと意義/Iceberg REST API 仕様を内包する動き

guest： @yassan168 (永富 安和)

マイクロアド シニアエンジニア

host: @simosako (下佐粉 昭)

AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。

※感想は #OTFTalk でポストいただけると励みになります。

※発言は各個人のものであり、所属組織を代表するものではありません。

参考文献）

日本のOTFコミュニティ OTFSG https://otfsg-tokyo.connpass.com/

Rancher ユーザー会 (やっさんが管理者のコミュニティ) https://rancherjp.connpass.com/

Cloudera Evolve 24 Singapopre

https://www.cloudera.com/events/evolve/singapore.html

Cloudera社によるデータカタログと Iceberg REST Catalog 統合のPR https://prtimes.jp/main/html/rd/p/000000014.000124537.html

Apache Porlris (Polaris Catalog)

https://polaris.apache.org/

Polaris のOSS化アナウンス (Snowflake)

https://www.snowflake.com/en/blog/polaris-catalog-open-source/

Polaris の解説 (Alex Merced)

https://www.linkedin.com/pulse/understanding-polaris-iceberg-catalog-its-alex-merced-es6ac/

Apache Polaris と OSS Unity Catalogとの比較 (OSS Insight)

https://ossinsight.io/analyze/apache/polaris?vs=unitycatalog%2Funitycatalog

Rest Comatibikity Kit (RCK) の追加(プルリクエスト) https://github.com/apache/iceberg/pull/10908

HiveにIceberg REST catalogを追加する(プルリクエスト) https://github.com/apache/hive/pull/5145

Iceberg Spec V3 Enctyption https://github.com/orgs/apache/projects/393/views/1

IcebegのRangerサポートのIssue https://github.com/apache/iceberg/issues/3619

OTF Talk #5 Deltaleke UniForm

https://www.otftalk.com/2024/08/ep02.html

IcebergのAES GCM Stream file format extension (Spec) https://iceberg.apache.org/gcm-stream-spec/

Open Policy Agent (OPA) https://www.openpolicyagent.org/