OTF Talk

Akira Shimosako
OTF Talk

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 (host: @simosako) https://www.otftalk.com/

  1. 3天前

    #22 Delta Lake 実践事例

    OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。 Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest：@kuwa_tw Databricks ソリューションアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/delta/index.html Delta Lakeクイックスタートガイド (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/345f503d5f8177084f24 Deltaテーブルにおけるリキッドクラスタリングの活用 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 楽観的なトランザクション管理 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 Databricks 事例（株式会社リクルート） https://www.databricks.com/sites/default/files/2023-03/customer_story_recruit_ja_jp_2.pdf

    19 分钟

  2. 12月17日

    #21 Delta Lake 入門

    OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。 Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest：@kuwa_tw Databricks ソリューションアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/delta/index.html Delta Lakeクイックスタートガイド (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/345f503d5f8177084f24 Deltaテーブルにおけるリキッドクラスタリングの活用 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 楽観的なトランザクション管理 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 Databricks 事例（株式会社リクルート） https://www.databricks.com/sites/default/files/2023-03/customer_story_recruit_ja_jp_2.pdf

    21 分钟

  3. 12月10日

    #20 Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（後編）

    OTF Talk 第20回は、joker1007さんに「Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（後編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Hudiを選択した背景/検証環境/インデックス設定による変化/結果と考察 guest：@joker1007 Repro チーフアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） joker1007さんXアカウント https://x.com/joker1007 Repro https://repro.io/ 更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて (joker1007さんによるHudi解説) https://tech.repro.io/entry/2024/07/26/141233 本番のトラフィック量でHudiを検証して見えてきた課題 (otfst_tokyo #4 でのjoker1007さん登壇資料) https://speakerdeck.com/joker1007/ben-fan-notorahuitukuliang-dehudiwojian-zheng-sitejian-etekitake-ti Apache HudiのMerge on Readテーブルのパフォーマンス特性とチューニングについて(上記資料の解説ブログ) https://tech.repro.io/entry/2024/10/28/170721

    28 分钟

  4. 12月3日

    #19 Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（前編）

    OTF Talk 第19回はjoker1007さんに、「Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（前編）」についてお話をうかがいました。 既存システムとその特性/将来に向けて解消したい課題/OTF(Hudi)に着目した理由 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 guest：@joker1007 Repro チーフアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） joker1007さんXアカウント https://x.com/joker1007 Repro https://repro.io/ 更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて (joker1007さんによるHudi解説) https://tech.repro.io/entry/2024/07/26/141233 本番のトラフィック量でHudiを検証して見えてきた課題 (otfst_tokyo #4 でのjoker1007さん登壇資料) https://speakerdeck.com/joker1007/ben-fan-notorahuitukuliang-dehudiwojian-zheng-sitejian-etekitake-ti Apache HudiのMerge on Readテーブルのパフォーマンス特性とチューニングについて(上記資料の解説ブログ) https://tech.repro.io/entry/2024/10/28/170721

    20 分钟

  5. 11月26日

    #18 LINEヤフーにおけるHiveからIcebergへの移行（後編）

    第18回：LINEヤフーにおけるHiveからIcebergへの移行（後編） OTF Talk 第18回は、奥田さんに「LINEヤフーにおけるHiveからIcebergへの移行（後編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Iceberg導入のモチベーション/HiveからIcebergへインプレースでの移行/一部移行した感触/ユーザーコミュニケーションの重要性 guest：奥田 輔さん @okdtsk LINEヤフー データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LINEのデータプラットフォームが目指すべき未来 ※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。 https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for Protocol Buffers https://github.com/protocolbuffers/protobuf

    25 分钟

  6. 11月19日

    #17 LINEヤフーにおけるHiveからIcebergへの移行（前編）

    OTF Talk 第17回は奥田さんに、「LINEヤフーにおけるHiveからIcebergへの移行（前編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Cloudera Evolve 2024での登壇/HDFSで900PB超のデータ基盤/現状の構成と課題/なぜApache Iceberg? guest：奥田 輔さん @okdtsk LINEヤフー データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LINEのデータプラットフォームが目指すべき未来 ※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。 https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for Protocol Buffers https://github.com/protocolbuffers/protobuf

    21 分钟

  7. 11月12日

    #16 AWS GlueのOTFサポート

    OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) guest：鯵坂 明さん @ajis_ka AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.com/apache/hudi/pull/9577 Icebergのコメント対応Pull Request https://github.com/apache/iceberg/pull/10199

    20 分钟

  8. 11月5日

    #15 Apache Hadoopから見たOTF

    OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ guest：鯵坂 明さん @ajis_ka AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.com/apache/hudi/pull/9577 Icebergのコメント対応Pull Request https://github.com/apache/iceberg/pull/10199

    20 分钟
查看全部 22 集

关于

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 (host: @simosako) https://www.otftalk.com/

信息

  • 创作者
    Akira Shimosako
  • 活跃年份
    2024年
  • 单集
    22
  • 分级
    儿童适宜
  • 版权
    © Akira Shimosako
  • 节目网站
    OTF Talk

你可能还喜欢

若要收听包含儿童不宜内容的单集，请登录。

关注此节目的最新内容

登录或注册，以关注节目、存储单集，并获取最新更新。
选择国家或地区

非洲、中东和印度

亚太地区

欧洲

拉丁美洲和加勒比海地区

美国和加拿大