OTF Talk

Akira Shimosako
OTF Talk

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 (host: @simosako) https://www.otftalk.com/

  1. قبل ٣ أيام

    #22 Delta Lake 実践事例

    OTF Talk 第22回は、Databricksの桑野 章弘さんに「Delta Lake 実践事例」についてお話をうかがいました。 Delta Lake ユースケース/機械学習もDWHも同じ環境で/事例/Delta Lakeを選択した理由 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest：@kuwa_tw Databricks ソリューションアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/delta/index.html Delta Lakeクイックスタートガイド (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/345f503d5f8177084f24 Deltaテーブルにおけるリキッドクラスタリングの活用 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 楽観的なトランザクション管理 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 Databricks 事例（株式会社リクルート） https://www.databricks.com/sites/default/files/2023-03/customer_story_recruit_ja_jp_2.pdf

    ١٩ من الدقائق

  2. ١٦ جمادى الآخرة

    #21 Delta Lake 入門

    OTF Talk 第21回はDatabricksの桑野 章弘さんに、「Delta Lake 入門」についてお話をうかがいました。 Delta Lakeのはじまり/商用版とOSS版の違い/Delta Lake の特徴/楽観的なトランザクション管理/Unity Catalog OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 https://www.otftalk.com/ guest：@kuwa_tw Databricks ソリューションアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） 桑野さん Xアカウント https://x.com/kuwa_tw Databrics https://www.databricks.com/jp Delta Lakeとは？ (Databricksドキュメント) https://docs.databricks.com/ja/delta/index.html Delta Lakeクイックスタートガイド (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/345f503d5f8177084f24 Deltaテーブルにおけるリキッドクラスタリングの活用 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 楽観的なトランザクション管理 (Takaaki Yayoi) https://qiita.com/taka_yayoi/items/9e2e4a515419c5c805e1 Databricks 事例（株式会社リクルート） https://www.databricks.com/sites/default/files/2023-03/customer_story_recruit_ja_jp_2.pdf

    ٢١ من الدقائق

  3. ٩ جمادى الآخرة

    #20 Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（後編）

    OTF Talk 第20回は、joker1007さんに「Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（後編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Hudiを選択した背景/検証環境/インデックス設定による変化/結果と考察 guest：@joker1007 Repro チーフアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） joker1007さんXアカウント https://x.com/joker1007 Repro https://repro.io/ 更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて (joker1007さんによるHudi解説) https://tech.repro.io/entry/2024/07/26/141233 本番のトラフィック量でHudiを検証して見えてきた課題 (otfst_tokyo #4 でのjoker1007さん登壇資料) https://speakerdeck.com/joker1007/ben-fan-notorahuitukuliang-dehudiwojian-zheng-sitejian-etekitake-ti Apache HudiのMerge on Readテーブルのパフォーマンス特性とチューニングについて(上記資料の解説ブログ) https://tech.repro.io/entry/2024/10/28/170721

    ٢٨ من الدقائق

  4. ٢ جمادى الآخرة

    #19 Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（前編）

    OTF Talk 第19回はjoker1007さんに、「Apache Hudiを巨大トラフィックのシステムに導入しようと検証して得た知見（前編）」についてお話をうかがいました。 既存システムとその特性/将来に向けて解消したい課題/OTF(Hudi)に着目した理由 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 guest：@joker1007 Repro チーフアーキテクト host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考） joker1007さんXアカウント https://x.com/joker1007 Repro https://repro.io/ 更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて (joker1007さんによるHudi解説) https://tech.repro.io/entry/2024/07/26/141233 本番のトラフィック量でHudiを検証して見えてきた課題 (otfst_tokyo #4 でのjoker1007さん登壇資料) https://speakerdeck.com/joker1007/ben-fan-notorahuitukuliang-dehudiwojian-zheng-sitejian-etekitake-ti Apache HudiのMerge on Readテーブルのパフォーマンス特性とチューニングについて(上記資料の解説ブログ) https://tech.repro.io/entry/2024/10/28/170721

    ٢٠ من الدقائق

  5. ٢٤ جمادى الأولى

    #18 LINEヤフーにおけるHiveからIcebergへの移行（後編）

    第18回：LINEヤフーにおけるHiveからIcebergへの移行（後編） OTF Talk 第18回は、奥田さんに「LINEヤフーにおけるHiveからIcebergへの移行（後編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Iceberg導入のモチベーション/HiveからIcebergへインプレースでの移行/一部移行した感触/ユーザーコミュニケーションの重要性 guest：奥田 輔さん @okdtsk LINEヤフー データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LINEのデータプラットフォームが目指すべき未来 ※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。 https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for Protocol Buffers https://github.com/protocolbuffers/protobuf

    ٢٥ من الدقائق

  6. ١٧ جمادى الأولى

    #17 LINEヤフーにおけるHiveからIcebergへの移行（前編）

    OTF Talk 第17回は奥田さんに、「LINEヤフーにおけるHiveからIcebergへの移行（前編）」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 Cloudera Evolve 2024での登壇/HDFSで900PB超のデータ基盤/現状の構成と課題/なぜApache Iceberg? guest：奥田 輔さん @okdtsk LINEヤフー データグループ host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Cloudera Evolve 2024 https://www.cloudera.com/events/evolve/singapore.html LINEのデータプラットフォームが目指すべき未来 ※2021年の資料ですが、当時の基盤やデータサイズについて触れられています。 https://speakerdeck.com/line_developers/the-future-of-line-data-platform-we-are-aiming-for Protocol Buffers https://github.com/protocolbuffers/protobuf

    ٢١ من الدقائق

  7. ١٠ جمادى الأولى

    #16 AWS GlueのOTFサポート

    OTF Talk 第16回は、鯵坂さんに「AWS Glueの OTFサポート」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 AWS Glue概要/AWS GlueのOTFサポート/開発におけるOTFトピック(Hudi, Iceberg) guest：鯵坂 明さん @ajis_ka AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.com/apache/hudi/pull/9577 Icebergのコメント対応Pull Request https://github.com/apache/iceberg/pull/10199

    ٢٠ من الدقائق

  8. ٣ جمادى الأولى

    #15 Apache Hadoopから見たOTF

    OTF Talk 第15回は鯵坂さんに、「Apache Hadoopから見たOTF」についてお話をうかがいました。 OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 鯵坂さんとHadoopとの関わり/OTF環境で利用されるHadoopソフトウェア/OTF実装とHiveカタログ guest：鯵坂 明さん @ajis_ka AWS Glue サービスチーム シニアソフトウェアエンジニア / Hadoop PMC host: @simosako (下佐粉 昭) AWSのソリューションアーキテクト。 専門はデータレイク 、データウェアハウス。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 ※感想は #OTFTalk でポストいただけると励みになります。 ※発言は各個人のものであり、所属組織を代表するものではありません。 参考文献） Apache PMC (Project Management Committee) https://www.apache.org/dev/pmc.html Apache Ozone https://ozone.apache.org/ AWS Glue https://aws.amazon.com/jp/glue/ Hudiのログメッセージ改善Pull Request https://github.com/apache/hudi/pull/9577 Icebergのコメント対応Pull Request https://github.com/apache/iceberg/pull/10199

    ٢٠ من الدقائق
مشاهدة الكل (٢٢)

حول

OTF Talk は、OTF = Open Table Format の技術的な解説や最新トピック等を、ゲストをむかえてお話をうかがうPodcastです。 (host: @simosako) https://www.otftalk.com/

المعلومات

  • صناع العمل
    Akira Shimosako
  • سنوات النشاط
    ١٤٤٦ هـ
  • الحلقات
    ٢٢
  • التقييم
    ملائم
  • حقوق النشر
    © Akira Shimosako
  • موقع البرنامج على الويب
    OTF Talk

قد يعجبك أيضًا

للاستماع إلى حلقات ذات محتوى فاضح، قم بتسجيل الدخول.

اطلع على آخر مستجدات هذا البرنامج

قم بتسجيل الدخول أو التسجيل لمتابعة البرامج وحفظ الحلقات والحصول على آخر التحديثات.
تحديد بلد أو منطقة

أفريقيا والشرق الأوسط، والهند

آسيا والمحيط الهادئ

أوروبا

أمريكا اللاتينية والكاريبي

الولايات المتحدة وكندا