48 min
S8E10 | AI 喧嚣之下，数据双巨头的隐秘战争｜硅谷徐老师 What's Next｜科技早知道
-
- Technology
一提起 AI ，大家首先想到的可能是各大科技巨头在算力和算法上的抢夺和竞争。但是在算力和算法背后，另一场没有硝烟的战争也在持续升温，那就是 AI 数据公司之间的博弈。就在几天前，大数据存储和云计算领域内两家最有影响力的公司 Snowflake 和 Databricks 分别召开了他们的年度峰会。
在峰会上两家公司分别介绍了自家数据生态的发展方向以及如何为企业提供更好的AI数据服务。但是出乎意料的消息是，峰会期间 Databricks 宣布重金收购这个领域3大开源数据社区之一 Iceberg 背后的商业公司 Tabular, 这让两家数据巨头之间的关系更加剑拔弩张，Databricks 颇有后来者居上的势头。
这期节目的两位嘉宾都是在 AI 数据领域有着丰富的经验和洞察的从业者。他们刚刚从 Snowflake 和 Databricks 的峰会现场回来，为我们带来了数据AI、企业级AI的共识转变的一些观察和思考。
内容涉及大量英文专业名词，「声动活泼」公众号上也同步整理了本期节目的要点，如果你喜爱本期节目或对节目内容感到好奇，欢迎在微信搜索「声动活泼」查看 最新文章。
本期人物
丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播
硅谷徐老师，AI 高管、连续创业者、斯坦福客座讲师，小红书和微信视频号：硅谷徐老师 ｜公众号：硅谷云｜ YouTube： Byte into Future
堵俊平： Datastrato AI 创始人 CEO
Jack Song：Uber 数据平台工程总监，曾任 Airbnb 人工智能平台工程总监、Mastercard 数据和人工智能的技术副总裁
主要话题
[05:36] 从 Snowflake 和 Databricks 峰会看数据生态新趋势：AI for data 和 Open data catalog
[09:50 ] Open data catalog 大火 : 统一数据湖仓数据架构，为 AI 引擎和数据引擎承上启下
[13:53] 引擎多样化和数据管理需求驱动统一和独立的 open data catalog 生态
[19:28] Databricks 收购 Tabular：会继续拥抱中立还是与商业利益捆绑？
[23:14] Snowflakes 与 Databrick 暗暗较劲：Iceberg 社区会良性发展还是走向分裂？
[25:10] Databricks 管理 Apache 社区 : 开源社区走向商业化是社区良性发展的重要标志
[29:56] Databricks 营收增长迅猛：战斗力来自于其开源属性
[31:25] 从 data for AI 到 AI for data: GenAI 时代的数据服务新方向
[40:17] Semantic search (语义搜索）是 AI 与 data 相互整合的一个突破口
所涉部分术语
Snowflake
Snowflake 是一家成立于 2012 年的美国云原生数据仓库公司，于 2020 年上市。它的核心产品是云数据平台 Snowflake，该平台改变了传统的数据仓库架构，专为云环境设计，提供了高度可扩展、高性能的数据存储和处理能力。
Databricks
Databricks 成立于 2013 年，由开源大数据项目Apache Spark的创建者们成立，是一家提供大数据处理和分析平台的公司。自成立以来发展迅猛估值已超过 400 亿美元，但仍未上市。
Iceberg社区
Iceberg 社区是一个开源数据湖格式项目，iceberg 专为大数据分析而设计，其目标是简化数据湖的管理，使得数据工程师可以像操作数据库一样操作数据湖中的数据。Tabular 是 iceberg 背后的商业公司，本次 Databricks 对 Tabular 的收购引发了公众对于 iceberg 的开源和中立属性的担忧。
Delta Lake
Delta Lake 是一个由 Databricks 开发并开源的数据存储项目，致力于提升数据湖的管理能力和性能。 Delta Lake 与 Iceberg 存在潜在的竞争关系。
Hudi (Hadoop Upserts and Deletes Incrementally)
与 Iceberg 和 Delta lake 类似，Hudi 也是开源的数据湖社区，它旨在提供高效的大型数据集上的插入、更新和删除操作，同时保持数据湖的灵活性和规模。
Open data catalog
开放数据目录是专门面向
一提起 AI ，大家首先想到的可能是各大科技巨头在算力和算法上的抢夺和竞争。但是在算力和算法背后，另一场没有硝烟的战争也在持续升温，那就是 AI 数据公司之间的博弈。就在几天前，大数据存储和云计算领域内两家最有影响力的公司 Snowflake 和 Databricks 分别召开了他们的年度峰会。
在峰会上两家公司分别介绍了自家数据生态的发展方向以及如何为企业提供更好的AI数据服务。但是出乎意料的消息是，峰会期间 Databricks 宣布重金收购这个领域3大开源数据社区之一 Iceberg 背后的商业公司 Tabular, 这让两家数据巨头之间的关系更加剑拔弩张，Databricks 颇有后来者居上的势头。
这期节目的两位嘉宾都是在 AI 数据领域有着丰富的经验和洞察的从业者。他们刚刚从 Snowflake 和 Databricks 的峰会现场回来，为我们带来了数据AI、企业级AI的共识转变的一些观察和思考。
内容涉及大量英文专业名词，「声动活泼」公众号上也同步整理了本期节目的要点，如果你喜爱本期节目或对节目内容感到好奇，欢迎在微信搜索「声动活泼」查看 最新文章。
本期人物
丁教 Diane，「声动活泼」联合创始人、「科技早知道」主播
硅谷徐老师，AI 高管、连续创业者、斯坦福客座讲师，小红书和微信视频号：硅谷徐老师 ｜公众号：硅谷云｜ YouTube： Byte into Future
堵俊平： Datastrato AI 创始人 CEO
Jack Song：Uber 数据平台工程总监，曾任 Airbnb 人工智能平台工程总监、Mastercard 数据和人工智能的技术副总裁
主要话题
[05:36] 从 Snowflake 和 Databricks 峰会看数据生态新趋势：AI for data 和 Open data catalog
[09:50 ] Open data catalog 大火 : 统一数据湖仓数据架构，为 AI 引擎和数据引擎承上启下
[13:53] 引擎多样化和数据管理需求驱动统一和独立的 open data catalog 生态
[19:28] Databricks 收购 Tabular：会继续拥抱中立还是与商业利益捆绑？
[23:14] Snowflakes 与 Databrick 暗暗较劲：Iceberg 社区会良性发展还是走向分裂？
[25:10] Databricks 管理 Apache 社区 : 开源社区走向商业化是社区良性发展的重要标志
[29:56] Databricks 营收增长迅猛：战斗力来自于其开源属性
[31:25] 从 data for AI 到 AI for data: GenAI 时代的数据服务新方向
[40:17] Semantic search (语义搜索）是 AI 与 data 相互整合的一个突破口
所涉部分术语
Snowflake
Snowflake 是一家成立于 2012 年的美国云原生数据仓库公司，于 2020 年上市。它的核心产品是云数据平台 Snowflake，该平台改变了传统的数据仓库架构，专为云环境设计，提供了高度可扩展、高性能的数据存储和处理能力。
Databricks
Databricks 成立于 2013 年，由开源大数据项目Apache Spark的创建者们成立，是一家提供大数据处理和分析平台的公司。自成立以来发展迅猛估值已超过 400 亿美元，但仍未上市。
Iceberg社区
Iceberg 社区是一个开源数据湖格式项目，iceberg 专为大数据分析而设计，其目标是简化数据湖的管理，使得数据工程师可以像操作数据库一样操作数据湖中的数据。Tabular 是 iceberg 背后的商业公司，本次 Databricks 对 Tabular 的收购引发了公众对于 iceberg 的开源和中立属性的担忧。
Delta Lake
Delta Lake 是一个由 Databricks 开发并开源的数据存储项目，致力于提升数据湖的管理能力和性能。 Delta Lake 与 Iceberg 存在潜在的竞争关系。
Hudi (Hadoop Upserts and Deletes Incrementally)
与 Iceberg 和 Delta lake 类似，Hudi 也是开源的数据湖社区，它旨在提供高效的大型数据集上的插入、更新和删除操作，同时保持数据湖的灵活性和规模。
Open data catalog
开放数据目录是专门面向
48 min