EP 63. 直播回放：什么是开发大模型应用的新一代底层技术栈？对谈贾扬清，PingCAP黄东旭和AWS核心AI产品研发

我们回来了！2024年转眼就剩下不到两周了，接下来要努力了！这一期是10月一场直播的录制。AI时代日新月异，最近几个月 windsurf, Devin 一众 AI 软件开发工具不断刷新我们对于软件开发范式的认知。这一期对于更底层 AI native 软件技术栈的讨论，仍然不过时。

Hello World, who is OnBoard!?

随着 GPT, Claude 等大模型的出现和迅速演进，AI 应用开发进入了全新的阶段。传统的软件开发流程正在被重新审视，新的开发框架、数据存储方式和调试方法层出不穷。这次的嘉宾，在软件技术栈的各个领域都可谓重磅。

Andy Peng 是AWS 生成式AI核心产品 Bedrock 的核心成员，负责AWS上Anthropic 一系列重要 API 的同时，他也是 Linux Foundation 和 Cloud Native Computing Foundation (CNCF) 的重要成员，从云计算、分布式系统到AI 技术设施，都是绝对的一线专家。

Dongxu 是我们的返厂嘉宾，开源数据库PingCAP的创始人兼CTO，本次的的话题也是受到他的一条朋友圈启发：围绕AI的应用开发，会对整个软件开发范式，包括开发框架、数据存储和处理方式、观测性工程和质量体系等等，带来怎样的变化？

另一位返厂嘉宾也是绝对的大牛，Lepton AI 创始人 CEO贾扬清, 从 Google Brain 到 Facebook AI 到阿里巴巴，作为 Caffee2, Pytorch 的核心元老，到创立Lepton AI，致力打造 AI cloud，又看到整个AI开发生态有怎样的演进？有什么可以从上一代 AI infra 发展中可以参考的变与不变？

这次讨论的话题需要一些技术基础知识，另外，嘉宾长期在海外工作生活，夹杂英文在所难免，不接受抱怨，欢迎评论区提出新的问题和观点。Enjoy!

嘉宾介绍

• 贾扬清，Lepton AI 创始人 & CEO，ex-Facebook AI, Google Brain, 阿里云副总裁, 深度学习框架 Caffe 和 ONNX 的创建者之一
• Andy Peng, AWS Bedrock 核心成员，Cloud Native Computing Foundation (CNCF) Ambassador
• 黄东旭，PingCAP 联合创始人兼 CTO，分布式数据库 TiDB 作者。
• OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

03:05 嘉宾自我介绍，最近关注到的 AI 相关产品：DSPy, 快手可灵，Anthropic Artifacts

12:08 开发基于大模型的应用，为什么需要不一样的技术栈？

18:45 为什么上一波 AI 的API商业模式不work, 这一次 Model as a service 的API业务会有什么异同？

25:26 过去一年，应用开发工具有哪些重要变化？未来更复杂的应用还有哪些需求？

33:35 AutoGPT 启发了 RAG？Agent 的实际落地情况怎样？

35:13 AI 应用为什么会重构 Kubernetes 的资源调度方式？

40:08 多模态和非结构化数据的增加，会对 Infra 和开发工具有哪些新的需求？对于现在的 data infra 公司意味着什么？

51:15 AI 应用需要怎样新的可观测性体系？

61:43 AI 和RAG系统中的搜索，与传统搜索有哪些异同？

64:47 Agentic workflow 会对应用开发技术栈带来哪些新的需求？现在做工具“抽象化”还太早了吗？

70:56 变革中，新的定义如何产生？为什么很多概念定义都是在美国诞生的？

73:18 这一系列变化中，有哪些是新玩家的新机会？哪些适合现有玩家做改良？

76:58 做一个开发工具，如何决定是否要开源？

78:41 多模态实时交互会对开发技术栈带来哪些新的挑战？

81:12 如何判断哪些开源项目可以做商业化？

85:45 我们需要单独的向量索引吗？VectorDB 有多少机会会被现有数据库公司占据？

93:43 未来技术选型的决策会由AI来做吗？软件开发会变成标品吗？

95:40 云厂商和大模型提供商之间是相互竞争的吗？

99:22 端侧模型和云端部署模型之间是怎样的关系？未来的格局会有什么变化？

104:21 未来1-3年，期待 infra 领域还有哪些变化？

109:51 嘉宾的产品未来还有哪些重要计划！

我们提到的公司

• LangChain: www.langchain.com - 一个用于开发语言模型应用程序的框架。
• LlamaIndex: gpt-index.readthedocs.io - 一个用于 LLM 应用程序的数据框架。
• Databricks: www.databricks.com （可能是指他们的模型服务和优化基础设施）
• Anyscale: www.anyscale.com一个用于构建和部署 Ray 应用程序的平台，通常用于扩展机器学习工作负载。
• Mosaic: www.mosaicml.com一个用于高效、可扩展地训练大型 AI 模型的平台。
• Modal: modal.com一个用于构建和部署机器学习模型的平台。
• Vercel: vercel.com一个用于前端框架和无服务器函数的平台。
• Guardrails: shreyar.github.io - 一个用于为 LLM 应用程序添加安全性和可靠性的开源库。
• SQLite: www.sqlite.org一个轻量级的、基于文件的数据库。
• DSPy: github.com -  一个用于构建 LLM 应用的框架，
• Factory.ai: factory.ai
• LiveKit: livekit.io - 一个用于构建和扩展实时音频和视频体验的开源基础设施。
• Dify: dify.ai -  一个用于视觉化构建 LLM 应用的平台，提供可视化界面和 workflow 编排功能。
• AWS Bedrock: aws.amazon.com -  AWS Bedrock 让你能够通过 API 访问和使用来自不同提供商的各种强大的基础模型。
• AWS App Studio: aws.amazon.com -  AWS App Studio 简化了在 AWS 云上构建、部署和扩展 Web 应用程序的流程。
• Phidata: www.phidata.com -  Phidata 帮助你构建实时数据管道和应用程序，处理和分析流式数据。
• NPI AI: www.npi.ai - The best tool for AI taking action.
• Unstructured.io: unstructured.io -  Unstructured.io 帮助你从各种类型的文档和数据中提取有价值的信息，例如文本、图像和表格。
• Datalogy: https://www.datologyai.com/ -  自动生成和管理训练数据集。
• Rockset: rockset.com -  Rockset 提供了一个实时分析数据库，用于构建需要快速查询和分析数据的应用程序。
• Anthropic Artifact: Anthropic Artifact 是一系列专注于安全性和可靠性的 LLM，可用于各种任务，例如对话生成和文本摘要。
• AutoGPT: github.com -  AutoGPT 是一个实验性项目，旨在探索如何使用 LLM 来自动执行任务和目标。
• artificialanalysis.com -  Artificialanalysis.com 提供了工具和资源来帮助你评估和比较不同的 LLM。
• GraphRAG: github.com -  GraphRAG 将知识图谱与 LLM 相结合，以提供更准确和全面的信息检索和生成。
• vLLM: github.com -  vLLM 帮助你更高效地在各种硬件上部署和运行 LLM 推理。
• PGvector: