智涌多模

DjvuLee

探索多模态AI的前沿，解析复杂技术，洞见未来应用。

Episodes

  1. 11/04/2024

    [Google]AudioLM: 一种用于音频生成的语言建模方法

    一、概述AudioLM 是 Google Research 提出的一种新型音频生成框架，旨在生成具有长期一致性和高质量的音频。其核心思想是将音频映射到离散的 token 序列，并将音频生成转换为该表征空间中的语言建模任务。二、主要思路AudioLM 利用现有的音频 tokenizer 来平衡重建质量和长期结构之间的权衡，并提出了一种混合的 tokenization 方案，以实现这两个目标。* 语义 token: AudioLM 利用在音频上预训练的掩码语言模型的离散化激活来捕获长期结构，例如语音的语法和语义内容，以及钢琴音乐的和声和节奏。* 声学 token: AudioLM 使用 SoundStream 神经音频编解码器生成的离散码来实现高质量合成，捕获音频波形的细节。AudioLM 通过在大型原始音频波形语料库上进行训练，学会在给定简短提示的情况下生成自然且连贯的延续。当在...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    6 min

  2. 10/21/2024

    [DeepSeek]Janus: 解耦视觉编码以实现统一的多模态模型

    本文介绍了 Janus，一个统一的多模态理解和生成模型，其核心在于解耦视觉编码，以分别满足理解和生成任务的不同需求。重要观点和事实：* **多模态模型的趋势：**近年来，多模态大模型在理解和生成领域都取得了显著进展。研究人员致力于构建更强大、更通用的多模态模型，将理解和生成任务结合起来。* 现有统一模型的局限性： 传统的统一模型通常使用单一的视觉编码器来处理理解和生成任务，但这会导致两种任务之间产生冲突和权衡，尤其是在多模态理解方面表现不佳。* **Janus 的解决方案：**Janus 提出了解耦视觉编码的方案，为理解和生成任务分别引入两个独立的视觉编码路径，并通过相同的 Transformer 架构进行统一处理。Janus 的优势：1. 缓解冲突： 解耦视觉编码缓解了理解和生成任务对视觉编码器粒度需求不同的冲突，消除了在选择视觉编码器时需要在两种任务之间进行权衡的问题。2...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    7 min

  3. 10/16/2024

    [Baichuan]BAICHUAN-OMNI多模态模型技术报告

    介绍了百川智能开发的首个开源 7B 多模态大语言模型 (MLLM) Baichuan-Omni。该模型能够同时处理和分析图像、视频、音频和文本等多种模态信息，提供先进的多模态交互体验，并在多个基准测试中表现出强大的性能。核心思想：1. 构建全面的多模态训练数据： Baichuan-Omni 的训练数据涵盖了图像、视频、音频和文本等多种模态，并融合了开源、合成和内部标注的数据集。* 图像数据： 包括图像描述、交错图文、OCR 数据和图表数据等，来源包括 PIN-14M、MINT-1T、LAION-5B、OBELIC 等开源数据集，以及 Cauldron、Monkey、ArxivQA、TGDoc、MM-Self-Instruct、MMTab 等用于第二、三阶段训练的数据集。* 视频数据： 来源包括 LLaVA-NExT 中的 NExTVideo、ActivityNet-QA、Share...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    13 min

  4. 10/14/2024

    [Apple]MM1.5：多模态大语言模型微调的方法、分析与见解

    一、 MM1.5 简介MM1.5 是一系列多模态大型语言模型 (MLLM)，包括密集模型（参数规模从1B到30B）和专家混合 (MoE) 模型。该模型在 MM1 [118] 的基础上进行了显著升级，能够出色地处理各种多模态任务，包括：* 通用领域和富文本图像理解：从理解简单图像到复杂的富文本图像。* 粗粒度到细粒度理解: 从理解图像整体到具体细节。* 单图像到多图像推理: 从单张图像理解到多张图像之间的推理。二、 MM1.5 的主要能力* 视觉指代和定位: MM1.5 具备强大的细粒度图像理解能力，能够解释文本提示以及点和边界框等视觉提示。* "MM1.5 offers robust, fine-grained image understanding, extending beyond text prompts to interpret visual prompts such...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    12 min

  5. 10/13/2024

    Pixtral 12B: 兼顾文本和多模态任务的多模态模型

    介绍了 Pixtral 12B，一个由 Mistral AI 开发的 120 亿参数多模态语言模型。Pixtral 12B 能够理解自然图像和文本，并在多项多模态基准测试中取得领先成绩，超越了许多更大的模型。重要特点：* 强大的多模态推理能力： Pixtral 12B 在多模态任务上表现出色，优于同等规模的开源模型，甚至超越了 Llama-3.2 90B 等更大的模型。* 卓越的文本理解能力： 与许多专注于多模态能力而牺牲文本性能的开源模型不同，Pixtral 12B 在文本任务上也表现出色，使其成为文本和视觉任务的理想替代方案。* 新颖的视觉编码器： Pixtral 12B 采用从头开始训练的全新视觉编码器 Pixtral-ViT，能够以自然分辨率和纵横比处理图像，为用户在处理图像时提供了更大的灵活性。* 长上下文窗口： Pixtral 12B 拥有 128K token 的长...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    10 min

  6. 10/12/2024

    Molmo and PixMo State-of-the-Art Multimodal Models

    本文介绍了Molmo，这是一系列最先进的开放式视觉语言模型（VLM）。Molmo的独特之处在于其完全开放的权重和数据，不依赖于任何专有VLM生成的合成数据，从而为构建高性能VLM奠定了基础。主要发现* Molmo家族中最有效的模型MolmoE-1B，基于OLMoE-1B-7B混合专家语言模型，在学术基准测试和用户偏好方面几乎与GPT-4V的性能相匹配。* 基于OLMo-7B-1024和Qwen2 7B的Molmo-7B-O和Molmo-7B-D模型，在学术基准测试和用户偏好方面均优于GPT-4V，并接近GPT-4o的性能。* 性能最佳的Molmo-72B模型，基于Qwen2 72B，在学术基准测试中取得了最高分，并在用户偏好排名中位列第二，仅次于GPT-4o。* 最佳模型的性能优于许多最先进的专有系统，包括Gemini 1.5 Pro、Flash和Claude 3.5 Sonne...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    5 min

  7. 10/11/2024

    Aria: An Open Multimodal Native Mixture-of-Experts Model

    主题: 介绍 ARIA，第一个开源的多模态原生混合专家模型 (MoE)，其在各种多模态、语言和编码任务中表现出最佳性能。主要观点和事实:* 多模态原生: ARIA 是一个单一模型，能够理解多种输入模态（如文本、代码、图像、视频），其性能可与类似规模的模态特定模型相媲美或超越。它为用户提供无缝的多模态体验，无需区分不同模态的输入。“多模态原生模型指的是一个单一模型，它能够跨多种输入模态（例如文本、代码、图像、视频）具备强大的理解能力，并且其性能与类似规模的模态特定模型相媲美或超越。”* 混合专家架构: ARIA 的核心是一个细粒度的 MoE 解码器，它通过专家专业化实现更有效的参数利用，从而实现比密集解码器更快的训练和推理速度。每个文本/视觉 token 激活的参数分别为 3.5B/3.9B。“MoE 的核心思想是用一组专家替换 Transformer 中的每个前馈层（FFN），其...去小宇宙查看完整单集简介前往小宇宙评论区与主播互动

    9 min
  • 7 Episodes

About

探索多模态AI的前沿，解析复杂技术，洞见未来应用。

Information

  • Creator
    DjvuLee
  • Years Active
    2K
  • Episodes
    7
  • Rating
    Clean
  • Copyright
    © SuinianAI@小宇宙App
  • Show Website
    智涌多模