VibeVoice：微软亚洲研究院实现90分钟、多角色播客生成，拓展语音合成新边界

播客制作的挑战与VibeVoice的诞生

播客作为一种日益流行的知识传播和文化交流媒介，其高质量内容的制作对于普通创作者而言门槛较高。无论是从撰写脚本到配音，还是访谈后的后期剪辑，都需要专业的技能和大量的时间投入。尽管 AI 技术为自动化内容创作带来了希望，但现有的语音生成方案普遍受限于算力、算法和数据，难以满足长时间、多角色互动播客的需求，通常只能生成几分钟的双人对话。

为了解决这一痛点，微软亚洲研究院（Microsoft Research Asia）研发了一款名为 VibeVoice 的全新语音生成模型。VibeVoice旨在将带有角色标注的文字脚本（例如：“主持人：… 嘉宾 1：… 嘉宾 2：…”）直接转化为流畅、自然的多人对话音频。这极大地解放了创作者在音色匹配、语速调整、对话间隔控制等方面的精力，使播客创作变得触手可及。

VibeVoice 生成示例：

基于本文生成的对话音频。
带背景音乐的外国人讲中文教英语的音频及对应文字脚本。
长达42分钟的4人对话音频及对应文字脚本。

更多 Demo 可访问项目页面：https://microsoft.github.io/VibeVoice

VibeVoice 的核心能力与亮点

VibeVoice模型通过其创新的技术，在语音生成领域取得了显著突破，其核心能力体现在以下三个方面：

超长时长音频生成： VibeVoice能够生成最长达 90分钟 的连续高质量音频。这一能力显著突破了传统语音生成模型在时间长度上的限制，使得生成完整、长篇的播客或有声读物成为可能。
多角色自然互动： 模型最多可支持 4位不同说话人。更重要的是，每位角色的音色和说话风格在整段对话中都能保持一致且独特，从而清晰地区分不同角色，使对话听起来自然流畅，如同真人交流。
细节拟真与氛围生成： VibeVoice能够自然地呈现说话者真实的呼吸声、语调的顿挫感以及对话间的恰当停顿等非语言细节。此外，它还能在适当的场景中智能地加入背景音乐或清唱，极大地增强了音频的沉浸感和整体氛围感。

VibeVoice 如何突破语音合成边界？

传统的语音生成模型大多基于离散化技术，通常将语音分解为梅尔频谱图等离散声学特征，然后分阶段预测参数，并一次性合成整段音频。这种方法在处理新角色或多音色场景时缺乏灵活性和可扩展性，并且高度依赖特定说话人的训练数据，这也是现有 AI 播客普遍存在时长短、角色少限制的原因。

为了克服这些局限，微软亚洲研究院的研究员们创新性地将连续化的 LatentLM 模型算法引入语音生成任务。通过对音频数据进行高效的离散化编码（tokenization），他们训练出了 VibeVoice 模型，其关键技术包括：

基于 LatentLM next-token diffusion 的语音生成机制

潜变量编码： 首先，VibeVoice 使用变分自编码器（VAE）将语音波形编码为一系列连续的潜在向量（latent vectors）。这些潜在向量被视为语音的“语义表示”，它们有效地保留了音色、语调、节奏等关键信息。
自回归扩散建模： 接着，模型通过一个因果 Transformer 架构，以对话脚本（包含说话人标签）和已生成的潜在向量作为输入，逐步预测下一个语音片段。这种“一句接一句”的自回归（autoregressive）扩散建模方式，使得 VibeVoice 能够深度理解上下文逻辑，确保生成的语音在自然度和连贯性上达到极高水平，有效避免了“前言不搭后语”的问题。

低帧率压缩，赋能超长时长生成

高效压缩： 传统的语音生成模型通常每秒处理 50-100 帧的声学特征，导致长音频生成面临巨大的计算负担。VibeVoice 引入了高效的低帧率压缩机制，将帧率压缩至惊人的 7.5fps。
计算量大幅降低： 这意味着，生成 90 分钟的音频，VibeVoice 只需处理大约 6.4 万个 token。这种大幅度降低计算量的方法，不仅没有牺牲音质，反而让模型能够“记住”更长时间的对话内容，从而在超长音频中保持角色音色的一致性和语义的连贯性。

多角色协同生成：让对话“听起来就像真人在交流”

角色区分与切换： 通过在输入文本中加入明确的角色标签（如 [说话人_1]），VibeVoice 模型能够根据标签自然地切换音色，确保不同角色之间有清晰的区分。
学习对话转场规律： 更为智能的是，模型通过大量训练学习了人类对话中角色切换的自然转场规律。它能够自动加入诸如呼吸声、恰当的停顿、甚至细微的口音变化等非语言提示，显著减少了角色转换的突兀感，使得整个对话过程听起来更加流畅自然。
主观听感评估： 实验评估显示，VibeVoice 在自然度、自发性和逻辑性等维度的主观听感评分远超现有系统，其表现已经非常接近真实人类对话的水平。

微软亚洲研究院研究员彭智亮指出，VibeVoice 的核心在于模型对上下文的深度理解能力，这使其在语调控制和自发性语言生成上达到了接近人类的自然度。next-token diffusion 框架与超低帧率连续语音标识的独特组合，为连续空间建模的语音生成开辟了新方向，显著提升了生成质量和效率，同时降低了计算需求。

VibeVoice 对音频内容创作的深远影响

随着 VibeVoice 技术的不断演进，未来的版本有望引入更高级的功能，例如情感控制、多文化背景支持等，以使生成的音频内容更加多元和生动。研究团队计划进一步提升生成时长和角色数量的上限，并支持自动插入特定音效，从而拓展其在更为复杂音频场景中的应用潜力。

研究人员还在积极推动连续特征在音频生成领域的深入应用，其最终目标是实现“语音+音乐+音效”一体化的音频生成模型。这意味着在未来，创作者只需提供文字脚本，AI 即可自动生成包含对话、配乐和场景音效的完整音频作品。这将彻底改变传统音频制作中割裂的流程，使播客、视频配音、在线教育、娱乐节目和广告等有声内容的创作变得更加高效和智能，极大地降低创作门槛，激发内容创新。

负责任的 AI 声明

VibeVoice 是一项基础研究项目，其输出质量受输入文本长度、角色设定、对话逻辑等多种因素影响。与所有生成式 AI 模型一样，VibeVoice 存在潜在的非法使用风险，例如伪造特定人物语音或生成误导性内容。

微软强调，在语音合成技术的研究与应用中，如果需要使用真人且具有辨识度的声音，建议事先获得相关方明确授权，并结合音频内容真实性检测机制，以降低非法使用风险。微软致力于依照“公平、包容、可靠与安全、透明、隐私与保障、负责”六项负责任的 AI 原则推动人工智能发展，并设有治理架构和报告门户（https://msrc.microsoft.com/report/），以供举报非法使用行为。

关于

关注我获取更多资讯

📢 公众号

💬 个人号