VibeVoice-ASR-BitNet:让语音大模型在你的笔记本电脑上实时运行


(本文阅读时间:16 分钟)


语音识别正在被大模型重塑。基于大语言模型的语音识别(LLM-based ASR)支持多语种、长上下文,还能一次输出带标点的完整文字稿,但它对算力要求很高,基本只能部署在云端 GPU 上。


那么,能不能让它在用户自己的设备上本地运行,既保护隐私,又不受网络影响?


来自微软亚洲研究院的研究员们,针对这一需求,提出了 VibeVoice-ASR-BitNet。研究员们分析了模型中两个模块各自的性能瓶颈,并分别设计了量化方案,把一个基于大语言模型的自动语音识别(LLM-based ASR)模型压缩到 1.58GB。在消费级 CPU 上,VibeVoice-ASR-BitNet只用 1 个线程就能实时转写,精度几乎没有损失。目前,相关代码和模型均已开源。

相关信息已整理至文末,欢迎点击了解更多技术详情。


准还是快?语音识别的两难



今天的语音识别大致有两条技术路线。一条是传统的轻量路线,使用transducer、CTC、Conformer 等专用声学模型。这类模型速度快、天然适合流式识别,但口音、语种或录音环境一变,准确率就会下降。


另一条是 LLM-based ASR,借助十亿参数级 Transformer 的序列建模能力提升准确率。多语种、长上下文、带标点的完整抄本都能一次生成,但代价是算力需求高出一个量级,基本只能放在云端GPU 上。


部署在云端,就绕不开两个问题。一是隐私,音频必须离开设备;二是延迟,响应快慢由网络状况决定。


CPU 推理引擎让本地运行成为可能,但在端侧设备上,大模型要么达不到实时,要么要开很多线程把 CPU 占满。而端侧的 CPU 资源通常是给整个系统使用的,不能全部留给语音识别。


VibeVoice-ASR-BitNet要解决的正是这个问题。它把 LLM-based ASR 压缩到1.58GB,在消费级 CPU 上只用 1 个线程就能实时运行。


图1:VibeVoice-ASR-BitNet整体架构与各模块的量化格式。这里用实时率(real-time factor,RTF)衡量速度,即推理耗时除以音频时长。例如 RTF = 0.86,表示处理20 秒音频用时 17.2 秒,比实时略快。RTF 小于 1,是语音识别能够实际落地的门槛。


同一个模型,两种截然相反的瓶颈



VibeVoice-ASR由两个模块组成:

  • VAE tokenizer(变分自编码器分词器):包括声学编码器(acoustic encoder)和语义编码器(semantic encoder),两者都是 7 阶段 ConvNeXt卷积网络结构,负责把 24kHz 的原始波形压到 7.5Hz 的 token 序列。时间维度下采样 3200 倍,1 秒音频变成 7.5 个token。
  • LM decoder(语言模型解码器):基于28 层自回归 Transformer,把      token 转换成文字。


常见的量化做法是全模型统一降低精度。但研究员们发现,这两个模块的计算特性恰好相反。


VAE的瓶颈在激活值的内存读写( activation IO-bound),以一段 20 秒、24kHz、共48 万个采样点的音频为例,分别统计每一层需要读写的权重量和激活量,可以发现,两者差距非常悬殊。


图2:ConvNeXt 各阶段的权重量与激活量


在最浅的阶段 0 (stage 0),权重只有约 3 万个参数,激活值却多达 12.9 亿个元素,相差 5 万多倍。随着网络加深,通道数增加、时间轴缩短,差距逐渐缩小,直到最后一个阶段才发生反转。从整体看,激活值的数据量是权重的 16.4倍。这意味着,只量化权重几乎没有意义。常见的“权重 8 比特、激活 32 比特”(W8A32)做法压缩的恰恰是不占带宽的部分,真正的大头一点没动,实测速度基本没有变化。


LM decode 阶段正好相反,其瓶颈在权重的内存读写(weight IO-bound)。自回归解码时批大小(batch size)为 1,每生成一个 token,都要把 1.5B 的权重矩阵完整读取一遍,而激活只有一个向量。瓶颈几乎全压在权重的内存流量上。


异构量化:两个模块,两套方案 



既然瓶颈不同,研究员们就没有用同一种格式处理两个模块。


VAE 侧采用I8_S格式:整条前向路径统一 INT8。 权重、激活值、中间缓冲区和所有算子边界都是 INT8,中间不存在任何精度格式转换。这一点很关键。如果激活值以更高精度存储,每层边界都要先量化再转回,那在十几亿个元素上做格式转换,开销本身将抵消压缩带来的收益。


为什么选择 INT8,而不是 INT4?原因有三点:1. sub-byte 格式需要打包(pack)和解包(unpack),省下的带宽有一部分会消耗在解包上;2. 主流 CPU 对 4bit 不提供原生 SIMD 指令支持;3. ConvNeXt 结构在 INT4 下精度下降很快。相比之下,INT8 在 AVX2 和 NEON 指令集上都有原生硬件支持。


LM 侧采用 I2_S格式:BitNet 三值权重。 权重被量化到 {-1, 0, +1} 三个值、用2bit 存储,激活值按 token 在线量化到 INT8。相对 FP16,权重内存流量降到 1/8,正好解决解码阶段的瓶颈。


研究员们有意没有对嵌入层(embedding)和语言模型输出头(LM head)做三值化。这两层负责在约15 万词的完整词表空间和隐状态之间做映射,三值精度下性能会直接崩溃,所以保留 6bit 的 Q6_K格式。


两个模块合起来看,VAE 从 1.31GB 降到 0.65GB,压缩 2 倍;LM从 3.32GB 降到 0.92GB,压缩 3.6 倍;整个系统从 4.62GB 降到1.58GB,压缩2.9 倍。


一步到位反而失败:渐进式量化训练才能收敛



压缩到这种程度,直接量化行不通,需要依靠量化感知训练(quantization-aware training,QAT)。对此,研究员们在训练中做了两项关键设计。


第一,把GELU 全换成 ReLU。 GELU 在 INT8 算术下很难高效实现,所以研究员们先替换激活函数,再做短暂微调把精度恢复回来。这是为了让训练时的模型与推理时实际运行的计算内核(kernel)对齐。如果训练用 GELU、推理用 ReLU,那就是两个不同的模型。


第二,α-blending 三阶段渐进。 研究员们在所有权重和激活值边界插入伪量化(fake-quant)节点,但不是一开始就全量化,而是让量化值和原值做一次线性混合:x̂ = (1 - α) · x + α· FakeQuant(x)。


α 从 0 线性增长到 1。α=0时是全精度模型,α=1 时是完全量化。α到 1 之后继续训一段时间,让量化后的权重稳定下来。


两种做法的效果差别非常明显。


图3:渐进式 QAT 与直接 QAT 的蒸馏损失收敛曲线


如果α 从一开始就固定为 1,那么直接QAT 无法收敛,蒸馏损失会在 3.3 附近无限震荡。渐进式训练会依次经过GELU→ReLU微调、α 从 0 升到 1、α=1 后继续训三个阶段,蒸馏损失最终收敛到0.91。


LM 部分则是在 VAE 训练完成后将其冻结,接进完整的ASR流程,LM decoder 使用 BitNet 三值权重,分两阶段训练,先做大规模语音-文本对预训练,再在目标域上进行监督微调。


压小只是第一步:用算子融合和 SIMD 跑出速度



量化只是把数据变小了,要真正跑快,还需要高效的计算内核。


算子融合:卷积前的填充与展开、矩阵乘之后的偏置与激活、残差相加与归一化,这些总是相邻出现的操作,被合并成一个个 kernel 执行,中间结果不再写回内存。对于受激活值读写限制的VAE 来说,这一步尤其重要:每少一个中间张量,就少一次完整的内存往返。


    SIMD kernel:量化后的乘加运算全部交给 CPU 的整数向量指令完成。x86 上使用AVX2的_mm256_maddubs_epi16指令,ARM上用 NEON 的 sdot 点积指令。以 AVX2 为例,一条指令就能完成 32 对 INT8 乘法。I8_S 和I2_S 共用同一条累加流水线,区别只是 I2_S 要先把2bit 权重解包成 INT8 。


    实测:笔记本电脑上,单线程也能实时



    研究员们在三台机器上做了测试:服务器上的 AMD EPYC 7V13、台式机上的 Intel i7-13700和笔记本电脑上的 Apple M4。


    图4:三种CPU 平台上的端到端 RTF,左为单线程量化前后对比,右为量化模型的多线程扩展


    单线程处理 20 秒音频时,FP16 版本在三台机器上都达不到实时。量化之后,笔记本电脑是0.67,台式机是 0.86,都过了实时线。服务器反倒是三台里最慢的,因为它采用的是多核低频设计,单核性能不如台式机和笔记本的大核。也就是说,单线程实时恰好在最需要它的消费级设备上实现了。


    多给几个线程,就更宽松了。2 线程时三台全部进入实时区,8线程时处理 20 秒音频只要 4–6 秒。省下来的 CPU 可以留给别的任务,也可以用来降频省电。


    研究员们还在同一台服务器(AMD EPYC 7V13)上,使用同一段 30 秒音频,与三种开源 CPU 推理引擎做了对比。各引擎均采用了速度最快的量化格式:whisper.cpp(Whisper large-v3-turbo,q4_k,0.44GB)、sherpa-onnx(Whisper large-v3,int8,1.65GB)和llama.cpp(Ultravox-1B,Q4_K_M,2.03GB)。


    在 1 到 8 线程下,VibeVoice-ASR-BitNet始终比 whisper.cpp 快 2.1–2.5 倍。它只需 2 个线程即可进入实时转写,而whisper.cpp 需要 4 个线程,另外两个则需要 6 个线程。


    Ultravox的结果进一步说明,量化是否覆盖真正的性能瓶颈至关重要。它虽然量化了语言模型,但音频编码器仍保持全精度,导致85%–90% 的推理时间耗在编码器上。这也意味着,如果只压缩部分模块、没有针对实际瓶颈进行优化,整体速度很难获得显著提升。


    图5:在同一台服务器上,使用同一段 30 秒音频,与三种开源 CPU 推理引擎的RTF对比


    大家最关心的问题是:模型体积减少约三分之二,精度损失有多大?对此,研究员们选取了六个覆盖不同场景的测试集,用同一套评分脚本,对同一份模型检查点(checkpoint)的半精度(F16)版本和量化版本进行了评测。


    图6:量化前后在六个测试集上的词错误率(WER) 对比


    在朗读语音、讲座、带口音的真实录音上,量化后词错误率(WER)都在0.5 个点以内,在LibriSpeech 数据集上只差0.06 个点,中文测试集相差 0.3 个点。在财报电话会议这种最难的长音频上,量化版反而比F16 好了 0.85 个点。


    此外,测试集中既有英文也有中文,同一份权重还能识别法语、意大利语、韩语等多种语言,不用为每个语种单独部署一套声学模型,这是基于大语言模型架构天然具备的好处。


    先诊断,再压缩:让语音大模型走向每一台设备



    VibeVoice-ASR-BitNet的思路可以概括为一句话:先弄清楚模型的每个模块到底被什么卡住,再决定每个模块该怎么压缩。


    对于激活值数据量是权重 16 倍的卷积编码器,只压缩权重收效甚微;对于每生成一个token 都要重读全部权重的自回归解码器,2bit三值权重才能解决问题。两个模块各用各的方案,最终让LLM-based ASR 在笔记本电脑上用一个线程就实现了实时转写。


    研究员们希望,这种按瓶颈压缩的思路能推动更多大模型走向端侧,让高质量的语音识别在本地运行,同时兼顾隐私、速度和设备资源。



    VibeVoice-ASR-BitNet Technical Report


    报告链接:

    https://arxiv.org/abs/2607.21075


    代码链接:

    https://github.com/microsoft/VibeASR.cpp


    模型链接:

    https://huggingface.co/microsoft/VibeVoice-ASR-BitNet


    #AI #人工智能 #AI研究 #微软亚洲研究院 #AI科研 #语音识别 #大语言模型 #端侧AI #模型量化 #VibeVoice #BitNet 










    你也许还想看:




    文章原文

    内容来自 微软研究院AI头条,版权归原作者所有。

    阅读原文 ↗

    把喜欢的内容,留在你的新标签页。

    打开我的订阅