Marimba
基于冻结ASR骨干网络的多任务语音决策统一模型,通过任务专用读出层实现词汇检测、回合结束判断、语种识别、说话人变化检测等类型化语音决策
时间轴 (近 90 天)
Marimba 采用 Apache-2.0 许可证开源。
Marimba 每 250 毫秒流式处理一次音频,可本地运行于 CPU 或 GPU。
Marimba 针对最近 8 秒的音频窗口给出类型化答案(是/否、单选、多选、校准分数)。
Marimba 的安装命令为 pip install "marimba-audio[torch]"。
在轮次结束检测任务上,Marimba 的 AUROC 达到 0.935,而对比模型(Qwen3-Omni-30B-A3B、Qwen2-Audio-7B、FireRedAudio 10.6B)在 0.54 到 0.79 之间。
Marimba 在 Speech Commands 关键词检测任务上表现不佳。
Marimba 在 Common Voice 和 FLEURS 上的二元术语检测中胜出。
Marimba 的轮次结束检测结果属于分布内任务,因为训练数据包含了 Smart Turn 数据。
Marimba 可以接入 Pipecat、LiveKit 和 Vapi 作为轮次检测器使用。
Marimba 的当前能力限于它被训练过的问答类型,对于需要复杂音频推理的任务,大模型仍然是更合适的选择。
还有 11 条时间轴事件
全部知识事实 (20)
Marimba 采用 Apache-2.0 许可证开源。
50%待验证Marimba 每 250 毫秒流式处理一次音频,可本地运行于 CPU 或 GPU。
50%待验证Marimba 针对最近 8 秒的音频窗口给出类型化答案(是/否、单选、多选、校准分数)。
50%待验证Marimba 的安装命令为 pip install "marimba-audio[torch]"。
50%待验证在轮次结束检测任务上,Marimba 的 AUROC 达到 0.935,而对比模型(Qwen3-Omni-30B-A3B、Qwen2-Audio-7B、FireRedAudio 10.6B)在 0.54 到 0.79 之间。
50%待验证Marimba 在 Speech Commands 关键词检测任务上表现不佳。
50%待验证Marimba 在 Common Voice 和 FLEURS 上的二元术语检测中胜出。
50%待验证Marimba 的轮次结束检测结果属于分布内任务,因为训练数据包含了 Smart Turn 数据。
50%待验证Marimba 可以接入 Pipecat、LiveKit 和 Vapi 作为轮次检测器使用。
50%待验证Marimba 的当前能力限于它被训练过的问答类型,对于需要复杂音频推理的任务,大模型仍然是更合适的选择。
50%待验证Marimba 提出用冻结的 Qwen3-ASR 0.6B 特征提取器作为骨干网络,配合轻量级任务专用读出层,统一处理多种语音决策任务。
50%待验证Marimba 的回合结束检测读出达到 AUROC 0.930,而专用模型 Smart Turn v3.2 在其自身测试集上取得 0.982。
50%待验证Marimba 的读出逻辑中,词汇类问题直接对 ASR 转写文本做零样本打分,不需要额外训练分类器。
50%待验证Marimba 的语种识别复用 ASR 模型自带的语言打分,不额外增加模块。
50%待验证Marimba 的回合结束判断从骨干网络第 18 层特征读取,说话人相关读出从第 12 层特征提取。
50%待验证Marimba 在私有对话测试集上的解码器 AUROC 为 0.80–0.92,在公开朗读语音上为 0.92–0.97。
50%待验证Marimba 在 Speech Commands 四分类任务上准确率为 0.93。
50%待验证Marimba 的二值词汇判定 ECE 最高为 0.08。
50%待验证Marimba 的个人信息检测在合成的巴西葡萄牙语语音上条目级 F1 为 0.904,在人工参考转写上为 1.000。
50%待验证Marimba 的说话人变化检测在第 12 层读出上于 AMI 和 VoxConverse 取得 0.966–0.980 的 AUROC,高于 ECAPA 基线。
50%