Qwen2.5-Omni
阿里通义千问团队推出的原生多模态大模型,能在同一模型内同时接收文本、图像和音频输入,支持端到端的多模态理解
时间轴 (近 90 天)
Qwen2.5-Omni 是原生多模态模型,能在同一个模型里同时接收文本、图像和音频输入,但其 GGUF 转换版本目前只保留了音频输入能力,输出端仍需借助 TTS。
在 M4 Max 上,文本路线使用 Omni 3B + TTS 1.7B(4.61 GB)的完整回合中位数耗时为 4.27 秒,峰值进程 RSS 为 3.86 GiB。
小模型对相比原始模型对下载体积减半、峰值内存降低约 35%,但在该试验中完整回合反而更慢。
在 M4 Max 上,Omni 3B 对话生成时间中位数为 171 ms、峰值进程 RSS 为 2.57 GiB;Qwen3.5 0.8B 对话生成时间中位数为 96 ms、峰值进程 RSS 为 1.08 GiB;Qwen3-TTS 1.7B 合成时间为 1.78 秒、峰值进程 RSS 为 3.85 GiB。
Sona的离线分词器以被冻结的Qwen2.5-Omni多模态模型为起点,接收曲目前90秒的梅尔频谱图和曲目元数据两类输入
全部知识事实 (5)
Qwen2.5-Omni 是原生多模态模型,能在同一个模型里同时接收文本、图像和音频输入,但其 GGUF 转换版本目前只保留了音频输入能力,输出端仍需借助 TTS。
50%待验证在 M4 Max 上,文本路线使用 Omni 3B + TTS 1.7B(4.61 GB)的完整回合中位数耗时为 4.27 秒,峰值进程 RSS 为 3.86 GiB。
50%待验证小模型对相比原始模型对下载体积减半、峰值内存降低约 35%,但在该试验中完整回合反而更慢。
50%待验证在 M4 Max 上,Omni 3B 对话生成时间中位数为 171 ms、峰值进程 RSS 为 2.57 GiB;Qwen3.5 0.8B 对话生成时间中位数为 96 ms、峰值进程 RSS 为 1.08 GiB;Qwen3-TTS 1.7B 合成时间为 1.78 秒、峰值进程 RSS 为 3.85 GiB。
50%待验证Sona的离线分词器以被冻结的Qwen2.5-Omni多模态模型为起点,接收曲目前90秒的梅尔频谱图和曲目元数据两类输入
50%