概念Omnimodal Model / 全模态
全模态模型
能够在同一架构中统一处理文本、图像、音频、视频等多种感知信号，并支持跨模态任意组合输入输出的模型，相比仅支持图文的多模态模型需解决更复杂的模态间时序对齐与统一表征问题。
时间轴 (近 90 天)
10月21日
判断模型是否真正全模态的关键是能否直接感知音频旋律或视频时序，而非仅将音频转文字。
待验证50%
10月20日
现有全模态模型可能普遍存在类似的“注意力-输出错位”问题，TACG 或许能推广到更广泛的模型家族。
待验证50%
10月12日
未来全模态模型的改进不应仅聚焦于单帧感知精度的提升，更需要加强长时程的时序推理和跨模态一致性维护能力。
待验证50%
8月31日
全模态模型语音能力强但智能体能力弱，顶级推理模型智能体能力强但不支持语音，二者存在两难困境
待验证50%