PolyAI
PolyAI是一家专注于企业级语音对话AI的公司,致力于构建能够处理真实商业场景中复杂对话的语音智能体系统,采用端到端模型架构替代传统级联式语音系统。
时间轴 (近 90 天)
PolyAI的温绍恩认为语音对话比大多数人想象的要难得多,真正的难点不在于推理,而在于适应
大约一年前PolyAI判断级联式(Cascaded)架构终将过时、端到端模型才是未来,并因此停止了对自有语音识别模型的投入
PolyAI的核心架构是一个音频原生(audio-native)的大语言模型,但输出的是文本而非语音,因为文本更容易施加护栏
PolyAI模型工作流程中第一个token预测轮次信号,判断用户是刚开始说、还在说还是说完了
PolyAI刻意将转写文本放在模型输出的最后,因为转写只用于审计和调试,无需等它完成就能回应用户
温绍恩强调PolyAI的创新不在模型本身而在IO契约(如何准备数据、设计输入输出机制),认为底层模型没那么重要
PolyAI通过脱敏(redact)所有PII并生成假PII数据来训练模型,使模型学到对话机制而非真实用户数据
PolyAI在训练数据上刻意叠加背景噪音;上一代的降噪净化流程反而让新模型表现更差,因为环境太干净是模型从未见过的
PolyAI正在探索自适应预算推理(auto reasoning),训练模型自行判断在延迟预算内停止思考能给出好答案的概率
全部知识事实 (9)
PolyAI的温绍恩认为语音对话比大多数人想象的要难得多,真正的难点不在于推理,而在于适应
50%待验证大约一年前PolyAI判断级联式(Cascaded)架构终将过时、端到端模型才是未来,并因此停止了对自有语音识别模型的投入
50%待验证PolyAI的核心架构是一个音频原生(audio-native)的大语言模型,但输出的是文本而非语音,因为文本更容易施加护栏
50%待验证PolyAI模型工作流程中第一个token预测轮次信号,判断用户是刚开始说、还在说还是说完了
50%待验证PolyAI刻意将转写文本放在模型输出的最后,因为转写只用于审计和调试,无需等它完成就能回应用户
50%待验证温绍恩强调PolyAI的创新不在模型本身而在IO契约(如何准备数据、设计输入输出机制),认为底层模型没那么重要
50%待验证PolyAI通过脱敏(redact)所有PII并生成假PII数据来训练模型,使模型学到对话机制而非真实用户数据
50%待验证PolyAI在训练数据上刻意叠加背景噪音;上一代的降噪净化流程反而让新模型表现更差,因为环境太干净是模型从未见过的
50%待验证PolyAI正在探索自适应预算推理(auto reasoning),训练模型自行判断在延迟预算内停止思考能给出好答案的概率
50%