概念run-to-run variance
运行间方差
语义查询系统中同一查询在多次执行间产生不同结果的现象，即使在确定性参数设置下也可能出现，源于硬件浮点运算非确定性和服务框架实现细节
时间轴 (近 90 天)
10月12日
许多在小数据集上的评测，不同运行之间的分数会波动好几个百分点
待验证50%
10月12日
一项基于120万次模型调用的研究系统性地量化了语义查询引擎的运行间方差
待验证50%
10月12日
发生改变的行正是模型之间彼此存在分歧的行
待验证50%
语义查询系统中同一查询在多次执行间产生不同结果的现象，即使在确定性参数设置下也可能出现，源于硬件浮点运算非确定性和服务框架实现细节
许多在小数据集上的评测，不同运行之间的分数会波动好几个百分点
一项基于120万次模型调用的研究系统性地量化了语义查询引擎的运行间方差
发生改变的行正是模型之间彼此存在分歧的行