前向传播
神经网络推理的基本计算过程，模型接收输入token序列，经过各层计算输出概率分布，LLM每次API调用均为独立的前向传播，不保留跨请求状态
时间轴 (近 90 天)
前向传播指输入数据从网络第一层流向最后一层、依次经过各层计算得到输出的一次完整过程。
每生成或处理一个Token，都需要执行一次前向传播，其计算量大致与模型参数量成正比。
神经网络的一次前向传播是自包含的：只能访问当前上下文，无法查询外部数据库、无法知道未来结果，也无法回忆上一次类似输入是否答对。
不恰当的权重初始化会导致信号在前向传播中逐层衰减或爆炸，梯度在反向传播中消失或发散。
前向传播是神经网络从输入层到输出层完整计算一次的过程；自回归语言模型生成N个token需N次前向传播，延迟随输出长度线性增长；分类器式模型只需一次前向传播。
Drex 1.5 能在一次前向传播中为所有候选选项返回概率
用生成式模型评估 K 个候选选项时，总成本随选项数线性增长，而单次前向传播可将推理成本压缩到一次计算
全部知识事实 (7)
前向传播指输入数据从网络第一层流向最后一层、依次经过各层计算得到输出的一次完整过程。
50%待验证每生成或处理一个Token，都需要执行一次前向传播，其计算量大致与模型参数量成正比。
50%待验证神经网络的一次前向传播是自包含的：只能访问当前上下文，无法查询外部数据库、无法知道未来结果，也无法回忆上一次类似输入是否答对。
50%待验证不恰当的权重初始化会导致信号在前向传播中逐层衰减或爆炸，梯度在反向传播中消失或发散。
50%待验证前向传播是神经网络从输入层到输出层完整计算一次的过程；自回归语言模型生成N个token需N次前向传播，延迟随输出长度线性增长；分类器式模型只需一次前向传播。
50%待验证Drex 1.5 能在一次前向传播中为所有候选选项返回概率
50%待验证用生成式模型评估 K 个候选选项时，总成本随选项数线性增长，而单次前向传播可将推理成本压缩到一次计算
50%