待验证50% 置信事实精确时间
sentence-transformers 等轻量嵌入模型（参数量数亿级别）在 CPU 上的吞吐量已能满足日常增量索引需求，无需独立 GPU
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至：2027/1/10
来源
涉及实体
相关事实
待验证设备端离线翻译模型通常基于轻量化的神经机器翻译架构（如量化后的 Transformer 变体），体积压缩至数十到数百 MB，可在 CPU 或本地 NPU 上实时推理68% 相似已验证大语言模型推理分预填充和解码两阶段：预填充是计算密集型对GPU算力敏感，解码是内存带宽受限任务68% 相似待验证在硬件层面，Prefill（输入）阶段可以并行读取所有Token并同时计算自注意力矩阵，而Decode（输出）阶段因自回归机制需逐字串行推理，导致GPU利用率骤降67% 相似待验证现代嵌入模型（如sentence-transformers系列）通常输出768维或1536维的向量67% 相似待验证量化技术如GPTQ、AWQ可以在有限硬件资源下运行更大参数的大语言模型64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1002604API
curl https://kongchang.com/api/v1/knowledge/claims/1002604MCP
get_claim(id=1002604)