待验证50% 置信基准精确时间
Cuadre 在一台 16GB 内存、没有 GPU 的笔记本上，处理一张小票耗时 6 到 27 秒。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证Nsight Systems 分析显示，达到 7.3 tok/s 时每个 token 约 137ms，其中 GPU 忙碌约 92ms、空闲约 54ms，启动间间隙仅约 13ms，因此 CUDA 图只能优化这 13ms。71% 相似待验证NVIDIA CUDA运行时初始化时创建的设备上下文通常占用150-300MB显存68% 相似待验证PCIe 4.0 x16带宽约64GB/s，且每次传输需要显式的cudaMemcpy调用，在推理延迟敏感场景中是显著瓶颈66% 相似待验证实测中模型加载仅耗时几秒，GPU占用从23GB降至约17GB，首次测试提示词处理耗时225ms，生成速度稳定在33.5 tok/s，总输出1500 token。66% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070181API
curl https://kongchang.com/api/v1/knowledge/claims/1070181MCP
get_claim(id=1070181)