待验证50% 置信基准精确时间
在24GB VRAM机器上使用Qwen3.5-4B（4-bit QLoRA）训练，峰值VRAM为7.95GB，训练耗时910.6秒。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证使用Q4量化权重（魔改版llama.cpp）首次运行时生成速度只有每秒1.83个token71% 相似待验证无填充训练使 Qwen3-0.6B 的显存占用从 5.45 GB 降到 1.87 GB，每步速度提升 5 到 8 倍70% 相似待验证在该项目中，使用 RTX 4060 消费级 GPU 运行 Ollama 的 qwen2.5vl:7b 模型（Q4_K_M 量化）时，从 JPEG 输入到 HID 命令输出的单步总延迟约为 3.5 秒。70% 相似待验证Python 侧单提示 model.generate 在 32K 上下文下对 Llama 和 Qwen3 模型提速最高 2.7 倍；bitsandbytes 4-bit 模型一次生成 2 到 4 个提示时，在某些 NVIDIA GPU 上提速最高 2.8 倍。70% 相似待验证QLoRA 将预训练模型权重量化为 4-bit，使得在单张 24GB 显存的消费级 GPU 上微调 650 亿参数的大语言模型成为可能69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069965API
curl https://kongchang.com/api/v1/knowledge/claims/1069965MCP
get_claim(id=1069965)