llama.cpp和Ollama等开源工具让开发者可以在个人电脑上运行量化后的模型，但对内存的精细管理要求很高，模型加载失败和内存溢出是常见问题。