产品
halogen-flash-server
基于llama.cpp衍生的开源推理服务器,由本地LLM社区开发,针对特定硬件平台进行优化以提升推理性能
时间轴 (近 90 天)
9月13日
社区围绕AMD Strix Halo平台,通过fork后的llama.cpp和halogen-flash-server优化性能
待验证50%
基于llama.cpp衍生的开源推理服务器,由本地LLM社区开发,针对特定硬件平台进行优化以提升推理性能
社区围绕AMD Strix Halo平台,通过fork后的llama.cpp和halogen-flash-server优化性能