共 1 篇相关文章
inside-llm是一款开源工具,基于llama.cpp加载GGUF模型,在浏览器中可视化LLM内部生成过程,支持逐token对比两种量化的差异,展示采样链、候选分布、熵和KL散度等指标。