llm-free-cascade
一个开源的Node.js工具，通过级联方式整合多个LLM提供商的免费层API，实现自动切换和密钥轮换，对上层调用者透明地提供统一接口。
时间轴 (近 90 天)
llm-free-cascade是一个开源的Node工具，通过级联（cascade）方式在多个免费LLM API之间自动切换，使多个免费层像同一个服务一样工作。
llm-free-cascade的本地服务器默认只监听127.0.0.1，因为它需要在内存中持有所有API密钥。
llm-free-cascade可以与Ollama集成，当所有免费层同时繁忙时，由本地Ollama作为最后的备份回答问题。
llm-free-cascade采用MIT许可证，零依赖，运行在Node 18及以上版本。
当遇到超时或5xx错误时，连续2次后应跳过该提供商一分钟，以避免因提供商宕机导致每个请求都等待完整的超时时间。
在免费层场景下，将同一请求同时发送给两个提供商以取更快响应的做法会消耗双倍配额，因此该工具放弃了这个策略。
许多LLM提供商不允许通过多个免费账户绕过限制，使用多个免费账户可能违反提供商的条款。
全部知识事实 (7)
llm-free-cascade是一个开源的Node工具，通过级联（cascade）方式在多个免费LLM API之间自动切换，使多个免费层像同一个服务一样工作。
50%待验证llm-free-cascade的本地服务器默认只监听127.0.0.1，因为它需要在内存中持有所有API密钥。
50%待验证llm-free-cascade可以与Ollama集成，当所有免费层同时繁忙时，由本地Ollama作为最后的备份回答问题。
50%待验证llm-free-cascade采用MIT许可证，零依赖，运行在Node 18及以上版本。
50%待验证当遇到超时或5xx错误时，连续2次后应跳过该提供商一分钟，以避免因提供商宕机导致每个请求都等待完整的超时时间。
50%待验证在免费层场景下，将同一请求同时发送给两个提供商以取更快响应的做法会消耗双倍配额，因此该工具放弃了这个策略。
50%待验证许多LLM提供商不允许通过多个免费账户绕过限制，使用多个免费账户可能违反提供商的条款。
50%