[控场AI]
产品

FlyEnv

FlyEnv 是一个开发者环境管理工具,提供官方插件市场,支持通过插件集成各类开发与推理运行时。

时间轴 (近 90 天)

10月24日

FlyEnv 推出了 llama.cpp 官方插件,作为官方插件市场的模块存在,安装后在 FlyEnv 内原位启用。

待验证50%
10月24日

FlyEnv 的 llama.cpp 插件支持同时安装和保留多个 Metal 运行时版本并排共存。

待验证50%
10月24日

插件的模型库索引了公开的 GGUF 仓库,支持按名称搜索,下载完成的模型会出现在本地列表并自动识别主模型(main model)。

待验证50%
10月24日

插件会将 GGUF 文件标记为对应角色:主模型、分片(shard)、草稿模型(draft)、MTP 文件、多模态投影器(multimodal projector)。

待验证50%
10月24日

插件模型设置区覆盖 llama.cpp 的上下文大小、线程数、GPU 层数等常用调优项。

待验证50%
10月24日

模板、思考模式、投机解码与采样参数会随模型一起保存,切换模型时预设自动跟随。

待验证50%
10月24日

插件对未保存的配置修改做了保护,启动推理只需一个动作,llama.cpp 随即以所选模型对外提供服务。

待验证50%
10月24日

该插件依赖 FlyEnv 本身,对不熟悉该工具的团队存在一定的学习成本。

待验证50%

全部知识事实 (8)

来源文章