ChatGLM
智谱AI开发的开源双语大语言模型,采用Transformer架构,支持中英文对话
核心事实
时间轴 (近 90 天)
ChatGLM系列是GLM面向对话场景的落地版本
LLaMA-Factory 是目前最主流的开源大模型微调框架之一,支持对 LLaMA、Qwen、ChatGLM 等数十种主流开源模型进行监督微调(SFT)和强化学习人类反馈(RLHF)等微调方式
以Llama、Qwen、ChatGLM等开源模型为基座进行LoRA微调是当前企业本地化部署最具性价比的路线
不同模型家族(如Llama、Qwen、ChatGLM)使用不同的特殊标记和角色标签来划分对话部分
ChatGLM 早期版本使用 [Round 1] 式对话分隔符
Dify内置了对数百个模型的支持,包括文心一言、ChatGLM、腾讯相关模型、360智脑等国内外模型
旋转位置编码(RoPE)被LLaMA、Qwen、ChatGLM等主流开源模型采用
GLM-130B 是 GLM 系列早期的旗舰开源模型,后续的 ChatGLM 系列专注于对话场景的指令微调
Hugging Face的Transformers库提供统一API接口来加载和使用各种预训练模型如BERT、GPT、LLaMA、ChatGLM
全部知识事实 (12)
ChatGLM由智谱AI开发,基于GLM架构
65%已验证智谱GLM系列模型(包括GLM-4、ChatGLM等)是清华大学与智谱AI联合研发的大语言模型
65%待验证国内合规的大模型替代方案包括百度文心一言、阿里通义千问、智谱ChatGLM等
90%待验证ChatGLM系列是GLM面向对话场景的落地版本
50%待验证LLaMA-Factory 是目前最主流的开源大模型微调框架之一,支持对 LLaMA、Qwen、ChatGLM 等数十种主流开源模型进行监督微调(SFT)和强化学习人类反馈(RLHF)等微调方式
50%待验证以Llama、Qwen、ChatGLM等开源模型为基座进行LoRA微调是当前企业本地化部署最具性价比的路线
50%待验证不同模型家族(如Llama、Qwen、ChatGLM)使用不同的特殊标记和角色标签来划分对话部分
50%待验证ChatGLM 早期版本使用 [Round 1] 式对话分隔符
50%待验证Dify内置了对数百个模型的支持,包括文心一言、ChatGLM、腾讯相关模型、360智脑等国内外模型
50%待验证旋转位置编码(RoPE)被LLaMA、Qwen、ChatGLM等主流开源模型采用
50%待验证GLM-130B 是 GLM 系列早期的旗舰开源模型,后续的 ChatGLM 系列专注于对话场景的指令微调
50%待验证Hugging Face的Transformers库提供统一API接口来加载和使用各种预训练模型如BERT、GPT、LLaMA、ChatGLM
50%