LLaMA

Notable examples of Large Language Models include OpenAI's GPT series, Google's Gemini, Anthropic's Claude, and Meta's LLaMA.

llama.cpp是由开发者Georgi Gerganov于2023年发起的开源项目，使用纯C/C++实现了LLaMA系列模型的推理

当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构

RoPE（旋转位置编码）由苏剑林在2021年提出，其核心思想是将位置信息编码为向量空间中的旋转操作

Meta于2023年发布LLaMA系列模型，随后Mistral、Qwen、DeepSeek等相继跟进形成开源生态

GPT-4系列采用cl100k_base词表（约10万词元），GPT-4o系列升级至o200k_base（约20万词元）

Meta于2023年发布Llama系列模型并开放商业使用授权

Typical examples of GPAI models include OpenAI's GPT series, Google's Gemini, Anthropic's Claude, and Meta's LLaMA

The LLaMA series of open-source models starts at 7B parameters

开源模型与闭源模型在代码能力上的性能差距正在被迅速缩小

Meta的LLaMA系列、Mistral等开源模型的权重可被任何人下载、修改和部署

DeepSeek、LLaMA（Meta）、Mistral 都是开源模型，而 ChatGPT（OpenAI）、Claude（Anthropic）是不公开模型权重的闭源模型

llama.cpp 让 Meta 的 LLaMA 模型能够在普通的 MacBook 上运行，甚至在树莓派上也能运行

llama.cpp 用纯 C/C++ 实现了 LLaMA 模型的推理过程，摆脱了对 Python 和深度学习框架的依赖

Meta在大语言模型领域最具代表性的系列是LLaMA，目前已至LLaMA 3

Model-agnostic 设计通过在应用层对底层模型接口做统一抽象，使切换 OpenAI、Anthropic、本地开源模型（如 LLaMA、Mistral）只需更改配置

LLaMA、Mistral、Qwen 等主流开源模型均采用 RoPE 位置编码

Ollama可用的开源本地部署模型包括Google的Gemma系列、Meta的Llama系列、Mistral系列和阿里的Qwen系列

Llama 系列是 Meta 开源的基础模型

Hugging Face的Transformers库提供统一API接口来加载和使用各种预训练模型如BERT、GPT、LLaMA、ChatGLM