Token
Token是自然语言处理和大语言模型中文本的基本处理单元，由分词器（Tokenizer）将原始文本切分而成，可对应一个单词、子词、字符或标点符号。模型在处理输入和生成输出时均以Token为单位进行计算，Token数量直接影响模型的上下文窗口限制、推理速度及API调用费用。不同语言和模型的Token划分规则存在差异。
核心事实
时间轴 (近 90 天)
上下文窗口指大语言模型在任意时刻能够看到的全部输入与输出Token的集合，由输入Token加输出Token共同构成
智能体框架的Token消耗通常比简单对话高出数倍,因为需要多轮推理、工具调用记录和上下文维护
大模型API通常按Token数量计费，且生成速度以Token/秒衡量
技能描述通常以函数调用的JSON Schema格式存在，每个技能可能占用200-500个Token，如果启用20个技能仅技能描述就可能消耗4000-10000个Token
对于涉及数字的确定性任务，应写入代码脚本而非依赖提示词，这能同时带来更低的Token消耗和更高的输出稳定性
Coding Agent处理标准代码比解析可视化工具平台专属配置更高效，Token消耗更少
对于代码而言，一个Token大约对应3-4个字符，一行典型代码约消耗10-20个Token
Token成本下降使得大规模文档处理、实时对话Agent、批量内容生成等场景在经济上变得可行
一个1000行的文件，每行前缀的行号大约消耗6-8个字符即2-3个Token，整个文件仅行号就占用2000-3000个Token
在循环工程中每一轮循环需将之前结果、检查反馈和原始指令一起发送给模型，十二轮循环的总Token消耗可能是单次调用的50-100倍
还有 36 条时间轴事件
全部知识事实 (20)
Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字
90%已验证Claude 3.5 Sonnet的API定价约为每百万输入Token 3美元、每百万输出Token 15美元
80%已验证大模型API中输出Token的单价通常是输入Token的2-4倍
80%已验证标准自回归语言模型的词表通常包含32,000到128,000个token
75%已验证大模型API的定价通常基于Token计费机制
70%已验证大模型本质上是基于概率的文本生成器，通过预测下一个token来生成内容
70%已验证主流顶级闭源模型的输出价格往往是输入价格的3到5倍，部分旗舰模型输出价格高达每百万Token 15美元以上
65%已验证Tokens are the basic unit of measurement for how large language models process text, roughly equivalent to 3/4 of a word in English or 1-2 characters in Chinese
65%已验证大模型输出 Token 单价普遍高于输入 Token
65%已验证当Agent处于循环状态时，每次调用会携带累积的对话历史，导致Token消耗随迭代次数线性甚至超线性增长
65%已验证同样的中文文本在不同大模型服务商处消耗的 Token 数量可能相差 30%-50%
65%已验证LLM的API按token计费，大约每个英文单词对应1-2个token，中文每个字约1-2个token
65%已验证AI Agent工作流的算力消耗可能是单轮对话的50到100倍以上
65%待验证In large language models, a Token is the smallest unit of text that a model processes
95%待验证A single English word may be split into one or more Tokens, while Chinese characters typically correspond to one or two Tokens
90%待验证Output Tokens are typically 2-4x more expensive than input Tokens because generation requires autoregressive decoding Token by Token, with each generated Token requiring a complete forward pass computation
85%待验证Current mainstream model pricing is split into input Tokens and output Tokens, with output Tokens typically costing 2-4x more than input Tokens
80%部分验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成
80%待验证The larger the context, the more input Tokens consumed
60%待验证上下文窗口指大语言模型在任意时刻能够看到的全部输入与输出Token的集合，由输入Token加输出Token共同构成
50%