Token
Token是自然语言处理和大语言模型中文本的基本处理单元，由分词器（Tokenizer）将原始文本切分而成，可对应一个单词、子词、字符或标点符号。模型在处理输入和生成输出时均以Token为单位进行计算，Token数量直接影响模型的上下文窗口限制、推理速度及API调用费用。不同语言和模型的Token划分规则存在差异。
核心事实
时间轴 (近 90 天)
LLM 的 Token 成本大致随上下文长度线性增长，而调用次数随 Agent 数量增加，两者相乘导致非线性膨胀。
上下文窗口以 Token 为计量单位，决定模型一次能处理的代码或文档量，长文件分析往往需要分段处理。
Token 是 LLM 处理文本的基本单位，可以是完整单词、词的一部分、标点或空格。
所有 LLM API 价目表都按每百万 Token 计价，输入和输出分开收费，成本 = input_tokens/1,000,000 × input_price + output_tokens/1,000,000 × output_price。
同一句话翻译成印地语、日语或阿拉伯语，Token 数可能是英文版的两三倍。
对英文散文和 OpenAI 当前分词器，1 Token ≈ 4 个字符、1 Token ≈ ¾ 个单词，一页密集 A4 文本约 600–800 Token。
涉及角色切换、跨组织访问、Token 传递的功能是逻辑漏洞的高发地带，这类问题难以被自动化工具发现，危害等级高，赏金也相应更高。
Token 减少带来三个连锁效应：成本降低、延迟改善、可扩展性提升。
200 个中等复杂度工具的完整定义平均约 3 万-8 万 Token。
LLM调用的真实成本取决于实际消耗的Token数量、服务商提供模型的数值精度、请求延迟以及端点在负载下的可用性
还有 40 条时间轴事件
全部知识事实 (20)
大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%已验证大模型API通常按Token数量计费，大约每750个英文单词或400个中文字符对应1000个Token
90%已验证Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字
90%已验证大语言模型的计算成本主要取决于token数量、模型参数规模和上下文窗口大小
85%已验证大约每1个中文字对应1-2个Token，每个英文单词对应1-4个Token
80%已验证OpenAI的API计费区分输入Token和输出Token，输出Token通常定价更高
80%已验证中文每个汉字通常需要1-2个Token
80%已验证AI Agent开发正在从概念验证阶段转向关注可靠性、成本效率和规模化运营的工程化阶段
80%已验证Agent单次任务的Token消耗量可能是普通对话的5-10倍，因为涉及多轮大模型调用
80%已验证标准自回归语言模型的词表通常包含32,000到128,000个token
80%已验证大模型API中输出Token的单价通常是输入Token的2-4倍
80%已验证大约每 750 个英文单词或 500 个中文字符对应 1000 个 Token
80%已验证大模型本质上是基于概率的文本生成器，通过预测下一个token来生成内容
80%已验证API调用费用按输入token和输出token分别计价，且输出token的单价通常高于输入token，因为输出阶段需要自回归推理
75%已验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词
75%已验证In large language models, a Token is the smallest unit of text that a model processes
75%已验证英文中一个令牌约对应0.75个单词
75%已验证长对话会将整个上下文历史打包重新发送给模型，并计入每次请求的Token用量，对话越长单次请求消耗Token越多
75%已验证大模型API的定价通常基于Token计费机制
75%已验证推理模型的内部思维链会产生大量输出token，使其完成复杂任务的实际费用往往远高于单价对比所呈现的数字
70%