Token
Token是自然语言处理和大语言模型中文本的基本处理单元，由分词器（Tokenizer）将原始文本切分而成，可对应一个单词、子词、字符或标点符号。模型在处理输入和生成输出时均以Token为单位进行计算，Token数量直接影响模型的上下文窗口限制、推理速度及API调用费用。不同语言和模型的Token划分规则存在差异。
核心事实
时间轴 (近 90 天)
将网页原始 HTML 转换为干净 Markdown 可以去除结构性噪音，在有限上下文窗口内装入更多有效信息。
第一阶段学习内容包括大模型应用开发与传统后端开发的本质区别、模型能力边界、Token与上下文窗口的作用、温度参数对输出的影响、API调用与计费逻辑，以及主流模型各自擅长什么。
第三阶段工程落地涉及用FastAPI封装接口、流式输出、会话状态管理、日志埋点、评估（Eval）体系搭建、测试用例覆盖模型随机性、成本与Token账单控制、线上效果追踪、坏case回收等细节。
渐进式披露通过元数据先行将首层开销压缩到每个技能仅几十个 token。
QQBridge 在本地启动一个 HTTP 服务并生成随机 Token 作为访问凭证，QQ 侧消息通过该服务中转，调用方必须携带正确 Token 才能使用接口。
PStack 将原则拆分为独立技能而非放入系统提示词，原因是 Token 成本：避免每次请求携带冗长前缀，并实现按需加载。
在基于 Transformer 的大语言模型中，Token 是文本被切分后的最小计费与处理单位，大致相当于一个英文单词的 0.75 个或一个汉字的 1 到 2 个。
多数模型 API 按输入 Token 计费，而 Agent 的每一轮循环都会把整个历史重新发送一次，导致同一份构建日志或文件内容被反复计价。
检索费用被移除后，token处理成本在Agent总开销中的占比会进一步上升，成为更显性的成本项。
开发者通常在把网页正文拼入提示词前，会做HTML清洗、正文抽取、截断或摘要，以压缩送入模型的token量。
还有 40 条时间轴事件
全部知识事实 (20)
大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%已验证大模型API通常按Token数量计费，大约每750个英文单词或400个中文字符对应1000个Token
90%已验证Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字
90%已验证大语言模型的计算成本主要取决于token数量、模型参数规模和上下文窗口大小
85%已验证大约每1个中文字对应1-2个Token，每个英文单词对应1-4个Token
80%已验证OpenAI的API计费区分输入Token和输出Token，输出Token通常定价更高
80%已验证中文每个汉字通常需要1-2个Token
80%已验证AI Agent开发正在从概念验证阶段转向关注可靠性、成本效率和规模化运营的工程化阶段
80%已验证Agent单次任务的Token消耗量可能是普通对话的5-10倍，因为涉及多轮大模型调用
80%已验证标准自回归语言模型的词表通常包含32,000到128,000个token
80%已验证大模型API中输出Token的单价通常是输入Token的2-4倍
80%已验证大约每 750 个英文单词或 500 个中文字符对应 1000 个 Token
80%已验证大模型本质上是基于概率的文本生成器，通过预测下一个token来生成内容
80%已验证上下文窗口指模型单次推理能够看到的 token 总量，包含输入与输出；注意力机制计算量随序列长度呈平方级增长。
75%已验证上下文窗口决定模型单次推理能看到的最大Token数量，当项目文件超出窗口后模型会遗忘早期内容，导致前后不一致的代码甚至报错
75%已验证API调用费用按输入token和输出token分别计价，且输出token的单价通常高于输入token，因为输出阶段需要自回归推理
75%已验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词
75%已验证In large language models, a Token is the smallest unit of text that a model processes
75%已验证英文中一个令牌约对应0.75个单词
75%已验证长对话会将整个上下文历史打包重新发送给模型，并计入每次请求的Token用量，对话越长单次请求消耗Token越多
75%