待验证50% 置信事实精确时间
零宽字符(如 U+200B、U+200D)在浏览器中不可见,但 tokenizer 仍会编码它们,可能被用于隐写或绕过关键词过滤。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证零宽字符是Unicode标准中一组特殊控制字符,包括零宽空格(U+200B)、零宽连接符(U+200D)、零宽非连接符(U+200C)、左至右标记(U+200E)等,视觉上完全不可见但在字节层面真实存在78% 相似待验证同一段文本在不同分词器下可能被切成数量不同的 token,而 API 计费、上下文窗口限制都以 token 数为单位。64% 相似待验证Transformer 输入文本首先经过 Tokenizer 分词,把文本切成 N 个 Token,Token 是语言模型理解语义的最小单元63% 相似待验证Token是模型处理文本的最小计量单位,OpenAI使用BPE算法将高频字符组合编码为单一Token,约75个英文单词≈100个Token63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129669API
curl https://kongchang.com/api/v1/knowledge/claims/1129669MCP
get_claim(id=1129669)