ttok
基于 tiktoken 库的命令行 token 计数工具,可统计文本的 token 数量,支持通过 uvx 零安装运行。
时间轴 (近 90 天)
Simon Willison 的 token 计数工具 ttok 正式发布 1.0 版本。
ttok 作为命令行工具,主要用途是在终端中快速统计文本的 token 数量。
Simon Willison 在发布 ttok 0.4 之后执行 'uv tool upgrade ttok' 升级工具,发现工具仍然默认使用 GPT-4 的 tokenizer。
ttok 0.4 版本修复了长期存在的 Click 警告并更新了 CI 流程。
ttok 支持通过 uvx 在不显式安装的情况下直接运行,例如 cat file.txt | uvx ttok。
Simon Willison 发布了 ttok 0.4 版本。
ttok 在 0.4 版本发布前已经约两年没有更新。
ttok 的模型列表更新往往滞后于 OpenAI 发布新模型,因为需要人工维护模型别名到 encoding 的映射表。
执行 uvx ttok 时,uv 会先解析 ttok 的最新版本,将其安装到隔离的、由 uv 统一管理的缓存环境中,然后运行入口脚本,不会污染当前项目的虚拟环境。
ttok 是一个基于 OpenAI 开源 tiktoken 库构建的命令行工具,用于统计文本的 token 数量。
还有 1 条时间轴事件
全部知识事实 (11)
ttok 作为命令行工具,主要用途是在终端中快速统计文本的 token 数量。
50%待验证ttok 是一个基于 OpenAI 开源 tiktoken 库构建的命令行工具,用于统计文本的 token 数量。
50%待验证ttok 的模型列表更新往往滞后于 OpenAI 发布新模型,因为需要人工维护模型别名到 encoding 的映射表。
50%待验证ttok 支持通过 uvx 在不显式安装的情况下直接运行,例如 cat file.txt | uvx ttok。
50%待验证执行 uvx ttok 时,uv 会先解析 ttok 的最新版本,将其安装到隔离的、由 uv 统一管理的缓存环境中,然后运行入口脚本,不会污染当前项目的虚拟环境。
50%待验证ttok 在 0.4 版本发布前已经约两年没有更新。
50%待验证ttok 0.4 版本修复了长期存在的 Click 警告并更新了 CI 流程。
50%待验证Simon Willison 在发布 ttok 0.4 之后执行 'uv tool upgrade ttok' 升级工具,发现工具仍然默认使用 GPT-4 的 tokenizer。
50%待验证Simon Willison 的 token 计数工具 ttok 正式发布 1.0 版本。
50%待验证ttok 0.4 版本新增了 --list-models 命令,用于列出当前支持的模型列表。
50%待验证Simon Willison 发布了 ttok 0.4 版本。
50%