人物
Simon Brandeis
Hugging Face社区的性能优化研究者,专注于NLP推理性能剖析与工程优化。
时间轴 (近 90 天)
10月16日
Brandeis引入页缓存(page cache)来记录某个码点是否可能被归一化改变或与邻居合并,首次访问某页时预计算256个码点的答案,后续查表复杂度从O(log n)降为O(1)。
待验证50%
10月16日
Brandeis报告称,优化分支相比main分支最高可再提速5.7倍,相对tokenizers 0.23版本总提升约50倍,但两者基线不同,50倍包含了此前版本迭代积累的改进。
待验证50%