模型MiniLM
MiniLM
一种通过知识蒸馏从BERT等大模型压缩而来的轻量级Transformer架构，名称中L-6表示6层，广泛用于Cross-Encoder排序模型和嵌入模型
时间轴 (近 90 天)
10月14日
MiniLM是一种通过知识蒸馏从BERT等大模型压缩而来的轻量级Transformer架构，L-6表示6层，v2为第二版。
待验证50%
9月9日
使用轻量级embedding模型如sentence-transformers的MiniLM每次推理需要几十毫秒，大型embedding模型可能达数百毫秒
待验证50%
8月27日
all-MiniLM 是 Sentence-Transformers 项目中的轻量级模型，基于微软的MiniLM架构蒸馏而来
待验证50%