Unverified50% confidenceFactExact time
QuaRot（2024，ETH Zurich）首次将Hadamard旋转系统性地融入Transformer各计算节点，在LLaMA系列上验证了接近FP16的精度表现
1
Sources
50%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
INT4 ConvRot W4A4量化：ComfyUI低显存运行大型图像模型实战
redditr/comfyui7/11/2026
Related Claims
UnverifiedQuaRot 由 ETH Zurich 于 2024 年提出，将旋转矩阵融入 Transformer 各计算节点83% similarVerifiedQwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术65% similarUnverifiedQwen底层架构基于Transformer技术，参数规模从70亿到数千亿不等62% similarUnverifiedHopper架构的Transformer Engine可在FP8与FP16之间逐层动态切换精度61% similarVerifiedTransformer已从NLP渗透至计算机视觉（ViT）、语音识别（Whisper）、多模态模型（CLIP、GPT-4V）乃至蛋白质结构预测（AlphaFold2）60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/490296API
curl https://kongchang.com/api/v1/knowledge/claims/490296MCP
get_claim(id=490296)