注意力机制是深度学习中的一种核心技术，使模型在处理序列数据时能够动态聚焦于输入中最相关的部分，而非均等对待所有信息。其核心思想是通过计算查询、键、值之间的相关性权重，实现对不同位置信息的选择性关注。广泛应用于自然语言处理、计算机视觉等领域，是Transformer架构的基础组件。
注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
将最重要的指令放在prompt的开头或结尾通常效果更好，因为注意力机制对特定位置的信息赋予更高权重
自注意力机制由Google在2017年的论文《Attention Is All You Need》中提出
当系统提示词因多任务而变得复杂时，不同任务的指令之间会产生语义冲突，稀释注意力机制对关键信息的聚焦能力
AI模型的注意力机制在处理范围有限、边界清晰的代码时，能更准确地理解上下文关系，生成质量更高的代码修改
大语言模型通过注意力机制（Attention Mechanism）对上下文窗口内所有token同时计算相关性权重，而非像人类一样逐步阅读和筛选资料
在大语言模型的注意力机制中，过期旧笔记和权威日志在物理上处于完全平等的竞争地位，语义更接近问题的内容可能获得更高权重
LLM本质上是在做下一个token的概率预测，即便温度参数设为0，面对复杂的多步骤指令时，模型仍会受到注意力机制的影响