#长上下文训练
共 4 篇相关文章
·9 分钟
Laguna S 2.1：参数小14倍却更强的开源编程模型
Poolside 发布开源智能体编程模型 Laguna S 2.1，118B总参数仅激活8B，DeepSWE基准得分40.4%，超越DeepSeek V4 Pro Max约4.5倍。支持百万Token上下文，单台工作站可部署，OpenRouter定价$0.10/百万Token起，256K上下文端点免费。
阅读全文 →
Flash-MSA：稀疏注意力内核如何突破百万Token训练瓶颈
·6 分钟
Flash-MSA：稀疏注意力内核如何突破百万Token训练瓶颈
Flash-MSA（Flash Multi-Sparse Attention）通过GPU稀疏注意力内核，将计算复杂度从O(n²)降至近线性，直击超长上下文训练的算力痛点。本文深度解析其核心原理、技术脉络与实际应用价值，助力开发者理解长上下文大模型训练的关键基础设施进展。
阅读全文 →
·15 分钟
AI编程时代：Claude写的代码算你的吗？
Reddit热梗"这是你还是Claude写的"引发开发者集体共鸣。本文深度分析AI编程助手如何重塑开发流程、人机协作的贡献边界在哪里，以及程序员在AI时代如何找到不可替代的核心竞争力。
阅读全文 →
教程攻略·7 分钟
Unsloth教程：本地微调大模型速度提升数倍，显存节省60%
Unsloth是GitHub 63K星标的开源大模型微调工具，支持Gemma 4、Qwen3、DeepSeek等模型。通过底层内核优化实现训练加速数倍、显存大幅降低，消费级GPU即可完成微调，提供Web UI图形界面，适合个人开发者和企业私有化部署。
阅读全文 →