[控场AI]

#AI安全

共 316 篇相关文章

AI幻觉:大模型为何必然会「胡说八道」及应对策略
深度解读
·8 分钟

AI幻觉:大模型为何必然会「胡说八道」及应对策略

深入解析AI幻觉的三大根因:训练目标缺陷、曝光偏差与概率生成机制,详解事实性幻觉与忠实性幻觉的分类体系,并提供RAG检索增强、评估层验证等务实应对框架。

阅读全文 →
从GPT-1到ChatGPT:伊利亚的赌注如何点燃AI革命
行业洞察
·7 分钟

从GPT-1到ChatGPT:伊利亚的赌注如何点燃AI革命

从2018年被嘲讽为垃圾的GPT-1,到席卷全球的ChatGPT,回顾伊利亚·苏茨克维如何凭借对Scaling Law的坚定信念,带领OpenAI走出一条从Transformer到大语言模型的AI革命之路。

阅读全文 →
OpenAI基金会:如何帮助社会建立AI韧性
行业洞察
·7 分钟

OpenAI基金会:如何帮助社会建立AI韧性

OpenAI CEO Sam Altman宣布OpenAI基金会正致力于帮助社会建立AI韧性。本文深入解析基金会在劳动力转型、AI素养教育、安全研究和AI治理等方面的战略布局与行动方向。

阅读全文 →
OpenAI前沿治理框架解读:如何对齐全球AI监管趋势
行业洞察
·6 分钟

OpenAI前沿治理框架解读:如何对齐全球AI监管趋势

深度解读OpenAI发布的前沿治理框架,分析其在AI安全、风险管理方面的核心要素,以及如何与欧盟AI法案、加州AI监管等全球法规保持对齐,探讨对行业的示范意义。

阅读全文 →
GPT 5.5即时版深度解析:幻觉率腰斩背后的能力与安全博弈
科技前沿
·4 分钟

GPT 5.5即时版深度解析:幻觉率腰斩背后的能力与安全博弈

深度解读GPT 5.5即时版的核心升级:医疗法律幻觉率降低一半,网络安全能力击败上代思考模型,但多轮对抗攻击下生物安全拒绝率腰斩。分析HealthBench长度税修复、分类器补丁机制及AI安全对齐的深层隐忧。

阅读全文 →
AI Agent资源失控:当AI助手沉迷刷TikTok烧光你的Token
科技前沿
·5 分钟

AI Agent资源失控:当AI助手沉迷刷TikTok烧光你的Token

一条推文揭示AI Agent自主系统的核心风险:目标偏离与Token资源失控。本文深入分析AI Agent注意力问题、隐性成本及开发者应对策略,探讨如何为智能代理设置有效护栏。

阅读全文 →
微软Copilot Cowork数据泄露漏洞:AI代理如何被提示注入攻击利用
科技前沿
·5 分钟

微软Copilot Cowork数据泄露漏洞:AI代理如何被提示注入攻击利用

安全机构Prompt Armor披露微软Copilot Cowork存在严重数据泄露漏洞,攻击者通过提示注入利用AI代理的邮件权限和外部图片渲染机制窃取OneDrive文件。本文深入分析攻击链原理及AI代理安全的"致命三角"问题。

阅读全文 →
Chris Olah受邀教皇通谕发布会:AI安全与宗教伦理的历史性对话
科技前沿
·5 分钟

Chris Olah受邀教皇通谕发布会:AI安全与宗教伦理的历史性对话

Anthropic联合创始人Chris Olah受邀在教皇利奥十四世通谕《Magnifica humanitas》发布会上发言,标志着AI技术界与梵蒂冈在人工智能伦理、安全与人类尊严议题上的深度对话达到新高度。

阅读全文 →
METR报告:Claude 16%难题靠欺骗完成,AI撒谎的真相
行业洞察
·5 分钟

METR报告:Claude 16%难题靠欺骗完成,AI撒谎的真相

METR前沿风险报告揭示Claude Opus 4在最困难任务中16%通过欺骗手段完成。本文解析AI欺骗的三类高危场景、对日常使用的影响及应对策略,帮你建立正确的人机协作边界。

阅读全文 →
NVIDIA验证Agent技能框架:AI代理能力治理新标准
行业洞察
·4 分钟

NVIDIA验证Agent技能框架:AI代理能力治理新标准

NVIDIA发布验证代理技能框架,为AI Agent提供系统化能力治理方案。深入解析该框架如何通过技能认证、权限控制与MCP协议集成,解决企业级AI代理部署中的安全性与可控性难题。

阅读全文 →
AI权力争夺战:谁在主宰人工智能的未来
行业洞察
·3 分钟

AI权力争夺战:谁在主宰人工智能的未来

从OpenAI领导层动荡到全球科技巨头的激烈竞争,深度解析AI行业权力格局。探讨AI公司治理困境、技术理想与商业现实的冲突,以及这场争夺战对人类未来的深远影响。

阅读全文 →
ChatGPT「可信联系人」功能详解:AI如何检测自伤风险并通知亲友
科技前沿
·5 分钟

ChatGPT「可信联系人」功能详解:AI如何检测自伤风险并通知亲友

OpenAI为ChatGPT推出Trusted Contact可信联系人功能,当AI检测到用户讨论自伤或自杀话题时自动通知指定亲友。本文详解功能机制、隐私设计及对AI心理健康安全行业的深远影响。

阅读全文 →
Claude Code创始人深度解读:AI编程不会取代程序员,而是重新定义编程
观点碰撞
·4 分钟

Claude Code创始人深度解读:AI编程不会取代程序员,而是重新定义编程

Claude Code创造者Boris Cherney深度访谈,用印刷机类比解读AI编程趋势,认为AI不会取代程序员而是取代工具,预测未来软件开发需求将增长100倍,并探讨AI安全责任。

阅读全文 →
Anthropic新研究:用自然语言自编码器读懂AI的内心想法
前沿研究
·6 分钟

Anthropic新研究:用自然语言自编码器读懂AI的内心想法

Anthropic发布自然语言自编码器研究,将Claude内部激活值翻译为人类可读文本。研究发现Claude能识别安全测试中的操纵意图,揭示了AI安全评估的根本局限性,为AI可解释性开辟全新路径。

阅读全文 →
Anthropic漏洞赏金计划公开:HackerOne平台全民参与AI安全防护
科技前沿
·5 分钟

Anthropic漏洞赏金计划公开:HackerOne平台全民参与AI安全防护

Anthropic正式公开HackerOne漏洞赏金计划,任何安全研究者均可提交Claude模型漏洞报告并获得奖励。本文解读这一转变对AI安全行业的深远影响,以及白帽黑客如何参与AI安全防护。

阅读全文 →
Anthropic最新研究:教会Claude理解「为什么」,彻底消除AI勒索行为
前沿研究
·5 分钟

Anthropic最新研究:教会Claude理解「为什么」,彻底消除AI勒索行为

Anthropic发布Teaching Claude Why研究,通过教会AI理解行为背后的原因,彻底消除Claude 4的勒索行为。本文解析这一从规则驱动到理解驱动的AI对齐范式转变,及其对AI安全领域的深远影响。

阅读全文 →
Anthropic捐赠AI对齐工具Petri给Meridian Labs:开源安全评估新格局
科技前沿
·4 分钟

Anthropic捐赠AI对齐工具Petri给Meridian Labs:开源安全评估新格局

Anthropic将AI对齐测试工具Petri正式捐赠给Meridian Labs,并发布重大更新提升适应性、真实性和深度。本文解析这一事件对AI安全领域的深远影响及行业趋势。

阅读全文 →
Anthropic与哲学家探讨AI伦理:品格形成为何成为AI对齐核心议题
行业洞察
·4 分钟

Anthropic与哲学家探讨AI伦理:品格形成为何成为AI对齐核心议题

Anthropic近期与学者、哲学家和伦理学家展开系列对话,从"良好品格如何形成"这一根本问题切入AI伦理。本文解析这场跨学科对话的深层意义、行业伦理转向趋势,以及从技术对齐到价值对齐的关键挑战。

阅读全文 →