Spotlight
Percepta提出的神经网络架构,将模型的智能模块与记忆彻底解耦,通过任意稀疏的可寻址记忆机制实现记忆无限增长而访问成本恒定,支持模型无需重训即可获取新能力
时间轴 (近 90 天)
Siri的跨应用消息检索依赖设备端的自然语言处理与Spotlight索引机制,消息内容在本地建立可搜索索引。
苹果第一方应用(邮件、备忘录、日历等)与 Spotlight 深度集成,数据可被 Siri 索引
Gmail等谷歌应用不向iOS聚焦搜索提供逐封邮件的内容索引,导致Siri无法直接检索其内容
Percepta自称Spotlight是第一个在不增加访问成本的前提下实现记忆无限增长的架构
AI初创公司Percepta公开了一种名为Spotlight的新架构,核心主张是将模型的智能与记忆分离,使知识和技能持续增长而无需改变模型权重
Spotlight用一种能够逃脱记忆容量与访问成本权衡的记忆机制替代了注意力机制
Spotlight中每个token可从一个无界记忆中读取和写入,模型学会对单个记忆单元进行索引,每个token每次只触及其中很少的一部分
MoE模型总是从固定的专家集合中激活固定数量的专家,而Spotlight是任意稀疏的,无论记忆增长到多大触及的单元数量保持不变
Spotlight将系统拆成智能模块和记忆两部分,智能模块大小固定且权重在记忆增长时不变化,记忆存放知识、过程和工作状态
在Spotlight中记忆是可写的,由模型自己逐token决定加载什么、何时覆盖什么,记忆不仅能保存事实还能保存技能
还有 12 条时间轴事件
全部知识事实 (20)
Siri的跨应用消息检索依赖设备端的自然语言处理与Spotlight索引机制,消息内容在本地建立可搜索索引。
50%待验证苹果第一方应用(邮件、备忘录、日历等)与 Spotlight 深度集成,数据可被 Siri 索引
50%待验证Gmail等谷歌应用不向iOS聚焦搜索提供逐封邮件的内容索引,导致Siri无法直接检索其内容
50%待验证Percepta自称Spotlight是第一个在不增加访问成本的前提下实现记忆无限增长的架构
50%待验证Spotlight用一种能够逃脱记忆容量与访问成本权衡的记忆机制替代了注意力机制
50%待验证Spotlight中每个token可从一个无界记忆中读取和写入,模型学会对单个记忆单元进行索引,每个token每次只触及其中很少的一部分
50%待验证MoE模型总是从固定的专家集合中激活固定数量的专家,而Spotlight是任意稀疏的,无论记忆增长到多大触及的单元数量保持不变
50%待验证Spotlight将系统拆成智能模块和记忆两部分,智能模块大小固定且权重在记忆增长时不变化,记忆存放知识、过程和工作状态
50%待验证在Spotlight中记忆是可写的,由模型自己逐token决定加载什么、何时覆盖什么,记忆不仅能保存事实还能保存技能
50%待验证Percepta论断模型可以在不重新训练的情况下获得新能力,能力扩展被转移到可增长的记忆上
50%待验证Spotlight的记忆思路在架构哲学上接近神经图灵机(NTM)和记忆增强神经网络(MANN)的早期探索
50%待验证目前关于Spotlight的所有信息均来自Percepta自家博客的单一来源描述,尚无独立基准测试、同行评审或可复现实验数据支撑
50%待验证macOS的Spotlight和iOS的Photos智能相册本质上也是索引映射原理,搜索分类结果不重组原始文件
50%待验证Raycast是macOS启动器,功能类似Spotlight但支持插件生态,其内置剪贴板历史功能对Raycast Pro订阅用户几乎零额外成本
50%待验证Snap在2020年推出了类似TikTok的短视频信息流功能Spotlight,早期曾设立每日100万美元的创作者基金
50%待验证BeOS的BFS文件系统内置数据库式元数据索引功能,使用B+树索引结构,比macOS Spotlight和Windows桌面搜索早近十年
50%待验证Einfall 通过菜单栏、分享菜单、快捷指令、小组件、Spotlight 搜索和 Siri 语音等多种入口捕捉灵感
50%待验证Einfall 支持通过菜单栏、分享菜单、快捷指令、小组件、Spotlight 搜索和 Siri 语音多种方式在 Mac、iPhone 和 iPad 上捕捉灵感
50%待验证Raycast于2020年出现,作为第三方替代品将Spotlight范式从搜索扩展到执行,支持通过插件系统运行脚本、管理窗口、查询API等
50%待验证Raycast于2020年出现,作为Spotlight的第三方替代品,将全局快捷入口范式从搜索扩展到执行
50%