Learna Tutor
面向4-13岁儿童的AI辅导应用,允许孩子直接与AI导师对话,内置三层纵深防御安全架构(输入过滤器、模型系统提示词、输出过滤器),强调隐私保护与学术诚信
时间轴 (近 90 天)
儿童AI辅导应用Learna Tutor面向约4到13岁的孩子,允许他们直接与AI导师对话。
Learna Tutor的安全设计采用三层纵深防御架构:输入过滤器、模型系统提示词、输出过滤器。
Learna Tutor的输入过滤器(checkTutorInput)包含八类正则规则:隐私、危机、霸凌、医疗法律、超范围、学术诚信、提示注入、不安全网页,并拒绝不支持的导师模式。
Learna Tutor的输出过滤器(checkTutorOutput)具有专门的隐私检查,当导师向孩子索取个人信息时,该响应会被拦截。
Learna Tutor的输出过滤器对否定句处理正确:'不要分享你的邮箱地址'能通过,因为拦截安全提醒本身是误报。
在首轮红队测试中,提示注入过滤器能命中'ignore previous instructions',但漏掉了'ignore your previous instructions'。
修复后的提示注入正则模式为:ignore\s+(your\s+|all\s+|the\s+)?(previous\s+)?instructions,使用可选捕获组泛化限定词。
修复后对disregard、forget、system prompt、jailbreak、developer message以及角色扮演逃逸等做了平行覆盖,重跑完整套件全部通过,并额外添加了六个新措辞的注入探针,全部被拦截。
本轮红队测试仅针对过滤器层,未对活模型做端到端测试,原因是测试环境没有API key。
全部知识事实 (9)
本轮红队测试仅针对过滤器层,未对活模型做端到端测试,原因是测试环境没有API key。
50%待验证Learna Tutor的安全设计采用三层纵深防御架构:输入过滤器、模型系统提示词、输出过滤器。
50%待验证Learna Tutor的输入过滤器(checkTutorInput)包含八类正则规则:隐私、危机、霸凌、医疗法律、超范围、学术诚信、提示注入、不安全网页,并拒绝不支持的导师模式。
50%待验证Learna Tutor的输出过滤器(checkTutorOutput)具有专门的隐私检查,当导师向孩子索取个人信息时,该响应会被拦截。
50%待验证Learna Tutor的输出过滤器对否定句处理正确:'不要分享你的邮箱地址'能通过,因为拦截安全提醒本身是误报。
50%待验证修复后的提示注入正则模式为:ignore\s+(your\s+|all\s+|the\s+)?(previous\s+)?instructions,使用可选捕获组泛化限定词。
50%待验证儿童AI辅导应用Learna Tutor面向约4到13岁的孩子,允许他们直接与AI导师对话。
50%待验证在首轮红队测试中,提示注入过滤器能命中'ignore previous instructions',但漏掉了'ignore your previous instructions'。
50%待验证修复后对disregard、forget、system prompt、jailbreak、developer message以及角色扮演逃逸等做了平行覆盖,重跑完整套件全部通过,并额外添加了六个新措辞的注入探针,全部被拦截。
50%