[控场AI]
· 4 分钟阅读· 2,116 字

Together.ai 被曝Prompt泄露漏洞:请求处理机制引担忧

Together.ai 被曝Prompt泄露漏洞:请求处理机制引担忧

Together.ai 被指请求中 Prompt 泄露,暴露多租户推理平台的隔离风险。

Hacker News 上一则关于 Together.ai「Prompt Leakage for Requests」的讨论,将多租户推理平台的请求隔离问题推到台前。文章指出,Prompt 已演变为承载业务逻辑与敏感数据的「新型代码」,其泄露比模型权重外泄更隐蔽,常规监控难以察觉。多租户平台需在请求队列、KV Cache 清理、日志访问控制和批处理逻辑等多个层面实现隔离,任一环节疏漏都可能导致跨用户数据串扰。对开发者而言,应避免在系统提示词中写入密钥或客户身份信息,对敏感业务做脱敏与二次处理,并关注服务商的安全公告。由于公开细节有限,事件范围与修复状态仍待官方说明,但行业对请求生命周期安全的重视将随之提升。

事件概述

近日,Hacker News 上出现了一条关于 AI 云服务提供商 Together.ai 的讨论,标题为「Together.ai: Prompt Leakage for Requests」。该帖子获得了 8 个点数与 4 条评论,虽然讨论热度不算高,但涉及的问题——Prompt 泄露——对于依赖大模型 API 的开发者而言相当敏感。

Prompt 通常包含企业的业务逻辑、系统指令甚至敏感数据,一旦在请求处理环节发生泄露,后果可能远超一次普通的技术故障。目前该帖并未提供完整的技术细节,但从标题可以明确判断,问题指向的是「请求中的 Prompt 泄露」,而非模型输出内容的外泄。

hackernews source: Together.ai: Prompt Leakage for Requests

为什么 Prompt 泄露值得警惕

在大模型应用架构中,Prompt 已经演变为一种「新型代码」。系统提示词里往往写明了角色设定、输出格式约束、内部知识库的调用规则,部分企业还会把客户数据片段拼接进上下文。这类信息一旦被其他租户或非授权方看到,等同于把应用的「设计图纸」公开。

与模型权重泄露不同,Prompt 泄露往往更隐蔽,也更难被常规监控发现。开发者通常只关注 API 返回是否正常,很少去验证请求在服务端流转过程中是否被隔离。Together.ai 此次被点名的问题,恰恰踩在了这个容易被忽视的环节上。

系统提示词(system prompt) 是在对话开始前注入、用于约束模型行为的指令层,通常对终端用户不可见。它承载角色设定、安全策略、工具调用规则、输出格式模板,有时还内嵌检索到的知识片段。与用户输入不同,系统提示词属于应用方的知识产权,也是攻击者「提示注入」的主要窃取目标。一旦它被其他租户读取或在日志中明文留存,攻击者便可据此构造绕过防护的输入,或直接复制竞品的应用逻辑,因此其保密等级应视同源代码对待。

多租户推理平台的共性难题

Together.ai 的定位是提供多种开源模型的推理服务,其核心价值在于让开发者以较低成本调用模型。这类平台天然是多租户架构,多个用户的请求会在同一批 GPU 集群上调度处理。

多租户环境下的隔离需要做到多个层面:请求队列的隔离、显存中 KV Cache 的清理、日志系统的访问控制,以及批处理(batching)逻辑的正确性。任意一环出现疏漏,都可能让 A 用户的 Prompt 出现在 B 用户可见的位置。这不是 Together.ai 一家的挑战,而是所有推理服务平台都必须面对的工程问题。

KV Cache(键值缓存) 是大模型推理过程中的核心优化机制。Transformer 模型在自回归生成每个 token 时,需要重新计算此前所有 token 的注意力键(Key)和值(Value)向量;为避免重复计算,推理引擎会把已算好的 K/V 张量缓存在显存中,后续生成直接复用。这能显著降低时延与算力开销,但也意味着显存里长时间驻留着与特定用户请求强绑定的中间数据。在多租户平台上,若请求结束后缓存未被及时清空,或不同请求的缓存块被调度器错误复用(例如分页式注意力中的 block 分配出错),后续用户就可能读到前一位用户 Prompt 的残留特征。因此 KV Cache 的生命周期管理与显存回收策略,是租户隔离中技术难度最高的一环。

批处理(batching) 是推理平台提升 GPU 利用率的关键手段。为压低单位请求成本,平台会把多个用户在同一时间窗口内的请求拼成一个批次共同前向计算,连续批处理(continuous batching)还会在生成过程中动态插入新请求。批处理一旦实现有误——例如注意力掩码(attention mask)构造不当、序列长度对齐出错、或不同请求的上下文被错误拼接——就可能造成跨请求的上下文串扰。这类缺陷往往只在特定并发与时序下复现,难以通过常规功能测试发现,是 Prompt 泄露最典型的技术来源之一。

对开发者的实际影响

对于正在使用或计划使用第三方推理 API 的团队,这次讨论提供了一个重新审视供应链安全的契机。几点现实建议:

  • 避免在系统提示词中写入密钥、内部 URL、客户真实身份信息等不可外泄内容;
  • 对敏感业务采用脱敏后的 Prompt 结构,把关键逻辑放在自有服务端做二次处理;
  • 关注服务商的安全公告与事件响应记录,而不仅是价格和吞吐指标。

需要说明的是,目前公开信息仅有帖子标题与有限的讨论,尚无法确认泄露的具体范围、触发条件以及是否已被修复。在官方说明出现之前,不宜对事件严重程度下定论。

行业层面的启示

这起讨论折射出一个更宏观的趋势:随着越来越多企业把推理负载交给第三方平台,AI 基础设施的安全边界正在从「模型是否安全」扩展到「请求生命周期是否安全」。模型层面的对齐研究固然重要,但工程层面的租户隔离、日志脱敏、缓存清理同样决定着生产环境的实际风险。

对于推理服务商而言,Prompt 泄露类问题很可能会成为客户尽职调查中的标准提问项。谁能更早建立可验证的隔离机制和透明的事件披露流程,谁就更容易赢得企业客户的信任。

#Together.ai#Prompt泄露#大模型API安全#多租户隔离#AI推理平台#LLM安全
分享:

相关推荐