VolksAI
一个本地模型算力共享池构想,通过broker撮合闲置本地算力与算力需求,采用四级信任模型,broker不接触prompt内容
时间轴 (近 90 天)
LastBrowser 团队提出名为 VolksAI 的构想,让拥有闲置算力的用户共享本地模型供硬件不足的用户调用,该构想尚未上线且无代码实现。
VolksAI 的 broker 被设计为不存储也不读取 prompt 内容,仅获取路由所需元数据(信任等级、模型名、大致长度)。
VolksAI 承认主机必然能看到 prompt 明文,因为模型必须读取它才能回答;加密只保护传输链路,不保护 GPU 端。
VolksAI 设定四级信任模型:自己的设备、朋友和团队、已验证主机、公共池,另有独立于四级之外的私有组织池。
VolksAI 的敏感内容(凭据、私人文档、标记为机密的 Space 上下文)永远不会走公共池等级。
VolksAI 中共享算力赚取的积分仅是 LastBrowser 内部记账值,不是现金且无提现权利。
VolksAI 的滥用防护机制包括抽查(验证主机是否真的提供所声称的模型)、速率限制以及对反复抽查失败的主机进行降级。
VolksAI 的立场是主机对其机器上接收到的内容和产出的内容负责,LastBrowser 只负责撮合和等级规则,公共池主机不是其员工。
VolksAI 采用任务级众包加单机完整推理的技术路线,借鉴 PAIR 的单机完整请求模式和 Horde 的自愿参与与积分账户,但不像 Petals 那样把模型拆到多个陌生人机器上。
全部知识事实 (9)
VolksAI 采用任务级众包加单机完整推理的技术路线,借鉴 PAIR 的单机完整请求模式和 Horde 的自愿参与与积分账户,但不像 Petals 那样把模型拆到多个陌生人机器上。
50%待验证VolksAI 的 broker 被设计为不存储也不读取 prompt 内容,仅获取路由所需元数据(信任等级、模型名、大致长度)。
50%待验证VolksAI 承认主机必然能看到 prompt 明文,因为模型必须读取它才能回答;加密只保护传输链路,不保护 GPU 端。
50%待验证VolksAI 设定四级信任模型:自己的设备、朋友和团队、已验证主机、公共池,另有独立于四级之外的私有组织池。
50%待验证VolksAI 的敏感内容(凭据、私人文档、标记为机密的 Space 上下文)永远不会走公共池等级。
50%待验证VolksAI 中共享算力赚取的积分仅是 LastBrowser 内部记账值,不是现金且无提现权利。
50%待验证VolksAI 的滥用防护机制包括抽查(验证主机是否真的提供所声称的模型)、速率限制以及对反复抽查失败的主机进行降级。
50%待验证VolksAI 的立场是主机对其机器上接收到的内容和产出的内容负责,LastBrowser 只负责撮合和等级规则,公共池主机不是其员工。
50%待验证LastBrowser 团队提出名为 VolksAI 的构想,让拥有闲置算力的用户共享本地模型供硬件不足的用户调用,该构想尚未上线且无代码实现。
50%