推理跑在用户设备上，网站方不必为每次调用支付云端推理费用，也不会受制于第三方API的配额和限流。