BillCraft AI：本地大模型驱动的隐私优先发票工具

自由职业者和小型企业的记账痛点长期被忽视：一边是每月30至70美元的SaaS订阅费用，一边是把客户银行信息、报价利润全部上传到云端API的隐私风险。开发者 abhinavnayak21 在 Hacktoberfest 开源AI挑战赛中提交的 BillCraft AI，试图用本地推理同时解决成本与隐私这两个矛盾。

产品定位：把发票工具做成本地优先的"离线工作室"

BillCraft AI 是一个面向自由职业者、独立顾问和小微零售商的发票工作台，核心卖点是 privacy-first。它包含两条工作流：一条是智能发票生成器，支持本地持久化的企业资料（公司名、邮箱、税率、付款条款自动保存到 localStorage），动态实时计算小计、税额与总计，一键调用本地模型润色商品描述，并导出高分辨率品牌PDF；另一条是AI发票与票据读取器，通过拖拽上传PDF、PNG或JPG，自动完成OCR与结构化字段抽取，并把结果一键导入生成器。

这个功能组合并不新鲜，市面上有大量发票工具。BillCraft 的差异化在于它把"数据不出本机"当作硬约束而非营销话术，这在财务类工具里是相当罕见的取舍。

技术架构：Qwen 2.5 7B + Ollama 的本地推理链路

项目的技术选型围绕开源权重模型展开。结构化抽取使用阿里云^广告的 Qwen 2.5 7B（qwen2.5:7b），作者选择它的理由是模型在结构化JSON抽取和财务推理上的基准表现。推理引擎是本地运行的 Ollama，监听 localhost:11434，实现零延迟、零数据外传的推理体验。

文档处理层使用 RapidOCR（ONNX运行时）配合 PyMuPDF，对矢量PDF和扫描件做文本提取，并通过空间边界框聚类来还原版面结构。抽取完成后，服务端用一段严格的Python数学校验逻辑核对行项目算术——数量 × 单价 = 金额、小计 + 税 = 总计——校验通过才写入SQLite。这个"AI抽取 + 规则校验"的双层设计是工程上比较务实的处理，规避了大模型在数字计算上不可靠的老问题。

前端栈为 React 19 + TypeScript + Vite + Tailwind CSS v4，后端是 FastAPI + SQLAlchemy + SQLite，PDF生成用 ReportLab。

Qwen 2.5 7B 是阿里云通义千问团队发布的稠密参数大语言模型，7B 指 70 亿参数量级，在消费级显卡（如 8GB 显存的 RTX 3060/4060）或 Apple Silicon 统一内存设备上即可完成量化推理。相比 70B 级模型，它对硬件门槛低，但在指令遵循和 JSON 结构化输出上仍保持可用精度，因此常被本地化应用选为「够用且跑得动」的默认档位。Ollama 则是一个把模型权重、量化格式和推理服务打包成单条命令的运行时，用户执行 ollama pull qwen2.5:7b 后即可获得一个监听 11434 端口的本地 HTTP 接口，OpenAI 兼容格式让前后端接入成本极低。二者的组合意味着：模型与数据都驻留在用户设备上，推理过程不产生网络往返，这也是「零数据外传」得以成立的技术前提——一旦离开 Ollama，隐私承诺就必须依赖额外的加密或脱敏措施。

RapidOCR 是一套基于 PaddleOCR 模型转换而来的轻量 OCR 工具链，通过 ONNX Runtime 执行推理，免去了安装 PyTorch 或 PaddlePaddle 的沉重依赖，适合部署在资源受限的中小服务器或本地机器上。它主要负责「把图像变成文字」，而版面还原则需要额外一步：处理财务票据时，文本框的绝对位置决定了哪一列是数量、哪一列是单价，仅靠文字顺序读取极易错位。文中提到的「空间边界框聚类」正是解决这个问题的常用手段——把 OCR 输出的坐标按行、列聚合后重建表格结构，再交给大模型抽取字段。PyMuPDF 则负责另一条路径：对原生矢量 PDF 直接读取内嵌文本层，省去 OCR 步骤且准确率更高，只有当 PDF 是扫描件（纯图像）时才降级到 OCR 流程。这种「矢量优先、扫描兜底」的组合是文档处理类项目的常见工程实践。

云端兜底：演示环境与本地部署的取舍

为了线上演示的可用性，后端在无法访问本地Ollama时会切换到 Cloudflare Workers AI（@cf/qwen/qwen2.5-7b-instruct），借助其无服务器GPU实现零冷启动推理。

这里存在一个值得注意的张力：产品的核心承诺是隐私优先，但演示环境实际走的是云端推理。作者并未详细说明切换逻辑的触发条件与用户提示机制，如果用户在不自知的情况下走了云端通道，隐私承诺就会打折扣。这不是致命问题，但属于产品设计上需要更明确定义的边界。

Cloudflare Workers AI 是 Cloudflare 在其全球边缘节点上提供的无服务器推理服务，开发者通过 REST API 或 Workers 绑定即可调用托管模型，按 Neurons（一种计算量计费单位）结算。文中提到的 @cf/qwen/qwen2.5-7b-instruct 是 Cloudflare 托管的 Qwen 2.5 7B 指令微调版本，与本地使用的权重同源，因此切换后输出格式基本一致，无需为两条链路各写一套解析逻辑。它的价值在于「可用性兜底」：演示站点部署在 Render 这类无 GPU 的环境时，本地没有 Ollama 可连，边缘推理能让访客在浏览器里立刻体验功能，而不必先自行安装模型。需要留意的是，这种便利与隐私优先的定位天然冲突——请求一旦离开用户设备，数据就进入了第三方基础设施，因此一个严谨的实现应当在请求发出前向用户明确提示，或提供「拒绝云端回退」的开关。

开源权重对财务工具的四个现实价值

作者在 Why Open Innovation 部分给出了自己的论证：

• 绝对数据隐私：发票包含客户信息、银行细节和定价毛利，闭源API会处理和留存这些数据，本地运行Qwen则保证财务数据不离开设备。
• 零边际成本：闭源API按token计费，批量解析发票成本会快速累积，开源权重彻底消除这部分费用。
• 离线可靠性：小企业和承包商常在网络不稳定的环境下工作，BillCraft 可以完全离线运行。
• 无厂商锁定：不担心API涨价或突然下线。

这四个论点中，前两条对目标用户最有说服力。真正在做月度记账的人，对"每上传一张票据就要付一次钱"的感知远强于对"供应商锁定"的抽象担忧。

开发过程与生态定位

项目由作者与 Google DeepMind 的智能编码助手 Antigravity AI 协作完成，主要负责多阶段OCR与Qwen解析器的架构、React 19 + Tailwind CSS v4 的全栈UI，以及Render部署与Cloudflare边缘兜底。项目参与了开源AI冠军、Qwen 2.5 7B本地部署、最佳生产力工具三个奖项类别的评选。

从生态角度看，BillCraft AI 代表了一类逐渐成型的工具形态：以开源小模型为推理核心、以本地运行作为隐私边界、以边缘云作为可用性兜底。这类项目短期内未必能替代成熟的订阅制财务SaaS，但对于把数据主权看得比便利性更重的用户群体，它提供了一个具体可用的选项。

代码已在GitHub开源，可在 billcraft-wzr8.onrender.com 体验线上版本，或本地运行前端 localhost:5173 与后端 localhost:8000。