WebGL2

一位Reddit用户尝试从零手搓推理引擎，让GGUF Q4模型通过WebGL2在浏览器里运行，结果经历了大量调试困难。

WebLLM等项目已经验证了用浏览器GPU（WebGL2）跑大模型的可行性。

WebGL2的嵌入式计算缓冲区（transform feedback）允许顶点着色器把计算结果写回GPU缓冲区，被一些浏览器端推理项目用来实现矩阵乘法等通用计算。

WebGL2本质仍是图形API，没有CUDA那样的共享内存、原子操作和成熟的性能分析工具，数据类型以浮点向量为主，整数运算和位操作支持有限。