Groq是一家专注于人工智能推理加速的芯片设计与云服务公司,自主研发了语言处理单元(LPU)架构,专为大型语言模型的高速推理优化设计。公司同时提供基于自研芯片的云端AI推理API服务,面向开发者和企业用户,以低延迟、高吞吐量的推理性能为核心竞争优势。
Trama采用Bring Your Own Key(自带密钥)模式,支持接入Claude、GPT、Gemini、Groq等主流大语言模型
AMD的MI300系列、谷歌的TPU以及Cerebras、Groq等AI芯片初创公司正在崛起,形成对英伟达的竞争