先有泛用運算的 CPU，再有專為圖形處理而生的 GPU，現在又有專為語言模型而生的 LPU (Language Process Unit) 誕生了！
專為大型語言 AI 模型 LLM 而生！
由新創公司 Groq 開發的語言模型處理器 (LPU) 是專為運行語言模型而生，透過更為精簡的 tensor streaming architecture 晶片架構、更高速的記憶體 (使用 SRAM)、更大的記憶體頻寬，讓處理器可以大幅提升語言模型的處理效率。
18 倍的效能提升，GPU 追不上的速度
因為硬體架構上的優化，Groq 的 LPU 每秒鐘可以產生高達 500 個 token，相較於 Gemini Pro、GPT-3.5 Turbo 每秒 30~50 個 token 的速度，提升了將近 17 倍。
語言模型運算成本大幅下降
因此，也意味著 LPU 能夠大幅降低語言模型的運算成本。
支援標準機器學習框架
Groq 的處理器支援如 PyTorch、TensorFlow、ONNX 等機器學習框架進行推理，不過目前還不支援語言模型的訓練工作。
✅試試看 Groq 有多快👉 https://groq.com/
ℹ️關注最新 AI 科技應用、新品開箱
歡迎追蹤我，或訂閱《手哥科科》YouTube 頻道
👉 https://cclick.vip/handbrosub
