bitpie| Intel 研究人员提出新 AI 方法，更高效地在 CPU 上部署 LLM -

bitpie/2023-11-12/ 分类：资讯/阅读：

据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算 ...

据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率，Intel 的研究人员提出了一种有效的方法，支持自动的 INT-4 权重量化流程，可以在 CPU 上高效部署 LLM。此外，他们设计了一个特定的 LLM 运行时，具有高度优化的内核，可以加速 CPU 上的推断过程。