英特尔的 Arc Alchemist GPU 可以运行像 Llama 2 这样的大型语言模型，这要归功于该公司的 PyTorch 扩展，正如最近的一篇博客文章中所演示的那样。Intel PyTorch 扩展可在 Windows 和 Linux 上运行，允许法学硕士利用 Arc GPU 上的 FP16 性能。然而，鉴于英特尔表示您需要 14GB 的 VRAM 才能在英特尔硬件上使用 Llama 2，这意味着您可能需要Arc A770 16GB卡。

PyTorch 是一个由 Meta 开发的开源框架，用于机器学习，然后可用于法学硕士。虽然该软件开箱即用，但默认情况下不会对其进行编码以充分利用每个硬件，这就是英特尔推出PyTorch 扩展的原因。该软件旨在利用 Arc GPU 内的 XMX 内核，并于 2023 年 1 月首次发布。同样，AMD 和 Nvidia 都出于优化目的对 PyTorch 进行了优化。

在其博客文章中，英特尔使用英特尔 PyTorch 扩展的最新更新(该扩展于 12 月发布)展示了 Llama 2 中 Arc A770 16GB 的性能能力，并专门优化了 FP16 性能。FP16(半精度浮点数据)以精度换取性能，这对于 AI 工作负载来说通常是一个很好的权衡。

该演示展示了 Llama 2 和专注于对话的 Llama 2-Chat LLM，提出了诸如“深度学习能否像人类一样具有如此泛化能力?”之类的问题。对此，这位法学硕士出人意料地谦虚，表示深度学习与人类智能根本不在同一水平上。然而，根据英特尔的说法，为了运行像 Llama 2 这样具有 FP16 精度的 LLM，您需要 14GB 的 VRAM，而且我们也没有得到任何关于它响应输入和查询的速度的数据。