互联网

当前位置/ 首页/ 要闻频道/互联网/ 正文

如何使用 Raspberry Pi 4 创建您自己的 AI 聊天机器人服务器

导读 我们之前已经展示了您可以在 Raspberry Pi 上运行 ChatGPT,但要注意的是 Pi 只是提供客户端,然后将您的所有提示发送到云中其他人强

我们之前已经展示了您可以在 Raspberry Pi 上运行 ChatGPT,但要注意的是 Pi 只是提供客户端,然后将您的所有提示发送到云中其他人强大的服务器。但是,可以创建类似的 AI 聊天机器人体验,在 8GB Raspberry Pi 上本地运行,并使用与 Facebook 和其他服务上的 AI 相同的 LLaMA 语言模型。

这个项目的核心是Georgi Gerganov 的 llama.cpp。一个晚上写的,这个C/C++模型对于一般使用来说已经够快了,而且安装也很容易。它可以在 Mac 和 Linux 机器上运行,在这篇文章中,我将调整 Gerganov 的安装过程,以便模型可以在Raspberry Pi 4上运行。如果你想要一个更快的聊天机器人并且有一台配备 RTX 3000 系列的计算机或更快的 GPU,请查看我们关于如何在您的 PC 上运行类似 ChatGPT 的机器人的文章。

管理期望

在你开始这个项目之前,我需要管理你的期望。Raspberry Pi 4 上的 LLaMA 运行缓慢。加载聊天提示可能需要几分钟时间,而对问题的回答也可能需要同样长的时间。如果您追求速度,请使用 Linux 台式机/笔记本电脑。这更像是一个有趣的项目,而不是一个关键任务用例。

16GB 或更大的格式化为 NTFS 的 USB 驱动器

使用 Linux PC 设置 LLaMA 7B 模型

该过程的第一部分是在 Linux PC 上设置 llama.cpp,下载 LLaMA 7B 模型,转换它们,然后将它们复制到 USB 驱动器。我们需要 Linux PC 的额外功能来转换模型,因为 Raspberry Pi 中的 8GB RAM 是不够的。

免责声明:本文由用户上传,如有侵权请联系删除!