如何使用本地ChatGPT GPT4All?

在本指南中,我们将进一步学习如何使用本地ChatGPT GPT4All,介绍其界面功能,并尝试与本地文档聊天。

为什么推荐使用GPT4All

使用 ChatGPT 的替代方案 GPT4All 的原因有很多,包括:

您可以使用 PC 的 CPU 来运行 GPT4All,不需要强大但昂贵的 GPU 和超过 12 GB 的 VRAM(尽管它可以提供帮助)。

GPT4All 是一个完全离线的解决方案,因此即使您无法访问互联网也可以使用。

离线并作为“本地应用程序”运行还意味着您与之共享的所有数据都保留在您的计算机上,它的创建者不会“偷看您的聊天记录”。

由于它仅依赖于您的 PC,因此不会变慢、停止响应或忽略您的提示,就像 ChatGPT 当其服务器过载时一样。

GPT4All 允许您轻松地将文档添加到其“知识库”中。 然后,它可以在答案中呈现来自它们的信息,将其变成一个真正的个人助理。

如何使用GPT4All

安装 GPT4All 并下载一些 LLM 后,您现在可以开始与您自己的 AI 聊天机器人聊天。

gpt4all interface

使用 GPT4All 窗口顶部的下拉菜单选择活动语言模型。

使用左上角的汉堡图标访问 GPT4All 的控制面板。

GPT4All 面板上的第一个选项允许您创建新聊天、重命名当前聊天或将其删除。

“更新”按钮允许您更新应用程序并添加或删除组件。

通过“下载”按钮,您可以访问“语言模型”面板。

您可以使用“语言模型”面板来安装新的 LLM、删除已安装的 LLM 以及更改其下载路径。

在 GPT4All 中与 LLM 聊天与 ChatGPT 的在线版本类似。 在 GPT4All 窗口底部的输入字段中输入一些内容,然后按 Enter 键,您将在 GPT4All 的主视图中看到提示。 所选语言模型的响应将显示在提示下方。

与 ChatGPT 一样,如果您不喜欢屏幕上生成的 LLM 响应,您可以单击“停止生成”按钮来中断该过程。

同样,如果您不喜欢已生成的响应并希望查看替代方案,则可以单击出现在同一位置的“重新生成响应”按钮。

请注意,GPT4All 还允许您访问所谓的无限制语言模型。 这些没有人为的限制。 这种“自由”据称“解放”并“赋予”他们更具创造力并提供更多事实回应。 然而,这也意味着他们可能会产生进攻输出。

应用程序右上角的前两个按钮允许您重置对话或将其复制到剪贴板以将其粘贴到其他地方。

第三个按钮(带有齿轮图标)可让您访问 GPT4All 的设置。

gpt4all model settings

GPT4All 设置的“Models”选项卡允许您配置活动语言模型的参数。 通过更改温度和重复惩罚等变量,您可以调整其创造性、简洁性等。

“应用程序”选项卡允许您选择 GPT4All 的默认模型、定义语言模型的下载路径、为应用程序分配特定数量的 CPU 线程、将每个聊天记录自动保存在本地,并启用其内部 Web 服务器以使其可通过浏览器访问。

gpt4all application settings

使用 GPT4All 与您的文档聊天

GPT4All 的最佳功能是它可以轻松地将您自己的文档添加到您选择的语言模型中。 正如我们所看到的,可以对 ChatGPT 执行相同的操作,并使用您自己的数据构建自定义 ChatGPT。 然而,使用 GPT4All,该过程要容易得多,并且无需支付使用 Open AI 的 ChatGPT API 的成本。

gpt4all local docs settings

将一些文档放入文件夹中。 确保它们采用广泛兼容的文件格式,例如 TXT、MD(用于 Markdown)、Doc 等。

在 GPT4All 的“设置”面板上,转到“LocalDocs”选项卡页面。 单击浏览按钮并将应用程序指向您放置文档的文件夹。 然后单击添加将它们包含在 GPT4All 的外部文档列表中。

您将在 GPT4All 的 LocalDocs 插件文档列表中看到文档文件夹的条目。 如果您决定删除文档文件夹,请从此处选择它,然后单击其右侧的“删除”按钮。

从同一位置,您可以调整文档片段大小和文档片段以处理面板左下角的每个提示值。 增加这些将提高所选语言模型“理解”您的文档并提供更相关的响应的能力。 然而,它也会严重减慢 GPT4All 的速度,因为它必须在每次提示后分析您的文档。

您可以通过 GPT4All 的 Collections 按钮管理您的外部文档。

您可以将多个文档集合添加到 GPT4All。 不过,最好不要让它们一直处于活动状态,而是通过降低 GPT4All 的性能来控制要从“集合”面板中激活的文档组(“集合”)。

添加一些文档并启用它们的集合后,GPT4All 会在提示后告诉您它正在处理它们。

每次 GPT4All 提供从文档中提取数据的响应时,它都会在响应下提供参考列表和上下文链接。

通过单击上下文链接,GPT4All 将向您显示文档中用于响应的文本片段。

gpt4all chat with local docs

结语

GPT4All 以及您可以通过它使用的语言模型可能与占主导地位的 ChatGPT 不完全匹配,但它们仍然有用。富有创造力的用户和修补匠已经找到了各种巧妙的方法来改进此类模型,这样即使他们依赖于比 ChatGPT 使用的更小的数据集或更慢的硬件,他们仍然可以接近它,或者在某些情况下甚至超越它。不过,与其详细了解每种可用型号的优缺点,不如亲自尝试一下呢? GPT4All 让一切变得简单。