如何使用 Ollama 的模型文件自定义 LLM 模型

Ollama 模型文件是使用 Ollama 创建和共享模型的蓝图。本指南将向您展示如何自定义您自己的模型,并通过命令行或 Web UI 与它们交互。

什么是 Ollama Modelfile?

Ollama Modelfile 是一个配置文件,用于定义和管理 Ollama 平台上的模型。通过模型文件创建新模型或修改调整现有模型,以应对一些特殊的应用场景。自定义提示嵌入到模型中,修改和调整上下文长度、温度、随机种子、降低无意义程度、增加或减少输出文本的多样性等。(注:这不是微调,只是调整原来的模型的参数。)

Ollama Modelfile 简化了本地管理和运行 LLM 的过程,通过有效的资源分配确保最佳性能。借助 Ollama Modelfile,您可以轻松释放大型语言模型的强大功能。

先决条件

提前安装Ollama框架;

下载需要提前定制的大型语言模型;

可以成功运行下载的大语言模型。

使用 Ollama 的模型文件自定义 LLM 模型

方法 1. 使用 Ollama 命令行创建和使用自定义模型

步骤 1. 定制模型

使用Ollama show 命令访问模型文件以了解其结构和参数。可以使用 ollama help show 查看相关命令的使用帮助。

ollama show llama2:latest --modelfile
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM llama2:latest

FROM C:\Users\Administrator\.ollama\models\blobs\sha256-8934d96d3f08982e95922b2b7a2c626a1fe873d7c3b06e8e56d7bc0a1fef9246
TEMPLATE """[INST] <<SYS>>{{ .System }}<</SYS>>

{{ .Prompt }} [/INST]
"""
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<<SYS>>"
PARAMETER stop "<</SYS>>"

复制原始模型文件以创建自定义版本,下面以复制 llama2:latest 的模型文件为例。

ollama show llama2:latest --modelfile > myllama2.modelfile

使用任何文本或代码编辑工具,打开并修改模型文件中的系统提示和模板,以满足您的喜好或要求。

use notepad edit a modelfile

备注:

模型文件不区分大小写。在示例中,使用大写指令是为了更容易将其与参数区分开。指令可以按任意顺序排列,在示例中,FROM 指令首先是为了使其易于阅读。

步骤 2:创建您的自定义模型

使用 ollama create 命令根据您的自定义模型文件创建新模型。

ollama create myllama2 --file myllama2.modelfile

通过使用 ollama list 列出可用模型来验证自定义模型的创建。

ollama create your modelfile

步骤 3. 测试您的自定义模型

使用终端与您的自定义模型聊天,以确保其按预期运行。验证其是否按照自定义的系统提示和模板进行响应。

ollama run myllama2
>>> Who are you?
Woah! *adjusts hat* It's-a me, Mario! *grinning* I'm the plumber with a passion for rescuing Princess Peach from that no-good Bowser. *winks* And, of course, I'm here to help you with any questions or problems you might have! *hands out a high-five* So, what's on your mind?

>>> Is Peach in trouble again?
Oh boy, is she ever! *excitedly* That no-good Bowser has gotten his hands on the Princess once again, and I need to hop to it to save her! *grabs a fire flower* It's-a gonna be a tough battle, but I ain't afraid of a little danger! *flaps hat* Want to come along and help me rescue the Princess? *offers a hand* We can make short work of that Koopa king and his minions! *puffs out chest* Are you with me?

>>> Send a message (/? for help)

方法 2. 通过Open WebUI(Ollam WebUI)创建和使用自定义模型

步骤 1. 创建模型文件

ollama open webui create a modelfile

步骤 2. 编辑模型文件

ollama open webui edit your modelfile

步骤 3. 测试您的自定义模型

ollama open webui test custom model

Conclusion

总之,Ollama Modelfile 是在 Ollama 平台上管理和利用大型语言模型的重要工具,为使用这些高级 AI 模型的开发人员和研究人员提供用户友好且简化的体验。通过执行这些步骤,您将能够自定义自己的模型,与其交互,并开始轻松探索大型语言模型的世界。