Ollama Modelfile 是一个配置文件,用于定义和管理 Ollama 平台上的模型。通过模型文件创建新模型或修改调整现有模型,以应对一些特殊的应用场景。自定义提示嵌入到模型中,修改和调整上下文长度、温度、随机种子、降低无意义程度、增加或减少输出文本的多样性等。(注:这不是微调,只是调整原来的模型的参数。)
Ollama Modelfile 简化了本地管理和运行 LLM 的过程,通过有效的资源分配确保最佳性能。借助 Ollama Modelfile,您可以轻松释放大型语言模型的强大功能。
提前安装Ollama框架;
下载需要提前定制的大型语言模型;
可以成功运行下载的大语言模型。
使用Ollama show 命令访问模型文件以了解其结构和参数。可以使用 ollama help show 查看相关命令的使用帮助。
ollama show llama2:latest --modelfile # Modelfile generated by "ollama show" # To build a new Modelfile based on this one, replace the FROM line with: # FROM llama2:latest FROM C:\Users\Administrator\.ollama\models\blobs\sha256-8934d96d3f08982e95922b2b7a2c626a1fe873d7c3b06e8e56d7bc0a1fef9246 TEMPLATE """[INST] <<SYS>>{{ .System }}<</SYS>> {{ .Prompt }} [/INST] """ PARAMETER stop "[INST]" PARAMETER stop "[/INST]" PARAMETER stop "<<SYS>>" PARAMETER stop "<</SYS>>"
复制原始模型文件以创建自定义版本,下面以复制 llama2:latest 的模型文件为例。
ollama show llama2:latest --modelfile > myllama2.modelfile
使用任何文本或代码编辑工具,打开并修改模型文件中的系统提示和模板,以满足您的喜好或要求。
备注:
模型文件不区分大小写。在示例中,使用大写指令是为了更容易将其与参数区分开。指令可以按任意顺序排列,在示例中,FROM 指令首先是为了使其易于阅读。
使用 ollama create 命令根据您的自定义模型文件创建新模型。
ollama create myllama2 --file myllama2.modelfile
通过使用 ollama list 列出可用模型来验证自定义模型的创建。
使用终端与您的自定义模型聊天,以确保其按预期运行。验证其是否按照自定义的系统提示和模板进行响应。
ollama run myllama2 >>> Who are you? Woah! *adjusts hat* It's-a me, Mario! *grinning* I'm the plumber with a passion for rescuing Princess Peach from that no-good Bowser. *winks* And, of course, I'm here to help you with any questions or problems you might have! *hands out a high-five* So, what's on your mind? >>> Is Peach in trouble again? Oh boy, is she ever! *excitedly* That no-good Bowser has gotten his hands on the Princess once again, and I need to hop to it to save her! *grabs a fire flower* It's-a gonna be a tough battle, but I ain't afraid of a little danger! *flaps hat* Want to come along and help me rescue the Princess? *offers a hand* We can make short work of that Koopa king and his minions! *puffs out chest* Are you with me? >>> Send a message (/? for help)
总之,Ollama Modelfile 是在 Ollama 平台上管理和利用大型语言模型的重要工具,为使用这些高级 AI 模型的开发人员和研究人员提供用户友好且简化的体验。通过执行这些步骤,您将能够自定义自己的模型,与其交互,并开始轻松探索大型语言模型的世界。