新版pv集成了本地Llama3的部署方法
第一步设置环境变量-我的电脑-右键属性-高级系统设置
-弹出的窗口下方-环境变量
Administrator的用户变量栏 -新建变量
变量参数-1如图所示
OLLAMA_HOST
127.0.0.1
变量参数-2如图所示
效果如图
接着依次单击确定- 确定:如图
第二步下载ollama3安装包-复制到浏览器打开下载
https://ollama.com/download/OllamaSetup.exe
下载完成后双击安装:一路默认
安装完成后打开pv 选择需要的语言模型文件下载
22G显存之下推荐:llama3:8b
22G显存推荐:llama3:8b-instruct-q8_0
经群友测试好用
选择好语言模型后点击启动ollama开始下载模型
会弹出cmd窗口-以下为模型下载流程
图中标记位置为模型的下载速率,如果下载速率不过5M关掉cmd窗口
重新点击pv的启动ollama继续下载模型,网速会有所提升[ps:有梯子的可以挂梯子试试,有的可以提升下载速率]
模型下载完成后如下图:关掉窗口
接下来更改模型名称使其能让pv识别并挂载:以图中模型为例,
windows键+R
输入cmd 回车 或者点确定
这个窗口
运行更改模型名称指令{复制然后到cmd窗口点鼠标右键}:你下载的哪个模型就用哪个指令,不是这两个其中之一看指令解释图片
llama3:8b-instruct-q8_0 模型更改指令:
ollama cp llama3:8b-instruct-q8_0 gpt-4
·······················
llama3:8b模型更改指令:
ollama cp llama3:8b gpt-4
指令解释
提示:copie开头说明模型更改成功
继续下面的步骤
重启电脑 -启动sd sd wenui加载成功
开启pv点击图中框选位置启动模型
弹出cmd窗口为下图的状态
点击pv的开始使用
pv界面显示:智能全自动执行
表示gpt挂载成功