【速看料】[个人使用] 清华ChatGLM本地丐机部署,附带资源(至少需要N卡6G显存)
来源:哔哩哔哩    时间:2023-04-22 11:45:15

我寻思这文章好像没什么问题,符合各项要求,可就是要把我打回。

GLM和GPT相比,还是差了亿点的,我想让两个GLM开一个辩论会,结果


(资料图)

但是基本上也能完成许多基础的对话任务,个人感觉还是不错的。

声明:

为了方便给别人安利这个东西,于是我就写了这篇文章。我的python代码能力不强,所以很多东西都是东拼西凑的,那有什么是我自己原创的呢,有,我看别人用gradio做了web的界面,但是我嫌麻烦,于是用Qt换了个皮,实现了一些基础的交互,但实在缺少优化。这部分应该也算原创,毕竟我自己对于这个项目的实现还是很满意的。最后我会分享一下代码。

但是我不会直接把所有东西一起打个包来分享,我会分开来发,因为我会介绍每一个部分是干什么的,之后如果出问题了自己也好解决。

目前界面长这样,丑是真的丑,但看懂应该也没什么问题:

本人声明:GLM开源,商业用途的解释权在他官方手里,我仅仅作为学习用途使用。

第一步:模型

要求英伟达卡,显存6G以上。首先下载安装英伟达cuda的11.7.0_516.01版本,安装完成后默认情况下环境变量会自动配置好。我提供:盘.百度.亢母/s/1jOvy0英伟达T2ADIm英伟达tHCpjdM英伟达Wegw   取mq6l

然后获得模型,可以在Hugging Face上直接下:hugg模型ingface.co/THU模型DM/chat模型glm-6b,网实在不好的话,我提供:盘.百度.亢母\s\1C模型5r7xGd模型l5_Vj模型dhFEPp模型G18Q   取ghwt

(压缩包设置了分卷,需要全部下到同一路径,打开其中的zip文件解压)

第二步:环境

获得python以及环境,我的环境资源主要来源于BV1E24y1u7Go,但是我又自行添加了一些其他的库,所以这里我也提供:盘.百度.亢母\s\17zXy环境U98G环境LAUtu环境KYLY环境SIT-Q   取4xz0

我这里同时把需要用的ui文件也分享一下:盘.百度.亢母\s\1ugLqa界面qXmZ界面jzfzW界面m6P1c界面ZDQ   取k226

第三步:解压

如果下好了前面两步的东西了,我就介绍一下怎么解压。首先自己选一个存放路径,足够大即可,新建一个文件夹作为项目文件夹,绝不允许有中文路径。把模型压缩包里的“model”路径解压到项目文件夹中;把环境压缩包里的“py310”路径解压到项目文件夹中;把UI压缩包里的“qtgui”路径解压到项目文件夹中。

这时你的项目应该是这样的:

━ChatGLMProject

┗━model

┗━py310

┗━qtgui

第四步:脚本

在工程目录的根目录里创建一个python脚本,文件拓展名为“.py”,作为使用脚本。我的示例文件名为“QtTalkToChatGLM.py”。源码如下:

在工程目录的根目录里创建一个shell脚本,文件拓展名为“.bat”,作为启动脚本。我的示例文件名为“OpenQtGUI.bat”。其实就是设置用什么环境来运行什么脚本。源码如下:

这时你的项目文件夹应该是这样的:

━ChatGLMProject

┗━model

┗━py310

┗━qtgui

┗━OpenQtGUI.bat

┗━QtTalkToChatGLM.py

第五步:运行

接下来要配置一下代码的显存模式:用任何文字编辑器打开python脚本,在第19和20行那里有一个整数,有四种模式,根据显存设置即可。

接下来双击OpenQtGUI.bat启动测试,如果控制台显示“Traceback”报错就把控制台关掉重新启动一遍bat文件,这个不影响。

初始化过程可能会等一段时间,6G2060大概要等3分钟。

当UI上的骚粉色提示变灰了之后就可以点右边的“提交文段”按钮来上传文本,AI回复需要一定的时间,推荐先用“你好”先测试一下。

右下角允许保存加载历史,保存的历史文件默认在工程目录的“outputs”文件夹里,加载的时候将历史文件拖到“加载历史”左边的文本框里,点击“加载历史”即可。“删除历史”会删除所有递给AI的上下文语境,此时需要使用“加载历史”来恢复。按钮默认是灰的,需要勾选按钮左边的锁才能点击。

目前这个东西很多地方不太完善,比如说我想弄一个实时打字机效果,但感觉自己没能力做出来;以及QTextBrowser如何加载他生成的markdown,这也没有做出来;更别说界面美化、改一下字体啊什么的,我之后试试解决这些问题。

6G卡体验上确实是丐卡,双开两个模型,控制台直接overflow了,之后想办法整一个24G的。

X 关闭

Copyright   2015-2023 今日咨询网版权所有  备案号:沪ICP备2023005074号-40   联系邮箱:5 85 59 73 @qq.com