一通折腾,环境装完了,发现程序跑起来用的cpu,看了一下,cuda和torch都装了,没问题。
检查torch版本
conda list
发现torch后面有个cpu,被conda坑了,conda安装的torch默认是cpu版本的,用pip卸载掉torch
pip uninstall torch
重新安装GPU版本的torch
直接上torch官网 https://pytorch.org/get-started/locally/ 选对应的,我这里cuda是12.2版本,实测直接选11.8也是没问题的 复制命令下来,在conda对应环境下安装:
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
验证
进python命令行
import torch.cuda
torch.cuda.is_available()
结果返回True,没问题。
补充
开始用P40跑langchain,导知识库的时候发现很慢,甚至一个5M的txt文本直接卡死了,开始以为是环境有问题,后面换到4090上面,导知识库速度很快,5M的文本几十秒就导完了,结论是:知识库吃显存,但是更吃算力
评论区