gpt-neox安装部署-茅草屋

要求（实测）：

ubuntu 20.04 （22.04不行） python 3.8 （高于3.8都不行）

项目地址

https://github.com/EleutherAI/gpt-neox

安装步骤

官方给的操作就一步

pip install -r requirements/requirements.txt

根据测试，由于版本及众所周知的国内问题，会卡步骤，下面一步步来解决

sudo apt update
sudo apt install pip git
# 配置pip源为国内源
pip config set global.index-url https://mirrors.sustech.edu.cn/pypi/simple

问题1：

requirements.txt里面的git安装的包手动下下来安装（lm_dataformat），然后注释掉requirements.txt内指定内容

#git+https://github.com/EleutherAI/lm_dataformat.git

下载下来解压，进到目录手动安装：

sudo python3 setup.py install

问题2：

如果网络不好，安装torch-1.13.1-cp38-cp38-manylinux1_x86_64.whl的时候会下很久且超时，可以把下面4个包手动下下来安装（有一个包两个版本，由于另外两个包依赖版本不一样，需要先装高版本然后再装低版本）： https://mirrors.sustech.edu.cn/pypi/packages/46/be/c222e33e60d28ecd496a46fc4d78ccae0ee28e1fd7dc705b6288b4cad27e/nvidia_cublas_cu11-11.11.3.6-py3-none-manylinux1_x86_64.whl https://mirrors.sustech.edu.cn/pypi/packages/dc/30/66d4347d6e864334da5bb1c7571305e501dcb11b9155971421bb7bb5315f/nvidia_cudnn_cu11-8.5.0.96-2-py3-none-manylinux1_x86_64.whl https://mirrors.sustech.edu.cn/pypi/packages/ce/41/fdeb62b5437996e841d83d7d2714ca75b886547ee8017ee2fe6ea409d983/nvidia_cublas_cu11-11.10.3.66-py3-none-manylinux1_x86_64.whl https://mirrors.sustech.edu.cn/pypi/packages/6b/0e/c640bda79e61766896fe16dfe0a3ab12b06ad50cf8814950518896dec0a5/torch-1.13.1-cp38-cp38-manylinux1_x86_64.whl

# 顺序不能错
pip install nvidia_cublas_cu11-11.11.3.6-py3-none-manylinux1_x86_64.whl
pip install nvidia_cudnn_cu11-8.5.0.96-2-py3-none-manylinux1_x86_64.whl
pip install nvidia_cublas_cu11-11.10.3.6-py3-none-manylinux1_x86_64.whl
pip install torch-1.13.1-cp38-cp38-manylinux1_x86_64.whl

问题3：

mpi4py装不上，按下面方法安装：

sudo apt install libopenmpi-dev
sudo apt install python3-mpi4py

问题4：

urllib3、requests、tiktoken版本不对

pip install urllib3==1.26.11
pip install requests==2.26.0

问题5：

处理完上面4个问题即可顺利安装完requirements，但是跑程序的时候还会有一个问题，会提示protoc版本需要>=3.19.0，升级protobuf到指定版本即可：

pip3 install --upgrade protobuf==3.20.0

解决完以上问题就能畅快使用了

目录CONTENT

gpt-neox安装部署