当前位置:首页 » 《关注互联网》 » 正文

Linux环境下部署百度百川AI大模型-基于ModelScope

7 人参与  2024年09月25日 14:01  分类 : 《关注互联网》  评论

点击全文阅读


  服务器环境

显存:24 GB
CPU:18核   
内存:32GB
总存储: 100GB

软件环境

git
python 3.10.14
pytorch 2.3.0

 算力平台

魔搭社区

 步骤一:申请算力资源

 步骤二:查看python版本

python#退出python编译器exit()

步骤三:下载Baichuan2代码

mkdir /workspace/cd /workspace/git clone  https://github.com/baichuan-inc/Baichuan2

下载依赖

cd /workspace/Baichuan2/pip install --upgrade pippip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/pip install streamlitpip install bitsandbytes==0.41.1pip install accelerate==0.25.0

步骤四:下载模型库

mkdir /workspace/Baichuan2/baichuan-inccd /workspace/Baichuan2/baichuan-inc/sudo apt updatesudo apt install git-lfs
git lfs installgit lfs clone https://www.modelscope.cn/baichuan-inc/Baichuan2-7B-Chat-4bits.git

步骤五:重命名模型文件

cd /workspace/Baichuan2/baichuan-inc/mv Baichuan2-7B-Chat-4bits Baichuan2-13B-Chat

​另一种实现方式参考Linux环境下部署百度百川AI大模型-基于厚德云-CSDN博客 的步骤五

步骤六:启动大模型会话

命令行启动

cd /workspace/Baichuan2/python cli_demo.py

步骤七:使用模型

步骤八:网页版启动

启动

cd /workspace/Baichuan2/streamlit run web_demo.py

上面点击第一个Local URL自动跳转,如果不行都点击测试下

附:使用魔塔创空间可以免费申请64小时资源

依靠 streamlit 运行命令,会在本地启动一个 web 服务,把控制台给出的地址放入浏览器即可访问。网页 demo 工具是为 Chat 场景设计,因此不支持使用该工具调用 Base 模型。

参考文章:

Linux环境下部署百度百川AI大模型_linux 大模型-CSDN博客


点击全文阅读


本文链接:http://zhangshiyu.com/post/164435.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1