目录
一、配置基础环境
二、下载 InternLM2-Chat-1.8B 模型
三、实战：部署实战营优秀作品 八戒-Chat-1.8B 模型
四、 实战：使用 Lagent 运行 InternLM2-Chat-7B 模型
五、实战：实践部署 浦语·灵笔2 模型
图片理解实战（小米su7）
一、配置基础环境
1.首先进入控制台进行环境配置（开始没有开发机），创建后默认只有8小时的使用时间（自己可更改）
2.进入后选择terminal进行后续操作（选择JupyterLab才有改界面）
接下来的命令：
配置环境命令：
studio-conda -o internlm-base -t demo
# 与 studio-conda 等效的配置方案
# conda create -n demo python==3.10 -y
# conda activate demo
# conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
配置完成后，进入到新创建的 conda 环境之中：
conda activate demo
环境包的安装：
pip install huggingface-hub==0.17.3
pip install transformers==4.34
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2
pip install matplotlib==3.8.3
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99
二、下载 InternLM2-Chat-1.8B 模型
1.需要创建一个新的目录后进行下载
mkdir -p /root/demo
2.创建下载文件（download_mini.py）和运行文件（cli_demo.py）
下载文件：
import os
from modelscope.hub.snapshot_download import snapshot_download
# 创建保存模型目录
os.system("mkdir /root/models")
# save_dir是模型保存到本地的目录
save_dir="/root/models"
snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-1_8b",
cache_dir=save_dir,
revision='v1.1.0')
运行文件：
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""
messages = [(system_prompt, '')]
print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")
while True:
input_text = input("\nUser >>> ")
input_text = input_text.replace(' ', '')
if input_text == "exit":
break
length = 0
for response, _ in model.stream_chat(tokenizer, input_text, messages):
if response is not None:
print(response[length:], flush=True, end="")
length = len(response)
运行效果如下：
三、实战：部署实战营优秀作品 八戒-Chat-1.8B 模型
下载和部署与前面一个项目的步骤差不多。主要是在启动方面有区别：
在项目下载完成后，启动：
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006
1.此时需要对端口环境配置本地 PowerShell进行连接（Win+R进入powershell）
2.然后再控制台查看端口和连接密码进行连接
3. 连接完成，进入 http://127.0.0.1:6006 等待加载即可：
4.加载完成，开始体验：
四、 实战：使用 Lagent 运行 InternLM2-Chat-7B 模型
整体框架图 ：
部署的区别和前面差别不大，主要阐述核心步骤：
1.下载 Lagent 相关的代码库：
git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装
2.下载完成后使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体
需要在lagent目录下建立软连接
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b
并修改启动的模型（gent 路径下 examples/internlm2_agent_web_demo_hf.py 文件，并修改对应位置 71行左右 代码）
value='/root/models/internlm2-chat-7b'
运行命令：
streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006
运行命令可能很快也可能很慢，耐心等待就好。完成后需要和之前一样使用powershell进行连接。（启动很慢，下面这个界面是没有完全启动完成，需要慢慢等）
出现对话框就是完全启动好了
勾选数据分析后开始进行问答：
请解方程 2*X=1360 之中 X 的结果
这个过程也很慢（慢慢思考，一个字一个字的输出啊），只不过可以回答正确还是挺不错。
五、实战：实践部署 浦语·灵笔2 模型
之前的配置都差不多，直接上环境配置代码
conda activate demo
# 补充环境包
pip install timm==0.4.12 sentencepiece==0.1.99 markdown2==2.4.10 xlsxwriter==3.1.2 gradio==4.13.0 modelscope==1.9.5
下载 InternLM-XComposer 仓库 相关的代码资源：
cd /root/demo
git clone https://gitee.com/internlm/InternLM-XComposer.git
# git clone https://github.com/internlm/InternLM-XComposer.git
cd /root/demo/InternLM-XComposer
git checkout f31220eddca2cf6246ee2ddf8e375a40457ff626
构造软链接快捷访问方式：
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-7b /root/models/internlm-xcomposer2-7b
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b /root/models/internlm-xcomposer2-vl-7b
启动 InternLM-XComposer：
cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_composition.py \
--code_path /root/models/internlm-xcomposer2-7b \
--private \
--num_gpus 1 \
--port 6006
最后在连接本地 PowerShell 即可访问：http://127.0.0.1:6006
下面成功进入，下面正在加载（左上角有个图标没有显示，刷新也没解决）
可以设置插图数量、添加素材等操作，还比较细节（就是生成有点慢）
生成顺序：先单独生成文字再统一生成图片
图片理解实战（小米su7）
启动 InternLM-XComposer2-vl：
conda activate demo
cd /root/demo/InternLM-XComposer
python /root/demo/InternLM-XComposer/examples/gradio_demo_chat.py \
--code_path /root/models/internlm-xcomposer2-vl-7b \
--private \
--num_gpus 1 \
--port 6006
进来之后，上传了下面那张图片。就是这个解读我想笑，为什么是独角兽！！！
下面吧！上传了一个小米su7的图片，这回答就很有意思了（你就说是不是保时捷吧）
