当前位置:首页 » 《关于电脑》 » 正文

浅谈人工智能之基于ollama的常见变量设置

7 人参与  2024年11月05日 10:40  分类 : 《关于电脑》  评论

点击全文阅读


浅谈人工智能之基于ollama的常见变量设置

全局命令设置

现象:无法直接使用命令ollama

问题显示如下:

[root@localhost LLM]# ollama
-bash: ollama: command not found

解决方法一:

第一步:输入如下命令:

[root@localhost ~]# ln -s /usr/bin/Ollama/bin/ollama /usr/local/bin/ollama

第二步:我们在任意一个位置进行命令验证:

[root@localhost ~]# ollama
Usage:
ollama [flags]
ollama [command]

Available Commands:
serve Start ollama
create Create a model from a Modelfile

上述内容可以知道,我们可以把ollama设置为全局命令。

模型存放路径修改

现象:模型存放路径修改,确保有足够的空间进行模型存储

Windows解决方案:

第一步:右键我的电脑-属性-高级系统设置,点击“高级系统设置”
在这里插入图片描述
第二步:在打开的系统属性界面中点击高级-环境变量
在这里插入图片描述
第三步:在环境变量界面中点击系统变量中的新建按钮
在这里插入图片描述
第四步:在跳出来的新建系统变量界面中,变量名设置为:OLLAMA_MODELS,变量值设置为D:\LLM\OllamaLLM\models,然后点击确定对设置的环境变量进行保存。
在这里插入图片描述
第五步:重新创建模型,可以看到模型在对应的路径下保存
在这里插入图片描述

Linux解决方案:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:

Environment=“OLLAMA_MODELS=/ftp/ollama/models”,完整内容如下
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:重新创建模型,可以看到模型在对应的路径下保存

[root@localhost LLM]# ollama create Qwen2-7b -f /ftp/LLM/Modelfile
[root@localhost LLM]# cd /ftp/ollama/models
[root@localhost models]# ls
blobs manifests

全局地址访问设置

现象:正式地址无法访问

当我们访问ollama地址:http://127.0.0.1:11434/,我们可以得到如下解决
在这里插入图片描述
但是当我们访问本机地址:http://10.31.128.110:11434/
在这里插入图片描述

解决方法:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0”,完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:我们再用IP访问部署ollama地址:
在这里插入图片描述
上述内容操作完成以后,我们就可以通过正式对外的IP地址进行访问。

ollama访问端口设置

现象:地址访问端口为11434

当我们访问ollama地址端口:11434,但是端口为默认端口
在这里插入图片描述
因此我们需要自定义端口

解决方法:

第一步:打开文件ollama.service,命令如下:

[root@localhost LLM]# vim /etc/systemd/system/ollama.service

第二步:在原本的文件内容中增加如下信息:Environment=“OLLAMA_HOST=0.0.0.0:9999”,完整内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/Ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment=“OLLAMA_MODELS=/ftp/ollama/models”
Environment=“OLLAMA_HOST=0.0.0.0:9999”

[Install]
WantedBy=default.target

第三步:添加以后保存退出,然后首先执行以下命令

[root@localhost LLM]# systemctl daemon-reload

第四步:在将ollama服务器重启

[root@localhost LLM]# systemctl restart ollama

第五步:查看服务是否重启成功

[root@localhost LLM]# systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)
Active: active (running) since Fri 2024-09-06 12:00:00 CST; 8s ago
Main PID: 211146 (ollama)

第六步:我们再用IP访问部署ollama地址,使用9999端口:
在这里插入图片描述
上述内容操作完成以后,我们就可以通过新的端口和IP地址进行访问。


点击全文阅读


本文链接:http://zhangshiyu.com/post/182634.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1