当前位置:首页 » 《我的小黑屋》 » 正文

设置Ollama在局域网中访问的方法(Ubuntu)

4 人参与  2024年04月29日 08:17  分类 : 《我的小黑屋》  评论

点击全文阅读


趁着Llama3的热度试了一下Ollama,果然部署推理大模型很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模型的服务,应该怎么办呢?参考了一下其他博客的方法

例如:一分钱不花!手把手教你部署Google最强开源AI大模型Gemma教程_windows "ollama_host=0.0.0.0:11434" ollama serve-CSDN博客

也不是很麻烦:

首先打开Ollama的配置文件

sudo gedit /etc/systemd/system/ollama.service

在[Service]下面加上:

Environment="OLLAMA_HOST=0.0.0.0:11434"

其次配置防火墙,打开端口。Ollama的默认端口是11434,所以直接输入:

sudo ufw allow 11434/tcp

再重启之后,就可以通过http在局域网中访问了:

http://192.168.1.XX:11434

可以看到:

Ollama is running

就可以通过局域网或者另一台机子上的LangChain调用了。就简单记录这么多。


点击全文阅读


本文链接:http://zhangshiyu.com/post/101696.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1