当前位置:首页 » 《我的小黑屋》 » 正文

AI视频开源模型mochi部署-云服务器linux环境-源码部署-无量化-免魔法免翻墙

29 人参与  2024年11月06日 12:40  分类 : 《我的小黑屋》  评论

点击全文阅读


环境:
linux ​ubuntu20.04
python3.12 pytorch2.4 cuda11.8 ——这三个主要是影响下载flash attention。

PS:

截至发布我只是解决了过程中的坑。还差随后把模型下载完跑起来。机子就被收回了。所以仅供参考。本文只罗列一下步骤、坑点和解决方案的来源。过程中会有些跳转到页面展开阅读,但只要顺着看完应该都能复刻我的操作。实在没时间整理了。
建议先看完再动手,特别是第四个flash_attn。

——————

且看官方给的指引

git clone https://github.com/genmoai/modelscd models pip install uvuv venv .venvsource .venv/bin/activateuv pip install -e . --no-build-isolation

坑1: 绕开github

选择镜像站 ghproxy.com

直接

git clone https://ghproxy.com/https://github.com/genmoai/models

即可

坑2: uv这个东西不认识

参考了这个同学的笔记:
https://blog.menghuan1918.com/posts/UV_python_packge_manage.html#uv
非常优秀 手动点赞
大致意思是uv是一个比conda快数十倍的环境管理器
为了体验这个新的环境管理工具,我也死磕了一个小时,大致弄明白了。体验真的会非常丝滑。建议不要绕开。虽然可以通过venv或者conda绕开这一步环境配置,但是不划算!是时候学点新东西了!

这里有个经验分享。
​uv pip install 的时候还是需要手动的在最后加上这样一个语句来使用国内几镜像,传统的直接修改/.pip/pip/config的方式并不生效。大家如果有好办法可以交流下。

-i https://pypi.tuna.tsinghua.edu.cn/simple

——————

到这里你应该基本装完 .venv这个环境了 (你也可以改个名字,现在说可能来不及了。。)
如果你成功执行完

source .venv/bin/activate

之后就不断重复

uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

有包自动装不了报错了。你就手动装一下。坑3打个样,坑4主要对应个比较棘手的情况

——————

坑3 会有很多基础依赖不对

逐个使用pip或者uv pip来手动安装即可
包括不限于 setuptools
报错如:

⠙ gradio==3.40.0  x Failed to download and build antlr4-python3-runtime==4.9.3  -> Build backend failed to determine metadata through prepare_metadata_for_build_wheel` (exit code: 1)      [stderr]      Traceback (most recent call last):        File "<string>", line 8, in <module>      ModuleNotFoundError: No module named 'setuptools'

可以这么处理:

uv pip install setuptools -i https://pypi.tuna.tsinghua.edu.cn/simpleuv pip install gradio==3.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

然后再继续跑

uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple

坑4: 最后一个环节flash_attn卡了很久

cuda版本不对 注意使用nvcc -V才是真正安装的cuda版本。
通过这个知乎帖子基本都能解决:https://zhuanlan.zhihu.com/p/520536351pytorch版本不对最后安装发现flash_attn自己也有对cuda + torch + python的限制
最后通过这个帖子解决:
关于cuda + torch + python这三个东西的安装 @MurphyStar
关于flash_attn版本的解释 @长行

ps:pytorch也可以用uv安装。我这里没有管对应的cuda版本,直接pip的。

uv pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

建议就算你的gpu能支持到12.x的cuda,也直接选择11.8 。装下来感觉目前市面上这个型号的教程支持最多,各个包对这个版本的cuda支持好像也更广泛一些。(主观感受)

坑5 模型下载

直接从hf-mirror上下载

git clone这个库(两个模型文件下载下来需要后续替换)。
git clone https://hf-mirror.com/genmo/mochi-1-preview

在这里插入图片描述

大文件我这里是手动下载的
像这样 右键复制下载地址
在这里插入图片描述
在linux服务器上wget。对应的两个链接是:
wget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/dit.safetensors?download=truewget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/vae.safetensors?download=true

最后手动改下名字,替换掉之前的文件即可

当然如果你有git lfs可以直接下。但下载的过程会没有过程性输出。因为文件太大了有30GB左右。所以我还是推荐手动下载,或者用wget。
最新更新:wget也有风险,下着下着就不动了。。。建议还是本地下载完然后上传到服务器上。

=====

步骤1:添加packagecloud仓库

选择合适的脚本:
如果您的Linux发行版使用 apt 或 deb 包管理器(例如Ubuntu、Debian),请使用以下命令:

 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
如果您的Linux发行版使用 yum 或 rpm 包管理器(例如CentOS、Fedora),请使用以下命令:
 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash

这些命令会自动配置packagecloud仓库,并导入必要的签名密钥。

步骤2:安装Git LFS

对于 apt 或 deb 系统,运行以下命令:

 sudo apt-get install git-lfs
对于 yum 或 rpm 系统,运行以下命令:
 sudo yum install git-lfs

====
到这里,环境就全部装完了。就差把模型下载到对应位置。

截止发布这个笔记,这个40GB的dit.safetensors模型还在下载中。。。之后再回来给大家报告效果哈哈哈

看到这里真是辛苦了~ 我努力勤奋的宝??

在线乞讨一个量化好的mochi地址 我本地也想玩一玩 谢谢!


点击全文阅读


本文链接:http://zhangshiyu.com/post/183197.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1