环境:
linux ubuntu20.04
python3.12 pytorch2.4 cuda11.8 ——这三个主要是影响下载flash attention。
PS:
截至发布我只是解决了过程中的坑。还差随后把模型下载完跑起来。机子就被收回了。所以仅供参考。本文只罗列一下步骤、坑点和解决方案的来源。过程中会有些跳转到页面展开阅读,但只要顺着看完应该都能复刻我的操作。实在没时间整理了。建议先看完再动手,特别是第四个flash_attn。
——————
且看官方给的指引
git clone https://github.com/genmoai/modelscd models pip install uvuv venv .venvsource .venv/bin/activateuv pip install -e . --no-build-isolation
坑1: 绕开github
选择镜像站 ghproxy.com
直接
git clone https://ghproxy.com/https://github.com/genmoai/models
即可
坑2: uv这个东西不认识
参考了这个同学的笔记:
https://blog.menghuan1918.com/posts/UV_python_packge_manage.html#uv
非常优秀 手动点赞
大致意思是uv是一个比conda快数十倍的环境管理器
为了体验这个新的环境管理工具,我也死磕了一个小时,大致弄明白了。体验真的会非常丝滑。建议不要绕开。虽然可以通过venv或者conda绕开这一步环境配置,但是不划算!是时候学点新东西了!
这里有个经验分享。
uv pip install 的时候还是需要手动的在最后加上这样一个语句来使用国内几镜像,传统的直接修改/.pip/pip/config的方式并不生效。大家如果有好办法可以交流下。
-i https://pypi.tuna.tsinghua.edu.cn/simple
——————
到这里你应该基本装完 .venv这个环境了 (你也可以改个名字,现在说可能来不及了。。)
如果你成功执行完
source .venv/bin/activate
之后就不断重复
uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple
有包自动装不了报错了。你就手动装一下。坑3打个样,坑4主要对应个比较棘手的情况
——————
坑3 会有很多基础依赖不对
逐个使用pip或者uv pip来手动安装即可
包括不限于 setuptools
报错如:
⠙ gradio==3.40.0 x Failed to download and build antlr4-python3-runtime==4.9.3 -> Build backend failed to determine metadata through prepare_metadata_for_build_wheel` (exit code: 1) [stderr] Traceback (most recent call last): File "<string>", line 8, in <module> ModuleNotFoundError: No module named 'setuptools'
可以这么处理:
uv pip install setuptools -i https://pypi.tuna.tsinghua.edu.cn/simpleuv pip install gradio==3.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
然后再继续跑
uv pip install -e . --no-build-isolation -i https://pypi.tuna.tsinghua.edu.cn/simple
坑4: 最后一个环节flash_attn卡了很久
cuda版本不对 注意使用nvcc -V才是真正安装的cuda版本。通过这个知乎帖子基本都能解决:https://zhuanlan.zhihu.com/p/520536351pytorch版本不对最后安装发现flash_attn自己也有对cuda + torch + python的限制
最后通过这个帖子解决:
关于cuda + torch + python这三个东西的安装 @MurphyStar
关于flash_attn版本的解释 @长行
ps:pytorch也可以用uv安装。我这里没有管对应的cuda版本,直接pip的。
uv pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
建议就算你的gpu能支持到12.x的cuda,也直接选择11.8 。装下来感觉目前市面上这个型号的教程支持最多,各个包对这个版本的cuda支持好像也更广泛一些。(主观感受)
坑5 模型下载
直接从hf-mirror上下载
git clone这个库(两个模型文件下载下来需要后续替换)。git clone https://hf-mirror.com/genmo/mochi-1-preview
大文件我这里是手动下载的像这样 右键复制下载地址
在linux服务器上wget。对应的两个链接是:
wget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/dit.safetensors?download=truewget https://hf-mirror.com/genmo/mochi-1-preview/resolve/main/vae.safetensors?download=true
最后手动改下名字,替换掉之前的文件即可
当然如果你有git lfs可以直接下。但下载的过程会没有过程性输出。因为文件太大了有30GB左右。所以我还是推荐手动下载,或者用wget。
最新更新:wget也有风险,下着下着就不动了。。。建议还是本地下载完然后上传到服务器上。
=====
步骤1:添加packagecloud仓库
选择合适的脚本:
如果您的Linux发行版使用 apt 或 deb 包管理器(例如Ubuntu、Debian),请使用以下命令:
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
如果您的Linux发行版使用 yum 或 rpm 包管理器(例如CentOS、Fedora),请使用以下命令: curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
这些命令会自动配置packagecloud仓库,并导入必要的签名密钥。
步骤2:安装Git LFS
对于 apt 或 deb 系统,运行以下命令:
sudo apt-get install git-lfs
对于 yum 或 rpm 系统,运行以下命令: sudo yum install git-lfs
====
到这里,环境就全部装完了。就差把模型下载到对应位置。
截止发布这个笔记,这个40GB的dit.safetensors模型还在下载中。。。之后再回来给大家报告效果哈哈哈
看到这里真是辛苦了~ 我努力勤奋的宝??
在线乞讨一个量化好的mochi地址 我本地也想玩一玩 谢谢!