当前位置:首页 » 《随便一记》 » 正文

Mamba-2 Error: ‘NoneType‘ object has no attribute ‘causal_conv1d_fwd‘已解决!!!

0 人参与  2024年11月18日 15:22  分类 : 《随便一记》  评论

点击全文阅读


  在网上试了很多解决办法,终于解决。

1.安装

想要运行mamba-2,需要安装causal-conv1d>=1.4.0这是官方github中说的。

GitHub - state-spaces/mamba: Mamba SSM architecture

关于mamba_ssm版本我安装了2.2.2

下图是我安装的两个版本,

注意:我选择的是两个FALSE版本,我第一次安装的时候causal-conv1d选择了TRUE版本所以出现了上述问题。后面,我卸载了之后重装了FALSE版本就没有这个问题了。

还有就是,如果你是第一次安装可以参考我之前写的博客。

https://blog.csdn.net/lihaiyuan_0324/article/details/138076262icon-default.png?t=N7T8https://blog.csdn.net/lihaiyuan_0324/article/details/138076262

如果你是已经安装过1.0版本的,最好是先卸载在装1.0版本的,因为我第一次没卸载1.0,直接安装1.4还是出现了标题的问题,但是后面卸载后重装就没有这个问题了。

causal-conv1d:

mamba_ssm:Releases · state-spaces/mamba · GitHub

2.AttributeError: module 'triton.language' has no attribute 'cumsum'

我解决标题的问题之后,又出现了,上述问题。

按照作者的回复,Please use triton >= 2.1.0

我安装了triton = 2.2.0

就成功了。

3.测试代码

import torchfrom mamba_ssm import Mambabatch, length, dim = 2, 64, 16x = torch.randn(batch, length, dim).to("cuda")model = Mamba(    # This module uses roughly 3 * expand * d_model^2 parameters    d_model=dim,  # Model dimension d_model    d_state=16,  # SSM state expansion factor    d_conv=4,  # Local convolution width    expand=2,  # Block expansion factor).to("cuda")y = model(x)print("Mamba result", y.shape)assert y.shape == x.shapeimport torchfrom mamba_ssm import Mamba2batch, length, dim = 2, 64, 512x = torch.randn(batch, length, dim).to("cuda")model = Mamba2(    # This module uses roughly 3 * expand * d_model^2 parameters    # make sure d_model * expand / headdim = multiple of 8    d_model=dim,  # Model dimension d_model    d_state=64,  # SSM state expansion factor, typically 64 or 128    d_conv=4,  # Local convolution width    expand=2,  # Block expansion factor    headdim=64,  # default 64).to("cuda")y = model(x)print("Mamba2 result", y.shape)assert y.shape == x.shape

以下是运行结果

Mamba result torch.Size([2, 64, 16])
Mamba2 result torch.Size([2, 64, 512])

希望可以帮助到你!


点击全文阅读


本文链接:http://zhangshiyu.com/post/188241.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 好看的秦依冉厉泽谦_秦依冉厉泽谦
  • 是图图的拥有牡丹命格的我嫁给五皇子,抛弃我的太子谢怀川,余思思,楼心月全书在线
  • 全文老婆成***后,王牌拆弹专家(张凯,张振华,林蕴)列表_全文老婆成***后,王牌拆弹专家
  • 逼我下乡?我闪婚嫁军官带娃暴富苏冉冉刘翠芬周牧深完本_逼我下乡?我闪婚嫁军官带娃暴富(苏冉冉刘翠芬周牧深)
  • 童养夫为了白月光想虐我?没关系我还有九个(崔清乐顾北寒)_童养夫为了白月光想虐我?没关系我还有九个(崔清乐顾北寒)
  • 代管班费小荷包三年后,青梅说我吞了180万(乔宇宁雨)全书免费_(乔宇宁雨)代管班费小荷包三年后,青梅说我吞了180万后续(乔宇宁雨)
  • 男友一家要我守规矩后,却悔疯了苏然完本_男友一家要我守规矩后,却悔疯了(苏然)
  • 重生打脸渣男毒闺蜜(陈亮张倩)全书免费_(陈亮张倩)重生打脸渣男毒闺蜜后续(陈亮张倩)
  • 全文和宗门断情绝义后,小可怜被大佬团宠了创作编写(江寻柳青青)列表_全文和宗门断情绝义后,小可怜被大佬团宠了创作编写
  • 和宗门断情绝义后,小可怜被大佬团宠了创作编写江寻柳青青完本_和宗门断情绝义后,小可怜被大佬团宠了创作编写(江寻柳青青)
  • 向导坐牢后,结果把狱友驯成忠犬桑虞陆擢完本_向导坐牢后,结果把狱友驯成忠犬(桑虞陆擢)
  • 姑姑爱开玩笑,藏我的录取通知书夏知妤_姑姑爱开玩笑,藏我的录取通知书夏知妤

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1