当前位置:首页 » 《关于电脑》 » 正文

SF——Spatial-Frequency Dual Progressive Attention Network For Medical Image Segmentation

14 人参与  2024年12月23日 16:00  分类 : 《关于电脑》  评论

点击全文阅读


        如今大多数医学图像分割网络只学习空间域的特征,而忽略了频域中丰富的全局信息。这篇论文提到了频域,先拓展一下空间域和频域。

        空间域特征:包含了局部的纹理、边缘和形状信息。

        频域特征:包含了全局的结构模式和周期性变化,提供了额外的上下文信息。

本文主要提出了两个模块,如下:

MPCA模块-多尺度渐进通道注意力

        这里简单描述一下流程(字母有不对应的能看懂就行,部分数学符号懒得改了),F1和F2表示不同尺度的特征 。1、全局平均池化(GAP),得到全局特征,在经过1×1卷积层进行维度压缩和特征提取 。2、两个特征图进行通道维度上的拼接,再经过一个1x1的卷积,得到多尺度通道注意力图 ?,然后再分割出与之前F1和F2大小一样的A1和A2 。3、F1和F2分别与对应的注意力图与A1和A2进行元素级别的乘法操作,得到两个加权特征图F2再进行一次上采样,尺寸和F1一样了,然后进行元素级别的加法操作,实现特征融合。 

公式展示:

FSA模块——频域-空间注意力模块

        1、输入特征图 F1通过二维离散傅里叶变换, 得到频域特征图f1 。2、将f1分割成高频成分和低频成分,然后使用两个掩码Mhigh和Mlow分割频率成分,低频掩码中心是1,高频掩码中心是0。 3、这个低频成分会进行学习滤波器 ?的自适应调整,得到的结构再与高频成分融合,生产频域特征图 。 4、对融合后的频域特征图进行二维逆离散傅里叶变换,再恢复成空间域特征图。 5、将频域分支和空间分支的输出特征图进行融合。

公式展示:

整体结构——多尺度和双域特征

        1、四个编码器块,得到四个尺度的特征图。 2、每一级的MPCA模块接收相邻两个尺度的特征图,进行多尺度特征融合,输出跨尺度的通道注意力特征图。 3、经过FSA模块进行频域和空间域的特征学习再与解码器融合。

实验数据集:

        ISIC-2018数据集(皮肤病变) 2594张训练图像、100张验证图像、1000张测试图像。

        SF-UNet生成的分割结果边界最平滑和清晰,接近于真实标签,其他网络则显示出纹理细节丢失或边界混乱的问题。

        BUSI数据集(乳腺超声图像) 647张图像(437张良性肿瘤,210张恶性肿瘤) 训练集487张,验证集80张,测试集80张 。

        SF-UNet的分割结果边界更准确和清晰,其他网络则存在边界缺失或过度平滑等问题。、

        NKUT数据集(儿童下颌智齿胚芽3D CBCT) 133次CBCT扫描。

        SF-UNet能够有效地区分MWT、SM和AB,边界清晰,其他网络则显示出缺失牙齿、模糊边界

总结一下

        多尺度渐进通道注意力(MPCA)模块: 多尺度特征融合:MPCA模块通过逐步融合相邻尺度的特征图,实现了对多尺度信息的有效捕捉。 通道注意力机制:通过通道注意力机制,MPCA模块能够动态调整特征图通道的重要性,增强网络对关键特征的关注,减少冗余信息。

        频域-空间注意力(FSA)模块: 频域信息处理:FSA模块将特征图转换到频域,通过2D离散傅里叶变换(2D-DFT)分离高频和低频成分,实现全局特征学习。 高频信息保留:FSA模块有效保留了图像中的高频细节和边界信息。 空间域特征学习:在频域特征处理的基础上,FSA模块进一步在空间域进行特征学习,结合两者的优势,提高了分割精度。


点击全文阅读


本文链接:http://zhangshiyu.com/post/205772.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 公主请开门,我是世子啊!隐藏剧情_秦浩白莲高分言情_小说后续在线阅读_无删减免费完结_
  • 最后的吻是告别/他在永夜长眠(苏娆时砚清)_最后的吻是告别/他在永夜长眠
  • 江晚棠裴砚心小说(海棠无香夜未眠)+前传(江晚棠裴砚心)阅读
  • 重生后,我拒绝入选英雄联盟名人堂全文+后续_女友荣誉沈重听书_小说后续在线阅读_无删减免费完结_
  • 他在永夜长眠+番外+后续(苏娆时砚清)全书免费_(苏娆时砚清)他在永夜长眠+番外+后续后续(苏娆时砚清)
  • 完结文拾云为笺焚风作别精彩欣赏列表_完结文拾云为笺焚风作别精彩欣赏(姜知月周景珩郁萌)
  • 拾云为笺,焚风作别免费姜知月周景珩郁萌完本_拾云为笺,焚风作别免费(姜知月周景珩郁萌)
  • 祁逢叫什么(全盛京盼我死,摄政王却教我反杀)小说全集阅读无广告(全盛京盼我死,摄政王却教我反杀)番外+续集
  • 褪色的极光(谢砚之沈嫣然)_褪色的极光
  • 被夫君和师父双重背叛后,我提剑杀疯了精选作品_师姐师傅楚楚可怜无广告_小说后续在线阅读_无删减免费完结_
  • 全书浏览拾云为笺焚风作别后续更新+番外(姜知月周景珩郁萌)_拾云为笺焚风作别后续更新+番外(姜知月周景珩郁萌)全书结局
  • 黎晚卿顾临川小说无删减阅读清爽版(靠弹幕苟成反派白月光)外篇+续集

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1