高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于双重注意力机制的遥感图像场景分类特征表示方法

徐从安 吕亚飞 张筱晗 刘瑜 崔晨浩 顾祥岐

徐从安, 吕亚飞, 张筱晗, 刘瑜, 崔晨浩, 顾祥岐. 基于双重注意力机制的遥感图像场景分类特征表示方法[J]. 电子与信息学报, 2021, 43(3): 683-691. doi: 10.11999/JEIT200568
引用本文: 徐从安, 吕亚飞, 张筱晗, 刘瑜, 崔晨浩, 顾祥岐. 基于双重注意力机制的遥感图像场景分类特征表示方法[J]. 电子与信息学报, 2021, 43(3): 683-691. doi: 10.11999/JEIT200568
Cong'an XU, Yafei LÜ, Xiaohan ZHANG, Yu LIU, Chenhao CUI, Xiangqi GU. A Discriminative Feature Representation Method Based on Dual Attention Mechanism for Remote Sensing Image Scene Classification[J]. Journal of Electronics and Information Technology, 2021, 43(3): 683-691. doi: 10.11999/JEIT200568
Citation: Cong'an XU, Yafei LÜ, Xiaohan ZHANG, Yu LIU, Chenhao CUI, Xiangqi GU. A Discriminative Feature Representation Method Based on Dual Attention Mechanism for Remote Sensing Image Scene Classification[J]. Journal of Electronics and Information Technology, 2021, 43(3): 683-691. doi: 10.11999/JEIT200568

基于双重注意力机制的遥感图像场景分类特征表示方法

doi: 10.11999/JEIT200568
基金项目: 国家自然科学基金(61790550, 61790554, 61531020, 61671463)
详细信息
    作者简介:

    徐从安:男,1987年生,博士,研究方向为遥感图像智能处理、多目标跟踪

    吕亚飞:男,1992年生,博士,研究方向为遥感图像智能处理、跨模态检索

    张筱晗:女,1992年生,博士,研究方向为遥感图像智能处理、目标检测

    刘瑜:男,1986年生,副教授,研究方向为智能数据处理

    崔晨浩:男,1991年生,研究方向为雷达数据处理

    顾祥岐:男,1995年生,博士生,研究方向为雷达数据处理、信息融合

    通讯作者:

    吕亚飞 YFei_Lv@163.com, xcatougao@163.com

  • 中图分类号: TP751.1; TP183

A Discriminative Feature Representation Method Based on Dual Attention Mechanism for Remote Sensing Image Scene Classification

Funds: The National Natural Science Foundation of China (61790550, 61790554, 61531020, 61671463)
  • 摘要: 针对遥感图像场景分类面临的类内差异性大、类间相似性高导致的部分场景出现分类混淆的问题,该文提出了一种基于双重注意力机制的强鉴别性特征表示方法。针对不同通道所代表特征的重要性程度以及不同局部区域的显著性程度不同,在卷积神经网络提取的高层特征基础上,分别设计了一个通道维和空间维注意力模块,利用循环神经网络的上下文信息提取能力,依次学习、输出不同通道和不同局部区域的重要性权重,更加关注图像中的显著性特征和显著性区域,而忽略非显著性特征和区域,以提高特征表示的鉴别能力。所提双重注意力模块可以与任意卷积神经网络相连,整个网络结构可以端到端训练。通过在两个公开数据集AID和NWPU45上进行大量的对比实验,验证了所提方法的有效性,与现有方法对比,分类准确率取得了明显的提升。
  • 图  1  本文算法框架图

    图  2  通道维注意力模块网络结构图

    图  3  空间维注意力模块网络结构图

    图  4  数据集AID下所提方法的混淆矩阵图

    图  5  数据集AID在所提方法中的误判实例

    表  1  数据集AID和NWPU45下的模型简化测试OA(%)结果对比表

    方法AIDNWPU45
    20%50%10%20%
    VGG1686.59±0.2989.64±0.3087.15±0.4590.36±0.18
    VGG16+CA87.73±0.1989.98±0.2588.54±0.3990.89±0.23
    VGG16+SA89.36±0.2194.06±0.1993.23±0.2195.05±0.18
    VGG16+CA+SA89.87±0.3094.58±0.2397.89±0.1298.82±0.20
    ResNet5086.48±0.4989.22±0.3489.88±0.2692.35±0.19
    ResNet50+CA88.23±0.3491.45±0.3091.52±0.1993.48±0.21
    ResNet50+SA90.83±0.5594.46±0.4897.56±0.0898.79±0.04
    ResNet50+CA+SA91.34±0.3895.22±0.3698.55±0.1199.07±0.23
    下载: 导出CSV

    表  2  数据集AID下所提方法与其他基准方法的OA(%)结果对比表

    方法年份AID
    20%50%
    VGG16 [16]201786.59±0.2989.64±0.30
    CaffeNet [16]201786.86±0.4789.53±0.31
    GoogLeNet [16]201783.44±0.4086.39±0.55
    Fusion-by-add [19]201791.87±0.36
    MCNN [11]201891.80±0.22
    ARCNet [12]201988.75±0.4093.10±0.55
    Finetune_ResNet50[14]201986.48±0.4989.22±0.34
    ResNet_LGFFE [14]201990.83±0.5594.46±0.48
    VGG16+CA+SA本文方法89.87±0.3094.58±0.23
    ResNet50+CA+SA本文方法91.34±0.3895.22±0.36
    下载: 导出CSV

    表  3  数据集NWPU45下所提方法与其他基准方法的OA(%)结果对比表

    方法年份NWPU45
    10%20%
    AlexNet [17]201781.22±0.1985.16±0.18
    VGG_16 [17]201787.15±0.4590.36±0.18
    GoogleNet [17]201786.02±0.1886.02±0.18
    D_CNN [11]201889.22±0.591.89±0.22
    LGFF [20]201893.61±0.196.37±0.05
    文献[21]201991.73±0.2193.47±0.30
    Finetune_ResNet50[14]201989.88±0.2692.35±0.19
    ResNet_LGFFE[14]201997.56±0.0898.79±0.04
    VGG16+CA+SA本文方法97.89±0.1298.82±0.20
    ResNet50+CA+SA本文方法98.55±0.1199.07±0.23
    下载: 导出CSV
  • [1] CHI Mingmin, PLAZA A, BENEDIKTSSON J A, et al. Big data for remote sensing: Challenges and opportunities[J]. Proceedings of the IEEE, 2016, 104(11): 2207–2219. doi:  10.1109/JPROC.2016.2598228
    [2] ZHANG Liangpei, ZHANG Lefei, and DU Bo. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 6(4): 22–40. doi:  10.1109/MGRS.2016.2540798
    [3] CHENG Gong, MA Chengcheng, ZHOU Peicheng, et al. Scene classification of high resolution remote sensing images using convolutional neural networks[C]. 2016 IEEE International Geoscience and Remote Sensing Symposium, Beijing, China, 2016: 767–770. doi: 10.1109/IGARSS.2016.7729193.
    [4] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1–9. doi: 10.1109/CVPR.2015.7298594.
    [5] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90.
    [6] KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. The 25th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 1097–1105.
    [7] HU Fan, XIA Guisong, YANG Wen, et al. Recent advances and opportunities in scene classification of aerial images with deep models[C]. 2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain, 2018: 4371–4374. doi: 10.1109/IGARSS.2018.8518336.
    [8] CHENG Gong, YANG Ceyuan, YAO Xiwen, et al. When deep learning meets metric learning: Remote sensing image scene classification via learning discriminative CNNs[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(5): 2811–2821. doi:  10.1109/TGRS.2017.2783902
    [9] LI Peng, REN Peng, ZHANG Xiaoyu, et al. Region-wise deep feature representation for remote sensing images[J]. Remote Sensing, 2018, 10(6): 871. doi:  10.3390/rs10060871
    [10] LIU Yanfei, ZHONG Yanfei, and QIN Qianqing. Scene classification based on multiscale convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(12): 7109–7121. doi:  10.1109/TGRS.2018.2848473
    [11] YUAN Yuan, FANG Jie, LU Xiaoqiang, et al. Remote sensing image scene classification using rearranged local features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1779–1792. doi:  10.1109/TGRS.2018.2869101
    [12] WANG Qi, LIU Shaoteng, CHANUSSOT J, et al. Scene classification with recurrent attention of VHR remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 1155–1167. doi:  10.1109/TGRS.2018.2864987
    [13] XIONG Wei, LV Yafei, CUI Yaqi, et al. A discriminative feature learning approach for remote sensing image retrieval[J]. Remote Sensing, 2019, 11(3): 281. doi:  10.3390/rs11030281
    [14] LV Yafei, ZHANG Xiaohan, XIONG Wei, et al. An end-to-end local-global-fusion feature extraction network for remote sensing image scene classification[J]. Remote Sensing, 2019, 11(24): 3006. doi:  10.3390/rs11243006
    [15] CHO K, VAN MERRIËNBOER B, GULCEHRE C, et al. Learning phrase representations using RNN encoder–decoder for statistical machine translation[C]. 2014 Conference on Empirical Methods in Natural Language Processing, Doha, Qatar, 2014: 1724–1734. doi: 10.3115/v1/D14-1179.
    [16] XIA Guisong, HU Jingwen, HU Fan, et al. AID: A benchmark data set for performance evaluation of aerial scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(7): 3965–3981. doi:  10.1109/TGRS.2017.2685945
    [17] CHENG Gong, HAN Junwei, and LU Xiaoqiang. Remote sensing image scene classification: Benchmark and state of the art[J]. Proceedings of the IEEE, 2017, 105(10): 1865–1883. doi:  10.1109/JPROC.2017.2675998
    [18] SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. The 3rd International Conference on Learning Representations, San Diego, USA, 2015: 7–12.
    [19] CHAIB S, LIU Huan, GU Yanfeng, et al. Deep feature fusion for VHR remote sensing scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8): 4775–4784. doi:  10.1109/TGRS.2017.2700322
    [20] ZHU Qiqi, ZHONG Yanfei, LIU Yanfei, et al. A deep-local-global feature fusion framework for high spatial resolution imagery scene classification[J]. Remote Sensing, 2018, 10(4): 568. doi:  10.3390/rs10040568
    [21] 叶利华, 王磊, 张文文, 等. 高分辨率光学遥感场景分类的深度度量学习方法[J]. 测绘学报, 2019, 48(6): 698–707. doi:  10.11947/j.AGCS.2019.20180434

    YE Lihua, WANG Lei, ZHANG Wenwen, et al. Deep metric learning method for high resolution remote sensing image scene classification[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 698–707. doi:  10.11947/j.AGCS.2019.20180434
  • [1] 曹毅, 刘晨, 盛永健, 黄子龙, 邓小龙.  基于三维图卷积与注意力增强的行为识别模型, 电子与信息学报. doi: 10.11999/JEIT200448
    [2] 孙同晶, 刘桐, 杨阳.  多阶次分数阶傅里叶域特征融合的主动声呐目标稀疏表示分类方法, 电子与信息学报. doi: 10.11999/JEIT200634
    [3] 康世泽, 吉立新, 张建朋.  一种基于图注意力网络的异质信息网络表示学习框架, 电子与信息学报. doi: 10.11999/JEIT200034
    [4] 吴仁彪, 赵娅倩, 屈景怡, 高爱国, 陈文秀.  基于CBAM-CondenseNet的航班延误波及预测模型, 电子与信息学报. doi: 10.11999/JEIT190794
    [5] 张斌, 廖仁杰.  基于CNN与LSTM相结合的恶意域名检测模型, 电子与信息学报. doi: 10.11999/JEIT200679
    [6] 王粉花, 张强, 黄超, 张苒.  融合双流三维卷积和注意力机制的动态手势识别, 电子与信息学报. doi: 10.11999/JEIT200065
    [7] 赵辉, 李志伟, 张天琪.  基于注意力机制的单发多框检测器算法, 电子与信息学报. doi: 10.11999/JEIT200304
    [8] 王粉花, 赵波, 黄超, 严由齐.  基于多尺度和注意力融合学习的行人重识别, 电子与信息学报. doi: 10.11999/JEIT190998
    [9] 吴超, 李雅倩, 张亚茹, 刘彬.  用于表示级特征融合与分类的相关熵融合极限学习机, 电子与信息学报. doi: 10.11999/JEIT190186
    [10] 汪荣贵, 韩梦雅, 杨娟, 薛丽霞, 胡敏.  多级注意力特征网络的小样本学习, 电子与信息学报. doi: 10.11999/JEIT190242
    [11] 杨钧智, 吴金亮, 智军.  基于多尺度圆周频率滤波与卷积神经网络的遥感图像飞机目标检测方法研究, 电子与信息学报. doi: 10.11999/JEIT200144
    [12] 谢金宝, 侯永进, 康守强, 李佰蔚, 张霄.  基于语义理解注意力神经网络的多元特征融合中文文本分类, 电子与信息学报. doi: 10.11999/JEIT170815
    [13] 王陈园, 吴斌, 王宏琦.  基于形状先验的建筑物几何参数提取方法, 电子与信息学报. doi: 10.11999/JEIT161224
    [14] 刘龙, 孙强, 宋琦军.  面向目标检测的多尺度运动注意力融合算法研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.00477
    [15] 李进, 金龙旭, 李国宁.  离散小波变换域非负张量分解的高光谱遥感图像压缩, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.00812
    [16] 宋相法, 焦李成.  基于稀疏表示及光谱信息的高光谱遥感图像分类, 电子与信息学报. doi: 10.3724/SP.J.1146.2011.00540
    [17] 韩现伟, 付宜利, 李刚.  基于改进Hough变换和图搜索的油库目标识别, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00112
    [18] 孙显, 付琨, 王宏琦.  基于空间语义对象混合学习的复杂图像场景自动分类方法研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00361
    [19] 陈琪, 陆军, 赵凌君, 匡纲要.  基于特征的SAR遥感图像港口检测方法, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00079
    [20] 张鹏, 王润生.  基于视觉注意的遥感图像分析方法, 电子与信息学报.
  • 加载中
图(5) / 表(3)
计量
  • 文章访问数:  189
  • HTML全文浏览量:  54
  • PDF下载量:  28
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-07-10
  • 修回日期:  2020-12-07
  • 网络出版日期:  2020-12-15
  • 刊出日期:  2021-03-22

目录

    /

    返回文章
    返回

    官方微信,欢迎关注