HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL DEEP CONVOLUTIONAL NEURAL NETWORK阅读笔记

时间:2022-06-16 14:28:14

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK

论文地址:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7730324

1、文章简介:

该论文是用双通道卷积神经网络CNN分别提取空谱信息,然后将得到的抽象特征级联为全连接层的输入,以此作为空谱联合信息输入两层全连接层以及softmax层。此外,文中针对小样本问题,引入了迁移学习。

工作贡献:“与手工特征提取相比,所提出的深度模型可以自适应地学习光谱 - 空间联合特征,其包含来自光谱和空间域的语义和判别信息。 此外,学习的特征可以转移到不同的数据或任务[9]。 当训练样本有限时,可以从其他场景的模型转移底层和中层,只需要从有限的训练样本中训练前几层。 这样,即使在小的训练样本情况下,所提出的方法也可以很好地执行。”

2、算法简介:

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

3.1 从网络结构上说:

①文中首先构造了两个通道分别提取空谱特征:

Ⅰ、光谱通道:输入是一个以像素点为单位的一维数据,经过1-D cnn和1-D pooling堆叠处理,输出一个特征向量HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

Ⅱ、空间通道:以预测像素点为中心的空间邻域,沿光谱轴做平均,得到一个二维数据作为该通道输入,经过2-D cnn和2-D pooling堆叠处理,输出一个特征向量HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

(ps:文中说每个波段不可避免含有噪声,且“将噪声建模为具有零均值的高斯噪声”,沿光谱维取平均具有“融合所有波段的空间信息并抑制噪声”功能。)

②利用空谱联合特征进行预测标签:

将第①步中得到的两个特征向量级联,作为空谱联合特征,然后接两层全连接层,然后经过softmax层进行预测标签。

3.2 从训练上说:

“为了提高有限训练样本情况下的分类性能,我们使用来自其他遥感场景的标记样本训练网络,然后将底层和中层迁移当前场景的网络,并使用以下方法对顶部全连接层进行微调。”

 3、实验结果和分析:

对于Indian Pines高光谱数据:

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

其中training sample指的是每类选取的训练样本数,文中指出,万一某类的样本数不够,只要在此类中选取一半的样本数量去训练

two-CNN就是使用上述网络结构,但不用迁移学习的算法。

two-CNN-transfer就是是用来网络结构还用迁移学习,其中迁移数据只训练底层和中层的权值,然后带上全连接层用真实数数据微调后测试。

“虽然Indian pines和Salinas Valley之间的土地覆盖类型存在巨大差异,但从Salinas Valley学到的低水平和中等水平特征可以在Indian pines上重复使用,因为低和中特征反映了当地的空间结构 ,这在不同的场景和任务中是通用的。 转移层为Indian pines上的双CNN训练提供了良好的初始化,并导致分类的改进。但是,随着训练样本数量的增加,深层模型可以从当前场景中学到足够的信息,学到的功能可能比迁移的功能更好,这可以解释当训练样本数为200时双CNN迁移学习的性能减少。”

ps:我觉得论文里某些公式写的挺好,后面写论文可参考

例如:损失函数:

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

网络结构说明:

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记

HYPERSPECTRAL IMAGE CLASSIFICATION USING TWOCHANNEL  DEEP  CONVOLUTIONAL NEURAL NETWORK阅读笔记