背景
数据驱动诊断方法的常用验证方式为通过将一个数据集分为训练集和测试集来保证这两个先决条件。但是，在实际的诊断场景中，这种验证方式是不切实际的，由于以下两个问题，很难满足前提条件：
- 通常，在建立诊断模型之前很难甚至不可能获得与测试数据集具有相同分布的训练数据集，因为这意味着我们需要在同一台机器甚至相同的工作条件下收集每个故障类别的数据。
- 对于使用中的机器，很难获得稀有的带标签的故障数据，因为在故障情况下可能不允许其连续工作。
这两个障碍使得基于传统机器学习和深度学习的诊断方法无法应用于工程故障诊断。
首先，由于相同的工作原理和从中生成这些数据的机器的相似故障机制，应该在来自多个来源的这些数据中包含相似的故障特征。第二，数据驱动的故障诊断（称为智能故障诊断）旨在模仿使用机器学习技术的诊断人员，而诊断人员可以通过扩展从其他相同类型的机器中学到的知识（不仅是从他们感兴趣的机器中学到的知识）来诊断故障。 也就是说，**在建立诊断模型时，可以利用相关数据集中的知识。**但是，当存在分布差异时，常规的机器学习和深度学习技术都无法直接使用。为了充分利用先前的多源数据，跨域故障诊断是一项新的尝试，它有可能克服当前数据驱动型故障诊断中的障碍。
转移学习概述
通常，对来自源域的样本进行完全标记，但是目标域中的样本可能会在特定问题设置中可能未标记或部分标记
转移学习旨在利用来自一个或多个相关数据集（称为源域）的知识来提高模型在当前数据集中（目标域）的性能。它的灵感来自于人类的能力，这些能力重用了先前任务中的知识，而无需从头开始学习新任务。在图中说明并比较了迁移学习和传统机器学习的学习过程
转移学习方法
简要介绍以下几种转移策略
1）实例重新加权方法
实例重加权方法可用于解决域偏移问题，在该域偏移问题中，将估计的权重合并到损失函数中，以使加权的训练分布近似于测试分布
TrAdaBoost尝试在集成学习架构AdaBoost下迭代地重新加权源域数据。在每轮迭代中，TrAdaBoost都会对源域样本进行加权，以减少“不良”源样本的影响，同时基于对目标域数据计算出的误差，鼓励“良好”源样本为目标域做出更多贡献。基于样本重加权的域自适应方法主要集中在源域和目标域之间的差异不太大的情况下
2）特征转移方法
转移学习的另一个直观想法是学习一个新的特征表示空间，其中源域和目标域看起来“相似”并且可以进行比较。在这种传输方法下的潜在假设是，**存在一个公共子空间或更高级别的表示形式，用于对域之间的公共特征进行编码。在领域不变特征所支持的新空间中，使用来自源领域的带标签数据训练的分类器可以推广到目标领域。**使用不同的传输标准，可以将特定的传输策略归类为：（1）特征转换（2）基于子空间的（3）基于稀疏编码的和（4）基于低秩表示的。
转移成分分析（TCA）是一种代表性的特征转移方法，已成功应用于故障诊断问题。TCA的学习目标是找到一个领域不变特征空间，其中两个领域之间的边际分布距离，分布距离是使用最大平均差异（MMD）准则测量的
3）分类器适应方法
代替构造分类器之前学习领域不变特征空间，分类器自适应方法旨在直接设计用于转移学习任务的自适应分类器。这也是一种有效的策略，可以解决训练数据集与测试数据集之间分布不匹配的根本问题。根据参考文献，典型的分类器自适应方法可以分为：（1）基于核分类器的，（2）基于流形正则化的和（3）贝叶斯基于分类器
4）基于深度学习的方法
近年来，深度学习在实现语音识别，视觉目标识别，药物发现甚至机械故障诊断的最先进性能方面取得了巨大的成功。作为端对端系统，深度神经网络通过多个处理层来学习具有多个抽象级别的原始数据的表示形式。基于深度神经网络的转移学习方法旨在通过将领域自适应嵌入到深度学习的管道中来学习更多可转移的表示。
基于深度学习的传输方法可以分为两类：（1）参数传输（2）表示自适应。
参数传递是在各种应用程序中跨域方案下训练深度模型的常用策略。参数传递的直观思想是使用少量目标数据来微调预训练的深度神经网络（用于源域的模型）。通常，在具有大量标记数据的源域上训练预训练的深度神经网络。
表示适应的想法是将表示适应目标嵌入到深度学习的过程中。通常，为了学习对故障和域不变性都具有判别力的表示形式，**在深度神经网络的目标函数中添加了一个权衡项，该权衡项惩罚了域之间的表示分布差异。**使用域不变表示，可以提高深度模型在目标域上的泛化性能。
Long 等人 提出了深度适应网络（DAN）架构
5）基于对抗的方法
近年来，生成性对抗网络（generativedepartialnetworks，GAN）通过对抗性学习过程训练鲁棒的深层神经网络，在生成特征级表示方面取得了巨大的成功。GAN由两个模型组成：一个是提取数据分布的生成模型G，另一个是通过预测二进制标记来区分样本是来自G还是训练数据集的判别模型D。训练D以最大化将正确标签分配给训练示例和G生成的样本的概率。同时训练G使log（1-D（G（z））最小化。
受对抗学习过程的启发，基于对抗的迁移学习方法已被广泛研究为一种日益流行的想法。根据不同的策略，**基于对抗的方法可以分为两类。第一个是基于生成的策略，其核心思想是在源数据的帮助下生成带有真实注释的合成目标数据，然后通过以下方式启用跨域任务：使用合成的目标数据。第二种是基于对抗适应的策略，旨在通过使用域区分符来适应源域和目标域的表示形式分布。**在对抗学习过程中，当域区分符无法区分源域和目标域时，将确保通过深度神经网络学习的表示形式具有相似性。
研究动机和问题设置
1）研究动机
a：动机1：解决不同操作条件之间的跨域故障诊断
即使用从同一台机器的其他运行状况收集的历史数据为当前运行状况构建有效的故障识别模型。
旋转速度的变化将影响被测信号的振动频率和幅度，并进一步影响特征空间中数据的概率分布。此外，工作负荷根据实际工业应用中的实际需求而变化。工作环境的噪声是不可避免的且不可预测的，这也可能改变特征空间中数据的分布状态。
b：动机2：解决不同故障程度之间的跨域故障诊断
Chen 等。在[91]中提出了一种基于深度自动编码器的参数传递学习方法。所提出的方法可以使用具有明显故障特征的故障样本来促进早期故障诊断。
c：动机3：通过利用来自不同但相关的机器或仿真模型的知识来提高诊断性能
通常，从其他相同类型的机器，实验室中的仿真实验或数学仿真模型收集或生成历史故障数据是更可行，更容易的方法。从可行性的角度来看，这些数据还包含此类机器或系统的固有故障信息，并且使用这些数据来训练诊断模型更符合数据驱动型故障诊断的工程要求
d：动机4：使用可视图像简化故障诊断任务
有限的故障数据不能支持鲁棒的多层神经网络的训练。受计算机视觉深度学习成功的推动，多项研究工作转移了使用ImageNet数据集（计算机视觉中广泛使用的图像数据集，可在http://www.image-net.org上进行预训练）对深度网络的一些参数进行传输。 ），以加快培训并提高用于机械故障诊断的网络的准确性
e：动机5：利用信息来源不完整的知识
可能存在这样的诊断情况，即可以获得大量不完整信息的训练数据
2）不同的问题设置
对于上述研究工作，诊断问题的设置主要可以分为四类。尽管动机可能不同，但是这些研究工作的基本思想是利用相关任务中的诊断知识来帮助学习当前的诊断任务。通常，在诊断模型的训练阶段，总是始终只有一个带有大量完全标记样本的源域，但是目标域中可用样本的情况却有所不同。具体来说，主要有以下四种情况：
b又称无监督域自适应
c只有目标域的正常样本可用,d通常解决域之间差异相对较小的诊断任务，例如不同操作条件
跨域方法在故障诊断中的应用
分为四类：（1）传统传输方法，（2）深度传输方法，（3）基于对抗的方法和（4）其他方法。
1）传统转移方式
分为：1）基于实例权重的方法，2）基于特征的方法，以及3）分类器适应方法。
2）深度转移方法
在过去的几年中，已经深入研究了基于深度学习的用于跨域故障诊断的传递学习方法，可以将其分类为：（1）表示自适应，（2）参数传递和（3）其他深层转移策略。
a：基于表示适应的方法
从表示学习的角度来看，深度网络可以通过多层非线性转换来学习高级抽象表示。通常，较低层中的表示比较笼统，较高层中的表示则更针对学习目标。由于跨域故障诊断中域之间原始信号的差异，使用源域数据训练的网络在应用于目标域数据时往往会崩溃。这意味着同一深度网络学习到的源域和目标域的表示形式也不同。
基于表示自适应的方法旨在学习在顶层或多个中间层的领域不可知表示，然后使用来自源域的大量样本的训练网络可以很好地执行目标任务。通常，这种方法通过在学习过程中增加一个权衡项来调整表示的统计分布，从而惩罚域之间的分布差异。分布距离统计，如MMD[65]、[79]、[84]、[85]、[88]、[89]、[94]、[97]、[98]、[101]、[112]、相关比对（CORAL）距离[113]和Kullback-Leibler（KL）散度[63]，通常用于比较故障诊断中域之间的分布偏移。我们将这些方法分为：（a）顶层自适应和（b）多层自适应。
i）顶层适应
直观地，深度神经网络由特征提取器和分类器（或标签预测器）组成。特征提取器的顶层表示是所有层中最抽象的表示，它直接连接到分类器，例如Softmax层或SVM，对应于特定的分类或回归任务。为了适应域之间的转换，提出了一些研究工作以在特征提取器的顶层中对齐源域和目标域的分布。通过这种方式，学习了两个域之间的域不变表示。
ii）多层适应
在特征提取器的顶层实现分布对齐是深度域自适应的最终目标。但是，顶层表示是通过对应于多个中间表示的不同级别的多个抽象过程来学习的。源域和目标域之间的多个中间层中表示的分布差异可能会影响顶层的最终适应结果。一些研究工作已经在顶层和多个中间层中同时实现了域自适应[63]，[65]，[84]，[89]，[98]，[113]。
b：基于参数传递的方法
从特征转换的角度来看，深度神经网络通过从训练数据集中学习到的多层参数将输入信号转换为新的空间。因此，网络的输入和输出之间的隐式关系模型由各层之间的参数确定。对于跨域方案，参数传递方法假定相关任务的各个模型应共享一部分参数θcom
θcom 代表共同的参数，带 ’ 分别表示源域和目标域的特定参数
这些参数传递方法的基本过程包括三个主要步骤：
1.使用源域数据来训练预训练的网络A。通常，来自源域的数据被完全标记，并且数据量足够大以训练健壮的标识模型。
2.构造一个新的网络B用于目标任务，并从预训练的网络A传输参数的一部分用于初始化网络B。
3.使用来自目标域的少量数据微调新网络B。
在大多数情况下，新构造的网络B具有与网络A相同的特征抽取器结构，并且特征抽取器的参数是使用网络A在相应层中的参数初始化的。但是网络B的分类器层通常是以一种新的结构来构造的，其参数是随机初始化的。
这些用于跨域故障诊断的参数传递方法的微调策略可以归纳为四类，如图所示：
1.使用目标域[69]，[70]，[87]，[90]，[93]，[103]，[106]和[109]的数据微调所有层（包括特征提取器和分类器）;
2.微调特征提取器和分类器层的一部分[104]，[109]；
3.只需微调分类器层[105]，[108]，[109]；
4.选择性参数微调[92]。
在[109]中，Han等人。提出了一种基于预训练CNN的参数传递框架。在他们的研究工作中，讨论并比较了三种不同的参数传递策略，从深层结构的不同层次探讨了特征传递的适用性和意义。他们认为数据集大小和相似性这两个因素将指导参数转移策略的选择。当目标域的数据集较大时，对整个网络进行微调是一个不错的选择。当目标数据集较小且与源数据集相似时，最好确定特征抽取器的参数并对分类层进行微调。在最后一种情况下，目标数据集既小又不同于源数据集，重新训练前卷积块和分类层可能是有效的。
Kim and Youn [92]提出了一种选择性参数冻结方法，该方法可以将仅不必要的参数重新训练到目标数据，同时保留源网络中的重要参数。所提出的方法为调整层内的冻结和微调提供了一种选择
c：其他深层转移策略
除了以上两种策略外，还提出了其他几种基于深度神经网络的传输策略来解决跨域故障诊断任务。
在[73]和[124]中，使用了一种**简单的域自适应方法，称为自适应批处理规范化（AdaBN）[125]，它在网络上的所有批处理规范化层中将统计信息从源域调制到目标域，用于处理跨域故障诊断。**在AdaBN中，每一层按域的标准化保证了每一层接收的数据符合相似的分布，而不管源域或目标域是什么。给定一个使用源域数据预先训练的深度神经网络模型，AdaBN算法如下25]，
在[82]中，Li等人。提出了一种基于深生成神经网络的跨域故障诊断方法。首先，通过训练Cs-1生成器生成目标域不同类别的伪故障样本，记录每一类别的正常样本和故障样本之间的关系。其次，训练了一个用于跨域分类的顶层深度自适应神经网络。在[126]中，CNN与边缘化的叠加去噪自动编码器结合，学习故障敏感特征，消除不同条件下的数据分布差异。在[68]中，肖等人。结合TrAdaBoost和CNN提出了一种故障诊断框架。
3）基于对抗的方法
最终，深度域适应的目标是学习源域和目标域之间的域不变表示。为了实现此目的，通常采用一种统计量来度量源域和目标域的表示形式之间的分布差异。然后，在表示学习过程中，通过将其权衡项添加到深度神经网络的原始目标函数中，可以惩罚域之间的分布距离。也就是说，源域和目标域的相似性由特定的距离测量统计量确定，并且具有低距离统计量值的表示被认为是域不变的。受到GAN的启发[54]，基于对抗的领域适配通过相对于领域鉴别器的对抗目标来确定领域之间的相似性。
领域对抗性神经网络（DANN）是一种具有代表性的基于对抗性的领域自适应方法（其结构如图12所示），已经在计算机视觉应用中成功实现[58]。Wang等人。在[86]中将DANN引入跨域故障诊断。为了使用深度神经网络学习区分和域不变表示，DANN使用了一种完全不同的方法，通过一个经过区别训练的分类器，基于分布的可分性来测量分布之间的差异。**DANN包括三个部分：带参数θf的特征提取器Gf、带参数θc的标签预测器Gc和带参数θd的区域鉴别器Gd。**在学习过程中，为了保证表示的区分性，DANN首先通过优化特征抽取器和标签预测器的参数来最小化标签预测损失Lc（θf，θc）。同时，为了获得域不变特征，DANN优化了特征提取器的参数，使域预测损失Ld（θf，θd）达到最大，这意味着源域和目标域的特征分布是相似的。同时，对区域鉴别器的参数θd进行优化，以减小区域预测的损失。从形式上讲，DANN可以被认为是下面的min max问题
在[120]中，同样的策略也被用来解决风力发电机和齿轮箱的诊断问题。但是，在训练阶段，没有使用目标域数据，而是将训练数据集随机分为两部分，以进行对抗训练。由于训练数据集包含来自多个来源的数据，因此在对抗过程中可以学习这些领域的领域不变特征或通用诊断知识。
在上述[86]，[120]的研究工作中，源域和目标域在对抗学习过程中使用了共享特征提取器，如图12所示。基于两种不同的特征提取器，Zhang 等人。 [76]提出了一种对抗性自适应一维CNN（A2CNN）方法，该方法与[59]中提出的对抗性区分域自适应（ADDA）非常相似。在A2CNN中，分别针对源域和目标域学习了两个CNN，称为源特征提取器GsF 和目标特征提取器 GŤF 如图13所示。目标特征提取器GŤF 具有相同的结构 GsF ，以及目标特征提取器的部分图层在域对抗训练之前由经过预训练的源初始化。由于允许学习更多特定于域的功能，这种方式可能更灵活。A2CNN已成功应用于在工况变化下轴承的跨域故障诊断。
为了减轻DANN损失的梯度消失，从而使源域和目标域的分布之间的Jensen-Shannon差异最小化，在[66]和[127]中提出了基于Wasseratein距离的对抗网络，用于受故障启发的故障诊断问题Wasserstein生成对抗网络（WGAN）[128]。
实际上，缺乏目标域的故障数据是影响故障诊断模型泛化性能的主要原因。使用GAN生成无限量的合成目标数据是解决这个问题的一个很有吸引力的替代方案。在[115]中，Lu等人。提出了一种结合深卷积生成对抗网络（DA-DCGAN）的直流串联电弧故障诊断方法，其结构如图14所示。DA-DCGAN首先从源域数据中学习到一种从正常到电弧的智能转换。然后利用目标域的正常数据，通过学习变换生成虚拟电弧数据，并采用域自适应方法，实现了目标域鲁棒可靠的故障诊断方案。
4）其他跨域故障诊断策略
除了使用知识转移策略解决跨域故障诊断问题的方法外，还有一些研究工作没有采用转移学习算法，而是考虑了跨域诊断任务。这些方法也是减轻传统数据驱动诊断方法的数据难题的可行方式。它们大多数是基于深度学习的诊断方法，它们从原始的监视信号（例如，振动信号[74]，[99]或振动图像[116] – [117] [118]，[121 ]）中学习用于故障识别的抽象表示。]。基于缩小域之间差距的策略，我们将这些方法分为两个子类别：（1）基于特定的深层网络结构或训练策略；（2）基于预处理。这些方法的摘要可以在表4中找到。
**第一类是通过设计适当的网络结构或诊断模型的训练策略来减轻域差异[74]，[99]，[116] – [117] [118]，[121]。**例如，张等人。 [74]提出了一种带训练干扰的卷积神经网络（TICNN）方法，该方法可以在嘈杂的环境和工作负载变化的情况下实现卓越的准确性，而无需任何域自适应算法。TICNN基于以下三个技巧增强了抗噪和域自适应能力：（1）在第一层使用了dropout来增加原始输入的噪声；（2）使用非常小的批处理训练来提高模型的泛化能力； （3）通过集成学习来提高算法的稳定性。其他方法，例如具有Atrous卷积的Deep Inception Net [99]，基于胶囊网络的卷积神经网络[116]，Snapshot Ensemble卷积神经网络[118]和噪声Deep Convolution神经模型[121]等也被采用或提出来促进模型在跨域诊断情况下的泛化能力。
第二类是通过一些预处理方法来缓解域之间的差异，然后将传统的深度学习算法应用于构建诊断模型[100]，[102]，[119]，[122]。
在[100]中，Hyunseok 等人。提出了一种基于叠加全向再生信号的振动图像生成方法，然后在将其输入到DBN中进行故障识别之前，先对图像进行定向梯度直方图处理。在预处理步骤的基础上，通过使用来自小型试验台的数据训练诊断模型，所提出的方法实现了对实际500 MW汽轮机转子系统的准确诊断。值得注意的是，这种方法需要一对接近传感器。
在[102]中，Cameron 等人。建议使用高分辨率轴承动力学仿真生成的数据来训练CNN网络，并诊断实际轴承。在他们的方法中，使用以下三个步骤对振动信号进行预处理：（1）计算加速度计信号包络；（2）在每个特征缺陷信号周期内进行角度同步平均；（3）信号归一化。包络信号包含有关轴承故障的诊断信息，角度同步平均是为了消除训练和测试数据集之间的转速和轴承模型的差异，信号归一化是为了消除振动幅度的可能影响。
Wei 等。 [122]也提出了一种转速归一化方法来解决由转速波动引起的跨域学习问题。Han 等。 [119]提出了一种诊断框架，该框架将时空模式网络（STPN）方法与CNN相结合，可以诊断看不见的工作状态和故障严重程度。STPN建立在通过符号动态滤波生成的状态之间的跃迁概率公式的基础上，可以提取对操作条件和故障严重性具有鲁棒性的空间（测量之间）和时间特征（对于每个测量）。
5）跨域诊断方法的输入
实际上，不同的输入意味着不同方法可接受的不同数据类型，也意味着这些方法所需的特征抽象级别。
通常，基于传统转移学习的跨域诊断方法的输入是手工制作的功能，例如振动信号的统计参数[60]，[61]，[67]，[71]，[80]，[ 96]，[123]，SVD特征值[81]，[83]等。
相反，基于深度转移学习，对抗策略和其他深度神经网络的跨域诊断方法的输入是原始监控信号或抽象水平较低的功能。根据不同的数据类型，我们将这些方法的输入分为两类：时间序列数据和图像数据。其中，一维时间序列是最常见的输入类型，例如原始或预处理的振动信号[68]，[73]，[74]，[84]，[90]，[92]，[94]，[97 ] ] – [98] [99]，[102]，[109]，[110]，[120]，[122]，[127]，[129]和频谱[63] – [64] [65] [66]，[76]，[78]，[82]，[86 ] ]，[88]，[89]，[93]，[112]，[114]，[124]，[126]。其他方法使用2D图像作为输入，并且图像主要由信号段堆栈[70]，[87]，[100]和[105]生成，[115]，[121]和时频表示（包括短时傅立叶变换[116]，小波变换[104]，[106]，S变换[69]，[117]和[118]）。这些方法大多数基于深度神经网络，将故障特征学习，模式识别和知识传递的过程混合在一起。这是实现更高水平的智能故障诊断的新探索。
开源故障数据集
CWRU ，MFPT ，帕德博恩大学数据集，DIRG数据集，IMS数据集，PHM12数据挑战数据集和1个变速箱数据集，PHM09数据挑战数据集