迁移学习笔记(1)

时间:2022-11-23 06:33:27

对于机器学习我并没有系统学过,一下是一篇论文的笔记。

机器学习就希望计算机模拟人,可以通过学习不断的改进自己。这对人类是多么大的诱惑。对于机器学习,可以看作是计算机的一个分支,也可看作是应用统计学的通知。

    传统的机器学习是基于统计学习的,而统计学习是基于数理统计的,因此,传统的机器
学习要求学习的问题必须是服从相同分布的。于是,传统的机器学习只是用以解决相同领域
内的同一问题,因为,当学习解决服从不同分布的问题时,这就表示学习的环境改变了,统
计特征也发生了改变,这必然影响机器学习的效果。这种情况下,就需要一种新的机器学习
方法来克服这种缺陷。

 

 

迁移学习,举个简单的列子,如果你会吹笛子,你会比啥乐器也不会的人更容易学会吹葫芦丝,也就是说,学会吹笛子,对学习吹葫芦丝有帮助,原因是他们有很多共同的基础知识。同样迁移学习,就是通过辅助任务学习来帮助目标任务的实现。就好像你学吹葫芦丝时候可以通过学习笛子来帮助自己,那读者就会问了。为什么我直接学通过吹葫芦丝呢的,虽然学习吹笛子对吹葫芦丝有用,但没必要通过学习吹笛子来学习吹葫芦丝吧。

 

我的回答是,任何问题都有特定的前提,这个前提,就是对你资源的限制,如果学吹笛子学费10元一小时,学葫芦丝1万一小时,我想此时很多人就是先学会吹笛子,在学会吹葫芦丝。在机器学习中,我们研究的当前领域数据有限,但该领域的的相关领域数据内容丰富,我们就可以借用相关领域中的数据来帮助我们解决相关任

迁移学习受人类迁移学习方式的启发,通过研究机器学习问题领域中要迁移什么知识(what)、
如何迁移(how)、什么时候迁移(how),利用源领域知识对目标领域知识的学习提供高效的学习方法。

务。

 

美国高级研究计划局2005年给出的定义:

transfer learning emphasizes the transfer of knowledge across domains, tasks, and distributions that are similar but not the same。

迁移学习的任务:

1多任务学习

2 跨领域学习

3 不同分布的学习