白话机器学习算法（五）自组织映射SOM
聚类算法可以简化为一个找聚类中心的问题，比如k-means，而对于输入向量空间，找他的聚类中心，可以用统计学的方法，比如GMM，也可以用向量量化的方法。 自组织映射，可以理解为一种向量量化网络，相当于我们的选人大代表，一类相近的人可以选一个代表，SOM就是这样的思想，有了这些代表，聚类问题就变成了分...
白话机器学习算法（五）自组织映射SOM
聚类算法可以简化为一个找聚类中心的问题，比如k-means，而对于输入向量空间，找他的聚类中心，可以用统计学的方法，比如GMM，也可以用向量量化的方法。 自组织映射，可以理解为一种向量量化网络，相当于我们的选人大代表，一类相近的人可以选一个代表，SOM就是这样的思想，有了这些代表，聚类问题就变成了分...
白话机器学习算法（十七）熵，条件熵
在信息论中，要对符号进行编码，一个符号的熵就是要表示这个符号所需要的最少二进制数位数；这是一个极限；这也是信息压缩的基础； 条件熵，当两个符号之间存在某种关系，或者两个随机变量不互相独立的时候，对于A，B两个随机事件，非独立，知道A的情况，B的不确定性减少； 举个例子： A事件是：季节{春，夏，秋，...