理解交叉熵

【文件属性】：
文件名称：理解交叉熵
文件大小：203KB
文件格式：DOCX
更新时间：2022-03-30 15:19:37
交叉熵 问题：1、交叉熵CH(p,q)公式的p和q分别是随机变量X的两种分布吗？能这样描述吗：p和q是随机变量X的两个样本集。p和q的正确描述应该是怎样的？CH(p,q)就是Venn图里的I(X;Y)吗？交叉熵的值越大或越小说明了什么问题？ 2、把交叉熵用在deep learning中的多分类损失函数时，为什么预测值和真实值（预测值和真实值相当于同一个随机变量的两种分布？）的交叉熵能够反映“判断模型对真实概率分布估计的准确程度”？ 3、上图中tensorflow里交叉熵的实现：cross_ent = -tf.reduce_mean(tf.reduce_sum(y_*tf.log(y), reduce_indices=[1])) ，根据我的理解该行代码对交叉熵求了平均（将交叉熵除以类别数10），为什么要求平均？