推荐系统学习之评测指标

时间:2021-08-17 20:36:27

最近开始学习推荐系统,特记录一下学习过程并做个分享。

推荐系统是什么不用多说,这里先介绍一下推荐系统的各种评测指标。

1、用户满意度

这个指标应该是最能体现一个推荐系统好坏的指标,但获取只能通过用户在线的反馈,类似用户问卷调查,或者用户对推荐物品的行为,比如购买、收藏、评分等判别。

2、预测准确度

在离线预测用户行为的评价上,这个指标相当重要。在统计学习中,也就是根据训练数据集学习得到的系统对测试数据集的预测准确度,既泛化能力。

推荐系统在这主要分为两个方面,评分预测与TopN预测。

(1)评分预测:类似豆瓣电影的评分,预测用户对推荐的某一物品的评分从而达到选择最优推荐的目的。而评价评分预测准确度的方法,一般有两种:

RMSE(均方根偏差)和MAE(平均绝对偏差)

(2)TopN预测:类似热门推荐,推荐N个商品给用户。评价这个指标的方法,一般也为两种:

准确率,既根据用户历史行为推荐的商品N与用户实际喜欢的商品M的交集A,与N的比值,A/N

召回率,既根据用户历史行为推荐的商品与与用户实际喜欢的商品M的交集A,与M的比值,A/M

3、覆盖率

普遍假设网站商品都呈长尾分布,既热门的商品总是少数,而且其他商品的热门程度呈曲线下降,存在很多冷门商品。而评价推荐系统的覆盖率即是看系统为所有用户推荐的全部商品数量,与网站中所有商品数量的差值。当然一般用以下两个指标来评价:

(1)信息熵:又称香农熵,指代信息量的多少,一般来说,覆盖率越高的推荐系统,信息熵越大。

(2)基尼系数:一个经济学系数,在这里指代推荐系统中,热门物品与冷门物品的比值,一般来说,覆盖率越高的推荐系统,基尼系数越接近0

4、多样性

推荐系统给出推荐列表中的商品,两两之间的不相似性。

5、新颖性

推荐给用户的商品是用户从来没有听说过的物品。

6、惊喜度

与用户历史兴趣不相符,但又能让用户满意的商品。

7、信任度

这里一般用添加推荐解释来达成

8、实时性

(1)实时根据用户的新行为来推荐物品,如用户购买手机,同时给用户推荐手机壳

(2)推荐新加入系统的商品

9、健壮性

模拟攻击之后,用户的推荐列表的改变