mahout算法源码分析之Itembased Collaborative Filtering实战

时间:2022-01-15 18:28:13

Mahout版本:0.7,hadoop版本:1.0.4,jdk:1.7.0_25 64bit。

本系列介绍介绍mahout中的Itembased Collaborative Filtering算法,这个算法的实现的源码是org.apache.mahout.cf.taste.hadoop.item.RecommenderJob。在mahout官网是这样介绍这个算法的:RecommenderJob是一个完全分布式的基于项目的推荐器。它的输入是一个含有用户喜好数据的.csv文件,数据格式是userID,itemID,value。输出是userIDs和每个用户的推荐项目及项目的评分。下面就按照这样的输入数据,使用《mahout in action》中的list2.1中的数据进行测试(数据在http://blog.csdn.net/fansy1990/article/details/12354119中也可以看到),使用下面的测试代码对RecommenderJob进行测试:

[java] view plaincopy
  1. package mahout.fansy.item.test;  
  2.   
  3. import org.apache.mahout.cf.taste.hadoop.item.RecommenderJob;  
  4.   
  5. public class TestRecommenderJob {  
  6.   
  7.     /** 
  8.      * RecommenderJob测试程序 
  9.      * @param args 
  10.      * @throws Exception  
  11.      */  
  12.     public static void main(String[] args) throws Exception {  
  13.         String[] arg=new String[]{"-jt","ubuntu:9001","-fs","ubuntu:9000",  
  14.                 "-i","hdfs://ubuntu:9000/test/input/user_item",  
  15.                 "-o","hdfs://ubuntu:9000/user/mahout/item/output",  
  16.                 "-n","3","-b","false","-s","SIMILARITY_EUCLIDEAN_DISTANCE",  
  17.                 "--maxPrefsPerUser","7","--minPrefsPerUser","2",  
  18.                 "--maxPrefsPerUserInItemSimilarity","7",  
  19.                 "--tempDir","hdfs://ubuntu:9000/user/mahout/item/temp"};  
  20.           
  21.         RecommenderJob.main(arg);  
  22.     }  
  23.   
  24. }  
其中的一些参数先做些说明:-n参数就是--numRecommendations参数,这个参数设置后在最终的对每个用户进行推荐的时候就会推荐numRecommendations个项目;-b参数是--booleanData的缩写,这个参数是指原始数据是有用户的评分还是没有,比如原始数据只有用户和项目,这个也是可以的;-s是similarityClassname的缩写,看英文大概意思就是相似度的计算方式,这里选择的是欧氏距离;其他参数在后面的系列分析blog中进行分析。

上面的测试代码跑完后,可以在50030界面查看,一共跑了几个job任务,一般如下:

mahout算法源码分析之Itembased Collaborative Filtering实战

可以看到一共有9个job任务,同时在HDFS监控界面可以看到最后的推荐结果:

mahout算法源码分析之Itembased Collaborative Filtering实战

算法的输出也是比较好理解的,比如,从上面的结果可以看出,用户1被推荐了104、106、105项目(而且这些项目是按照得分从高到低排序的)。

所以,总体来说,这个算法调用和最后对结果的分析来说还是比较清晰的。算法调用只用设置-n(每个用户推荐多少个项目)即可,其他参数不进行设置,直接默认即可(不过好像-s参数一定要进行设置的)。最后算法跑完后,产生的结果也是很好分析的。

分享,成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990