最近在做hadoop——SVM数据挖掘工作，map任务只能一次读取一行数据，我的目的是将数据分块处理建立预测模型，再将分块得到的支持向量（所谓的模型）在Reduce中合并得到整体模型，但是map任务一次只能读取一行数据不符合一批数据建模的原则，请大家帮我看看应该怎么修改Map任务的逻辑，让其一次读取多行（一整块，最好能大于64M数据块）。
7 个解决方案
#1
http://shiyanjun.cn/archives/291.html
Do you read this?
Do you read this?
#2
需要重写inputformat。 前提是你的模型是可以分割的。比如以某个“｛” 开始，以“｝”结束。
#3
简单的方法，用：NLineInputFormat，用法自己搜
#4
该回复于2015-06-07 11:27:40被管理员删除
#5
楼主 ，问题怎么处理的？
#6
不知道楼主解决没有？我也希望能搞搞SVM在hadoop中的实现
#7
看这篇博客 里面讲了怎么实现一次读取多行
http://blog.****.net/tanggao1314/article/details/51307642
http://blog.****.net/tanggao1314/article/details/51307642
#1
http://shiyanjun.cn/archives/291.html
Do you read this?
Do you read this?
#2
需要重写inputformat。 前提是你的模型是可以分割的。比如以某个“｛” 开始，以“｝”结束。
#3
简单的方法，用：NLineInputFormat，用法自己搜
#4
该回复于2015-06-07 11:27:40被管理员删除
#5
楼主 ，问题怎么处理的？
#6
不知道楼主解决没有？我也希望能搞搞SVM在hadoop中的实现
#7
看这篇博客 里面讲了怎么实现一次读取多行
http://blog.****.net/tanggao1314/article/details/51307642
http://blog.****.net/tanggao1314/article/details/51307642