1. 环境配置
a) 配置系统环境变量HADOOP_HOME
b) 把hadoop.dll文件放到c:/windows/System32目录下
c) hadoop-2.6.0\share\hadoop\common\sources目录下hadoop-common-2.6.0-sources.jar文件中找到org\apache\hadoop\io\nativeio下NativeIO.java文件，复制到对应的Eclipse的project， NativeIO.java文件还要在原来的包名下
d) 修改此文件的557行，替换为return true
e) 在主机中配置虚拟机的IP和用户名
f) 以管理员身份运行eclipse
2. 代码（以wordcount为例）
a) MapReduce分Map和Reduce两部分，加上测试，一共三部分
b) Map里主要解决文件分割的问题；
package com.hadoop.hdfs.api.test.mr.wc;
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/*
* KEYIN, VALUEIN, 输入的key-value数据类型
*
* KEYOUT, VALUEOUT 输出的key-value数据类型
*
*/
public class WCMapper extends Mapper<LongWritable, Text, Text, LongWritable>{
/* key:输入的key值，偏移量
value：输入的value，一行的内容
*/
@Override
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
throws IOException, InterruptedException {
//获取一行的内容
String linestr=value.toString();
String[] words=linestr.split(" ");//正则表达式怎么实现这些东西？
for (String word : words) {
//输出写
context.write(new Text(word), new LongWritable(1));
}
}
}
c) 接收map的结果，然后整合输出
package com.hadoop.hdfs.api.test.mr.wc;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/*
* org.apache.hadoop.mapreduce是Hadoop2的api
*/
public class WCReducer extends Reducer<Text, LongWritable, Text, LongWritable>{
@Override
protected void reduce(Text key, Iterable<LongWritable> values,
Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {
Iterator<LongWritable>iter=values.iterator();
long sum=0;
while(iter.hasNext()){
sum+=iter.next().get();
}
context.write(key, new LongWritable(sum));
}
}
d) 运行文件里只需要配置好路径即可
package com.hadoop.hdfs.api.test.mr.wc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WCRunner {
public static void main(String[] args) {
Configuration conf =new Configuration();
/* conf.set("hadoop.tmp.dir", "j:/tmp/tmpData");*/
try {
Job job=Job.getInstance(conf);
//指定main方法所在的类
job.setJarByClass(WCRunner.class);
//指定map和reduce类
job.setMapperClass(WCMapper.class);
job.setReducerClass(WCReducer.class);
//指定map的输出key和value的数据类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
//指定reduce的输出key和value的数据类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//指定输入的文件目录，这里可以是文件，也可以是目录
FileInputFormat.setInputPaths(job, new Path(args[0]));
//指定输出的文件目录，这里只能是目录，不能是文件
FileOutputFormat.setOutputPath(job, new Path(args[1]));
//执行job
job.waitForCompletion(true);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
注：数据类型
Value Text类型 Key LongWritable类型
特别声明：Text的包需要特别注意
运行前，传一下路径
Input是读文件的路径，里面的文件就是我们要读的
Output是reduce生成文件存放的地方
特别声明：input路径必须存在，output必须是不存在的
特特特别声明：用户名一定要注意，不要有空格！！！
MapReduce原理
MapReduce分为两大部分，Map（抓取数据、数据分割）和Reduce（处理数据，数据整合，上传数据）。
从单文件看MapReduce：
1. 从HDFS上读取一个文件
2. 为本地主机分配一个Map任务
3. Map作业从输入数据中抽取出键值对
4. 每一个键值对都作为参数传递给map函数，map函数产生的中间键值对被缓存在内存中。
5. 上一阶段中解析出来的每一个键值对，调用一次map方法。如果有1000个键值对，就会调用1000次map方法。每一次调用map方法会输出零个或者多个键值对。
6. 为本地主机分配一个Reduce任务
7. Reduce任务读取Map任务产生的中间值并排序（因为Map任务产生的键值对可能映射到不同的分区中，当然本地只有一个分区，所以要排序），排序的目的是使相同键的键值对聚集在一起。
8. 遍历排序后中间键值对，将具有相同键的键值对调用一次reduce方法，对每个不同的键分别调用一次reduce方法。
9. reduce函数产生的输出会添加到这个分区的输出文件中。
从集群上看MapReduce
1. 将HDFS上的文件分块，如需要输入的文件为100MB和200MB时，因为块大小为128MB，所以共分为三块，块一：100MB；块二：128MB；块三：72MB
每个块对应一个Map，需要三个Map进程来处理
2. 为集群上空闲的机器分配Map任务，被分配了Map作业的机器，开始读取对应分片的输入数据
3. 与单文件过程类似
4. Map产生的中间键值对分为N个区保存在本地中，每个区对应一个Reduce任务，将这N个区的位置报告给集群中负责调度的机器，让其将位置信息转发给已分配好Reduce任务的机器。
5. 有Reduce任务的机器从刚获取的地址处，读取中间键值对，然后与单文件类似
6. 所有执行完毕后，MapReduce输出放在了N个分区的输出文件中（分别对应一个Reduce作业）。用户通常并不需要合并这N个文件，而是将其作为输入交给另一个MapReduce程序处理。整个过程中，输入数据是来自底层分布式文件系统（GFS）的，中间数据是放在本地文件系统的，最终输出数据是写入底层分布式文件系统（GFS）的。
注：关于Map和Reduce之间的数据传输过程，MapReduce的核心Shuffle，现在知识有限。只知道它的作用，不知道为什么作用，希望过几天可以整理一下