Hadoop葵花宝典(一)

时间:2021-08-29 22:08:30

1. 描述如何安装配置Hadoop

参考:http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html

  • 安装Linux(虚拟机上)—CentOS:创建用户,关闭防火墙,PS:不关防火墙无法访问Web管理页面,删除和增加节点时,会让数据迁移处理时间长,可能假死,节点间无法访问等问题。如果需要防火墙对其他的连接依旧起作用的话,就不能简单的关闭它,而是可以通过配置防火墙的过滤规则,即将hadoop需要监听的那些端口配置到防火墙接受规则中。
  • 安装VSFTP(FTP服务器软件):yum –y install vsftpd,PS:FTP端口号为20、21。
  • 本地安装FlashFXP(FTP软件):支持本地文件系统和服务器文件系统的文件互传。
  • 本地安装SecureSRT(支持SSH的终端仿真程序):用于连接Linux。
  • 网络配置:修改主机名,修改ip,修改hosts文件(用来配置主机将用的DNS服务器信息,将集群中的所有机器的IP与主机名添加,这样就可通过主机名通信)
  • 安装JDK并配置环境变量(/etc/profile)
  • 设置ssh免密码登录:Master生成密码对、设置SSH
  • 解压缩hadoop安装包,并配置环境变量
  • 修改配置文件($HADOOP_HOME/conf):hadoop-env.sh(添加java环境变量)  core-site.xml(配置HDFS的地址和端口号)  hdfs-site.xml(配置HDFS,默认副本为3) mapred-site.xml(配置MapReduce,配置JobTracker的地址和端口)
  • 格式化hdfs文件系统 (hadoop namenode -format)
  • 启动hadoop ($HADOOP_HOME/bin/start-all.sh)
  • 使用jps查看进程

2. 列出正常工作的Hadoop集群中,Hadoop都启动哪些进程,描述功能

  • NameNode: HDFS的守护进程,负责记录文件是如何分割成数据块,以及这些数据块分别被存储到那些数据节点上,它的主要功能是对内存及IO进行集中管理
  • Secondary NameNode:辅助后台程序,与NameNode进行通信,以便定期保存HDFS元数据的快照。
  • DataNode:负责把HDFS数据块读写到本地的文件系统。
  • JobTracker:负责分配task,并监控所有运行的task。
  • TaskTracker:负责执行具体的task,并与JobTracker进行交互

3. 启动时报如下错误如何解决

ERROR org-apache.hadoop.hdfs-server.namenode.NameNode org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:   Direction /tmp/Hadoop-root/dfs/name is in an inconsisrtent state: storage directory dose not existent or is not accessible.

…...

问题分析:NameNode没有正常启动

解决方法:

① hadoop namenode –format(格式化namenode):如果每次都要执行这个命令才能启动namenode,那是万万不行的

② /tmp目录下的文件是临时文件,hadoop会将各种信息存到/tmp下,便会被定期清除,为避免这种情况,在hdfs-site.xml中添加属性dfs.name.dir设置值为想存的目录。

4. Hadoop命令(进入Hadoop_HOME目录,/etc/profile中配置)

①启动Hadoop;sh bin/start-all.sh

②关闭Hadoop:sh bin/stop-all.sh

③文件操作 :sh bin/hadoop fs ...(后面命令操作基本同Linux)

1)查看文件列表

查看hdfs中/user/admin/aaron目录下的文件:sh bin/hadoop fs -ls /user/admin/aaron

2)创建文件目录 

hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录:sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

3)删除文件 

删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件:sh bin/hadoop fs -rm /user/admin/aaron/needDelete

删除hdfs中/user/admin/aaron目录以及该目录下的所有文件 :sh bin/hadoop fs -rmr /user/admin/aaron

4)上传文件 

上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下:sh bin/hadoop fs –put /home/admin/newFile/user/admin/aaron/

5)下载文件 

下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中 :sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

④MapReduce Job操作 

1)提交MapReduce Job

运行一个/home/admin/hadoop/job.jar的MapReduce Job:sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

2)杀死某个正在运行的Job:(hadoop job -list, 假设Job_Id为:job_201005310937_0053)sh bin/hadoop job -kill job_201005310937_0053

⑤添加datanode节点(在datanode中启动执行启动datanode命令):sh hadoop-daemon.sh start datanode 

⑥删除datanode节点(namenode上):sh hadoop dfsadmin  -refreshServiceAcl

 5. Hadoop调度器

Hadoop调度器将系统中空闲的资源按一定策略分配给作业,比较流行的三种调度器有:默认调度器FIFO,计算能力调度器Capacity Scheduler,公平调度器Fair Scheduler

①默认调度器FIFO

hadoop中默认的调度器,采用先进先出的原则,按照到达时间的先后选择被执行的作业。

② 计算能力调度器Capacity Scheduler

支持多个队列,作业先按照运行任务数和计算资源的比值选择小(资源占用少)的队列,在每个队列里在按照FIFO调度策略。

③ 公平调度器Fair Scheduler

每个队列中的资源可配置,同一队列中的作业公平共享队列中所有资源

6. 当前日志采样格式为

a,b,c,d

b,b,f,e

a,a,c,f

写出MapReduce程序,计算第四列每个元素出现的个数

 1 package org.apache.hadoop.WordCount1;  2 
 3 import java.io.IOException;  4 
 5 import org.apache.hadoop.conf.Configuration;  6 
 7 import org.apache.hadoop.fs.Path;  8 
 9 import org.apache.hadoop.io.IntWritable;  10 
 11 import org.apache.hadoop.io.Text;  12 
 13 import org.apache.hadoop.mapreduce.Job;  14 
 15 import org.apache.hadoop.mapreduce.Mapper;  16 
 17 import org.apache.hadoop.mapreduce.Reducer;  18 
 19 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  20 
 21 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  22 
 23 import org.apache.hadoop.util.GenericOptionsParser;  24 
 25 public class WordCount {  26 
 27   public static class MyMapper  28 
 29       extends Mapper<Object, Text, Text, IntWritable>{  30 
 31       public void map(Object key, Text value, Context context)  32 
 33         throws IOException, InterruptedException {  34 
 35         String[] split = value.toString().split("\t");  36                     
 37                     for(String word:split){  38 
 39         context.write(split[3], 1);  40                       
 41  }  42 
 43       }  44 
 45     }  46 
 47   }  48 
 49   public static class MyReducer  50 
 51       extends Reducer<Text,IntWritable,Text,IntWritable> {  52 
 53       private IntWritable result = new IntWritable();  54 
 55       public void reduce(Text key, Iterable<IntWritable> values,Context context)  56 
 57            throws IOException, InterruptedException {  58 
 59         int sum = 0;  60 
 61         for (IntWritable val : values) {  62 
 63            sum += val.get();  64 
 65         }  66 
 67       result.set(sum);  68 
 69       context.write(key, result);  70 
 71     }  72 
 73   }  74 
 75  
 76 
 77   public static void main(String[] args) throws Exception {  78 
 79     Configuration conf = new Configuration();  80 
 81     Job job = new Job(conf, "word count");  82 
 83        job.setJarByClass(WordCount1.class);  84 
 85       job.setMapperClass(MyMapper.class);  86 
 87     job.setReducerClass(MyReducer.class);  88 
 89     job.setOutputKeyClass(Text.class);  90 
 91     job.setOutputValueClass(IntWritable.class);  92 
 93     FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  94 
 95     FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  96 
 97     JobClient.runJob(conf);  98 }  99 
100 }

7. 你认为用Java、Streaming、pipe方式开发MapReduce。各有哪些优缺点

Java:可实现复杂逻辑,编程繁琐

Streaming:优点:支持多种语言编写程序,直接;缺点:细节无法控制(不能写自定义的partitioner, combiner,writablecomparable等),慢(交换过程不如Java API直接)

Pipe: 允许C++程序员编写mapreduce程序,它允许用户混用C++和Java的RecordReader, Mapper, Partitioner,Rducer和RecordWriter等五个组件。

Hadoop Streaming:

http://dongxicheng.org/mapreduce/hadoop-streaming-programming/

Hadoop Pipes:

http://dongxicheng.org/mapreduce/hadoop-pipes-programming/

8. Hive有哪些方式保存元数据,各有哪些特点(连接到数据库的三种模式及存储方式)

Hive的metastore组件是hive元数据集中存放地。Metastore组件包括两个部分:metastore服务和后台数据的存储。后台数据存储的介质就是关系数据库,例如hive默认的嵌入式磁盘数据库derby,还有mysql数据库。Metastore服务是建立在后台数据存储介质之上,并且可以和hive服务进行交互的服务组件。

1) 单用户模式:内存数据库derby,较小,不常用

2) 多用户模式:本地MySQL,较常用

3) 远程服务器模式:远程mysql,不常用

9. Hadoop实现join的几种方法

1) reduce side join

reduce side join是一种最简单的join方式,其主要思想如下:

在 map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value数据对,对每条数据打一个标签(tag),比 如:tag=0表示来自文件File1,tag=2表示来自文件File2。即:map阶段的主要任务是对不同文件中的数据打标签。

在reduce阶段,reduce函数获取key相同的来自File1和File2文件的value list, 然后对于同一个key,对File1和File2中的数据进行join(笛卡尔乘积:在数学中,两个集合XY的笛卡尓积表示为X × Y,第一个对象是X的成员而第二个对象是Y的所有可能的有序对的其中一个成员。假设集合A={a, b},集合B={0, 1, 2},则两个集合的笛卡尔积为{(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)})。即:reduce阶段进行实际的连接操作。

2) map side join

之所以存在reduce side join,是因为在map阶段不能获取所有需要的join字段,即:同一个key对应的字段可能位于不同map中。Reduce side join是非常低效的,因为shuffle阶段要进行大量的数据传输。

Map side join是针对以下场景进行的优化:两个待连接表中,有一个表非常大,而另一个表非常小,以至于小表可以直接存放到内存中。这样,我们可以将小表复制多份,让每个map task内存中存在一份(比如存放到hash table中),然后只扫描大表:对于大表中的每一条记录key/value,在hash table中查找是否有相同的key的记录,如果有,则连接后输出即可。

PS:MySQL Join

① Inner Join:SELECT * FROM TableA INNERJOIN TableB

产生的结果是A、B表的交集

②Full Outer join:SELECT * FROM TableA FULLOUTER JOIN TableB

产生的结果是A、B表的并集,对于没有匹配的记录,则会以null做为值

③Left outer join

SELECT * FROM TableA LEFTOUTER JOIN TableB ONTableA.name =TableB.name产生A的完全集,B中匹配的则有值,没匹配的NULL取代

SELECT* FROM TableA LEFTOUTER JOIN TableB ONTableA.name=TableB.nameWHERE TableB.id IS null

产生在A表有在B表没有的集合

SELECT * FROM TableA FULLOUTER JOIN TableB ONTableA.name =TableB.nameWHERE TableA.id IS null ORTableB.id IS null

产生A表和B表都没有出现的 即AB表除了交集的集合

10. Hadoop怎样实现二级排序

在Hadoop中,默认情况下是按照key进行排序,如果要按照value进行排序怎么办?

有两种方法进行二次排序,分别为:buffer and in memory sort和 value-to-key conversion。

buffer and in memory sort

主要思想是:在reduce()函数中,将某个key对应的所有value保存下来,然后进行排序。 这种方法最大的缺点是:可能会造成out of memory。

value-to-key conversion

主要思想是:将key和部分value拼接成一个组合key(实现WritableComparable接口或者调 setSortComparatorClass函数),这样reduce获取的结果便是先按key排序,后按value排序的结果,需要注意的是,用户需要自己实现Paritioner,以便只按照key进行数据划分。Hadoop显式的支持二次排序,在Configuration类中有个 setGroupingComparatorClass()方法,可用于设置排序group的key值

http://dongxicheng.org/mapreduce/hadoop-join-two-tables/