Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。
Hadoop的日志大致可以分为两类：
(1)、Hadoop系统服务输出的日志；
(2)、Mapreduce程序输出来的日志。
这两类的日志存放的路径是不一样的。本文基于Hadoop 版本进行说明的，其中有些地方在Hadoop 中是没有的，请周知。
一、Hadoop系统服务输出的日志
诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log，其中${USER}s是指启动resourcemanager进程的用户，${hostname}是resourcemanager进程所在机器的hostname；当日志到达一定的大小(可以在${HADOOP_HOME}/etc/hadoop/文件中配置)将会被切割出一个新的文件，切割出来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的，后面的数字越大，代表日志越旧。在默认情况下，只保存前20个日志文件，比如下面：01 -rw-r--r-- 1 wyp wyp 124M Mar 14 17:01
02 -rw-r--r-- 1 wyp wyp 257M Mar 9 10:02 .1
03 -rw-r--r-- 1 wyp wyp 257M Feb 4 09:05 .10
04 -rw-r--r-- 1 wyp wyp 257M Feb 1 17:04 .11
05 -rw-r--r-- 1 wyp wyp 257M Jan 30 01:04 .12
06 -rw-r--r-- 1 wyp wyp 257M Jan 26 04:01 .13
07 -rw-r--r-- 1 wyp wyp 257M Jan 22 16:12 .14
08 -rw-r--r-- 1 wyp wyp 257M Jan 20 17:14 .15
09 -rw-r--r-- 1 wyp wyp 257M Jan 18 19:01 .16
10 -rw-r--r-- 1 wyp wyp 257M Jan 15 15:21 .17
11 -rw-r--r-- 1 wyp wyp 257M Jan 15 15:00 .18
12 -rw-r--r-- 1 wyp wyp 257M Jan 15 14:40 .19
13 -rw-r--r-- 1 wyp wyp 257M Mar 5 21:00 .2
14 -rw-r--r-- 1 wyp wyp 257M Jan 15 14:20 .20
15 -rw-r--r-- 1 wyp wyp 257M Feb 23 00:00 .3
16 -rw-r--r-- 1 wyp wyp 257M Feb 20 08:05 .4
17 -rw-r--r-- 1 wyp wyp 257M Feb 17 17:04 .5
18 -rw-r--r-- 1 wyp wyp 257M Feb 15 01:05 .6
19 -rw-r--r-- 1 wyp wyp 257M Feb 12 09:00 .7
20 -rw-r--r-- 1 wyp wyp 257M Feb 9 17:08 .8
21 -rw-r--r-- 1 wyp wyp 257M Feb 7 01:10 .9
上面这些都是可以配置的，比如resourcemanager(在${HADOOP_HOME}/etc/hadoop/)： $ApplicationSummary=${}
.RMAppManager$ApplicationSummary=false
=.
=${}/
${}
=256MB(多大切割日志)
=20(说明保存最近20个日志文件)
=.
=%d{ISO8601} %p %c{2}: %m%n
resourcemanager日志存放路径也是可以配置的(在${HADOOP_HOME}/etc/hadoop/)：# default log directory & file
if [ "$YARN_LOG_DIR" = "" ]; then
YARN_LOG_DIR="$HADOOP_YARN_HOME/logs"
fi
只需要修改YARN_LOG_DIR的值，这时候，yarn相关的日志记录都将存放在你配置的目录下。
二、Mapreduce程序相关的日志
Mapreduce程序的日志可以分为历史作业日志和Container日志。
(1)、历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息；这些信息对分析作业是很有帮助的，我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的：
-dir
${-dir}/history/done
-done-dir
${-dir}
/history/done_intermediate
-dir
/tmp/hadoop-yarn/staging
更多关于Hadoop历史作业的信息，可以参考本博客的《Hadoop历史服务器详解》
(2)、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认情况下，这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下，我们可以通过下面的配置进行修改：
Where to store container logs. An application's localized log directory
will be found in ${-dirs}/application_${appid}.
Individual containers' log directories will be below this, in
directories named container_{$contid}. Each container directory will
contain the files stderr, stdin, and syslog generated by that container.
-dirs
${}/userlogs
熟悉Hadoop相关日志的存放地方不仅对运维Hadoop和观察Mapreduce的运行都是很有帮助的。
三、Mapreduce程序相关的历史服务器
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器$ sbin/ start historyserver
这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。历史服务器可以单独在一台机器上启动，主要是通过以下的参数配置：
0.0.0.0:10020
0.0.0.0:19888
上面的参数是在文件中进行配置，和默认的值分别是0.0.0.0:10020和0.0.0.0:19888，大家可以根据自己的情况进行相应的配置，参数的格式是host:port。配置完上述的参数之后，重新启动Hadoop jobhistory，这样我们就可以在参数配置的主机上对Hadoop历史作业情况经行查看。
很多人就会问了，这些历史数据是存放在哪里的？是存放在HDFS中的，我们可以通过下面的配置来设置在HDFS的什么目录下存放历史作业记录：
-dir
${-dir}/history/done
-done-dir
${-dir}
/history/done_intermediate
-dir
/tmp/hadoop-yarn/staging
上面的配置都默认的值，我们可以在文件中进行修改。其中，-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录；-done-dir的意思是正在运行的Hadoop作业记录。我们可以到-dir参数配置的目录下看看里面存放的是什么东西：[wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/
Found 2 items
drwxrwx--- - wyp supergroup 0 2013-12-03 23:36 /jobs/done/2013
drwxrwx--- - wyp supergroup 0 2014-02-01 00:02 /jobs/done/2014
[wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16
Found 27 items
drwxrwx--- - wyp supergroup 0 2014-02-16 02:02 /jobs/done/2014/02/16/001216
drwxrwx--- - wyp supergroup 0 2014-02-16 02:44 /jobs/done/2014/02/16/001217
drwxrwx--- - wyp supergroup 0 2014-02-16 03:38 /jobs/done/2014/02/16/001218
drwxrwx--- - wyp supergroup 0 2014-02-16 04:20 /jobs/done/2014/02/16/001219
drwxrwx--- - wyp supergroup 0 2014-02-16 05:14 /jobs/done/2014/02/16/001220
[wyp@master hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16/001216
Found 1318 items
-rwxrwx--- 3 wyp supergroup 45541335 2014-02-16 00:11 /jobs/done/2014
/02/16/001216/job_1388830974669_1216161-1392478837250-wyp-insert+overwrite
+table+qt_city_query_ana...e%
-rwxrwx--- 3 wyp supergroup 193572 2014-02-16 00:11 /jobs/done
/2014/02/16/001216/job_1388830974669_1216161_conf.xml
-rwxrwx--- 3 wyp supergroup 45594759 2014-02-16 00:11 /jobs/done/2014
/02/16/001216/job_1388830974669_1216162-1392478837250-wyp-insert+overwrite
+table+qt_city_query_ana...e%
-rwxrwx--- 3 wyp supergroup 193572 2014-02-16 00:11 /jobs/done
/2014/02/16/001216/job_1388830974669_1216162_conf.xml
通过上面的结果我们可以得到一下几点：
(1)、历史作业记录是存放在HDFS目录中；
(2)、由于历史作业记录可能非常多，所以历史作业记录是按照年/月/日的形式分别存放在相应的目录中，这样便于管理和查找；
(3)、对于每一个Hadoop历史作业记录相关信息都用两个文件存放，后缀名分别为*.jhist，*.xml。*.jhist文件里存放的是具体Hadoop作业的详细信息，如下：{
"type": "JOB_INITED",
"event": {
"": {
"jobid": "job_1388830974669_1215999",
"launchTime": 1392477383583,
"totalMaps": 1,
"totalReduces": 1,
"jobStatus": "INITED",
"uberized": false
}
}
}
这是Hadoop JOB初始化的一条信息，通过观察我们知道，*.jhist文件里面全部都是Json格式的数据。根据type进行区分这条Json的含义，在Hadoop中，总共包含了一下几个type："JOB_SUBMITTED",
"JOB_INITED",
"JOB_FINISHED",
"JOB_PRIORITY_CHANGED",
"JOB_STATUS_CHANGED",
"JOB_FAILED",
"JOB_KILLED",
"JOB_ERROR",
"JOB_INFO_CHANGED",
"TASK_STARTED",
"TASK_FINISHED",
"TASK_FAILED",
"TASK_UPDATED",
"NORMALIZED_RESOURCE",
"MAP_ATTEMPT_STARTED",
"MAP_ATTEMPT_FINISHED",
"MAP_ATTEMPT_FAILED",
"MAP_ATTEMPT_KILLED",
"REDUCE_ATTEMPT_STARTED",
"REDUCE_ATTEMPT_FINISHED",
"REDUCE_ATTEMPT_FAILED",
"REDUCE_ATTEMPT_KILLED",
"SETUP_ATTEMPT_STARTED",
"SETUP_ATTEMPT_FINISHED",
"SETUP_ATTEMPT_FAILED",
"SETUP_ATTEMPT_KILLED",
"CLEANUP_ATTEMPT_STARTED",
"CLEANUP_ATTEMPT_FINISHED",
"CLEANUP_ATTEMPT_FAILED",
"CLEANUP_ATTEMPT_KILLED",
"AM_STARTED"
而*.xml文件里面记录的是相应作业运行时候的完整参数配置，大家可以进去查看一下。
(4)、每一个作业的历史记录都存放在一个单独的文件中。
-done-dir配置的目录下主要存放的是当前正在运行的Hadoop任务的记录相关信息，感兴趣的同学可以进去看看，这里就不介绍了。
如果对Hadoop历史服务器WEB UI上提供的数据不满意，我们就可以通过对-dir配置的目录进行分析，得到我们感兴趣的信息，比如统计某天中运行了多少个map、运行最长的作业用了多少时间、每个用户运行的Mapreduce任务数、总共运行了多少Mapreduce数等信息，这样对监控Hadoop集群是很好的，我们可以根据那些信息来确定怎么给某个用户分配资源等等。
细心的同学可能发现，在Hadoop历史服务器的WEB UI上最多显示20000个历史的作业记录信息；其实我们可以通过下面的参数进行配置，然后重启一下Hadoop jobhistory即可。
20000