在Hadoop集群上运行WordCount出现下列错误怎么解决??

时间:2022-10-05 14:49:15
Java HotSpot(TM) Client VM warning: You have loaded library /home/hadoop/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
16/12/15 04:48:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/12/15 04:48:09 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.1.147:18040
16/12/15 04:48:12 INFO input.FileInputFormat: Total input paths to process : 1
16/12/15 04:48:12 INFO mapreduce.JobSubmitter: number of splits:1
16/12/15 04:48:12 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1481804617285_0002
16/12/15 04:48:13 INFO impl.YarnClientImpl: Submitted application application_1481804617285_0002
16/12/15 04:48:13 INFO mapreduce.Job: The url to track the job: http://master:18088/proxy/application_1481804617285_0002/
16/12/15 04:48:13 INFO mapreduce.Job: Running job: job_1481804617285_0002
16/12/15 04:48:34 INFO mapreduce.Job: Job job_1481804617285_0002 running in uber mode : false
16/12/15 04:48:34 INFO mapreduce.Job:  map 0% reduce 0%
16/12/15 04:48:36 INFO mapreduce.Job: Task Id : attempt_1481804617285_0002_m_000000_0, Status : FAILED
Container launch failed for container_1481804617285_0002_01_000002 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1481811355417 found 1481806715733
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

16/12/15 04:48:38 INFO mapreduce.Job: Task Id : attempt_1481804617285_0002_m_000000_1, Status : FAILED
Container launch failed for container_1481804617285_0002_01_000003 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1481811357277 found 1481806717783
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

16/12/15 04:48:40 INFO mapreduce.Job: Task Id : attempt_1481804617285_0002_m_000000_2, Status : FAILED
Container launch failed for container_1481804617285_0002_01_000004 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1481811359287 found 1481806719811
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)

16/12/15 04:48:44 INFO mapreduce.Job:  map 100% reduce 100%
16/12/15 04:48:44 INFO mapreduce.Job: Job job_1481804617285_0002 failed with state FAILED due to: Task failed task_1481804617285_0002_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

16/12/15 04:48:44 INFO mapreduce.Job: Counters: 4
Job Counters 
Other local map tasks=3
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=0
Total time spent by all reduces in occupied slots (ms)=0

4 个解决方案

#1


建议检查datanode中进程是否已经正常启动,检查namenode与datanode的配置文件是否一致,查看时间是否一致

#2


如果1楼说的都检查过了可以把配置文件贴出来看看

#3


This token is expired. current time is 1481811355417 found 1481806715733

还有检查集群中的节点的系统时间是否相同

#4


16/12/15 04:48:40 INFO mapreduce.Job: Task Id : attempt_1481804617285_0002_m_000000_2, Status : FAILED
Container launch failed for container_1481804617285_0002_01_000004 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

看这个错误,我怎么觉得好像是Yarn的问题?
yarn能正常启动吗?

#1


建议检查datanode中进程是否已经正常启动,检查namenode与datanode的配置文件是否一致,查看时间是否一致

#2


如果1楼说的都检查过了可以把配置文件贴出来看看

#3


This token is expired. current time is 1481811355417 found 1481806715733

还有检查集群中的节点的系统时间是否相同

#4


16/12/15 04:48:40 INFO mapreduce.Job: Task Id : attempt_1481804617285_0002_m_000000_2, Status : FAILED
Container launch failed for container_1481804617285_0002_01_000004 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

看这个错误,我怎么觉得好像是Yarn的问题?
yarn能正常启动吗?