Hadoop伪分布式的搭建

时间:2023-11-21 20:56:44

主要分为三个步骤:1、安装vmware虚拟机运行软件  2、在vmware虚拟机中安装linux操作系统   3、配置hadoop伪分布式环境

Hadoop环境部署-JDK部分
-------------------------------------------------------------------------------------------------------------
1. 先修改权限
chown -R beifeng:beifeng /opt/
2. 解压JDK到指定的目录下,目录任意,建议不要装在某个用户主目录下
tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
3. 添加环境变量
修改vi /etc/profile文件,配置jdk环境变量
#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile生效文件
4. 验证是否配置成功:java -version
jps命令可以查看java 进程
echo $JAVA_HOME

Hadoop伪分布式环境部署-Hadoop部分
-------------------------------------------------------------------------------------------------------------
1. 解压Hadoop到指定目录下
tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/

2. 清理Hadoop的目录,将hadoop/share/doc目录删除,节省磁盘空间,通过这个命令查看df -h

3. 修改hadoop/etc/hadoop/hadoop-env.sh文件
修改hadoop/etc/hadoop/mapred-env.sh文件
修改hadoop/etc/hadoop/yarn-env.sh文件
指定Java安装路径
export JAVA_HOME=/opt/modules/jdk1.7.0_67

4. 注意:hadoop中的四个核心模块对应四个默认配置文件
指定默认的文件系统为HDFS,文件系统的访问入口,namenode所在的机器
9000端口是早期Hadoop 1.x使用的,现在Hadoop 2.x使用的是8020
端口号用于节点直接内部通信,使用RPC通信机制

5. 修改hadoop/etc/hadoop/core-site.xml文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://hostname:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.7.3/data/tmp</value>
</property>

6. 注意:/tmp表示临时存储目录,系统每次重启会按照脚本预先设置好的删除里面的文件
重新自定义系统生成的文件路径,/tmp会被清空,无法保证数据文件安全性

7. 修改hadoop/etc/hadoop/hdfs-site.xml文件
指定HDFS文件存储的副本数个数,默认是3个,这里是单台机器就设置为1,这个数字要小于datanode的节点数
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

8. 修改hadoop/etc/hadoop/slaves文件
指定从节点的机器位置,添加主机名即可
hostname 比如:bd1.ibeifeng.com

9. 格式化namenode
bin/hdfs namenode -format

10. 启动命令
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

11. 查看HDFS外部UI界面
bigdata-04或者IP地址 跟上50070端口号,外部通信http
dfs.namenode.http-address 50070

12. 测试HDFS环境
创建文件夹,HDFS中有用户主目录的概念,和Linux一样
bin/hdfs dfs -mkdir -p ibf_test/iuput

13. 上传文件到HDFS
bin/hdfs dfs -put etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml /

14. 读取HDFS的文件
bin/hdfs dfs -text /core-site.xml

15. 下载文件到本地(指定下载到哪里,同时可以重命名成get-site.xml)
bin/hdfs dfs -get /core-site.xml /home/beifeng/get-site.xml

HDFS的缺陷
-------------------------------------------------------------------------------------------------------------
1. HDFS存储的文件是不能够被修改的
2. HDFS不支持多用户并发写入
3. HDFS不适合存储大量小文件

yarn的配置
-------------------------------------------------------------------------------------------------------------
1. 首先找到hadoop/etc/hadoop/mapred-site.xml.template文件,重名为mapred-site.xml
修改hadoop/etc/hadoop/mapred-site.xml文件

<!--指定mapreduce程序运行在yarn平台上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2. 修改hadoop/etc/hadoop/yarn-site.xml文件

<!--指定启动运行mapreduce上的nodemanager的运行服务-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

3. <!--指定resourcemanager主节点机器,可选项,不一定要配置,默认是本机,但是指定了之后在其他-->机器上启动,就会报错
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hostname</value>
</property>

4. 启动yarn
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

5. 查看yarn外部web界面
bigdata-04或者IP地址 跟上8088端口号,外部通信http

6. 测试环境,运行一个mapreduce,wordcount单词统计案例
一个mapreduce分为五个阶段
input -> map() -> shuffle -> reduce() -> output
步骤:将mapreduce运行在yarn上,需要打jar包
新建一个数据文件,用于测试mapreduce
将数据文件从本地上传到HDFS
bin/hdfs dfs -put /opt/datas/1.txt /user/beifeng/iuput/
使用官方提供的示例jar包:share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar
7. 运行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/1.txt /user/beifeng/output
application_1500824570525_0001
0001表示第一个job
1500824570525表示Unixtime(格林威治时间)

HDFS架构
-------------------------------------------------------------------------------------------------------------
1. 数据块block

2. 每个块默认大小:128MB,大小可以用户自定义修改

3. 如果要修改就写到hdfs-site.xml中
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
<description>
The default block size for new files, in bytes.
You can use the following suffix (case insensitive):
k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.),
Or provide complete size in bytes (such as 134217728 for 128 MB).
</description>
</property>

4. 500MB,默认大小:128MB
- 128MB
- 128MB
— 128MB
- 128MB(12MB)

5. 如果一个文件的大小小于块的大小,是不会占据整个块的空间的

6. 存储模式:
首先,HDFS默认会分块,大小是128M(这个值是可以设置的)
那么HDFS上面的块的大小可以大于128吗,答案是肯定的。
有不同的方式去设定
1)通过HDFS的API的create方法,可以指定创建的文件块的大小(可以任意大小)
2)hive当中也可以在hive-site当中设定,hive输出的块的大小(可以大于128M)
3)也会有其他的方法,这里就不一一列举
但是,当我储存一个129MB的文件的时候,存了几块!?
存储了2块!
第一块128M,第二块1M
计算数据:
HDFS上的文件进行mapreduce计算,默认情况下一个map当中会有128M(和块大小一样)的数据输入
所以这里就涉及到我的一个129M的文件会启动几个Map任务来操作
答案是:1个
mapreduce有这样的机制,最后一个文件的输入如果小于128*1.1(其实就是可以多10%)
那么只会启动一个Map来执行这个job,避免了第一个Map跑了128M的数据,第二个Map只跑了1M的数据的尴尬
这种情况只会在最后一块出现
再举个例子,比如522M的文件,分成几个Map来处理呢?
第一个map-》128M
第二个map-》128M
第三个map-》128M
第四个map-》138M ——》138小于128*1.1,所以这里就不会再开启一个map来处理最后剩余的那10M的数据
直接在最后一个map当中把所有138M的数据输入!!谨记
HDFS不适合存储大量的小文件
可以考虑合并大文件,效果不明显
阿里巴巴开源了TFS淘宝文件系统,参考了HDFS

7. 保证数据安全性机制
副本数
一份文件写多份备份,写到不同机器节点上
文件切分成块之后,对于每个块的备份

8. 放置策略
第一个block块的副本,如果client客户端在集群中的某台机器,那么第一个就放在这台
如果client不在集群中,那么第一个块就随机放置
第二个block块的副本,会放置在和第一个不同的机架的node节点上,随机的
第三个block块的副本,会放置在和第二个相同机架的不同的node节点上,随机的
其他的随便放
负载均衡,均匀分布
数据块的扫描机制
HDFS文件生成key,定期检查,生成KEY,如果块被损坏,当你执行操作的时候就会报错
块的修复(需要人工参与)
把这个块所在的机器节点停掉(有可能是磁盘坏了,或者磁盘满了,也有可能是进程原因)

HDFS上的节点
-------------------------------------------------------------------------------------------------------------
主节点:namenode
管理元数据
文件属性
名称
位置
权限
数据块
....
元数据是存储在namenode内存中
元数据在本地也有备份,fsimage镜像文件
namenode在启动的时候会去读取加载fsimage镜像文件
edits称作编辑日志文件,用于记录用户对于HDFS所有的行为操作
namenode在启动的时候还会去读取加载edits编辑日志文件
edits越来越大,考虑将fsimage和edits合并

secondarynamenode进行合并,功能
合并文件
减少下一次namenode启动时间

namenode在重新启动之后会读取新的合并的文件
生成新的fsimage镜像文件和edits编辑日志文件
原来的初始化的两个文件就没有用了
配置
修改hdfs-site.xml,指定机器以及外部交互端口号
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>class-bigdata01.ibeifeng.com:50090</value>
</property>
-》启动
sbin/hadoop-daemon.sh start secondarynamenode

从节点:datanode
物理磁盘存储数据的
会和nodemanager部署在一起,通过slaves配置文件来指定
注意:HDFS数据块,存储在linux的/opt/modules/hadoop-2.5.0/data/tmp/dfs/data/current/BP-275988769-192.168.163.104-1504420277120/current/finalized/路径下

优化配置(在hdfs-site中)
-------------------------------------------------------------------------------------------------------------
1. 单独指定fsimage文件存放的路径
注意:你可以自己选择路径,也可以不修改使用默认的
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
<description>Determines where on the local filesystem the DFS name node
should store the name table(fsimage). If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy. </description>
</property>

2. 单独指定edits文件的路径
<property>
<name>dfs.namenode.edits.dir</name>
<value>${dfs.namenode.name.dir}</value>
<description>Determines where on the local filesystem the DFS name node
should store the transaction (edits) file. If this is a comma-delimited list
of directories then the transaction file is replicated in all of the
directories, for redundancy. Default value is same as dfs.namenode.name.dir
</description>
</property>

3. 指定datanode数据本地路径
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
<description>Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
</description>
</property>

MapReduce historyserver
-------------------------------------------------------------------------------------------------------------
1. 历史服务器:查看已经运行完成的应用记录
修改mapred-site.xml
指定historyserver的地址,内部和外部通信端口号,如果不指定默认是本机
historyserver是一个轻量级的服务,可以部署在任意一台节点上
2. 配置(在mapred-site.xml中):
注意:这里的端口号不能随便修改
<property>
<name>mapreduce.jobhistory.address</name>
<value>bd24-server1.ibeifeng.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bd24-server1.ibeifeng.com:19888</value>
</property>

日志聚合功能
-------------------------------------------------------------------------------------------------------------
1. 修改yarn-site.xml
指定开启聚合功能
指定日志存放在HDFS上的时间期限,一般建议3-7天左右,存放在HDFS的/tmp/用户之下
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>
2. 重启yarn进程
3. 启动历史日志服务 sbin/mr-jobhistory-daemon.sh start historyserver
4. 指定存放已经完成的Hadoop的作业记录
(接下来的4、5、6的操作可以使用默认的值,不用修改,只是让大家看下,是可以修改的)
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>
5. 指定存放的正在运行的Hadoop作业记录
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
<description></description>
</property>
6. 提交job作业记录的目录位置
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
<description>The staging dir used while submitting jobs.</description>
</property>

HDFS权限检测
-------------------------------------------------------------------------------------------------------------
1. 取消HDFS权限检测功能
2. 修改hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

常见问题
-------------------------------------------------------------------------------------------------------------
1. 格式化问题
一般情况格式化一次即可
bin/hdfs namenode -format
生成fsimage
操作HDFS之后生成edits
多次格式化之前,需要清空hadoop.tmp.dir参数下设置的路径下的所有文件和目录

2. 出现错误
一定要学会查看日志文件,查看logs/下的对应进程的.log后缀的文件
【框架名】【用户名】【进程名】【主机名】【文件后缀】
hadoop-beifeng-datanode-bigdata-04.log
查看最新的日志记录,最新时间

3. clusterID
[dfs/name/current]:namenode
clusterID=CID-6172ab83-9c0a-4da0-8d14-d5e14a2c57cd

[dfs/data/current]:datanode
clusterID=CID-6172ab83-9c0a-4da0-8d14-d5e14a2c57cd
集群ID不一致
第一种解决方法:修改VERSION文件,以namenode的ID为准,改为一致即可
第二种解决方法:重新格式化生成

4. pid进程号(注意权限问题)
系统进程每次启动之后会有一个pid编号,每次启动会随机生成
多个用户启动进程,会记录不同用户的pid进程编号
建议不要多个用户混用
如果出现pid进程编号多个的话,直接删除rm /tmp/*.pid
再用同一个用户去启动

5. host主机名与IP不一致
检查core-site
检查/etc/hosts
检查ip

6. 细节问题,能复制的尽量复制,不要手打,容易出错

权限错乱问题解决思路
------------------------------------------------------------------------------------------------------
1. cd /tmp hadoop-root-namenode.pid hadoop-root-datanode.pid 带root的全部删掉
2. 用root身份chown ibeifeng:ibeifeng -R hadoop-2.7.3
3. cd /opt/modules/hadoop-2.7.3
rm -rf logs/
4. cd /opt/modules/hadoop-2.7.3/data(如果前三步操作完,可以成功启动,那就不需要后续步骤)
rm -rf dfs/
5. bin/hdfs namenode -format

打不开web界面(HDFS,YARN)解决办法
--------------------------------------------------------------------------------------------
1.在虚拟机里执行jps,检查namenode,datanode,resourcemanager,nodemanager这些进程服务
是否启动
2.检查windows下的hosts文件,是否有配置网络映射
-》例子:192.168.109.31 bd24-server1.ibeifeng.com
-》hosts文件位置:C:\Windows\System32\drivers\etc\hosts
3.检查虚拟机防火墙是否关闭 sudo service iptables status