《Hadoop大数据技术开发实战》学习笔记(一)

时间:2023-03-09 18:09:51
《Hadoop大数据技术开发实战》学习笔记(一)

基于CentOS7系统


新建用户

1、使用“su-”命令切换到root用户,然后执行命令:
adduser zonkidd
2、执行以下命令,设置用户zonkidd的密码:
passwd zonkidd

修改用户权限

1、 切换到root用户,然后修改sudoers:
vi /etc/sudoers
2、在文本root ALL = (ALL)ALL的下方加入代码,使hadoop用户可以使用sudo命令:
hadoop ALL=(ALL)
3、执行sudo命令默认五分钟后密码过期,下次使用需重新输入密码,若不想输入,改为:
hadoop ALL=(ALL) NOPASSWD:ALL

关闭防火墙

1、执行以下命令关闭防火墙:
sudo systemctl stop firewalld.service
2、禁止防火墙开机启动
sudo systemctl disable firewalld.service
3、若需要查看防火墙是否已经关闭,可以执行以下命令,查看防火墙的状态
sudo firewall-cmd --state
4、开启防火墙命令如下
sudo systemctl start firewalld.service

设置固定IP (略去)

修改主机名

1、使用hadoop用户登录系统,输入命令,查看主机名:
hostname
2、执行命令,设置主机名为centos01:
sudo hostname centos01
3、永久修改主机名,需要修改/etc/hostname文件

配置集群各节点的SSH无密钥登录

无密钥登录原理

从A服务器无密钥登录到B服务器的具体流程如下:
1)在A服务器中生成密钥对,包括公钥和私钥。
2)将公钥复制到B服务器的授权文件(authorized_keys)中
3)A服务器将访问数据用私钥加密,然后发送给B服务器
4)B服务器接收到数据以后,到授权文件中查找A服务器的公钥,并使用该公钥将数据解密
5)B服务器将需要返回的数据用A服务器的公钥加密后,返回给A服务器
6)A服务器接收到数据后,用私钥将其解密
总结来说,判定是否允许无密钥登录,关键在于登录节点的密钥信息是否存在于被登录节点的授权文件中,如果存在,则允许登录。

无密钥登录步骤

具体的配置方式有两种:手动复制和命令复制
1)手动复制方式
1、将各节点的公钥加入到同一个授权文件中
a、 在centos01节点中,生成密钥文件,并将公钥信息加入到授权文件中,命令如下:

cd ~/.ssh/    #若没有该目录,先执行一次ssh localhost命令
ssh-keygen -t rsa    #生成密钥文件,会有提示输入加密信息,都按回车键即可
cat ./id_rsa.pub >> ./authorized_keys    #将密钥内容加入到授权文件中

b、在centos02节点中,生成密钥文件,并将公钥文件远程复制到centos01节点的相同目录,且重命名为id_rsa.pub.centos02,命令如下:

cd ~/.ssh/    #若没有该目录,先执行一次ssh localhost命令
ssh-keygen -t rsa    #生成密钥文件,会有提示输入加密信息,都按回车键即可
scp ~/.ssh/id_rsa.pub hadoop@centos01:~/.ssh/id_rsa.pub.centos02    #远程复制

c、在centos03节点中,执行与centos02相同的操作,命令如下:

cd ~/.ssh/    #若没有该目录,先执行一次ssh localhost命令
ssh-keygen -t rsa    #生成密钥文件,会有提示输入加密信息,都按回车键即可
scp ~/.ssh/id_rsa.pub hadoop@centos01:~/.ssh/id_rsa.pub.centos03    #远程复制

d、回到centos01节点,将centos02和centos03节点的密钥文件信息都加入到授权文件中,命令如下:

cat ./id_rsa.pub.centos02 >> ./authorized_keys #将centos02的密钥加入到授权文件
cat ./id_rsa.pub.centos03 >> ./authorized_keys #将centos03的密钥加入到授权文件

2、复制授权文件到各节点
将centos01节点中的授权文件远程复制到其他节点的相同目录,命令如下:

scp ~/.ssh/authorized_keys hadoop@centos02:~/.ssh/
scp ~/.ssh/authorized_keys hadoop@centos03:~/.ssh/

3、测试无密钥登录
使用ssh命令测试从一个节点无密钥登录到另一个节点,如:从centos01节点无密钥登录到centos02节点

ssh centos02

如果登录失败,可能是授权文件authorized_key的权限分配问题,命令如下:

chmod 700 ~/.ssh    #只有拥有者有读、写权限
chmod 600 ~/.ssh/authorized_keys     #只有拥有者有读、写、执行权限

2)命令复制方式
ssh-copy-id命令可以把本地主机的公钥复制并追加到远程主机的authorized_keys文件中,该命令也会给远程主机的用户主目录(home)、~/.ssh目录和~/.ssh/authorized_keys设置合适的权限。
1、分别在三个节点执行以下命令,生成密钥文件

cd ~/.ssh/    #若没有该目录,请先执行一次ssh localhost命令
ssh-keygen -t rsa     #生成密钥文件,会有提示输入加密信息,都按回车即可

2、分别在三个节点中执行以下命令,将公钥信息复制并追加到对方节点的授权文件authorized_keys中:

ssh-copy-id centos01
ssh-copy-id centos02
ssh-copy-id centos03

命令执行过程中需要输入当前用户的密码

3、测试ssh无密钥登录