hadoop伪分布式安装之Linux环境准备

时间:2022-08-30 23:27:54

Hadoop伪分布式安装之Linux环境准备


一.软件版本

  1. VMare Workstation Pro 14
  2. CentOS 7 32/64位

二.实现Linux服务器联网功能

hadoop伪分布式安装之Linux环境准备

网络适配器双击选择VMnet8

2.1 VMare NAT工作模式

hadoop伪分布式安装之Linux环境准备

只有CentOS和Windows中的VMnet8生成的虚拟网卡都在VMare虚拟网关字段中才能组成一个网络,实现联网功能。

2.2 VMare设置

1.打开VMare -> 编辑 -> 虚拟网络编辑器

hadoop伪分布式安装之Linux环境准备

2.VMnet8 -> NAT设置 -> 修改网关IP为192.168.2.1 -> 确认,发现子网IP变为192.168.2.0

hadoop伪分布式安装之Linux环境准备

2.3 Windows设置

1.打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.2.100 子网掩码:255.255.255.0 -> 点击确定

2.4 CentOS设置

1.我的计算机-> 选中虚拟机 -> 右键 -> 设置 -> 网络适配器 ->自定义 ->Mnet8 -> 确定


三.Linux启动时不启动图形界面

因为启动图形界面占内存,导致效率太慢,因此选择不启动图形界面

3.1 图形界面与命令行互换

1. 图形 -> 命令行:Crtl+Alt+F12
2. 命令行 -> 图形:输入命令startx

3.2 修改系统配置,不启动图形界面

这里是使用SecureCRT进行命令行操作,而且是以普通用户登录,故需要先赋予普通用户sudo的权限,使用普通用户操作的好处是,如果使用管理员操作,那么一些操作普通用户之后将不能使用。

3.2.1 实现普通用户的sudo操作

1. 输入命令vi etc/sudoers
2. 找到root ALL=(ALL) ALL
3. 复制该行,并加入
4. Hadoop(用户名) ALL=(ALL) ALL
5. 退出编辑模式:Esc -> 输入:wq!,保存
6. 退出后切换到普通用户,即可使用。

3.2.2 CentOS旧版本

1. sudo vi /etc/inittab
2. 将启动级别改成3 -> 找到 id:5:initdefault: -> 把5改成3

hadoop伪分布式安装之Linux环境准备

若出现上图所示,按照下面CentOS 7中步骤进行操作即可

3.2.3 CentOS 7

1. systemctl set-default
2. systemctl set-default 目标模式(multi-user:命令行;graphical:图形界面).target

hadoop伪分布式安装之Linux环境准备


四.使用主机名进行访问

在集群中通常不会通过IP进行相互间的多机器间的互通,因此需要进行主机名和IP的修改,实现通过主机名互通

4.1 修改主机名

1. sudo vi /etc/sysconfig/network
2. 找到 NETWORKING=yes -> HOSTNAME=hadoop1(这里填你自定义的主机名)

4.2 修改IP

可不做

法1:通过Linux图形界面进行修改(强烈推荐)

进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.119 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply

法2:修改配置文件方式(屌丝程序猿专用)

vim /etc/sysconfig/network-scripts/ifcfg-eth0

	DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.44"
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"

4.3 修改主机名和IP的映射关系

	sudo vim /etc/hosts
192.168.1.44 itcast01

4.4 关闭防火墙

	#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

4.5 重启Linux

	reboot

五.安装JDK

5.1 上传

	法1:使用图形界面,往服务器上传东西:FileZilla(WinSCP)软件,快速连接,将jdk放到用户主目录下,这里是hadoop目录下
可用命令行查看,在用户角色里,命令为ll
法2:使用命令行
在SecureCRT中,Alt+P即可打开sftp
命令:put 文件本地路径

5.2 解压jdk

	#创建文件夹
mkdir /usr/java
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

5.3 将java添加到环境变量中

	vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin

5.4 刷新配置

	source /etc/profile

hadoop伪分布式安装之Linux环境准备的更多相关文章

  1. apache hadoop 伪分布式安装

    1. 准备工作 1.1. 软件准备 1.安装VMWare 2.在VMWare上安装CentOS6.5 3.安装XShell5,用来远程登录系统 4.通过rpm -qa | grep ssh 检查cen ...

  2. Hadoop 伪分布式安装、运行测试例子

    1. 配置linux系统环境 centos 6.4 下载地址:http://pan.baidu.com/s/1geoSWuv[VMWare专用CentOS.rar](安装打包好的VM压缩包) 并配置虚 ...

  3. 【Hadoop学习之二】Hadoop伪分布式安装

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4       jdk8       hadoop-3.1.1 伪分布式就 ...

  4. Hadoop伪分布式安装步骤(hadoop0.20.2版本)

    最近在学习hadoop,自己下了个视频教程,他的教学版本是hadoop0.20.2版本,现在的最新版本都到了3.0了,版本虽然有点老,但是还是学了一下,觉得有借鉴的价值. 不废话了,开始介绍: 先说一 ...

  5. hadoop伪分布式安装

    hadoop的伪分布安装:一台实体机或虚拟机的安装. 环境:Windows7.VMWare.CentOS 1.1 设置ip地址 说明:在CentOS中的网络的类型: 仅主机模式:虚拟机在Windows ...

  6. hadoop 伪分布式安装

    0. 关闭防火墙 重启后失效 service iptables start ;#立即开启防火墙,但是重启后失效. service iptables stop ;#立即关闭防火墙,但是重启后失效. 重启 ...

  7. 基于centos6.5 hadoop 伪分布式安装

    步骤1:修改IP 地址和主机名: vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-e ...

  8. [大数据] hadoop伪分布式安装

    注意:节点主机的hostname不要带"_"等字符,否则会报错. 一.安装jdk rpm -i jdk-7u80-linux-x64.rpm 配置java环境变量: vi + /e ...

  9. macbook 下hadoop伪分布式安装

    1 准备原材料 1.1  jdk 1.8.0_171(事先安装并配置环境变量HAVA_HOME,PATH) 1.2 Hadoop 2.8.3 2 免密登陆配置(否则安装过程需要不断输入密码) 2.1 ...

随机推荐

  1. Python模拟用户登录

    # coding=utf8 import hashlib db = { 'michael':'e10adc3949ba59abbe56e057f20f883e', 'bob':'878ef96e861 ...

  2. ASP.NET Core 行军记 -----拔营启程

    ASP.NET MVC 6:https://docs.asp.net/en/latest/mvc/index.html ASP.NET Core :https://docs.asp.net/en/la ...

  3. tomcat6~7~8用户设置及一个独立服务器上跑多个tomcat配置JVM设置优化亲测

    tomcat6管理用户 在tomcat `安装根目录`/conf/tomcat-users.xml

  4. MVVM模式应用 之加载Pivot的数据

    在Pivot布局里,在进入页面时,不想页面数据全部加载,而是移动到哪个privotItem,加载那个privotItem的值. 这时我们先给pivot绑定一个command. <phone:Pi ...

  5. JavaScript之firstChild属性、lastChild属性、nodeValue属性学习

    1.数组元素childNodes[0]有更直观易读的优点,这边在介绍一个有同样功能的属性,且更加语义化-------->firstChild属性 假设我们需要目标元素节点下的所有子元素中的第一个 ...

  6. import文件时 ~&sol; 不识别问题(react)

    在最近写的react的项目中,在webpack中配置的“~”可以定位到根路径,但是知道在同事在windows中跑程序时,发现怎么都不识别这个路径,所有相关文件都could not find modul ...

  7. C&num;并行Parallel编程模型实战技巧手册

    一.课程介绍 本次分享课程属于<C#高级编程实战技能开发宝典课程系列>中的一部分,阿笨后续会计划将实际项目中的一些比较实用的关于C#高级编程的技巧分享出来给大家进行学习,不断的收集.整理和 ...

  8. &num;Plugin 中国省市选择插件

    中国省市选择插件  ChineseCities 1.原生JS,不依赖jquery,zepto 2.前端学习交流群:814798690 源码查看 点击下载 https://github.com/chao ...

  9. OSG选取点云坐标不准的解决办法

    一.默认的相机和所有模型求交的方式 1.1 传统的模型与屏幕点求交的方法如下: osgViewer::View* viewer = dynamic_cast<osgViewer::View*&g ...

  10. 使用vue-cli结合express获取mongodb里面的数据

    最近一直在看node有关的内容,空闲时间做了一个小小的爬虫,用于爬取电影天堂的数据然后写到mongodb里面,代码地址:https://github.com/fangming666/dianyingt ...