【2】hadoop搭建准备软件

时间:2023-03-08 23:59:36
【2】hadoop搭建准备软件

准备一:VMware虚拟工具

链接:http://pan.baidu.com/s/1o7F4A6I 密码:w5ti

准备二:CentOS6.8虚拟机(64位):如果64位不允许安装,可能是电脑设置问题,重启电脑打开BIOS,设置虚拟机的选项为enable

链接:http://pan.baidu.com/s/1b0tXN4 密码:oxzz

【2】hadoop搭建准备软件

  内存(memory)一般1G以上,Network Adapter要设置成NAT,不然虚拟机跟电脑之间不能通信(也许是我太菜)

【2】hadoop搭建准备软件

【2】hadoop搭建准备软件

  进入虚拟机的桌面(如果你是命令行的状态,可以键入startx进入),右上角两个电脑图标右击选择edit编辑,可以上面左图,edit编辑eth0,设置IP即可,

注意:ip地址的前三位要跟你的电脑IP一样(本机windows下 命令行键入ipconfig即可查看)

上面修改IP过后,是可以连接上的,但是会出现问题,yum下载文件一直出错误,所以如果你也出现yum install安装失败的时候,可以尝试自动分配IP地址的方式(知道原因的还请交流,谢谢了)

【2】hadoop搭建准备软件

准备三:securecrt8.0带有注册机,自行破解,用于连接虚拟机

链接:http://pan.baidu.com/s/1nuJAt65 密码:s3p9

  闪电图标快速连接,输入虚拟机的ip地址(右键open in terminal进入命令行,键入ifconfig查看IP地址),输入用户名连接即可,注意要关闭虚拟机的防火墙(键入service iptables stop),如果可以连接才会让你输入密码。

【2】hadoop搭建准备软件

CRT想要给虚拟机上传文件,是需要安装软件的,键入下面即可安装,中间一律键入y(如果出现错误:可能是自己设置IP没设置好弄的,我的错误正是如此,改用自动分配可以解决)

yum install lrzsz

上传到linux系统文件,键入rz即可选择文件夹上传,上传到位置是你位于虚拟机当前文件夹的位置,可以使用mv移动到你想要的位置,也可以直接当你想要位置的目录下使用rz

准备四:Linux环境下64位JDK7

链接:http://pan.baidu.com/s/1jI4xB2e 密码:ehzd

  1.是给linux系统安装jdk是必须的(因为要跑java程序),首先查看系统自带的jdk版本,解释一下,qa是query all的意思,|是管道,grep是搜索系统,用于搜索后面的关键字

rpm -qa|grep java

  2.如果有自带的jdk(而且不属于orcle的),就需要卸载掉了,后面可以同时跟上多个要卸载的文件

rpm -e --nodeps file1 file2 file3

  3.从securecrt上用rz来上传,所下载的jdk(jdk-7u67-linux-x64.tar.gz),我保存在了/usr/local/java/下面,然后解压它即可,filename是你想解压的文件。如果不加上-C以及后面的内容,则是解压到当前路径下,加上-C filepath即可解压到所设置到的绝对路径下面。

tar -zvxf filename -C filepath

  4.配置一下环境变量,所谓环境变量,就是一个程序中的全局变量,只有定义了全局变量,才可以在任何位置调用,jdk环境变量的配置是在/etc/profile文件中

vi /etc/profile

  5.命令行状态大写G直接到达最后一行,然后命令行状态键入o直接在下一行进行编辑状态,加上下面两行,JAVA_HOME就一个基础变量,$可以调用变量,PATH变量配置了jdk的路径$JAVA_HOME/bin 便是 /usr/local/java/jdk1.7.0_67/bin的意思。

export JAVA_HOME=/usr/local/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

  6.最后要使配置的profile不重启也可生效

source /etc/profile

  7.完成之后就可以键入java -version查看安装的状态了。

[root@localhost jdk1.7.0_67]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

  8.jdk至此便安装成功了。

准备五:FileZilla用于给虚拟机上传文件(也可以用CRT的rz上传)

链接:http://pan.baidu.com/s/1mhOwkWw 密码:4a2s

1.我使用的是ftp工具,首先需要在linux上安装vsftp和db4

yum install vsftpd*
yum install db4*

2.待定

准备六:NppFTP,使用Nodepad++的时候,用于连接虚拟机的插件,在linux环境下编辑文件简直变态,安装这个插件后可以直接进行FTP连接,然后编辑

链接:http://pan.baidu.com/s/1miqMxXu 密码:8btr

下载后的插件放在nodepad++的安装目录下,启动nodepad,上方工具栏的插件选项NppFTP,选择show Nppftp window,就会出现下面图标,

【2】hadoop搭建准备软件

点击过后右边就会出现框体,点击设置图标(锯齿轮),选择profile settings,出现下面设置,左脚脚add new可以新建一个连接,填上linux的信息,注意选择的是SFTP方式。

【2】hadoop搭建准备软件

【2】hadoop搭建准备软件

相信大家都希望以平时的编辑方式编辑把,这个一定是一大助力。

准备七:Hadoop(hadoop-2.5.0.tar.gz)

链接:http://pan.baidu.com/s/1i5uWsJV 密码:lfd1

准备八:Maven(apache-maven-3.0.5-bin.tar.gz)

http://www.apache.org/dist//maven/maven-3/3.0.5/binaries/

  1.解压下载好的maven,注意你想解压的路径

tar -zvxf apache-maven-3.0.5-bin.tar.gz -C /usr/local/java/

  2.配置maven的环境变量,大写G进入配置文件末尾,小写o进入下一行编辑状态,最后esc进入命令状态,大写ZZ保存编辑

vi /etc/profile

    export MAVEN_HOME=/usr/local/java/apache-maven-3.0.5
    export PATH=$PATH:$MAVEN_HOME/bin

  3.更新profile,使之立即生效

source /etc/profile

  4.配置maven,maven有个默认的本地仓库,.m2/repository,为其手动创建一个

mkdir -p ~/.m2/repository

  5.maven会联网自动从中心仓库中下载需求的jar包,速度可能会慢,这里本地给解压一个(可以不用此步骤)

tar -zvxf repository.tar.gz -C ~/.m2/

  6.复制一份settings.xml到仓库中

cp ~/.m2/repository/conf/settings/xml .

准备九:eclipse

链接:http://pan.baidu.com/s/1miwmj48 密码:v7vl

  1.解压

tar -zvxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /usr/local/java

  2.运行(/usr/local/java/eclipse目录下)

./eclipse

  3.修改一下快捷键(为了方便),但是alt+/有其他设置(发生冲突了),修改掉

window-->preference-->key-->content assist-->修改binding为alt+/
window-->preference-->key-->word completion-->空

  4.配置自己安装的maven

window-->preference-->maven-->设置安装路径

准备十:Hive

链接:http://pan.baidu.com/s/1hsFr1TM 密码:g4he

  1.直接解压即可

  2.配置hive-env.sh

    这里需要配置HADOOP_HOME和HIVE_CONF_DIR

  3.配置hive-site.xml(需要自己创建)  

    注意:自己用touch创建,需要先进去随意编写一下,不能直接用nodepad或者ultaredit编写,不然会出现字符编码不一致的问题

  4.启动bin/hive,就可以发现与hive连接配置的mysql会自动生成一个metastore的数据库(个人情况)

准备十一:mysql

链接:http://pan.baidu.com/s/1dFmrsVf 密码:tnbx

  1.zip文件,用unzip直接解压

  2.查看系统是否自带的mysql,如果自带有,先卸载自带的

查看是否安装软件:rpm -qa|grep mysql

卸载软件:    rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64

  3.赋予要安装的文件执行权限

chmod u+x ./*  后面的./*表示当前路径下所有文件

  4.安装步骤1解压得到的rpm的包(server),注意此步骤会生成一个随机密码,需要查看一下

rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
信息提示:A RANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER !
      You will find that password in '/root/.mysql_secret'.
查看一下/root/.mysql_secret文件:
cat /root/.mysql_secret    得到随机密码类似(Su75mBdHIFKiYBxs)

  5.安装步骤1得到的mysql客户端(client):

rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

  6.安装完成后即可登陆mysql(注意登陆前开始mysql服务,service mysql start )

mysql -uroot -pSu75mBdHIFKiYBxs   后面的Su75mBdHIFKiYBxs就是上面得到的随机密码

  7.鉴于上面自动生成的恶心密码...需要自己改一下,用随机密码登陆进去,在mysql>下键入

SET PASSWORD=PASSWORD('123456');

  8.退出mysql(注意mysql的命令都是要加上分号;才会结束当前语句的)

exit;

  9.还可以修改mysql下,mysql数据库,user表,登陆用户为任意(即设置为%)

update user set Host='%' where User='root' and Host='localhost';

  注意:必须删除其他的root数据,只保留%这条,亲测如果不删除...运行bin/hive的时候请求会被拒绝,删除后还需要刷新一下flush privileges;

10.解压步骤1中的tar包

tar -zvxf mysql-connector-java-5.1.27.tar.gz

  11.拷贝刚刚解压出来的文件夹中mysql驱动jar包,mysql-connector-java-5.1.27-bin.jar到hive安装目录的lib文件夹下面

cp mysql-connector-java-5.1.27-bin.jar /usr/local/hive/hive-0.13.1/lib/