mac安装Hadoop,mysql,hive,sqoop教程

时间:2023-03-08 17:26:13

在安装Hadoop,mysql,hive之前,首先要保证电脑上安装了jdk

一.配置jdk

1. 下载jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2. 配置环境变量

(1)在终端使用 sudo su 命令进入root用户模式;

(2)使用 vim /etc/profile 命令打开profile文件,按下大写“I”进入编辑模式,在文件中添加以下信息:

JAVA_HOME对应的是你的JDK安装路径

JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_151.jdk/Contents/Home"
CLASS_PATH="$JAVA_HOME/lib"
PATH=".;$PATH:$JAVA_HOME/bin"
export JAVA_HOME

(3)使用“esc”键推出编辑模式,按下“:”,输入wq并回车,保存且退出。

(4)退出终端并重新打开,输入java -version 命令查看jdk配置情况。

mac安装Hadoop,mysql,hive,sqoop教程

二.配置hadoop

1. 下载Hadoop

Hadoop 2.7.7镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

2. 将下载后的压缩文件复制到/Users/finup/opt目录下并解压

3. 配置Hadoop

(1).进入/Users/finup/opt/hadoop-2.7.7/etc/hadoop/目录下,修改hadoop-env.sh配置文件

首先要查看JAVA_HOME的安装路径:

输入以下命令:/usr/libexec/java_home

/usr/libexec/java_home
结果:/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home

然后修改hadoop-env.sh配置文件

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

(2).配置hdfs地址和端口

进入/Users/finup/opt/hadoop-2.7.7/etc/hadoop/目录下,修改core-site.xml配置文件

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/finup/opt/hadoop-2.7.7/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hadoop.tmp.dir  表示自己进程产生的一些数据要放入到该目录中

fs.defaultFS用于设置Hadoop的默认文件系统,设置为“hdfs://localhost:9000”。localhost表示namenade,9000表示端口号。 HDFS的守护程序通过该属性项来确定HDFS namenode的主机和端口。

(3).配置HDFS的默认参数副本数

 进入/Users/finup/opt/hadoop-2.7.7/etc/hadoop/目录下,修改hdfs-site.xml配置文件

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/Users/finup/opt/hadoop-2.7.7/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/Users/finup/opt/hadoop-2.7.7/tmp/dfs/data</value>
</property>
</configuration>

dfs.replication 表示复本数,文件会被保存为几分。dfs.replication的value设置为“1”,这样HDFS就不会按默认设置将文件系统块复本设置为3。否则在单独一个datanode上运行时,HDFS无法将块复制到3个datanode上,所以会持续给出块复本不足的警告。

(4).配置mapreduce中jobtracker的地址和端口

进入/Users/finup/opt/hadoop-2.7.7/etc/hadoop/目录下,修改mapred-site.xml.template配置文件

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

(5).修改配置文件 yarn-site.xml

进入/Users/finup/opt/hadoop-2.7.7/etc/hadoop/目录下,修改yarn-site.xml配置文件  

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

(6).文件系统初始化

进入到Hadoop安装路径的bin目录下,使用命令 ./hadoop namenode -format 进行初始化,初始化成功会输出以下信息,注意红框标记处。

mac安装Hadoop,mysql,hive,sqoop教程

(7).配置Hadoop环境变量

目的是方便在任意目录下全局开启关闭hadoop相关服务,而不需要到/Users/finup/opt/hadoop-2.7.7/sbin下去执行启动或关闭命令。使用命令 vim ~/.zshrac 进行编辑,添加以下内容:(注意:zshrac是自己创建的,不要纠结自己找不到这个文件)

export HADOOP_HOME=/Users/finup/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

然后使用source ~/.zshrac命令使修改生效,以上关于Hadoop的配置全部结束。

4.启动hadoop 

(1).启动/关闭hadoop服务

进入sbin目录下,使用./start-dfs.sh命令启动,然后使用jps查看启动结果,启动成功如下图所示:

mac安装Hadoop,mysql,hive,sqoop教程

我们在浏览器中输入http://localhost:50070打开以下网页,可以查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

mac安装Hadoop,mysql,hive,sqoop教程

mac安装Hadoop,mysql,hive,sqoop教程

使用./stop-dfs.sh命令关闭hadoop服务

(2).启动/关闭yarn服务

使用./start-yarn.sh命令启动yarn服务,让 yarn来负责资源管理与任务调度。启动成功后,使用jps命令可以输出以下信息:

mac安装Hadoop,mysql,hive,sqoop教程

比之前只启动Hadoop服务时多了一个NodeManager和ResourceManager,然后在浏览器中打开http://localhost:8088,可以通过 Web 界面查看任务的运行情况。

mac安装Hadoop,mysql,hive,sqoop教程

使用./stop-yarn.sh命令来关闭yarn服务。

(3) 快速启动和关闭

进入sbin目录下,直接使用命令 ./start-all.sh和./stop-all.sh命令可以同时启动和关闭hadoop和yarn服务,比依次启动和关闭方便很多。

三.安装mysql

可参考该链接:https://jingyan.baidu.com/article/fa4125ac0e3c2928ac709204.html  

四.安装hive

首先要保证hadoop和mysql已经安装好了

1.在mysql数据库创建hive用户

mysql> create user 'hive' identified by 'hive';

2.将mysql的所有权限授权给hive用户

mysql> grant all on *.* to 'hive'@'localhost' identified by 'hive';

3.刷新mysql使1、2步骤生效

mysql> flush privileges;

4.输入sql语句查询hive用户是否存在

mysql> select host,user,authentication_string from mysql.user;
+-----------+---------------+-------------------------------------------+
| host | user | authentication_string |
+-----------+---------------+-------------------------------------------+
| localhost | root | *D391E96D137871ED52CDB352D867D3549815A718 |
| localhost | mysql.session | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE |
| localhost | mysql.sys | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE |
| % | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
| localhost | hive | *4DF1D66463C18D44E3B001A8FB1BBFBEA13E27FC |
+-----------+---------------+-------------------------------------------+

5.使用hive用户登录mysql

wudejin:~ oldsix$ mysql -u hive -p
Enter password: hive
mysql>

6.创建hive数据库

mysql> create database hive;

7.查看是否创建成功

mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| hive |
| mysql |
| performance_schema |
| sys |
| test |
+--------------------+
6 rows in set (0.00 sec)

至此,前期的准备工作已完成,接下来,我们进入hive的安装过程。

8.下载hive安装包并解压

下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

下载完成后,通过命令行解压:

tar -zxvf apache-hive-3.1.1-bin.tar.gz

解压完成之后,对解压出来的文件夹重命名

mv apache-hive-3.1.1-bin hive3.1.1

9.修改hive配置:

进入hive3.1.1目录下的bin目录下,修改hive-site.xml配置文件

bin目录下不存在hive-site.xml文件,我们需要先复制一份:

cp hive-default.xml.template hive-site.xml

修改hive-site.xml文件:

--修改数据库连接驱动名  (配置文件中需要将该配置去掉)
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property> --修改数据库连接URL (配置文件中需要将该配置去掉)
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
<description>
JDBC connect string for a JDBC metastore.
To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
</description>
</property> --修改数据库连接用户名 (配置文件中需要将该配置去掉)
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>Username to use against metastore database</description>
</property> --修改数据库连接密码 (配置文件中需要将该配置去掉)
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property> --修改hive数据目录(三处) (配置文件中需要将该配置去掉)
<property>
<name>hive.querylog.location</name>
<value>/Users/finup/opt/hive3.1.1/iotmp</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/Users/finup/opt/hive3.1.1/iotmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/Users/finup/opt/hive3.1.1/iotmp</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property> --可以将表头显示出来 (配置文件中需要将该配置去掉)
<property>
<name>hive.cli.print.header</name>
<value>true</value>
<description>Whether to print the names of the columns in query output.</description>
</property>

10.配置hive环境变量

cd ~
sudo vi .base_profile

设置HIVE_HOME,并添加到PATH

export HIVE_HOME=/Users/finup/opt/hive3.1.1
export PATH=$PATH:$HIVE_HOME/bin

保存退出,并使环境变量生效

source .base_profile

11.将对应数据库的驱动包放到hive目录下的lib目录下

下载mysql-connector-java-8.0.16.jar,并上传至hive的lib目录下

12.初始化元数据库:schematool -dbType mysql -initSchema

13.进入hadoop安装目录,启动hadoop

/sbin/start-all.sh

14.启动hive

进入hive的bin目录下,执行命令: ./hive 

15.退出hive命令

exit

hive (zcfw_sda)> exit;

四.安装sqoop

1. 安装和配置

brew install sqoop
sqoop version cd /usr/local/Cellar/sqoop/1.4.6/libexec/conf
cp sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh export HADOOP_HOME="/Users/finup/opt/hadoop-2.7.7"
export HBASE_HOME="/usr/local"
export HIVE_HOME="/Users/finup/opt/hive3.1.1"
export HCAT_HOME="/usr/local"
export ZOOCFGDIR="/usr/local/etc/zookeeper"
export ZOOKEEPER_HOME="/usr/local/opt/zookeeper"

2. 测试

sqoop list-tables --connect jdbc:mysql://localhost/test --username root --password *****

sqoop eval --connect jdbc:mysql://localhost/test --username root --password ***** --query "select * from test.student"

  

3. 遇到的问题

问题1
java.lang.Exception: java.lang.RuntimeException:java.lang.ClassNotFoundException: Class example not found
原因和解决方法:hadoop 单机模式下无法找到执行目录,切换到伪分布模式可以解决

问题2
No primary key could be found for table test_table. Please specify one with –split-by or perform a sequential import with ‘-m 1’.
原因和解决方法:sqoop导入时依赖于MySQL原表的主键索引进行切片,没有添加主键索引会报错,给原表加上 primary key 或者 在 命令行末尾 加上 -m 1

4. 导入实例

# 创建mysql表
CREATE TABLE `example` (
`id` int(11) NOT NULL,
`name` varchar(20) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 # 插入数据
mysql> select * from example;
+----+-------+
| id | name |
+----+-------+
| 1 | hello |
| 2 | world |
+----+-------+
2 rows in set (0.00 sec) # 创建 hive 表
create table example(id int, name string) row format delimited fields terminated by '\t' lines terminated by '\n'; # 将mysql表导入hadoop
sqoop import -connect jdbc:mysql://localhost/test --username root --password mima123456 --table example # 将生成的文件导入hive
load data inpath 'hdfs://localhost:9000/user/max/example/part-m-00000' into table example # 以上两步可以合并为一步完成
sqoop import --connect jdbc:mysql://localhost/test --username root --password mima123456 --table example --hive-import --hive-overwrite --hive-table example --fields-terminated-by '\t'