大数据学习——sqoop安装使用教程

时间:2024-03-23 16:39:57

由于hadoop启动即开始申请大量内存,笔记本安装VMware下的虚拟机很难满足配置要求,从sqoop开始切换到公司的linux CentOS环境上进行测试学习。

以下包括:sqoop下载安装,sqoop连接关系型数据库,sqoop数据导入操作 

一、sqoop下载安装

1.1 sqoop下载

官网地址:http://mirrors.hust.edu.cn/apache/sqoop/

百度网盘备份:链接:https://pan.baidu.com/s/1unFoRMNkQMAsE7XKLsynQA 提取码:wbdg  

官网上1.4.7 是sqoop1,1.99.7 是sqoop2。以下使用1.4.7 中的sqoop版本测试

大数据学习——sqoop安装使用教程

大数据学习——sqoop安装使用教程

搞了两个安装包,先试第一个 sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz 因为这个安装包相对大一点。

1.2 sqoop 解压

 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

大数据学习——sqoop安装使用教程

1.3 修改sqoop相关配置

修改conf文件夹下的 sqoop-env.sh  我只配置的hadoop相关的信息,hbase、hive、zookeeper都没有,所以暂时不配置

大数据学习——sqoop安装使用教程

添加环境变量:增加SQOOP_HOME 把 SQOOP_HOME/bin添加到PATH

大数据学习——sqoop安装使用教程

大数据学习——sqoop安装使用教程

source /etc/profile立即生效

1.4 验证sqoop是否安装成功

sqoop version

大数据学习——sqoop安装使用教程

没有配置hbase等信息,报出一堆warning,不过还是安装成功了的。

 

二、sqoop连接关系型数据库

以oracle为例,上传一个oracle 的 jdbc 到 sqoop的lib目录里。

大数据学习——sqoop安装使用教程

执行指令: sqoop eval --query 'SQL语句' --connect ... --username ... --password ...

大数据学习——sqoop安装使用教程

可以看到oracle数据库连接成功。更多指令帮助可以输入  sqoop help 查看。

比如:list-databases    list-tables 等

 

三 、sqoop从oracle中导出表数据到hadoop-hdfs

sqoop的lib目录中放好jdbc的jar包就可以关联符合JDBC规范的数据库了,连接hadoop需要mapreduce相关的jar包。上面指定了HADOOP_COMMON_HOME 和 HADOOP_MAPRED_HOME路径。但是在执行sqoop的时候还是抛出找不到class的异常,可能是HADOOP_MAPRED_HOME没有加入到CLASSPATH的原因吧,暂时放一放。

大数据学习——sqoop安装使用教程

3.1 拷贝hadoop的相关jar包到sqoop的lib目录下(一劳永逸,如果hadoop都换了那么sqoop估计也要换了。。。)

hadoop安装路径下share/hadoop/mapreduce/ 的所有jar包到 sqoop安装路径下的lib文件夹

大数据学习——sqoop安装使用教程

强迫症不想copy hadoop的jar包的话看下面的bin/configure-sqoop文件的配置

大数据学习——sqoop安装使用教程

3.2 运行sqoop导出oracle表数据到hdfs

这样,运行sqoop的import指令就能从oracle中拷贝table数据到hadoop的hdfs了。

sqoop import --table --target-dir 'hdfs路径' ... -m N(并发数) --connect ... --username ... --password ...

大数据学习——sqoop安装使用教程

查看导入的数据

hadoop fs -ls 'hdfs路径'

hadoop fs -cat 'hdfs路径/文件名'

注:sqoop import指令中-m N参数中的N指定并发数,几个并发就会在hdfs中生成几个文件+_success文件。

默认分割符是逗号,如果想修改的话 执行sqoop指令的时候添加 -help 看一下指定分割符的参数吧。

3.3 关于bin/configure-sqoop启动脚本

 好奇为什么sqoop import执行后会输出QFtest??是因为,修改了sqoop_home路径下bin目录中的configure-sqoop文件

大数据学习——sqoop安装使用教程

添加测试输出只是想看看配置在conf目录下的sqoop-env.sh是否生效了。

这个文件需要关注一下:

1. 里面有对sqoop关联zookeeper、hbase、hive等配置的检查,检查到空的时候会提示warning,注释掉就不那么烦了。

2. 可能有对CDH的支持,hadoop_common_home和hadoop_mapred_home等配置如果为空会写死成CDH的默认配置

3. 我配置了hadoop_mapred_home,但是执行的时候还是抛出找不到class的异常,怀疑是classpath没有加进去的原因

OK,经过检查,在bin/configure-sqoop中确实没有将sqoop-env.sh中配置的HADOOP_MAPRED_HOME路径下的jar包配置到SQOOP_CLASSPATH中。如下图中,add hadoop mapreduce jar to sqoop classpath。。。这两行是我加上去的,功能是将HADOOP_MAPRED_HOME指定的路径下所有jar包都添加到SQOOP_CLASSPATH配置上。

大数据学习——sqoop安装使用教程

不放心的话文件尾再加上一句输出 echo ...

大数据学习——sqoop安装使用教程

这样就不用拷贝hadoop的share/hadoop/mapreduce路径下的jar包了。sqoop可以直接读取该路径下的jar包资源执行任务。