使用sqoop 在关系型数据库和Hadoop之间实现数据的抽取

时间:2022-03-27 07:51:43

(一)从关系型数据库导入至HDFS

1.将下面的参数保持为 import.script

import

--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234

-m
1
--null-string
''
--table
user
--columns
"id,username,age"
--target-dir
/user/root/sqoop_test  -- 此目录不能存在

2. 执行sqoop --options-file ./import.script 

(二)从HDFS 导入至关系型数据库

1.将下面的参数保持为 export.script

export
--connect
jdbc:mysql://192.168.1.14:3306/test
--username
root
--password
1234

--null-string
''
--table
user
--columns
"id,username,age"
--export-dir
/user/root/sqoop_test

2. 执行sqoop --options-file ./import.script 

将jar 文件 mysql-connector-java.jar(mysql 驱动)  sqljdbc4.jar(sqlserver 驱动)拷贝至 /var/lib/sqoop/ 下