sqoop导入数据到hive---2

时间：2023-03-09 09:01:14
sqoop导入数据到hive---2

1.hive-table

从mysql导入数据到hive表中，可以使用--hive-table来指定hive的表名，不指定hive表名，则hive表名与mysql表名保持一致。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by "\n" -m 1 --hive-table person_mysql

hive中的表结构是：

hive> show create table person_mysql;

OK

CREATE TABLE `person_mysql`(

  `id` int,

  `name` string)

COMMENT 'Imported by sqoop on 2016/07/26 15:13:48'

ROW FORMAT DELIMITED

  FIELDS TERMINATED BY '|'

  LINES TERMINATED BY '\n'

STORED AS INPUTFORMAT

  'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION

  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql'

TBLPROPERTIES (

  'COLUMN_STATS_ACCURATE'='true',

  'numFiles'='',

  'totalSize'='',

  'transient_lastDdlTime'='')

Time taken: 0.21 seconds, Fetched:  row(s)

2.create-hive-table工具

create-hive-table工具是依据mysql中的表定义在hive中创建一个表

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'

只在hive中创建了表，没有把数据进行导入，所以hive表中是没有数据的：

hive> select * from person_mysql_222;

OK

Time taken: 0.299 seconds

hive> show create table person_mysql_222;

OK

CREATE TABLE `person_mysql_222`(

  `id` int,

  `name` string)

COMMENT 'Imported by sqoop on 2016/07/26 15:22:14'

ROW FORMAT DELIMITED

  FIELDS TERMINATED BY '|'

  LINES TERMINATED BY '\n'

STORED AS INPUTFORMAT

  'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

LOCATION

  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222'

TBLPROPERTIES (

  'transient_lastDdlTime'='')

Time taken: 0.22 seconds, Fetched:  row(s)

3.import-all-tables工具

将数据库中所有的表都导入到hive中

目前mysql中有person、sun两张表

sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1

这样在hive中也生成了两张表，分别是person和sun.

在这个语句中也可以指定hive-table来指定一个表名，这样多个表的数据就会导入到一个hive表中了。

 sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person

相关文章