【文件属性】:
文件名称:sqoop-spark-hive:MYSQL | SQOOP | 火花| HIVE工作流程
文件大小:17KB
文件格式:ZIP
更新时间:2021-04-27 13:11:47
mysql spark hive sqoop hiveql
mysql,sqoop,spark,hive工作流管道
它将通过两个表order和order_items产生每日收入
Sqoop
以“ parquet”格式将订单和order_items数据从mysql导入到hdfs
在这里,我们正在创建sqoop作业以用于增量数据导入
命令
订单数据中的临时作业
# sqoop job for loda data to hdfs from mysql "retail_db" database
sqoop job --create loadorders \
-- import \
--connect " jdbc:mysql://quickstart.cloudera:3306/retail_db " \
--username retail_dba \
--password-file /project/sqoop/sqoop.password \
--
【文件预览】:
sqoop-spark-hive-master
----sqoop()
--------sqoop.password(8B)
--------sqoop_commands.txt(825B)
----hive()
--------hive.hql(176B)
----README.md(3KB)
----spark()
--------src()
--------myapp_2.10-1.0.jar(2KB)
--------build.sbt(195B)
----adhoc-reporting-spark-1.0.0.jar(12KB)