Spark 读取HDFS保存mongodb

时间:2019-06-22 12:05:30
【文件属性】:
文件名称:Spark 读取HDFS保存mongodb
文件大小:23KB
文件格式:DOCX
更新时间:2019-06-22 12:05:30
spark oozie mongodb 如何使用oozie来调度大数据工作任务。 本案例主要解决下面问题 1、通过idea工具创建sbt项目,并sbt进行编译,打包 2、创建spark的sbt项目。spark读取hdfs,保存mongodb程序 3、Oozie 的Spark Action的调度验证以及不足,测试是否可以入库 4、Oozie 的 Shell Action的调度 5、Oozie 的定时器调度 6、Oozie 的HiveAction调度支持外部依赖包 7、Oozie整体项目案例(Hive Action、Spark Action、Shell Action、Oozie定时调度整合)

网友评论