使用maven配置scala Hadoop spark开发环境

时间:2023-11-18 09:53:32

1. 新建maven project

2.

Group id : org.scala-tools.archetypes

Artifact id : scala-archetype-simple

Version : 1.2

3. 修改pom.xml文件(添加Hadoop client 及spark core 依赖)

http://mvnrepository.com/

Hadoop client. 查找对应的Hadoop版本的文件

使用maven配置scala Hadoop spark开发环境

同理, spark client

copy以上文件到pom.xml中,保存后,maven会自动下载依赖包