spark-mongodb-examples:在Spark中使用NSMC(spark-mongodb-connector)的示例

时间:2021-05-25 23:46:47
【文件属性】:
文件名称:spark-mongodb-examples:在Spark中使用NSMC(spark-mongodb-connector)的示例
文件大小:106KB
文件格式:ZIP
更新时间:2021-05-25 23:46:47
Scala NSMC客户端示例 该项目由一组独立的示例组成,这些示例展示了如何使用 。 先决条件 建议您使用这些示例来开发我们自己的Spark项目,并在您自己的Spark安装中运行它们。 您所需要做的只是Scala 2.10,sbt 0.13和MongoDB安装,您可以在其中安装并在某些数据库中创建集合。 您可以连接未经身份验证的连接(如果您的MongoDB安装允许),也可以使用用户名/密码身份验证进行连接。 配置,构建和运行 您需要编辑DBConfig对象顶部的设置,以指定MongoDB服务器的连接详细信息。 您可以通过IntelliJ Idea IDE或通过sbt命令行工具来构建项目,但是您将需要使用sbt来运行assembly命令,以便可以将示例提交到Spark集群。 提交到Spark集群 这些示例并非旨在“在本地”运行:您需要将生成的程序集文件提交到具有对MongoDB实例的网络访问权的S

网友评论