spark-json-schema:适用于Apache Spark的JSON模式解析器

时间:2021-05-22 19:35:04
【文件属性】:
文件名称:spark-json-schema:适用于Apache Spark的JSON模式解析器
文件大小:17KB
文件格式:ZIP
更新时间:2021-05-22 19:35:04
data-infrastructure Scala spark-json-schema 该库的目标是在将json数据加载到Apache Spark中时支持输入数据的完整性。 为此,该库: 读取现有的json模式文件 解析json模式并构建一个Spark DataFrame模式 将json数据加载到Spark中时,可以使用生成的架构。 这验证输入数据符合给定的架构,并能够过滤出损坏的输入数据。 快速开始 将库包含在以下坐标下: libraryDependencies + = " org.zalando " %% " spark-json-schema " % " 0.6.1 " 通过提供输入文件的路径来解析给定的json模式文件。 该文件应相对于resources文件夹: val schema = SchemaConverter .convert( " schemaFile.json " ) 或者,您可以将convertCont
【文件预览】:
spark-json-schema-master
----MAINTAINERS(96B)
----.travis.yml(188B)
----.zappr.yaml(146B)
----SECURITY.md(90B)
----LICENSE(1KB)
----CONTRIBUTING.md(1KB)
----src()
--------test()
--------main()
----build.sbt(2KB)
----.gitignore(62B)
----project()
--------plugins.sbt(431B)
--------build.properties(21B)
----README.md(4KB)

网友评论