cv_pilot_ingest:用于将CV试验数据导入ITS DataHub S3沙箱的代码

时间:2021-04-06 23:49:48
【文件属性】:
文件名称:cv_pilot_ingest:用于将CV试验数据导入ITS DataHub S3沙箱的代码
文件大小:36KB
文件格式:ZIP
更新时间:2021-04-06 23:49:48
Python cv_pilot_ingest 与ITS沙箱配合使用的实用程序,以及用于CV试点数据提取管道的代码(进入ITS沙箱以及从ITS沙箱到Socrata的代码)。 有关ITS沙盒数据的更多信息,请参阅。 该存储库当前包含几个实用程序脚本:沙箱导出器,S3文件夹重组器,数据展平器和Socrata连接器。 这些实用程序使用Python 3.x作为主要的编程语言,并且应该能够在操作系统之间执行。 目录 实用工具 沙盒导出器 通过使用我们的Sandbox Exporter脚本,该实用程序可用于将在指定日期范围之间生成的数据下载到更大的合并CSV或JSON文件中。 用法 python -u sandbox_to_csv.py [-h] [--bucket BUCKET] [--pilot PILOT] [--message_type MESSAGE_TYPE] --sdate SDATE [--ed
【文件预览】:
cv_pilot_ingest-master
----lambda__ingest_to_lake.py(1KB)
----.gitignore(41B)
----restructure_folder.py(5KB)
----sonar-project.properties(427B)
----requirements.txt(32B)
----lambda__lake_to_socrata.py(4KB)
----sandbox_to_csv.py(12KB)
----package.sh(815B)
----LICENSE(11KB)
----.github()
--------workflows()
----README.md(8KB)
----tests()
--------test_imports.py(236B)
----flattener.py(4KB)
----index.html(33KB)
----flattener_wydot.py(9KB)
----requirements__lake_to_socrata.txt(31B)
----socrata_util.py(4KB)
----requirements__ingest_to_lake.txt(17B)
----s3_file_mover.py(9KB)
----flattener_thea.py(8KB)

网友评论