bigquery-etl:Bigquery ETL

时间:2021-02-18 01:02:31
【文件属性】:
文件名称:bigquery-etl:Bigquery ETL
文件大小:2.65MB
文件格式:ZIP
更新时间:2021-02-18 01:02:31
Python BigQuery ETL 该存储库包含Mozilla数据团队的 不需要自定义容器的派生ETL作业 用户定义函数(UDF) 用于计划的bigquery-etl查询的气流DAG 查询和UDF部署,管理和计划工具 快速开始 确保Python 3.8+在您的计算机上可用(如果您使用的是Mac,并且未安装默认系统Python以外的任何软件,请参阅以获取说明。) 安装和设置GCP命令行工具: (对于不在数据工程领域的Mozilla员工或贡献者), 设置GCP命令行工具。 请注意,某些功能(例如编写UDF或回填查询)可能是不允许的。 (对于数据工程)除了设置命令行工具外,如果对生产系统进行更改,您还需要登录到shared-prod 。 运行gcloud auth login --project=moz-fx-data-shared-prod和gcloud auth application-d

网友评论