【文件属性】:
文件名称:airflow_demo:Airflow Databricks集成演示
文件大小:14KB
文件格式:ZIP
更新时间:2021-03-26 22:29:52
Databricks气流演示
这是Databricks Airflow集成的演示,该集成利用有向无环图(DAG)编排和调度作业。
目录
要求
Databricks帐户
气流服务器
访问云存储或DBFS
设置
安装Airflow Databricks集成
运行以下命令以安装带有databricks集成的气流。 有关更多详细信息,请参见。
$ pip3 install "apache-airflow[databricks]"
获取Databricks令牌
可以从Databricks工作区获取databricks个人访问令牌。 请按照 详细说明进行操作。
设置气流
在本次研讨会中,我们将使用本地气流实例。
初始化数据库
运行以下命令以初始化气流数据库。 有关更多信息,请参见。
$ cd airflow
$ airflow db init
设置气流用户
运行以下命令来设置气流用户。
$ cd
【文件预览】:
airflow_demo-main
----src()
--------README.md(74B)
----LICENSE(34KB)
----README.md(3KB)