【文件属性】：
文件名称：luigi-warehouse：由luigi驱动的分析仓库堆栈
文件大小：63KB
文件格式：ZIP
更新时间：2021-01-30 17:50:33
mysql python aws workflow spark
路易吉仓库
在Groupon上的样板实现
是一个Python软件包，可帮助您构建批处理作业的复杂管道。 它处理依赖关系解析，工作流管理，可视化，处理故障，命令行集成等
路易吉仓库增加了
工作流程示例（即将postgresql表复制到redshift）
更多数据来源
不依赖默认luigi行为/配置的可变数据源（即VariableS3Client ）
安装/设置
安装 -这已回购对Python进行了测试3.4+
简单
python setup.py install
开发人员-如果您想使用自定义逻辑修改/使用工作流程
克隆此仓库
如果想要所有数据源的全部功能，请使用pip3 install -r requirements.txt
安装后
mkdir your-path-to/data
将您的凭据和设置放在luigi.cfg 。 luigi.cfg-example显示了一些可能的选项。 您也可以$ export LUIGI_CONFIG_PATH=/path/to/your/luigi.cfg && python...
您已准备好复制或移动数据...
入门
包括一些示例工作流程。 假
【文件预览】：
luigi-warehouse-master
----CONTRIBUTORS.md(218B)
----requirements.txt(285B)
----setup.py(7KB)
----LICENSE.md(1KB)
----.gitignore(1KB)
----luigi_warehouse()
--------zendesk_to_hadoop.py(10KB)
--------postgres_to_redshift.py(34KB)
--------typeform_to_redshift.py(7KB)
--------gsheet_to_hadoop.py(5KB)
--------test()
--------zendesk_to_redshift.py(23KB)
--------gsheet_to_redshift.py(6KB)
--------sources.py(69KB)
--------teradata_to_redshift.py(5KB)
--------__init__.py(223B)
--------validation.py(26KB)
--------postgres_to_hadoop.py(8KB)
--------salesforce_to_redshift.py(6KB)
----README.md(12KB)
----luigi.cfg-example(2KB)