【文件属性】：
文件名称：ETL_with_Luigi:用Luigi建立ETL管道
文件大小：34.71MB
文件格式：ZIP
更新时间：2021-04-16 19:43:43
Python
Luigi的ETL管道
该存储库是关于使用Luigi使用本地数据并将其存储到本地数据仓库中来构建ETL管道的
什么是路易吉？
在页面上， Luigi是一个Python（经过3.6、3.7、3.8、3.9测试）软件包，可帮助您构建复杂的批处理作业管道。 它处理依赖关系解析，工作流管理，可视化，处理故障，命令行集成等。
开始使用
在命令提示符下安装Luigi
pip install luigi
在此任务中，我还使用了pandas和sqlitee3 。 如果尚未安装，请先安装
pip install pandas
pip install db-sqlite3
运行ETL
简介... Luigi通过监视基于Web的界面为用户提供查看整个过程的方法。 为此，请在文件目录中打开的命令提示符下运行luigid
下一步...由于我们需要首先提取在第一个任务中分配为Class ExtractD
【文件预览】：
ETL_with_Luigi-master
----etl_pipeline.py(14KB)
----excel_data.py(2KB)
----tweet_data.py(337B)
----chinook_data.py(1KB)
----README.md(4KB)
----__pycache__()
--------excel_data.cpython-38.pyc(2KB)
--------etl_pipeline.cpython-38.pyc(10KB)
--------tweet_data.cpython-37.pyc(488B)
--------database_data.cpython-37.pyc(908B)
--------etl_pipeline2.cpython-38.pyc(4KB)
--------excel_data.cpython-37.pyc(2KB)
--------tweet_data.cpython-38.pyc(492B)
--------chinook_data.cpython-38.pyc(963B)
--------chinook_data.cpython-37.pyc(959B)
--------my_module.cpython-38.pyc(2KB)
--------database_data.cpython-38.pyc(912B)
--------export.cpython-38.pyc(2KB)
----database_data.py(971B)
----data()
--------reviews_q1.csv(186KB)
--------tweet_data.csv(3.2MB)
--------file_1000.xls(285KB)
--------chinook.db(864KB)
--------reviews_q4.csv(186KB)
--------database.sqlite(79.71MB)
--------disaster_data.csv(965KB)
--------reviews_q3.csv(186KB)
--------tweet_data.json(3.61MB)
--------reviews_q2.csv(186KB)
--------reviews_q1.xlsx(85KB)