cob_datapipeline:用于Blacklight数据的TUL目录的气流数据处理管道

时间:2021-03-17 04:43:23
【文件属性】:
文件名称:cob_datapipeline:用于Blacklight数据的TUL目录的气流数据处理管道
文件大小:126KB
文件格式:ZIP
更新时间:2021-03-17 04:43:23
dataops airflow-dags librarysearch Python cob_datapipeline cob_datapipeline是存储Airflow DAG(有向无环图,例如数据处理工作流)以及Temple大学图书馆的图书馆搜索( )索引工作流的相关脚本的存储库。 这些DAG(及相关脚本)预计将在Airflow安装中运行,类似于我们的构建的安装。 这些DAG的本地开发,质量检查和生产环境用法将在下面详细说明。 储存库结构 在制品。 气流期望 这些是库搜索DAG和脚本成功运行的气流期望。 这些适用于各种环境(开发,质量检查,生产)。 库和包 Python。 这些步骤已经过测试,并可以与以下Python版本一起使用: 3.6.8(pip版本18.1) Python库:请参阅 。 Ruby(用于通过TUL_COB Rails应用程序运行Traject)。 这些步骤已通过以下Ruby版本进行了测试: 2.7.2 Ruby库: rvm 安装
【文件预览】:
cob_datapipeline-main
----.gitmodules(135B)
----.python-version(6B)
----cob_datapipeline()
--------dspace_harvest_dag.py(5KB)
--------exceptions.py(127B)
--------alma_electronic_notes_dag.py(4KB)
--------helpers.py(3KB)
--------models()
--------operators()
--------catalog_preproduction_oai_harvest_dag.py(9KB)
--------catalog_move_alma_sftp_to_s3_dag.py(5KB)
--------scripts()
--------__init__.py(0B)
--------tasks()
--------catalog_production_oai_harvest_dag.py(9KB)
--------prod_az_reindex_dag.py(5KB)
--------qa_az_reindex_dag.py(5KB)
--------qa_web_content_reindex_dag.py(5KB)
--------files()
--------catalog_full_reindex_dag.py(9KB)
--------prod_web_content_reindex_dag.py(5KB)
----.circleci()
--------config.yml(3KB)
--------pylint(434B)
--------.vault(77B)
----.pylintrc(337B)
----.airflowignore(8B)
----local.env(25B)
----Pipfile.lock(68KB)
----doc()
--------catalog-search-oai-harvest-process.md(1KB)
--------production-solr-collection-swap-process.md(3KB)
--------collection_alias_cleanup.md(3KB)
----README.md(17KB)
----Pipfile(387B)
----Makefile(733B)
----airflow-docker-dev-setup()
----tests()
--------prod_az_reindex_dag_test.py(3KB)
--------catalog_production_oai_harvest_dag_test.py(1KB)
--------helpers_test.py(6KB)
--------helpers.py(406B)
--------qa_web_content_reindex_dag_test.py(3KB)
--------models()
--------operators()
--------prod_web_content_reindex_dag_test.py(3KB)
--------catalog_preproduction_oai_harvest_dag.py(1KB)
--------fixtures()
--------xml_parse_test.py(7KB)
--------dag_validation_test.py(666B)
--------dspace_harvest_test.py(2KB)
--------__init__.py(0B)
--------alma_electronic_notes_dag_test.py(1KB)
--------qa_az_reindex_dag_test.py(3KB)
--------conftest.py(7KB)
--------catalog_full_reindex_dag_test.py(4KB)
--------catalog_move_alma_sftp_to_s3_test.py(1KB)
----.gitignore(175B)
----variables.json(2KB)

网友评论