【文件属性】：
文件名称：cob_datapipeline:用于Blacklight数据的TUL目录的气流数据处理管道
文件大小：126KB
文件格式：ZIP
更新时间：2021-03-17 04:43:23
dataops airflow-dags librarysearch Python
cob_datapipeline
cob_datapipeline是存储Airflow DAG（有向无环图，例如数据处理工作流）以及Temple大学图书馆的图书馆搜索（ ）索引工作流的相关脚本的存储库。
这些DAG（及相关脚本）预计将在Airflow安装中运行，类似于我们的构建的安装。
这些DAG的本地开发，质量检查和生产环境用法将在下面详细说明。
储存库结构
在制品。
气流期望
这些是库搜索DAG和脚本成功运行的气流期望。 这些适用于各种环境（开发，质量检查，生产）。
库和包
Python。 这些步骤已经过测试，并可以与以下Python版本一起使用： 3.6.8（pip版本18.1）
Python库：请参阅 。
Ruby（用于通过TUL_COB Rails应用程序运行Traject）。 这些步骤已通过以下Ruby版本进行了测试： 2.7.2
Ruby库：
rvm
安装
【文件预览】：
cob_datapipeline-main
----.gitmodules(135B)
----.python-version(6B)
----cob_datapipeline()
--------dspace_harvest_dag.py(5KB)
--------exceptions.py(127B)
--------alma_electronic_notes_dag.py(4KB)
--------helpers.py(3KB)
--------models()
--------operators()
--------catalog_preproduction_oai_harvest_dag.py(9KB)
--------catalog_move_alma_sftp_to_s3_dag.py(5KB)
--------scripts()
--------__init__.py(0B)
--------tasks()
--------catalog_production_oai_harvest_dag.py(9KB)
--------prod_az_reindex_dag.py(5KB)
--------qa_az_reindex_dag.py(5KB)
--------qa_web_content_reindex_dag.py(5KB)
--------files()
--------catalog_full_reindex_dag.py(9KB)
--------prod_web_content_reindex_dag.py(5KB)
----.circleci()
--------config.yml(3KB)
--------pylint(434B)
--------.vault(77B)
----.pylintrc(337B)
----.airflowignore(8B)
----local.env(25B)
----Pipfile.lock(68KB)
----doc()
--------catalog-search-oai-harvest-process.md(1KB)
--------production-solr-collection-swap-process.md(3KB)
--------collection_alias_cleanup.md(3KB)
----README.md(17KB)
----Pipfile(387B)
----Makefile(733B)
----airflow-docker-dev-setup()
----tests()
--------prod_az_reindex_dag_test.py(3KB)
--------catalog_production_oai_harvest_dag_test.py(1KB)
--------helpers_test.py(6KB)
--------helpers.py(406B)
--------qa_web_content_reindex_dag_test.py(3KB)
--------models()
--------operators()
--------prod_web_content_reindex_dag_test.py(3KB)
--------catalog_preproduction_oai_harvest_dag.py(1KB)
--------fixtures()
--------xml_parse_test.py(7KB)
--------dag_validation_test.py(666B)
--------dspace_harvest_test.py(2KB)
--------__init__.py(0B)
--------alma_electronic_notes_dag_test.py(1KB)
--------qa_az_reindex_dag_test.py(3KB)
--------conftest.py(7KB)
--------catalog_full_reindex_dag_test.py(4KB)
--------catalog_move_alma_sftp_to_s3_test.py(1KB)
----.gitignore(175B)
----variables.json(2KB)