mmi-lambdas:lambdas

时间:2021-02-10 04:55:51
【文件属性】:
文件名称:mmi-lambdas:lambdas
文件大小:817KB
文件格式:ZIP
更新时间:2021-02-10 04:55:51
JavaScript mmi-lambdas Lambdas 建立 克隆仓库 光盘回购 npm安装 生产设置 克隆仓库 须藤chown -R $ USER:$ {id -gn $ USER)回购 npm安装 要求 linux服务器 节点v12或更高版本 npm v6或更高版本 pm2系统流程管理( ) 剧本 task / addSection.js(这将运行新添加的网站部分,以导入到队列集合中进行抓取。) 运行“ WEBSITE_TYPE = LOCAL_NEWS STATUS = ACTIVE节点任务/ addSection”(目前每2小时进行一次更新,稍后随着网站的发展而变化。) task / crawlSection.js(显然,这将爬网已保存在队列集合中的部分。) 运行“节点任务/ crawlSection”(每2小时执行一次) task / crawlArticle.js(这将从文章集合中
【文件预览】:
mmi-lambdas-master
----.env.example(453B)
----language.js(1KB)
----crawlers()
--------index.js(37KB)
----crawl_lists.json(42.71MB)
----crawler.js(793B)
----tasks()
--------crawlSection.js(5KB)
--------websites.js(785B)
--------fetch.js(836B)
--------crawlArticle.js(3KB)
--------insertRaw.js(3KB)
--------addSection.js(1KB)
----README.md(1KB)
----kill.js(1KB)
----test_crawler.js(481B)
----country.js(1KB)
----alexa.js(2KB)
----add_websites.js(943B)
----.gitignore(2KB)
----lambda-server()
--------config.js(702B)
--------serve.js(2KB)
--------app.js(424B)
--------routes()
----mmi_modules()
--------html_helper()
--------npm_mods()
--------cnt_lang_helper()
--------article_helper()
--------transaction_helper()
--------media_value_helper()
--------alexa_helper()
--------url_helper()
--------index.js(385B)
----package.json(782B)

网友评论