【文件属性】:
文件名称:mmi-lambdas:lambdas
文件大小:817KB
文件格式:ZIP
更新时间:2021-02-10 04:55:51
JavaScript
mmi-lambdas
Lambdas
建立
克隆仓库
光盘回购
npm安装
生产设置
克隆仓库
须藤chown -R $ USER:$ {id -gn $ USER)回购
npm安装
要求
linux服务器
节点v12或更高版本
npm v6或更高版本
pm2系统流程管理( )
剧本
task / addSection.js(这将运行新添加的网站部分,以导入到队列集合中进行抓取。) 运行“ WEBSITE_TYPE = LOCAL_NEWS STATUS = ACTIVE节点任务/ addSection”(目前每2小时进行一次更新,稍后随着网站的发展而变化。)
task / crawlSection.js(显然,这将爬网已保存在队列集合中的部分。) 运行“节点任务/ crawlSection”(每2小时执行一次)
task / crawlArticle.js(这将从文章集合中
【文件预览】:
mmi-lambdas-master
----.env.example(453B)
----language.js(1KB)
----crawlers()
--------index.js(37KB)
----crawl_lists.json(42.71MB)
----crawler.js(793B)
----tasks()
--------crawlSection.js(5KB)
--------websites.js(785B)
--------fetch.js(836B)
--------crawlArticle.js(3KB)
--------insertRaw.js(3KB)
--------addSection.js(1KB)
----README.md(1KB)
----kill.js(1KB)
----test_crawler.js(481B)
----country.js(1KB)
----alexa.js(2KB)
----add_websites.js(943B)
----.gitignore(2KB)
----lambda-server()
--------config.js(702B)
--------serve.js(2KB)
--------app.js(424B)
--------routes()
----mmi_modules()
--------html_helper()
--------npm_mods()
--------cnt_lang_helper()
--------article_helper()
--------transaction_helper()
--------media_value_helper()
--------alexa_helper()
--------url_helper()
--------index.js(385B)
----package.json(782B)