【文件属性】:
文件名称:inkscraper:Linkedin Jobs Scraper使用nodejs,expressjs和mongodb作为存储
文件大小:56KB
文件格式:ZIP
更新时间:2021-05-01 22:47:27
nodejs mongodb linkedin expressjs linkedin-scraper
刮墨刀
| |
inkscraper是适用于linkedin的工作搜寻器,具有宁静的api和全文本搜索功能。 刮擦Linkedin作业可被视为侵犯了TOS TOS,请谨慎使用。
inkscraper当前支持:
废料清单页面(工作清单,默认情况下,将抓取 )
废料详细信息页面(作业详细信息页面)
宁静的API,适用于从Linkedin抓取的作业
使用内置的猫鼬进行全文搜索(当然也内置有mongodb)
安装
git clone
cd Linkedin-刮板
npm安装
npm运行start-apiserver
npm运行启动刮板
设置.env文件(我使用的是dotenv,有关文档,请参见 )
.env的示例
NODE_ENV = development
MONGOLAB_URI = 'mongodb://localhost:27017/linkedin-scraper'
A
【文件预览】:
inkscraper-master
----.snyk(380B)
----apiserver()
--------setup()
--------server.js(961B)
--------graceful.js(522B)
--------config.js(290B)
--------cache.js(1KB)
--------helpers()
--------handlers()
--------graphql()
--------routes()
----models()
--------Jobs.js(742B)
----.travis.yml(174B)
----test()
--------TestJobsModel.js(1KB)
--------TestJobs.js(2KB)
--------TestScraper.js(1KB)
--------LinkedinTestViewAll.html.test(126KB)
--------LinkedinTestDetail.html.test(60KB)
----README.md(2KB)
----.editorconfig(165B)
----.gitignore(590B)
----scraper()
--------server.js(1KB)
--------graceful.js(684B)
--------config.js(145B)
--------cron()
--------scraper.js(2KB)
--------db.js(463B)
----package.json(2KB)