【文件属性】：
文件名称：WebCrawler:简单的WebCrawler，可查找所有唯一链接并遍历它们
文件大小：18KB
文件格式：ZIP
更新时间：2021-03-16 17:09:13
JavaScript
网络爬虫
介绍
简单的WebCrawler，可查找网页上的所有链接并将其打印到控制台。 网页上的链接必须具有以下格式，才能被视为有效 。 在浏览的网页上找到的所有链接都将添加到一个临时文件中，以进行记录保存。 该程序利用线程池分配用于请求/解析的URL
图书馆
包括的库是：
node.js（14.16.0 LTS）-执行JavaScript代码
npm（6.14.11）-用于安装节点模块
node-worker-threads-pool-访问创建工作池以请求/解析主线程HTML主体
cheerio-用于在网页上查找所有链接HTML解析器库
node-fetch-用于从提供的URL中获取HTML数据
yargs-命令行争论分析器
柴和摩卡-开发/运行单元测试
fs-用于保存和读取文件的模块
安装
1. Install Node.js and NPM from
【文件预览】：
WebCrawler-main
----.gitignore(2KB)
----README.md(3KB)
----test()
--------htmlTest2.html(1KB)
--------htmlTest3.html(1KB)
--------htmlTest1.html(131B)
--------main.test.js(2KB)
----tools_utils.js(3KB)
----package.json(739B)
----worker.js(693B)
----index.js(2KB)
----package-lock.json(32KB)