【文件属性】:
文件名称:Web-Scraper:通过Python进行网页抓取
文件大小:7.77MB
文件格式:ZIP
更新时间:2021-03-11 04:59:49
Python
网页抓取工具
通过Python和Selenium的Web抓取工具。
Python版本:3.8.7 Selenium版本:3.141.0 使用以下工具进行了测试:
描述
该网络抓取工具用于测试抓取功能。 目的是刮掉在测试URL中找到的所有产品。
模组
main.py
使用此模块运行/测试程序。
线程
线程( self,thread_id,func,args ):初始化线程。 声明线程ID(thread_id)以进行标识。 该自定义类还将函数(func)传递给and和arguments(args)。 run ():调用Thread()。start时,将使用争吵(arg)调用已启动的函数(func)。
scraper.py
抓取工具( url ):使用要抓取的url初始化抓取工具。 声明Scraper()时,将创建一个Selenium Chrome网络驱动程序,并抓取url的内容。 se
【文件预览】:
Web-Scraper-main
----.gitattributes(66B)
----threader.py(813B)
----main.py(1KB)
----chromedriver(15.75MB)
----scraper.py(3KB)
----README.md(2KB)
----.gitignore(28B)