SaySpider:用于分析网站 SEO 性能的网络爬虫

时间:2024-08-02 06:56:22
【文件属性】:

文件名称:SaySpider:用于分析网站 SEO 性能的网络爬虫

文件大小:18KB

文件格式:ZIP

更新时间:2024-08-02 06:56:22

Python

说蜘蛛 概述 SaySpider 是一种网络爬虫,主要用于爬取站点并识别 SEO 问题区域。 它能够抓取非 Tempest 站点,但具有旨在利用 Tempest 站点结构独有的功能的特殊功能。 爬虫基于 ,它是一个基于 Python 的网络爬虫。 安装 建议在安装 SaySpider 进行本地执行时,使用 。 > virtualenv env > source env/bin/activate > pip install -r requirements.txt 跑步 去做 命令行选项 usage: run_crawler.py [-h] [--since SINCE] [--job JOB] [--file FILE] URL Run the Say crawler. positional arguments: URL the url to process


【文件预览】:
SaySpider-master
----saymedia()
--------install()
--------saymedia()
--------run_crawler.py(3KB)
--------scrapy.cfg(258B)
--------server.py(610B)
--------.gitignore(688B)
----requirements.txt(191B)
----LICENSE(1KB)
----README.md(1KB)
----.gitignore(733B)

网友评论