crawleme:抓我! 这是从任何网站抓取图像或链接URL的简便方法

时间:2021-05-09 21:26:59
【文件属性】:
文件名称:crawleme:抓我! 这是从任何网站抓取图像或链接URL的简便方法
文件大小:5KB
文件格式:ZIP
更新时间:2021-05-09 21:26:59
Python 什么是CrawleMe! ? 抓我! 这是从任何网站抓取图像或链接URL的简便方法。 这个怎么运作 ? 创建您的网页包装器类。 from crawleme . base import BasePage class MyPage ( BasePage ): url = 'http://www.mysite.com' item_path = '//*[@id="campaign_list"]/div/a' item_attribute = 'href' 创建包装器类的实例,然后调用crawle方法。 crawler = MyPage () urls = crawler . crawle () for url in urls : print url 结果: http://www.mysite.com/id/5 http://www.mysite.com/aboutus/ h
【文件预览】:
crawleme-master
----examples()
--------crawle_as_multiprocess.py(1KB)
----setup.py(281B)
----README.md(2KB)
----crawleme()
--------exceptions.py(80B)
--------base.py(3KB)
--------conf.py(211B)
--------__init__.py(0B)
----.gitignore(5B)
----requirements.pip(11B)

网友评论