文件名称：phpspider:php爬虫，demo包含淘宝、天猫、京东等详情页的爬取
文件大小：171KB
文件格式：ZIP
更新时间：2024-06-01 23:20:30
PHP
phpspider -- PHP蜘蛛爬虫框架 《我用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言 》所使用的程序 phpspider是一个爬虫开发框架。使用本框架，你不用了解爬虫的底层技术实现，爬虫被网站屏蔽、有些网站需要登录或验证码识别才能爬取等问题。简单几行PHP代码，就可以创建自己的爬虫，利用框架封装的多进程Worker类库，代码更简洁，执行效率更高速度更快。 demo目录下有一些特定网站的爬取规则，只要你安装了PHP环境，代码就可以在命令行下直接跑。 对爬虫感兴趣的开发者可以加QQ群一起讨论：147824717。 下面以糗事百科为例, 来看一下我们的爬虫长什么样子: $configs = array( 'name' => '糗事百科', 'domains' => array( 'qiushibaike.com',
【文件预览】：
phpspider-master
----composer.json(977B)
----core()
--------selector.php(17KB)
--------constants.php(2KB)
--------cache.php(2KB)
--------log.php(3KB)
--------phpspider.bak20170807.php(87KB)
--------.DS_Store(6KB)
--------worker.php(13KB)
--------db.php(17KB)
--------requests.php(28KB)
--------queue.php(36KB)
--------util.php(27KB)
--------phpspider.php(88KB)
--------init.php(3KB)
----autoloader.php(2KB)
----gitadd.sh(363B)
----library()
--------rolling_curl.php(13KB)
--------phpquery.php(164KB)
--------cls_query.php(8KB)
--------cls_curl.php(12KB)
--------cls_redis.php(36KB)
----.DS_Store(6KB)
----.gitignore(48B)
----exec()
--------Jingdong.php(2KB)
--------getId.php(767B)
--------tb.txt(65KB)
--------Handler.php(4KB)
--------Tianmao.php(2KB)
--------tm.html(54KB)
--------jdtest.php(285B)
--------tbtest.php(468B)
--------request.txt(4KB)
--------Download.php(4KB)
--------Taobao.php(2KB)
--------tmtest.php(1KB)
--------Spider.php(2KB)
----README.md(2KB)