02_使用WebMagic爬虫获取CSDN推荐专家的个人博客信息

本来是想抓取博客园的博客推荐的页面的，但由于一些博客进去的页面格式都不太相同，一时不想花时间去寻找规律，发现****上面的格式较为单一，就决定以****推荐专家的个人博客信息作为爬虫抓取的目标。

【首先，查看一下****的推荐专家的页面】

02_使用WebMagic爬虫获取****推荐专家的个人博客信息

【然后再查看一下主页面】

02_使用WebMagic爬虫获取****推荐专家的个人博客信息

准备用爬虫获取一下几个变量

1.姓名

2.访问量

3.积分

4.等级

5.排名

6.原创

7.转载

8.译文

9.评论

10.链接

11.照片

【工程截图】因为主要用到WebMagic，所有的jar包在WebMagic的git地址，自行下载。

02_使用WebMagic爬虫获取****推荐专家的个人博客信息

【User.java】便于展示，或者后期存入数据库用

package com.cnblogs.test;

public class User {

    private String name;  //名字

    private String fangwen; //访问数量

    private String jifen;  //积分

    private String dengji; //等级

    private String paiming; //排名

    private String yuanchuang;//原创

    private String zhuanzai;  //转载

    private String yiwen;    //译文

    private String pinglun;   //评论

    private String link;  //链接

    private String photo;  //照片  

    @Override

    public String toString() {

        return "\n========================= \n "

                + " 姓名=" + name

                + "\n 访问量=" + fangwen

                + "\n 积分=" + jifen

                + "\n 等级=" + dengji

                + "\n 排名=" + paiming

                + "\n 原创=" + yuanchuang

                + "\n 转载=" + zhuanzai

                + "\n 译文=" + yiwen

                + "\n 评论=" + pinglun

                + "\n 链接="+ link

                + "\n 照片=" + photo

                + "\n==========================\n";

    }
/*******省略get/Set方法******/

}

【****Spider.java】

package com.cnblogs.test;

import java.util.ArrayList;

import java.util.HashSet;

import java.util.List;import java.util.regex.Matcher;

import java.util.regex.Pattern;

import us.codecraft.webmagic.Page;

import us.codecraft.webmagic.Site;

import us.codecraft.webmagic.Spider;

import us.codecraft.webmagic.processor.PageProcessor;

public class ****Spider implements PageProcessor{

    private static String keyword="java";

    private static int num;

    //专区网站的相关配置，包括编码、抓取间隔、重试次数等

    private Site site=Site.me().setRetryTimes(10).setSleepTime(1000);

    @Override

    public Site getSite() {

        return this.site;

    }

    @Override

    public void process(Page page) {

        //如果url匹配"http://blog.****.net/experts.html"

        if(page.getUrl().regex("http://blog\\.****\\.net/experts\\.html").match()){

            //获取div[@class='experts_list_wrap clearfix']内含有的全部链接

            List<String> listLink=page.getHtml().xpath("//div[@class='experts_list_wrap clearfix']").links().all();

            //因为在首页每个博主都有重复的链接，这里加一个去重的方法，这个方法很好用

            HashSet<String> hs=new HashSet<String>(listLink); //通过HashSet剔除重复的链接
            listLink.clear();
listLink.addAll(hs); //将去重的的链接结合补充回listStr

            //将博主的主页的url加入到待抓取的队列中

            page.addTargetRequests(listLink);

        }else{  //此时进入了用户详细页面

            User user=new User();

            //首先获取姓名

            String name=page.getHtml().xpath("//div[@id='blog_userface']/span/a[@class='user_name']/text()").get();

            //这里获取

            String str=page.getHtml().xpath("//ul[@id='blog_rank']").get()+page.getHtml().xpath("//ul[@id='blog_statistics']").get();

            //部分变量以 "<sapn>XXXX<sapm>"的格式存在，我们可以使用正则表达式将整个"<sapn>XXXX<sapm>"获取匹配的字符串

            String regex="<span>(.*)+</span>";

            Pattern p1=Pattern.compile(regex);

            Matcher m=p1.matcher(str);

            //用来保存"<sapn>XXXX<sapm>"中间的XXXX的集合

            List<String> strList=new ArrayList<>();

            while(m.find()){

                //这里的m.group()的格式为: "<span>403581次</span>" 或  "<span>7526</span>" 或 "<span>第1885名</span>" 的格式

                String s=m.group().split("<span>|</span>")[1]; //切割之后为 s[0]="<span>" s[1]="404581次" s[2]="<span>"，所以我们取s[1]

                strList.add(s); //将s[1]添加至集合中

            }

            String fangwen=strList.get(0);  //访问

            String jifen=strList.get(1);    //积分

            String paiming=strList.get(2);  //排名

            String yuanchuang=strList.get(3); //原创

            String zhuanzai=strList.get(4);   //转载

            String yiwen=strList.get(5);     //译文

            String pinglun=strList.get(6);   //评论

            //等级存放在<img src=http://c.****img.cn/jifen/images/xunzhang/jianzhang/blog6.png>中

            //1级对应:blog1.png, 6级对应:blog6.png

            String dengji=page.getHtml().xpath("//img[@id='leveImg']/@src").get();
dengji=dengji.substring(dengji.length()-5, dengji.length()-4);  //获取倒数第5个字符

            //获取当前页的url

            String photo=page.getHtml().xpath("//div[@id='blog_userface']/a/img/@src").get();

            String link=page.getUrl().toString();

            //将所有的数据保存如User对象中
            user.setName(name);
user.setFangwen(fangwen);
user.setJifen(jifen);
user.setDengji(dengji);
user.setPaiming(paiming);
user.setYuanchuang(yuanchuang);
user.setZhuanzai(zhuanzai);
user.setYiwen(yiwen);
user.setPinglun(pinglun);
user.setLink(link);
user.setPhoto(photo);

            System.out.println(user.toString());

        }

    }

    public static void main(String[] args) {

        //url入口

        Spider.create(new ****Spider())

        .addUrl("http://blog.****.net/experts.html")

        .thread(5)

        .run();

    }

}