Java实现网页数据采集

最近，由于某些需要，用Java制做了一个网页数据采集器，用于将网页中需要的数据采集下来。

这里使用的方法，是先得到要采集的网页的源代码，然后从源代码中使用正则表达式得到要采集的数据。

---

用以下代码，我们就可以得到要采集数据的网站的源代码，并且在控制台输出。

        String urlStr = ""; // 网址
try {
//创建一个url对象来指向要采集信息的网址
            URL url = new URL(urlStr);
//将读取到的字节转化为字符
            InputStreamReader inStrRead = new InputStreamReader(url.openStream(),"utf-8");
//读取InputStreamReader转化成的字符
            BufferedReader bufRead = new BufferedReader(inStrRead); 
//读到的内容不为空
while (bufRead.readLine() != null) {
                System.out.println(bufRead.readLine());
            }
            bufRead.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

测试一下，这里使

String urlStr = "http://datacenter.mep.gov.cn/report/air_daily/air_dairy.jsp?&lang=";

在控制台输出如下结果。

得到网页的源代码之后，我们就可以使用正则表达式来得到要采集的数据。

我们先查看网页源代码，对源代码进行分析。

这里想要采集的数据是

• 城市
• 时间
• AQI指数
• 空气质量级别

以北京市为例进行分析，我们得到如下正则表达式

    // 城市正则
private String regularCity = ">[\u4e00-\u9fa5]{2,}市</td>"; 
// 日期正则
private String regularDate = ">(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1-9]|[12][0-9]|30))|(02-(0[1-9]|[1][0-9]|2[0-8]))))</td>";
// AQI指数正则
private String regularAQI = ">[0-9]{2,}</td>"; 
// 空气质量级别正则
private String regularQuality = ">[\u4e00-\u9fa5]</td>"; 

我们先定义一个方法，使用我们定义的正则表达式和得到的网页源代码采集数据。

    /*
 * 从网页源代码中采集数据
 * 
 * @param regular 正则
 * 
 * @param code 源代码
 */
public String DataAcqu(String regular, String code) {
// 编译正则表达式
        Pattern p = Pattern.compile(regular, Pattern.CASE_INSENSITIVE);
        Matcher m = p.matcher(code);

if (m.find()) {
// 返回采集到的数据
return m.group();
        } else {
return "";
        }
    }

然后就可以进行数据采集了。

    public DataCode() {
// 用户输入网页地址
        Scanner scan = new Scanner(System.in); 
// 存储用户输入的网页地址
        String urlStr = scan.nextLine(); 

try {
//创建一个url对象来指向要采集信息的网址
            URL url = new URL(urlStr); 
//将读取到的字节转化为字符
            InputStreamReader inStrRead = new InputStreamReader(url.openStream(),
"utf-8"); 
//读取InputStreamReader转化成的字符
            BufferedReader bufRead = new BufferedReader(inStrRead);
            String readStr = "";
// 创建一个DataAcqu类的对象（前面自己定义的用于采集数据的类）
            DataAcqu dataAcq = new DataAcqu();

int i = 0; // 记录采集到的数据数量
// 如果读到的数据不为空
while ((readStr = bufRead .readLine()) != null) {
// 采集城市数据
                String cityStr = dataAcq.DataAcqu(regularCity, readStr);
// 如果采集到符合条件的数据，打印出来
if (!cityStr.equals("")) {
// 将采集到的数据前后多余部分去掉（前面正则表达式为了准确取到相应的值，加入了">"和"</td>"）
                    cityStr = cityStr.substring(1, cityStr.indexOf("</td>"));
                    System.out.println("城市:" + cityStr);
                }

// 采集日期数据
                String dateStr = dataAcq.DataAcqu(regularDate, readStr);
// 如果采集到符合条件的数据，打印出来
if (!dateStr.equals("")) {
                    dateStr = dateStr.substring(1, dateStr.indexOf("</td>"));
                    System.out.println("日期:" + dateStr);
                }

// 采集AQI指数数据
                String AQIStr = dataAcq.DataAcqu(regularAQI, readStr);
// 如果采集到符合条件的数据，打印出来
if (!AQIStr.equals("")) {
                    AQIStr = AQIStr.substring(1, AQIStr.indexOf("</td>"));
                    System.out.println("AQI指数:" + AQIStr);
                }

// 采集空气质量级别数据
                String qualityStr = dataAcq.DataAcqu(regularQuality, readStr);
// 如果采集到符合条件的数据，打印出来
if (!qualityStr.equals("")) {
                    qualityStr = qualityStr.substring(1,
                            qualityStr.indexOf("</td>"));
                    System.out.println("空气质量级别:" + qualityStr);
                    System.out.println();
                    i++;
                }
            }
            br.close(); // 读取完成后关闭读取器
            System.out.println("采集完成，共采集到数据：" + i);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

运行后，控制台输出如下信息

如果想要将输出结果输出的文件中，只需在代码中添加如下代码

            // 将数据输出到文件
            PrintStream ps = new PrintStream("E:\\Java\\DataAcquisition\\data");
//将输出位置切换到文件
            System.setOut(ps);

这样，我们的网页数据采集器就完成了。