网络爬虫--数据处理，jsoup工具解析html，dom4j解析xml
之前提到过，对于简单的网页结构解析，可以直接通过观察法、手工写正则解析，可以做出来，比如网易微博。但是对于结构稍微复杂点的，比如新浪微博，如果还用正则，用眼睛一个个去找，未免太麻烦了。 本文介绍两个工具包：解析html, xml的jsoup，和读写xml的dom4j。 工具包jsoup是解析html...
【网络爬虫】【java】微博爬虫（四）：数据处理——jsoup工具解析html、dom4j读写xml
之前提到过，对于简单的网页结构解析，可以直接通过观察法、手工写正则解析，可以做出来，比如网易微博。但是对于结构稍微复杂点的，比如新浪微博，如果还用正则，用眼睛一个个去找，未免太麻烦了。 本文介绍两个工具包：解析html, xml的jsoup，和读写xml的dom4j。...
[转载] 一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等
原文: http://www.36dsj.com/archives/25042接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Faceb...
农村土地确权之数据处理工具
想要获取更多关于土地确权的专业知识，可加入土地确权专业交流群（256956756）。 本工具有需要的【自行下载】，是我自己结合 农业部调查规范、苍穹软件数据入库要求自己开发的，可以自动填写家庭成员信息表、承包地块信息表中的承包方编码，将家庭成员信息表中户主行字体加粗，自动生成调查信息公示表...
【one day one linux】好用的数据处理工具awk
awk:好用的数据处理工具取自《鸟哥私房菜》awk一节应用：awk是以一行为一次的处理单位，将一行分成数个“字段”进行处理。#awk的命令格式awk '条件类型1{动作1} 条件类型2{动作2} ...' filenameawk后面接两个单引号并加上大括号{}来设置想要对数据的处理动作。awk处理后...
盘点数据处理工具，手把手教你做数据清洗和转换
数据分析工具非常丰富。当数据集太大而无法在电子表格程序中打开时，Python脚本或像RStudio这样的应用程序具有可视化、汇总或报告数据的强大功能。使用你熟悉的任何方法，至少要确定不同属性值的格式和一般分布。
【Linux】好用的数据处理工具 awk
awk是一个非常棒的数字处理工具。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分为数个“字段”来处理。运行效率高，而且代码简单，对格式化的文本处理能力超强。先来一个例子： 文件a，统计文件a的第一列中是浮点数的行的浮点数的平均值。用awk来实现只需要一句话就可以搞定 $cat a1....