Coursera-Getting and Cleaning Data-week4-R语言中的正则表达式以及文本处理

时间:2023-12-17 09:04:44

博客总目录:http://www.cnblogs.com/weibaar/p/4507801.html

Thursday, January 29, 2015

补上第四周笔记,以及本次课程总结。

第四周课程主要针对text进行处理。里面包括

1.变量名的处理 2.正则表达式 3.日期处理(参见swirl lubridate包练习)

首先,变量名的处理,奉行两个原则,1)统一大小写tolower/toupper;2)去掉在导入数据时,因为特殊字符导致的合并变量 3)不要重复;4)少用代码缩写

使用的函数包括

  1. 替换查找:

gsub |在全局范围内,把A换成B gsub("A","B",data)

sub |仅替换第一个字符 sub("A","B",data)

grep |展示字符出现的位置 grep("A",data) 输出的是A在data里的位置,如果添加value=TRUE会直接返回包含A的值

grepl | 跟grep类似,但是输出逻辑判断符TRUE/FALSE,类似于a==b

  1. 字符间计算

nchar 计算data里有多少个字符,如nchar("text05"),输出6

substr 对A从第m行起取到n substr("data2014",2,4) 输出ata

paste 字符连接paste("ABC","BCD","DEF",sep="-") 输出“ABC-BCD-DEF” 如果用paste0则中间不分割

str-tim 去除头尾和空格

上述,网上搜的类似文档如文本(字符串)处理与正则表达式


正则表达式,Regular Expression,其实是除了查找内容外,R对于一些特殊字符有固定定义。如果使用好该类字符,我们可以更方便进行文本查找。

需要指出的是,正则表达式并不是R独有的,在多个语言中均有介绍。老师视频里主要介绍了他常用的几个表达。主要用于grep/gsub等函数里,查找替换使用。所有的语法都要用**\\**引用才能使用。。

网上搜到的中文应用有

1.在R中使用正则表达式 举了个读取豆瓣电影的方法做示例

  1. R正则表达式语法细节 这里讲的蛮详细的,而且还有示例,推荐阅读

  2. 55分钟练习 这个有习题,可以补充练习一下。

#要替换特殊元字符时,需要使用\\来指定。但是如果是普通字符,使用\\反而什么都得不到╮(╯▽╰)╭
gsub('\\.', "", "$Peace.Love")
## [1] "$PeaceLove"
gsub('\\$', "", "$Peace.Love")
## [1] "Peace.Love"
#\d匹配数字字符
gsub('\\d', "", "$Peace.Love0102")
## [1] "$Peace.Love"
#\D匹配非数字字符
gsub('\\D', "", "$Peace.Love2012012")
## [1] "2012012"

因为现阶段工作学习里用这种替换及文本查找的机会不多,这里就略过吧。。需要时再补好了。quiz4很简单,水水的就过掉了

总之这门Getting and Cleaning Data的课的笔记终于补完了!2月打算看Explorary Data analysis还有Reproducible Research的课。。不过中文字幕到explorary data就没了,所以以后估计要花两个月来过一门课了,看视频时间要增加 前四门课必须要感谢字幕组无私贡献!

最后附上Getting and Cleaning Data的一个实际应用,XML包读取coursera课程页面的PDF讲义,批量下载

首先,要到coursera课程页面把HTML代码全部复制到本地的一个HTML文件家里。

关键字搜索源代码,发现它的PDF文件是明文存放的,那么只要用个XML包,简单读取分段一下即可

##加载XML包,并且读取数据 

url1<-"lecture.html"
html<-htmlTreeParse(url1,useInternalNodes=T)
#在英文版本里,PDF被存在title为 "Lecture Notes"的文件里
#下列代码根据getNodeSet的示范来的。拿到有Lecture Nodes的相关list(应该与正则表达式也相关)
notes<-getNodeSet(html,"/html//a[@title='Lecture Notes']")
head(notes)
#这里使用xmlGetAttr获得相应属性
pdf<-sapply(notes,xmlGetAttr,"href")
pdf
#这里仅是示范。因为我是windows系统,mode="wb",其他系统不知道。
#只要弄个循环下载,就能把所有PDF下下来了。同时,还可以用正则表达式里提及的内容,批量提取PDF文件名
download.file(pdf[[1]],"test1.pdf",mode="wb")
> pdf
[1] "https://d396qusza40orc.cloudfront.net/getdata/lecture_slides/01_01_obtainingDataMotivation.pdf"
[2] "https://d396qusza40orc.cloudfront.net/getdata/lecture_slides/01_02_rawAndProcessedData.pdf"

前三周笔记

第一周: 从不同数据源获取数据,html & csv & xlsx  http://www.cnblogs.com/weibaar/p/4217495.html

第二周:从API以及网页获取数据 http://www.cnblogs.com/weibaar/p/4230868.html

第三周:整理数据(dplyr,tidyr,lubridate) http://www.cnblogs.com/weibaar/p/4273636.html

第四周:文本查找与正则表达式 http://www.cnblogs.com/weibaar/p/4285082.html

博客总目录:http://www.cnblogs.com/weibaar/p/4507801.html