正则表达式和re模块

时间:2022-12-15 16:05:42

正则表达式

re模块

 

正则表达式:


正则表达式本身也和python没有什么关系,就是匹配字符串内容的一种规则。官方定义:正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。

正则表达式的验证网站:http://tool.chinaz.com/regex/

 正则表达式负号解释

正则表达式的基本用法


字符组:

正则
匹配字符
匹配
结果
说明
[0123456789]
8
True
在一个字符组里枚举合法的所有字符,字符组里的任意一个字符
和"待匹配字符"相同都视为可以匹配
[0123456789]
a
False
由于字符组中没有"a"字符,所以不能匹配
 
[0-9]
 
7
True
也可以用-表示范围,[0-9]就和[0123456789]是一个意思
 
[a-z]
 
s
 
True
 
同样的如果要匹配所有的小写字母,直接用[a-z]就可以表示
 
[A-Z]
 
B
 
True
 
[A-Z]就表示所有的大写字母
 
[0-9a-fA-F]
 
e
 
True
 
可以匹配数字,大小写形式的a~f,用来验证十六进制字符

 

字符:

 
元字符
 
匹配内容
匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
\b 匹配一个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W
匹配非字母或数字或下划线
\D
匹配非数字
\S
匹配非空白符
a|b
匹配字符a或字符b
()
匹配括号内的表达式,也表示一个组
[...]
匹配字符组中的字符
[^...]
匹配除了字符组中字符的所有字符

 

量词:

量词
用法说明
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次

 

正则表达式实例:


【. ^ $】

正则 待匹配字符 匹配
结果
说明
海. 海燕海娇海东 海燕海娇海东   匹配所有"海."的字符
^海. 海燕海娇海东 海燕 只从开头匹配"海."
  海.$   海燕海娇海东 海东 只匹配结尾的"海.$"

 

【 * + ? { } 】

正则 待匹配字符 匹配
结果
说明
李.? 李杰和李莲英和李二棍子

李杰
李莲
李二

 
?表示重复零次或一次,即只匹配"李"后面一个任意字符
 
李.* 李杰和李莲英和李二棍子 李杰和李莲英和李二棍子
*表示重复零次或多次,即匹配"李"后面0或多个任意字符
李.+ 李杰和李莲英和李二棍子 李杰和李莲英和李二棍子
+表示重复一次或多次,即只匹配"李"后面1个或多个任意字符
李.{1,2} 李杰和李莲英和李二棍子

李杰和
李莲英
李二棍

{1,2}匹配1到2次任意字符

 注意:前面的*,+,?等都是贪婪匹配,也就是尽可能匹配,后面加?号使其变成惰性匹配

正则 待匹配字符 匹配
结果
说明
李.*? 李杰和李莲英和李二棍子

惰性匹配

 

字符集[][^]

正则 待匹配字符 匹配
结果
说明
李[杰莲英二棍子]* 李杰和李莲英和李二棍子

李杰
李莲英
李二棍子

 
表示匹配"李"字后面[杰莲英二棍子]的字符任意次
 
李[^和]* 李杰和李莲英和李二棍子

李杰
李莲英
李二棍子

表示匹配一个不是"和"的字符任意次
[\d] 456bdha3

4
5
6
3

表示匹配任意一个数字,匹配到4个结果
[\d]+ 456bdha3

456
3

表示匹配任意个数字,匹配到2个结果

 

分组 ()与 或 |[^]

#分组 ([abc][123])+  在正则表达式里,需要对一个整体的式子,进行量词约束的时候就需要分组
#因为正则表达式的量词只能约束前面一个字符组,因此如果要约束多个字符组就需要用分组

身份证号码是一个长度为15或18个字符的字符串,如果是15位则全部????️数字组成,首位不能为0;如果是18位,则前17位全部是数字,末位可能是数字或x,下面我们尝试用正则来表示:

正则 待匹配字符 匹配
结果
说明
^[1-9]\d{13,16}[0-9x]$ 110101198001017032

110101198001017032

   表示可以匹配一个正确的身份证号
^[1-9]\d{13,16}[0-9x]$ 1101011980010170

1101011980010170

表示也可以匹配这串数字,但这并不是一个正确的身份证号码,它是一个16位的数字
^[1-9]\d{14}(\d{2}[0-9x])?$ 1101011980010170

False

现在不会匹配错误的身份证号了
()表示分组,将\d{2}[0-9x]分成一组,就可以整体约束他们出现的次数为0-1次
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ 110105199812067023

110105199812067023

表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}

 

转义符 \

在正则表达式中,有很多有特殊意义的是元字符,比如\d和\s等,如果要在正则中匹配正常的"\d"而不是"数字"就需要对"\"进行转义,变成'\\'。

在python中,无论是正则表达式,还是待匹配的内容,都是以字符串的形式出现的,在字符串中\也有特殊的含义,本身还需要转义。所以如果匹配一次"\d",字符串中要写成'\\d',那么正则里就要写成"\\\\d",这样就太麻烦了。这个时候我们就用到了r'\d'这个概念,此时的正则是r'\\d'就可以了。

正则 待匹配字符 匹配
结果
说明
\d \d  False
因为在正则表达式中\是有特殊意义的字符,所以要匹配\d本身,用表达式\d无法匹配
\\d \d  True
转义\之后变成\\,即可匹配
"\\\\d" '\\d'  True
如果在python中,字符串中的'\'也需要转义,所以每一个字符串'\'又需要转义一次
r'\\d' r'\d'  True
在字符串之前加r,让整个字符串不转义

 

贪婪匹配

贪婪匹配:在满足匹配时,匹配尽可能长的字符串,默认情况下,采用贪婪匹配

正则 待匹配字符 匹配
结果
说明
<.*>

<script>...<script>

<script>...<script>
默认为贪婪匹配模式,会匹配尽量长的字符串
<.*?> r'\d'  

<script>
<script>

加上?为将贪婪匹配模式转为非贪婪匹配模式,会匹配尽量短的字符串

 

 

非贪婪匹配:

*? 重复任意次,但尽可能少重复
+? 重复1次或更多次,但尽可能少重复
?? 重复0次或1次,但尽可能少重复
{n,m}? 重复n到m次,但尽可能少重复
{n,}? 重复n次以上,但尽可能少重复
# .*? 的用法 
. 是任意字符
* 是取 0 至 无限长度
? 是非贪婪模式。
何在一起就是 取尽量少的任意字符,一般不会这么单独写,他大多用在:
.*?x

就是取前面任意长度的字符,直到一个x出现

 

正则表达式碎碎念:

正则表达式和re模块正则表达式和re模块
#1 正则表达式是从左到右依次匹配   比如 ab|abc  匹配了ab abc就不会匹配了,所以匹配长度较长的要放前面

#2 [A-Z]一个中括号表示只匹配一个值, 比如  [0-9] 只匹配0到9,可以匹配很多次,但是每次匹配都只匹配一个值,

#\d{3} 匹配三个数字,这三数字一定要连在一起的

#  ^[0-9][A-Z]$这样只匹配两个值,    不加起止符号  [0-9][A-Z]  这样会匹配所有的数字和大写字母,但每次只匹配两个值

# .*  默认算匹配到一次

#量词     都是先规则再量词,且这个量词仅匹配左边最近的规则,比如 [a-z]\d+ 只针对/b进行一次或 多次匹配

#^  开始符  比如 ^a 就只匹配整篇文档的开头部分,有点像 startswith

#$  (在英文状态下打出来) 海.$  只匹配以 海%  结尾的字符,  海$.这样是匹配不到东西的

# a.  匹配所有类似  a.的字符串  类似 a%   没加量词其只能匹配 两个字符

#^([1-9]\d{16}[0-9x]|[1-9]\d{14})$  此处十八位一定要放前面,不然会出错

#其实正则表达式有个顺序   【匹配规则】【次数】【?惰性与否】  次数的话有【*  +  ?  {}  {n,}  {n,m}】 不写就是一次

#<.*>   贪婪匹配,会把 < 往后的值全部找到,直到最后一个,然后再往回找  >  这中间的值就是我们这条正则表达式找到的,回溯匹配
#<.*?>  惰性匹配  它把 > 捏在手里,然后从 < 往后开始找,一旦找到 >  就马上返回

#写正则的时候,要注意别加空格,加空格正则以为你要匹配空格

#? 问号的集中意思  1表示量词  2表示惰性匹配  3,python中 ?P的使用  4,python中取消分组优先
import re
s = '350524199903280533'
res = re.search('(?P<province>\d{6})(?P<Birth>\d{8})(?P<ID>\d{4})',s).groupdict()
print(res)   #>>>>> {'province': '350524', 'Birth': '19990328', 'ID': '0533'}

#取消分组优先
ret = re.findall('www.(baidu|oldboy).com','www.oldboy.com')
print(ret)
ret = re.findall('www.(?:baidu|oldboy).com','www.oldboy.com')
print(ret)

#关于转义,对于正则表达式中,如果需要匹配 元字符,量词 这些特殊字符就需要 用 \ 进行转义  比如 \* 表示单纯要寻找 星号
#但是如果是在字符组中 [*] 这样子直接表示匹配 * 号,因为字符组里不放量词,但是元字符则还是要转义的
#在python中  re.findall(r'*',str) 可以直接在前面加个小写 r 就代表转义
正则表达式碎碎念:

 减号 [-]写在字符组首位,表示减号本身,[0-9]写成这样表示范围

 

re模块


re模块常用实例

import re

# ret = re.findall('c','eva egon gka') #查找字符串中所有的a,并返回为一个列表,第一个参数中为正则,第二个参数为字符串
# print(ret)                             #若查找为空,返回空列表
 ret2 = re.search('e','eva egon1 gka') #从前往后,匹配到一个就返回,返回一个对象,需要用group()方法才能调用
print(ret2)   #>>>>>> <_sre.SRE_Match object; span=(0, 1), match='e'>   #没找到返回none,但是None不能调用group,会报错
ret2_2 = ret2.group()
print(ret2_2)   #>>>>> e
#一般这么用:
# if ret2:
#     print(ret2.group())
 ret3 = re.match('[a-z]+','eva egon1 gka')  #从头开始匹配,必须是从头,知道到一个就返回,返回一个对象,需要用group()方法才能调用
if ret3:                               #没找到返回none,但是None不能调用group,会报错
    print(ret3.group())    #>>>>> eva
 ret4 = re.split('[ab]','abcd') #先按a分割得到 ['','bcd']  ,再按b分割得到['','','cd']
print(ret4)   #>>>>>>> ['', '', 'cd']
 ret5 = re.sub('\d','H','sldjfoi12sdg54sdfa',1) #类似字符串的replace
print(ret5)   #>>>> sldjfoiH2sdg54sdfa
 ret6 = re.subn('\d','H','sldjfoi12sdg54sdfa')  #把替换了几次标出来
print(ret6)    #>>>>>> ('sldjfoiHHsdgHHsdfa', 4)  【(替换的结果,替换了几次)】
 obj = re.compile('\d{3}')  #将正则表达式编译成为一个 正则表达式对象,规则要匹配的是3个数字
ret = obj.search('abc123eeee') #正则表达式对象调用search,参数为待匹配的字符串
print(ret.group())

# ?P<> 给分组命名
s = '350524199903280533'
res = re.search('(?P<province>\d{6})(?P<Birth>\d{8})(?P<ID>\d{4})',s)
print(res.groupdict())  #>>>>> {'province': '350524', 'Birth': '19990328', 'ID': '0533'}
print(res.group('province')) #也可以这样取值
 ret7 = re.finditer('\d','ds3sy4784a')  #finditer 返回一个存放匹配结果的迭代器
print(ret7)    #<callable_iterator object at 0x0000022D51A1D7F0> 迭代器
print(next(ret7).group())
print(next(ret7).group())
print([i.group() for i in ret7])

小结:匹配完需要用group调用的方法有:search,match,finditer



#1 findall的优先级查询:
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') #取消分组优先 print(ret) # ['www.oldboy.com'] #2 split的优先级查询 ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 : ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 : ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上()之后所切出的结果是不同的, #没有()的没有保留所匹配的项,但是有()的却能够保留了匹配的项, #这个在某些需要保留匹配部分的使用过程是非常重要的。 #分组用group提取 ret = re.search('^[1-9](\d{14})(\d{2}[0-9x])?$','350524199908280522') print(ret.group()) print(ret.group(1)) print(ret.group(2))

 

关于这些方法中的flags【注意split的坑】

flags有很多可选值:

re.I(IGNORECASE)忽略大小写,括号内是完整的写法
re.M(MULTILINE)多行模式,改变^和$的行为
re.S(DOTALL)点可以匹配任意字符,包括换行符
re.L(LOCALE)做本地化识别的匹配,表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境,不推荐使用
re.U(UNICODE) 使用\w \W \s \S \d \D使用取决于unicode定义的字符属性。在python3中默认使用该flag
re.X(VERBOSE)冗长模式,该模式下pattern字符串可以是多行的,忽略空白字符,并可以添加注释

#其中re.S是最常用的
import re
a = 'my \nname \nis gkx'
ret = re.findall('.+',a,re.S)  
# 对于findall,search,match,finditer来说 flags在第三个参数,故可以用位置参数传值,对于sub,subn,split falgs不在第三个参数,需要用关键字参数传值 flags=re.S print(ret) #>>>>> ['my \nname \nis gkx'] #因为加了flags所以此处会把换行符也匹配出来,整个字符串就是一个元素 ret2 = re.findall('.+',a) print(ret2) #>>>>> ['my ', 'name ', 'is gkx'] #因为【.】匹配换行符以外所有元素,所以换行符不匹配,这个str就变为匹配了三个元素

 

re模块的一些练习:

对于用 ?P<> 命名后的匹配组,可以在另一个组引用这个命名,从而来匹配一模一样的值。比如可以用在网页源代码 匹配 <div> </div>

正则表达式和re模块正则表达式和re模块
import re
ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")
#还可以在分组中利用?P<name>的形式给分组起名字
#获取的匹配结果可以直接用group('名字')拿到对应的值
#此处后面的(?P=tag_name)意思是在这里匹配和前面tag_name一模一样的值
print(ret.group('tag_name'))  #结果 :h1
print(ret.group())  #结果 :<h1>hello</h1>

ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>")
#如果不给组起名字,也可以用\序号来找到对应的组,表示要找的内容和前面的组内容一致
#获取的匹配结果可以直接用group(序号)拿到对应的值
print(ret.group(1))
print(ret.group())  #结果 :<h1>hello</h1>
匹配标签

 

我们在做正则表达式的时候,有时候匹配完,我们还需要利用字符串的操作,列表的操作等,对结果进行完善

正则表达式和re模块正则表达式和re模块
import re

ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '2', '60', '40', '35', '5', '4', '3']
ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '-2', '60', '', '5', '-4', '3']
ret.remove("")
print(ret) #['1', '-2', '60', '5', '-4', '3']
匹配整数

 

正则表达式和re模块正则表达式和re模块
1、 匹配一段文本中的每行的邮箱
      http://blog.csdn.net/make164492212/article/details/51656638

2、 匹配一段文本中的每行的时间字符串,比如:‘1990-07-12’;

   分别取出1年的12个月(^(0?[1-9]|1[0-2])$)、
   一个月的31天:^((0?[1-9])|((1|2)[0-9])|30|31)$

3、 匹配qq号。(腾讯QQ号从10000开始)  [1,9][0,9]{4,}

4、 匹配一个浮点数。       ^(-?\d+)(\.\d+)?$   或者  -?\d+\.?\d*

5、 匹配汉字。             ^[\u4e00-\u9fa5]{0,}$ 

6、 匹配出所有整数
数字匹配
正则表达式和re模块正则表达式和re模块
import requests

import re
import json

def getPage(url):

    response=requests.get(url)
    return response.text

def parsePage(s):
    
    com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
                   '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>',re.S)

    ret=com.finditer(s)
    for i in ret:
        yield {
            "id":i.group("id"),
            "title":i.group("title"),
            "rating_num":i.group("rating_num"),
            "comment_num":i.group("comment_num"),
        }

def main(num):

    url='https://movie.douban.com/top250?start=%s&filter='%num
    response_html=getPage(url)
    ret=parsePage(response_html)
    print(ret)
    f=open("move_info7","a",encoding="utf8")

    for obj in ret:
        print(obj)
        data=json.dumps(obj,ensure_ascii=False)
        f.write(data+"\n")

if __name__ == '__main__':
    count=0
    for i in range(10):
        main(count)
        count+=25
复制代码
 简化版

复制代码
flags有很多可选值:

re.I(IGNORECASE)忽略大小写,括号内是完整的写法
re.M(MULTILINE)多行模式,改变^和$的行为
re.S(DOTALL)点可以匹配任意字符,包括换行符
re.L(LOCALE)做本地化识别的匹配,表示特殊字符集 \w, \W, \b, \B, \s, \S 依赖于当前环境,不推荐使用
re.U(UNICODE) 使用\w \W \s \S \d \D使用取决于unicode定义的字符属性。在python3中默认使用该flag
re.X(VERBOSE)冗长模式,该模式下pattern字符串可以是多行的,忽略空白字符,并可以添加注释
爬虫练习

 

re模块中的转义字符

import re
 obj = re.compile(r'\d{3}')    此处去掉转义字符r结果也是123
 ret = obj.search('abc123eeee') 
 print(ret.group())  #>>>  123


w = re.findall('\btina','tian tinaaaa')    #未匹配到相关字符
print(w)
s = re.findall(r'\btina','tian tinaaaa')   #加了转义字符 ‘r’ 匹配到了想要的字符串
print(s)
v = re.findall(r'\btina','tian#tinaaaa')   # \b是匹配单词的边界,一般是指空格或者换行符,但是此处 特殊字符 # @ ! 好像也算是边界 print(v)
a = re.findall(r'\btina\b','tian#tina@aaa')
print(a)
执行结果如下:
[]
['tina']
['tina']
['tina']

总结如下:
对于 compile,findall,search,match,sub,subn,finditer,split来说 在正则表达式前加转义字符 ‘r’都是不会报错的
如果不加转义字符 'r',对于\d \w \s 这些在python中没特殊含义的字符,也不会报错
但是如果是 类似 \b python中已经有含义(表示空格),那么在用re模块的时候,要先进行转义才能正常使用正则表达式

 

https://www.cnblogs.com/tina-python/p/5508402.html  很详细的re模块

http://www.cnblogs.com/Eva-J/articles/7228075.html#_label10  摘抄自景老师博客