Python迭代和解析(1):列表解析

时间:2022-08-21 13:40:26

解析、迭代和生成系列文章:https://www.cnblogs.com/f-ck-need-u/p/9832640.html


Python中的解析

Python支持各种解析(comprehension)操作,比如列表解析、集合解析、元组解析、字典解析。它们根据某些元素来创建(推导)出一个新的列表、集合、元组、字典等。所以有的地方也称为推导,比如列表推导、集合推导等。

下面是一个列表解析的示例:

>>> [ i*2 for i in range(10) if i % 2 == 0 ]
[0, 4, 8, 12, 16]

这里是列表解析,因为使用的中括号[ xxxx ],它表示根据条件推导出一个新的列表。Python中几种内置类型的解析规则为:

  • 如果使用的是中括号,表示列表解析
  • 如果使用的是大括号,表示集合解析
  • 如果使用的是大括号,且里面的元素是key:value模式,表示字典解析

注意:如果使用的是括号,表示的是生成器表达式,而不是解析。

例如:

# 集合解析
>>> { i*2 for i in "abcd"}
{'aa', 'cc', 'dd', 'bb'} # 字典解析
>>> { k:v for k,v in zip(("one","two","three"),(1,2,3)) }
{'one': 1, 'two': 2, 'three': 3}
>>> { k: k*2 for k in "abcd" }
{'a': 'aa', 'b': 'bb', 'c': 'cc', 'd': 'dd'}

Python中还有其它解析模式,稍后会解释。

数学概念中的解析

参考:https://en.wikipedia.org/wiki/List_comprehension

计算机语言中的解析来自于数学概念中的集合描述(对应于集合解析)。如下图:

Python迭代和解析(1):列表解析

将此与下面的列表解析进行对应:

[ i * 2 for i in range(10) if i % 2 == 0 ]

其中:

  • x ∈ N表示的是装元素的容器,这个容器里的元素是解析时被迭代的对象
    • 这对应于列表解析中的range(10),对于Python来说,只要是可迭代的数据对象,都可以作为元素的提供容器
  • x是变量,是容器中的元素
    • 对应于列表解析中的i
  • x² > 3表示的是谓词,是可选的条件判断式,用来筛选解析过程中的符合条件的元素
    • 这对应于列表解析中的if i % 2 == 0,注意,谓词部分是可选的
  • 2 * x表示的是外部表达式,用来生成新的列表/集合/字典/元组中的元素
    • 对应于列表解析中的i * 2
  • {}意味着外部表达式的元素所存放的容器是集合容器
    • 对应于列表解析中的[],表示新生成的元素是列表中的元素

解析操作是如何工作的

Python中的解析操作常用来生成各种数据容器,且生成的效率非常高,它在底层完全是以C的方式运行的。

在了解了数学中集合描述和解析的对应方式后,要理解解析的工作方式很简单,以列表解析为例。

首先用迭代工具for对容器中的元素进行迭代,每个元素都经过谓词进行筛选,对符合条件的元素执行外部表达式,每个外部表达式都生成一个新的元素,然后作为新列表的一个元素,从而推导出一个新的列表。

解析是一个表达式,在后面的文章中还会看到大部分解析可以写成等价的函数map、filter等函数式,但解析的逻辑要更清晰且更简洁。

与解析操作等价的普通循环

python中的解析行为由for这个迭代工具来迭代,它和普通的for循环逻辑一样,但用法稍有不同。从前面的示例中也可以看出解析操作的外部表达式部分在for关键字的前面,而普通for循环的表达式则是在for关键字后面。

解析操作也能由普通的循环来生成。例如:

# for循环实现列表解析操作
L1 = []
for i in range(10):
if i % 2 == 0 :
L1.append(i * 2) # 列表解析
L2 = [ i * 2 for i in range(10) if i % 2 == 0 ] print(L1)
print(L2)

结果:

[0, 4, 8, 12, 16]
[0, 4, 8, 12, 16]

而且,解析操作比普通的for循环运行速度更快,解析操作在Python解释器中是完全使用C来运行的,而普通for循环则是在python VM中通过步进的方式运行的。一般来说,解析操作和map函数速度差不多(解释器中都是C的运行方式),它们都要比普通for快上1-2倍。特别是要生成的元素较多时,解析操作往往要比等价的普通循环快上一倍多。

用解析来操作文件

对于open()打开的文件,有一个readlines()函数可以将所有行读取到一个列表中,每一行都是这个列表中的一个元素。

以下是文件a.txt的文件内容:

first line
second line
third line

通过readlines()读取a.txt:

>>> f = open('a.txt')
>>> lines = f.readlines()
>>> lines
['first line\n', 'second line\n', 'third line\n']

这里每一个元素都包含了尾随换行符\n,这在编程时是非常令人厌恶的,因为不好控制是不是要自己添加一个换行符。所以,往往会对每一行都执行一个去除尾随换行符的操作,这可以通过列表解析来执行:

>>> lines = [ line.rstrip() for line in lines ]
>>> lines
['first line', 'second line', 'third line']

实际上,open()打开的文件对象是一个可迭代对象,可以直接进行迭代,所以也可以直接用于解析操作:

>>> lines = [line.rstrip() for line in open('a.txt')]
>>> lines
['first line', 'second line', 'third line']

看上去真的很简洁,而且很简单很方便,实际上这也很高效。

嵌套的解析

解析操作可以变得更加复杂,比如可以进行for嵌套。

>>> [x + y for x in "abcd" for y in "ABCD"]
['aA', 'aB', 'aC', 'aD', 'bA', 'bB', 'bC', 'bD', 'cA', 'cB', 'cC', 'cD', 'dA', 'dB', 'dC', 'dD']

它等价于:

L = []
for x in "abcd":
for y in "ABCD":
L.append(x + y)

for嵌套的时候,每一个for中用于筛选元素的if语句都是可选的。

例如,下面的嵌套for解析中,使用偶数和奇数的组合:

>>> [ (x,y) for x in range(5) if x % 2 == 0 for y in range(5) if y % 2 ==1 ]
[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]

这个解析表达式等价于:

>>> L = []
>>> for x in range(5):
... if x % 2 == 0:
... for y in range(5):
... if y % 2 == 1:
... L.append((x, y)) [(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]