【文件属性】:
文件名称:Python 爬虫性能相关总结
文件大小:65KB
文件格式:PDF
更新时间:2020-12-17 10:16:05
性能 爬虫
这里我们通过请求网页例子来一步步理解爬虫性能
当我们有一个列表存放了一些url需要我们获取相关数据,我们首先想到的是循环
简单的循环串行
这一种方法相对来说是最慢的,因为一个一个循环,耗时是最长的,是所有的时间总和
代码如下:
import requests
url_list = [
'http://www.baidu.com',
'http://www.pythonsite.com',
'http://www.cnblogs.com/'
]
for url in url_list:
result = requests.get(url)
print(result.text