python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden

时间:2024-05-18 17:24:31

python读取网页常用以下两个方式:
from urllib.request import urlopen
python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden

import requests
python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden
urlopen使用read()方法,requests使用text属性即可。

解析使用
from bs4 import BeautifulSoup
soup=BeautifulSoup(content, ‘lxml’)

但是,当启动程序打开一个URL时,如果不设置userAgent,服务器获取不到request的浏览器类型、操作系统、硬件平台等信息,无法得知发送这个请求的是浏览器,往往判定这是非正常的访问,如spider程序,则可能会出现
HTTPError: HTTP Error 403: Forbidden

因此,F12打开开发者工具,选择Network,搜索User-Agent,找到对应的信息,复制下来,设置给header属性,这样就可以顺利访问了。
python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden
把这个字符串赋值给header即可。
python爬虫设置User-Agent解决HTTPError: HTTP Error 403: Forbidden
最后,在请求访问时就可以获取正常的网页内容解析了。