python抓取数据 常见反爬虫 情况

时间:2023-12-21 17:08:14

1.报文头信息:

User-Agent Accept-Language  防盗链 上referer

随机生成不同的User-Agent构造报头

2.加抓取等待时间

每抓取一页都让它随机休息几秒,加入此句代码后,每个时间段都能爬取大量股票数据了。

3.带cookie数据

4.需要登录的网站

登陆的网站 申请大量的账号,然后再爬入,此处涉及模拟登陆、验证码识别