【pyspider】初次使用pyspider遇到的问题

时间:2023-03-09 07:30:38
【pyspider】初次使用pyspider遇到的问题

《python爬虫开发与项目实践》里最后一章介绍了pyspider的使用。然鹅。。我刚开始就报错了:

Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate

网上一查发现,原因是:这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。

解决方法:

最简单的解决方法是:

在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即

self.crawl('http://movie.douban.com/tag/', callback=self.index_page, validate_cert=False)
就可以了。