dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息

时间:2021-04-27 13:03:15
【文件属性】:
文件名称:dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
文件大小:1.96MB
文件格式:ZIP
更新时间:2021-04-27 13:03:15
Python 东方财富网个股研报信息爬虫说明文档 介绍 东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。 代码说明 运行环境 Windows 10 专业版 Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7 依赖包 Requests Pymongo Selenium 3.11.0 Faker(随机切换User-Agent) 爬取结果 在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图:
【文件预览】:
dongfangyanbao-master
----部分研报信息.PNG(157KB)
----dfyanbao()
--------dfyanbao()
--------东方财富网个股研报0611.csv(1.42MB)
--------scrapy.cfg(259B)
----东方财富网个股研报.xlsx(1.27MB)
----README.md(725B)

网友评论

  • 不能用。。。建议不要下