【文件属性】:
文件名称:dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息
文件大小:1.96MB
文件格式:ZIP
更新时间:2021-04-27 13:03:15
Python
东方财富网个股研报信息爬虫说明文档
介绍
东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。
代码说明
运行环境
Windows 10 专业版
Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
依赖包
Requests
Pymongo
Selenium 3.11.0
Faker(随机切换User-Agent)
爬取结果
在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图:
【文件预览】:
dongfangyanbao-master
----部分研报信息.PNG(157KB)
----dfyanbao()
--------dfyanbao()
--------东方财富网个股研报0611.csv(1.42MB)
--------scrapy.cfg(259B)
----东方财富网个股研报.xlsx(1.27MB)
----README.md(725B)
网友评论
- 不能用。。。建议不要下