[置顶] 直播网站LiveTV Mining,爬虫抓取数据 python3+selenium+phantomjs

时间:2021-09-06 08:56:29

LiveTV Mining http://www.zhengwentao.com


介绍

此站点是为了实现爬虫数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计,后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。

开源代码地址:Github

站点是在个人兴趣指引下用业余时间写的项目,可能技术还欠缺火候。使用中有问题或更新建议,欢迎直接提issue 反馈。,或可以用以下联系方式跟我交流:

  • 邮件: zwtzjd@gmail.com
  • QQ: 3084582097

历程

  • 2016-04-06 域名 http://www.zhengwentao.com 申请完毕,正式建站。

  • 2016-04-05 上线前解决网页BUG,调整样式撰写”关于”信息。开发完成搜索模块。

  • 2016-04-03 解决内存泄露、Phantomjs执行缓慢超时的问题,爬虫运行稳定。完成房间统计表格自动生成绘制功能开发。

  • 2016-03-29 主机申请完毕,采用Nginx+uwsgi部署试运行。

  • 2016-03-28 选用Celery框架做后台任务执行。开发完成独立Flask插件 Flask-Celery 适用于Python 3.4+,Celery 3.0+。

  • 2016-03-26 调整重构爬虫模块,从其他模块中剥离独立。

  • 2016-03-25 完成战旗、虎牙爬虫开发。

  • 2016-03-24 完成斗鱼爬虫开发,采用python3+Selenium+Phantomjs直接读取斗鱼网站信息。使用Flask+Bootstrap开发网站。

  • 2016-03-23 Github创建仓库,开始项目开发。

感激


感谢以下项目的支持,排名不分先后