【文件属性】:
文件名称:storm-sentiment:基于Storm的与请分析
文件大小:59KB
文件格式:ZIP
更新时间:2021-07-08 19:55:58
Java
舆情实时统计计算服务项目
基于Java实现。
项目内容
项目简介
项目起因
本项目主要服务于舆情实时数据的统计分析。
项目框架
storm-parent: jar和插件依赖工程
storm-dao: 数据接口层
storm-redis: 数据缓存层或消息队列层
storm-analysis: 基于storm的数据分析层
storm-web: API接口服务层
storm-core: 核心业务层
备注: 框架持续更新中。
API文档
备注: API文档统一放在公司的wiki上。
项目架构
MySQL: 用于存储基本爬虫数据。
Redis: 用于数据去重,基本思想是存储每条数据的md5(key),根据该值进行数据插入更新判断。
Storm: 用于提供分布式流式计算服务。
常见约束词
Item
Value
Dao
Interface接口层
Domain
数据
Constant
常量
Util
工
【文件预览】:
storm-sentiment-master
----pom.xml(2KB)
----storm-core()
--------pom.xml(1KB)
--------src()
----storm-analysis()
--------pom.xml(3KB)
--------ik_dic()
--------src()
----storm-dao()
--------pom.xml(1KB)
--------src()
----LICENSE(11KB)
----.gitignore(45B)
----README.md(2KB)
----storm-web()
--------pom.xml(3KB)
--------src()