Storm系列(三)Topology提交过程
提交示例代码：1 public static void main(String[] args) throws Exception {2 TopologyBuilder builder = new TopologyBuilder();3 builder.setSpout("ran...
storm安装(2)ZeroMQ、JZMQ、Python、Java环境的安装
2.ZeroMQ安装把安装本件zeromq-2.1.7.tar.gz拷贝到home文件路径下，给文件加入权限chmod +x /home/zeromq-2.1.7.tar.gz解压文件tar -xzf /home/zeromq-2.1.7.tar.gz进入文件路径下进行安装cd /home/zero...
Flume+Kafka+Storm整合
Flume+Kafka+Storm整合1. 需求：有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka再由Storm读取该topic：flume-to-kafka，进行日志分析处理（这里我们做的逻辑...
Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery，含3个完整实际项目)
1.1、课程的背景 Storm是什么？ 为什么学习Storm？ Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等...
Stream grouping-storm的流分组策略
A stream grouping tells a topology how to send tuples between two components. Remember, spouts and bolts execute in parallel as many tasks across the ...
Storm官方提供的trident单词计数的例子
上代码: public class TridentWordCount { public static class Split extends BaseFunction { @Override public void execute(TridentTuple tuple, Trid...
Storm因机器断电等，启动supervisor异常
Storm因机器断电等，启动supervisor错误因机器断电或其他异常导致的supervisor意外终止，再次启动时报错：2014-08-13 10:36:03 b.s.event [ERROR] Error when processing eventjava.lang.RuntimeExcept...
Twitter Storm: storm的一些常见模式
这篇文章列举出了storm topology里面的一些常见模式：流聚合(stream join)批处理(Batching)BasicBolt内存内缓存 + fields grouping 组合计算top N用TimeCacheMap来高效地保存一个最近被更新的对象的缓存分布式RPC: Coordin...
Storm 第三章 Storm编程案例及Stream Grouping详解
1 功能说明设计一个topology，来实现对文档里面的单词出现的频率进行统计。整个topology分为三个部分：SentenceSpout：数据源，在已知的英文句子中，随机发送一条句子出去。SplitBolt：负责将单行文本记录（句子）切分成单词CountBolt：负责对单词的频率进行累加2 代码...
storm入门教程 第一章 前言[转]
1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时...
Storm学习笔记 - 消息容错机制
Storm学习笔记 - 消息容错机制文章来自「随笔」 http://jsynk.cn/blog/articles/153.html1. Storm消息容错机制概念一个提供了可靠的处理机制的spout需要记录自己emit（发射）的tuple（消息元祖），当下游bolt处理tuple或者子tuple失败...
量化派基于Hadoop、Spark、Storm的大数据风控架构--转
原文地址：http://www.csdn.net/article/2015-10-06/2825849量化派是一家金融大数据公司，为金融机构提供数据服务和技术支持，也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况，撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性，但是目前中国...
在storm中运行jar产生模拟数据的时候，遇见的问题
1.问题由来命令：java -jar data.jar 1000 >>nginx.log报错：Exception in thread "main" java.lang.NoClassDefFoundError: com.ibeifeng.test.data.NginxLogGenerat...
storm配置
配置Storm 有大量配置项用于调整 nimbus、supervisors 和拓扑的行为。有些配置项是系统级的配置项，在拓扑中不能修改，另外一些配置项则是可以在拓扑中修改的。每一个配置项都在 Storm 代码库的 defaults.yaml 中有一个默认值。可以通过在 Nimbus 和 Superv...
Storm常见模式——批处理
Storm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。例如，批量查询或者更新数据库，如果每一条tuple生成一条sql执行一次数据库操作，数据量大的时候，效率会比批量处理的...
Storm（2015.08.12笔记）
2015.08.12Storm 一、Storm简介Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。 Storm能实现高频数据和大规模数据的实时处理。官网资料显示storm的一个节点在1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24G...
storm的设计思想
storm的设计思想在 Storm 中也有对流（Stream）的抽象，流是一个不间断的、无界的连续 Tuple（Storm在建模事件流时，把流中的事件抽象为 Tuple 即元组）。Storm 认为每个流都有一个 Stream 源，也就是原始元组的源头，所以它将这个源头抽象为 Spout， Spout...
kafka和storm集群的环境安装
前言storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。这两者的依赖如下:Storm集群：JDK1.8 , Zookeeper...
Storm 中遇到的问题
问题1. 在storm.yaml 中配置了4个slot，而在Storm UI上面看到了8个slot解决：Storm.yaml 中配置错误，正确配置如下，- 和 6700 之间是有空格存在的，而在我们的集群中配置为-6700，导致错误的产生supervisor.slots.ports: - ...
01_Storm体系概要
1. Storm发展历史Storm历史1. 2010年12月，backtype公司Nathan，提出Storm的核心概念2. backtype, 提供数据分析，数据处理服务的一个公司3. 2011年4月，backtype完成storm开发，正式问世 4. 2011年5月，backtype被twitt...