• 一脸懵逼学习Storm---(一个开源的分布式实时计算系统)

    时间:2022-04-05 09:44:10

    Storm的官方网址:http://storm.apache.org/index.html1:什么是Storm?Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景:如实时分析,在线机器学习,持续计算,分布式RPC,ETL...

  • 实时计算知多少?

    时间:2022-03-25 21:15:20

    这篇文章对滑动窗口计数的概念和关键代码做了较为详细解释,让我们对实时计算这一概念有了更深的了解,需要的朋友可以参考下

  • Storm 实战:构建大数据实时计算

    时间:2022-03-22 10:56:49

    Storm实战:构建大数据实时计算(阿里巴巴集团技术丛书,大数据丛书。大型互联网公司大数据实时处理干货分享!来自淘宝一线技术团队的丰富实践,快速掌握Storm技术精髓!)阿里巴巴集团数据平台事业部商家数据业务部编著ISBN978-7-121-22649-62014年8月出版定价:59.00元184页...

  • [开源]CSharpFlink(NET 5.0开发)分布式实时计算框架,PC机10万数据点秒级计算测试说明

    时间:2022-02-16 09:39:40

    github地址:https://github.com/wxzz/CSharpFlinkgitee地址:https://gitee.com/wxzz/CSharpFlink 1        计算机硬件配置CPU:4核I5-74002.7GHz,内存:16G,随机数据点时间窗口和计算算子,主节点CP...

  • Flink实时计算topN热榜

    时间:2021-12-26 19:12:47

    TopN的常见应用场景,最热商品购买量,最高人气作者的阅读量等等。1.用到的知识点Flink创建kafka数据源;基于EventTime处理,如何指定Watermark;Flink中的Window,滚动(tumbling)窗口与滑动(sliding)窗口;State状态的使用;ProcessFunc...

  • Spark Streaming实时计算框架介绍

    时间:2021-10-21 17:00:30

    随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析等。SparkStreaming是建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和...

  • Flink实时计算pv、uv的几种方法

    时间:2021-08-14 18:41:55

    本文首发于:Java大数据与数据仓库,Flink实时计算pv、uv的几种方法实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用Flink实时计算pv,uv。我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求.每秒钟要输...