我的 Kafka 旅程 - Producer
原理阐述Producer生产者是数据的入口，它先将数据序列化后于内存的不同队列中，它用push模式再将内存中的数据发送到服务端的broker，以追加的方式到各自分区中存储。生产者端有两大线程，以先后的顺序，分别负责各自的任务处理，可并行或同步的方式，完成生产者端的所有处理过程。生产者端的两大线程生产...
Zookeeper和Kafka on k8s 部署
这里写目录标题 一、概述二、Zookeeper on k8s 部署三、Kafka on k8s 部署 一、概述 Apache ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务，ZooKeeper 致力于开发和维护一个开源服务器，以实现高度可靠的分布式协调，其...
Kafka Eagle 3.0.1功能预览
最近有同学留言，关于Kafka Eagle的一些使用问题。今天笔者就为大家来详细介绍Kafka Eagle 3.0.1的功能以及使用方法。2.内容在3.0.1版本中，EFAK优化了分布式模式的服务性能，减少了磁盘IO和网络IO的操作次数，提升了内存和CPU的使用率。下面，我们就来看看3.0.1的相关...
Laravel中Kafka的使用详解
这篇文章主要介绍了Laravel中Kafka的使用详解，kafka是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力，有对于消息队列感兴趣的同学可以参考下
在python环境下运用kafka对数据进行实时传输的方法
今天小编就为大家分享一篇在python环境下运用kafka对数据进行实时传输的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Java实现Kafka生产者和消费者的示例
这篇文章主要介绍了Java实现Kafka生产者和消费者的示例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
用过消息队列？Kafka?能否手写一个消息队列？懵
是否有同样的经历？面试官问你做过啥项目，我一顿胡侃，项目利用到了消息队列，kafka,rocketMQ等等。好的，那请开始你的表演，面试官递过一支笔：给我手写一个消息队列！！WHAT?为了大家遇到这种场景还能愉快的zhuangbi，所以写一篇文章，凑合用一下。想要实现一个消息队列，我们需要关组以下几...
kafka-connect-hdfs重启，进去RECOVERY状态，从hadoop hdfs拿租约，很正常，但是也太久了吧
虽说这个算是正常现象，等的时间也太久了吧。分钟级了。这个RECOVERY里面的WAL有点多余。有这么久的时间，早从新读取kafka写入hdfs了。纯属个人见解。 @SuppressWarnings("fallthrough") public boolean recover() { ...
kafka的auto.offset.reset详解与测试
1. 取值及定义auto.offset.reset有以下三个可选值：latest (默认)earliestnone三者均有共同定义：对于同一个消费者组，若已有提交的offset，则从提交的offset开始接着消费意思就是，只要这个消费者组消费过了，不管auto.offset.reset指定成什么值，...
Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用
[comment]: # Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集...
利用Kafka的Assign模式实现超大群组（10万+）消息推送
引言IM即时通信场景下，最重要的一个能力就是推送：在线的直接通过长连接网关服务转发，离线的通过APNS或者极光等系统进行推送。 本文主要是针对在线用户推送场景来进行总结和探讨：如何利用Kafka的Assign模式，解决百万级长链接海量消息的路由广播问题？如何解决超大聊天室成员（超过10万）的消息推送...
我的 Kafka 旅程 - Linux下的安装 & 基础命令
准备工作安装解压缩工具 tar# 检查是否安装了解压缩工具 taryum list tar# 如未安装 taryum install tar -y安装必备的 java# 检查是否安装了 java-openjdk，这里选择 java-1.8.0.openjdk 版yum list java-1.8.0...
Java API方式调用Kafka各种协议的方法
本篇文章主要介绍了Java API方式调用Kafka各种协议的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Springboot整合Kafka Stream实时统计数据
Kafka Streams是一个客户端类库，用于处理和分析存储在Kafka中的数据。它建立在流式处理的一些重要的概念之上：如何区分事件时间和处理时间、Windowing的支持、简单高效的管理和实时查询应用程序状态。
spring boot与kafka集成的简单实例
本篇文章主要介绍了spring boot与kafka集成的简单实例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
kafka生产者和消费者的javaAPI的示例代码
这篇文章主要介绍了kafka生产者和消费者的javaAPI的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
微服务日志监控与查询logstash + kafka + elasticsearch
使用 logstash + kafka + elasticsearch 实现日志监控https://blog.csdn.net/github_39939645/article/details/78881047在本文中，将介绍使用 logstash + kafka + elasticsearch 实现...
Ubuntu 16下单机安装配置zookeeper和kafka
网上其他的没有一个能直接照做完成的,我这个也是看了些帖子,整出来的怕以后忘记建议连接工具:Bitvise SSH Client一、安装配置zookeeper下载zookeeper 3.4.13:cd /usr/localwget https://archive.apache.org/dist/zoo...
Kafka为什么性能这么快？4大核心原因详解
Kafka的性能快这是大厂Java面试经常问的一个话题，下面我就重点讲解Kafka为什么性能这么快的4大核心原因@mikechen1、页缓存技术Kafka 是基于操作系统 的页缓存(page cache)来实现文件写入的，我们也可以称之为 os cache，意思就是操作系统自己管理的缓存。Kafka...
Kafka开启SASL认证 【windowe详细版】
一、JAAS配置Zookeeper配置JAASzookeeper环境下新增一个配置文件，如zk_server_jass.conf，内容如下：Server {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername...