kafka和nsq相关整理
kafka一个topic多个partition，一个partition一主多从，leader承担所有的读写，然后同步到follower。老版本producer/consumer需要直接和zk交互，新版本直接和broker交互，因为zk写性能不好。producer内部维护内存队列，异步一定间隔或数量发...
Kafka常用命令（1）：kafka-topics
Kafka常用命令之：kafka-topics概述1. 创建Topic： --create2. 查看Topic详细信息： --describe3. 查看Topic列表： --list4.修改Topic： --alter5.删除Topic： --delete概述kafka的命令主要安装在kafka的安...
springboot kafka group.id多消费组配置
很早之前就使用了springboot + kafka组合配置，但是之前使用的spring-kafka（1.1.7）版本较低，所以只能通过 spring.kafka.consumer.group-id=default_consumer_group 或者 propsMap.put(ConsumerCon...
Docker安装kafka
如果系统中没有安装好docker的朋友，可以查看本人这篇文章进行安装：Linux系统下安装docker Kafka是依赖于Zookeeper，因此需要先部署好zookeeper，才能部署好kafka。 步骤都很简单，都是一些机械化操作，无脑输入即可： ...
Kafka消息队列介绍、环境搭建及应用：C#实现消费者-生产者订阅
一：kafka介绍kafka（官网地址：http://kafka.apache.org）是一种高吞吐量的分布式发布订阅的消息队列系统，具有高性能和高吞吐率。1.1 术语介绍BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic主题：每条发布到Kafka集群的消息都有一...
kafka如何保证数据的顺序消费
一米多的李同学 最后发布于2019-05-22 20:49:58 阅读数 5619 收藏 14展开在对kafka的理解中，常常会被问及到kafka如何保证数据的顺序消费、kafka的数据重复消费怎么处理、如何保证kafka中数据不丢失？今天先说说数据的顺序消费问题。关于顺序消费的几点说明：①、k...
使用Flume将Kafka中的数据导入Hive
0x01 需求背景将Kafka中的JSON数据持久化存储到Hive表中，以供后期有查找的需求。（看了很多讲解的博文，出了各种bug！饶了很多弯路！总结出来的经验就是一定要仔细看Flume的官方文档！！！！！！）Kafka中的数据示例：>{"id":1,"name":"snowty","age"...
Kafka在字节跳动的实践和灾备方案
本文ppt由字节跳动的龚云飞于2019年05月12日在北京举行的Apache Flink x Apache Kafka会议上的分享。我们来看看字节跳动是如何使用Kafka的。长按二维码 ▲订阅「架构师小秘圈」公众号如有启发，帮我点个在看，谢谢↓...
【保姆级教程】使用SeaTunnel同步Kafka的数据到ClickHouse
1.Apache SeaTunnel依赖地址 2.SeaTunnel官网的Source/Sink模板 3.SeaTunnel的GitHub地址 在官网下载安装包之后，（注意：别下载apache-seatunnel-incubating-2.1.0-bin.tar.gz版本，依赖和功能都没...
ClickHouse10-ClickHouse中Kafka表引擎
Kafka表引擎也是一种常见的表引擎，在很多大数据量的场景下，会从源通过Kafka将数据输送到ClickHouse，Kafka作为输送的方式，ClickHouse作为存储引擎与查询引擎，大数据量的数据可以得到快速的、高压缩的存储。 Kafka大家肯定不陌生： 它可以用于发布和订阅数据流，是常见的队列...
如何解决kafka rebalance导致的暂时性不能消费数据问题-思考
这个问题还真让我陷入了思考，其它家公司是如何解决这个问题的，找了下竟然没找到答案， 俗话话，念念不忘，必有回响，让我想起了pulsar这个，竟然解决了这个问题
Linux部署Kafka2.8.1
安装Jdk 首先确保你的机器上安装了Jdk，Kafka需要Java运行环境，低版本的Kafka还需要Zookeeper，我此次要安装的Kafka版本为2.8.1，已经内置了一个Zookeeper环境，所以我们可以不部署Zookeeper直接使用。 1、解压Jdk包 tar -zxf jdk-8u3...
Kafka的两种连接方式
Kakfa的版本0.8.0 Receiver模式 （接收者模式） Driect模式 (直连模式)0.10.0 Driect模式(直连模式)spark 2.3之后（包括2.3） 已经把 0.8.0 版本低 Kadka淘汰了連接模式第一種、 Receiver模式 （接收者模式） spark 1.2的时候...
Windows环境下Kafka操作中启动的报错问题和解决方法
一，启动Kafka报错：报错的一些情况如下图所示： ERROR Error while loading log dir D:\Download\kafka_2.11-1.0\kafka_2.11-1.0\kafka_2.11-1.0.0\Downloadkafka_2.11-1.0kafka_2.1...
Kafka学习之：mac 上安装 kafka
文章目录 Brew 安装1. xcode-select --install2. brew install kafkaDocker 安装1. 构建 docker-compose.ymldocker 文件解析zookeeperkafka2. 通过 docker 构建容器并对外提供服务MAC 本机...
kafka Address already in use
出现的现象CDH 可以正常启动kafka，节点状态显示都正常CDH 管理端界面出现以下提示kafka 重启，重装也都正常kafka 日志在启动时报错，kafka Address already in use，但kafka 在重启时，已经正常停止，9092端口也不在创建topic 提示可用broker...
20221124 kafka实时数据写入Redis
package com.dzj.kafka_streaming.listener; import com.dzj.kafka_streaming.dto.TagNameTypeInfo; import com.dzj.kafka_streaming.service.ContentTagRelatio...
国内大神开源 Kafka 监控系统Eagle 使用教程
转自：https://www.cnblogs.com/smartloli/p/9371904.html1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题，这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇...
CDH5.11添加kafka服务及其初始启动OutOfMemoryError失败解决
简介：CDH的parcel包中是没有kafka的，kafka被剥离了出来，需要从新下载parcel包安装。或者在线安装，但是在线安装都很慢，这里使用下载parcel包离线安装的方式。PS:kafka有很多版本，CDH也有很多版本，那也许你会疑问如何知道你的CDH应该安装什么kafka版本。这个官方有...
Kafka笔记8（管理Kafka）
使用kafka-topic.sh工具可以执行大部分操作 创建/修改/删除/查看集群里的主题。要使用全部功能，需要通过--zookeeper参数提供zookeerper连接字符串创建主题：创建主题需要3个参数： 主题名字 复制系数 分区数量格式： kafka-topic.sh --zooke...