kafka知识体系-kafka设计和原理分析-消息传递语义
消息传递语义消息传递保障本节讨论Kafka如何确保消息在producer和consumer之间传输。有以下三种可能的传输保障（delivery guarantee）:At most once: 消息可能会丢，但绝不会重复传输At least once：消息绝不会丢，但可能会重复传输Exactly o...
【Flink connector】文件系统 SQL 连接器：实时写文件系统以及（kafka到hive）实战举例
文章目录 一. 滚动策略：sink后文件切分(暂不关注)1. 切分分区目录下的文件2. 小文件合并二. 分区提交1. 分区提交触发器 （什么时候创建分区）1.1. 逻辑说明1.2. 举例说明2. 分区时间提取器 (由分区字段来写分区名)2.1. 逻辑说明2.2. 举例说明3. 分区提交策略 ...
Apache Kafka中Follower如何与Leader同步数据
重要名词解释： log end offset (logEndOffset)，表示log中最后的message的offst位置.high watermark (HW)，表示Partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个B...
windows安装配置Kafka后.\bin\windows\kafka-server-start.bat .\config\server.properties 出错
windows安装配置Kafka后.\bin\windows\kafka-server-start.bat .\config\server.properties 出错，类似于下图所示：为什么会出错？我试了在不同的路径下的结果，发现在带有空格的文件夹路径下的运行结果是和上面的错误提示是一样的，没有带空...
HyperLedger Fabric 1.4 kafka生产环境部署（11.1）
网易云课堂视频在线教学，地址：https://study.163.com/course/introduction/1209401942.htm11.1 Kafka模式简介上一章介绍的Solo模式只存在一个排序（orderer）服务,是一种中心化结构，一旦排序（orderer）服务出现了问题，整个区块...
Kafka自带客户端简单使用发布订阅模式
（1）安装Kafka：brew install kafka(2) cd /usr/local/Cellar/kafka/2.6.0/bin 进到启动目录，执行kafka-server-start 挑出一堆东西没报错就是启动成功。（3）启动一个客户端创建一个topic主题，可以把它看成RabbitMQ...
kafka_2.11-0.8.2.1+java 生产消费程序demo示例
Kafka学习8_kafka java 生产消费程序demo示例kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目，然后在pom中引用kafka jar包，引用...
Kafka Java consumer动态修改topic订阅
前段时间在Kafka QQ群中有人问及此事——关于Java consumer如何动态修改topic订阅的问题。仔细一想才发现这的确是个好问题，因为如果简单地在另一个线程中直接持有consumer实例然后调用subscribe进行修改，consumer端必然会抛出异常ConcurrentModific...
关于Kafka java consumer管理TCP连接的讨论
本篇是《关于Kafka producer管理TCP连接的讨论》的续篇，主要讨论Kafka java consumer是如何管理TCP连接。实际上，这两篇大部分的内容是相同的，即consumer也是把TCP连接的管理交由底层的Selector类(org.apache.kafka.common.netw...
Kafka知识点总结
Kafka主要组件说明1、kafka当中的producer说明 producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息通过topic进行归类，保存到kafka的broker里面去。2、kafka当中的topic说明kafka将消息以topic为单位进行归类topi...
Kafka之Producer网络传输-5.KafkaChannel
上文可知，Selector管理了所有的Channel，而KafkaChannel则是与某个broker连接的具体通道。Selector的各类网络请求也均交给KafkaChannel来执行。需要说明的是，KafkaChannel其实是通道注册的时候attach在SelectionKey上的，也就是Ka...
Kafka安装kafka-manager
1 .下载kafka-manager想要查看和管理Kafka，完全使用命令并不方便，我们可以使用雅虎开源的Kafka-manager，GitHub地址如下：https://github.com/yahoo/kafka-manager我们可以使用Git或者直接从Releases中下载，此处从下面的地址...
ActiveMQ、RabbitMQ、kafka三者的区别
RabbitMQ： RabbitMQ 是使用 Erlang 编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP， 也正因如此，它非常重量级，更适合于企业级的开发。同时实现了 Broker 构架，这意味着消息在发送给客户端时先在 中心队列排队。对路由，负载均衡或...
redis和kafka的写性能对比
kafka插入代码如下所示:<?php$conf = new RdKafka\Conf();$rk = new RdKafka\Producer($conf);$rk->setLogLevel(LOG_DEBUG);$rk->addBrokers("127.0.0.1");$cf ...
消息队列比较-rabbitmq/kafka/rocketmq/ONS
主要是比较这几种队列中间件：rabbitmqkafkarocketmqONS分以下几个维度来比较高并发毫无疑问KAFKA发消息的速度是最快的ROCKETMQ/ONS次之rabbitmq最慢高可用这几种都能做MASTER/SLAVE，跨机房的高可用KAFKA复制有很多坑，所以这个分数要降低所需要的节点...
使用confluent安装kafka
confluent简介confluent是平台化的工具，封装了kafka，让我们可以更方便的安装和使用监控kafka，作用类似于CDH对于Hadoop。confluent是由LinkedIn开发出Apache Kafka的团队成员，基于这项技术创立了新公司Confluent，Confluent的产品...
linux安装zookeeper、kafka
需要安装 jdk8 的环境关闭防火墙： systemctl stop firewalld.service==================================安装 zookeeper 解压 zookeeper-3.4.14.tar.gz将 zookeeper-3.4.14 重命名为 ...
spark连接kafka的两种方式
Reciver方式spark streaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后spark streaming会启动job去处理这些数据。因为这些数据是存在内存中的，所以这种方式会容易丢失数据，如果...
kafka默认分区数设置
每次创建topic都要修改分区数很麻烦，其实集群配置固定的情况下，完全可以根据集群CPU核数，设置最优的分区数。例如我的集群部署在虚拟机里，我的笔记本12核cpu,就可以在***kafka/config/sever.properties***配置文件中，设置默认分区12，以后每次创建topic都是1...
windows简单搭建 filebeat + kafka + logstash + Elasticsearch + Kibana日志收集系统
windows简单搭建 filebeat + kafka + logstash + Elasticsearch + Kibana日志收集系统介绍1、ELK介绍2、为什么要采用filebeat3、使用kafka功能快捷键elasticsearchkibanalogstashfilebeat介绍在日常运...