Hadoop集群动态添加节点后节点数量未增加且节点名称不稳定的解决方案
问题现象当前有01、02、03三个节点的hadoop集群，其中01是master节点，02、03为slave节点。当动态添加04的slave节点后，hadoop的web界面中显示的节点数目未增加。进一步观察，节点列表中的slave节点内容，时而是02、04节点，时而是02、03节点，非常诡异。 分...
Ceph API微服务开发--存储集群API调用
目标：开发Ceph存储集群API调用微服务环境：IntelliJ IDEA步骤：librados库简介->存储集群API调用程序编写->API调用测试->Spring Boot微服务改造->运行测试参考：http://docs.ceph.org.cn/rados/api/1....
Docker下安装zookeeper（单机 & 集群）
启动Docker后，先看一下我们有哪些选择。有官方的当然选择官方啦~下载： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 [[email protected] admin]# docker pull zookeeper Using default tag: latest Try...
在Linux安装redis及组建集群常见报错的解决办法
一、redis安装时常见报错解决方法参照官网描述（https://redis.io/download），linux下redis安装步骤如下：$ wget http://download.redis.io/releases/redis-3.2.9.tar.gz$ tar xzf redis-3.2.9...
深入浅出 -- 系统架构之分布式集群的分类
一、单点故障问题 集群，相信诸位对这个概念并不陌生，集群已成为现时代中，保证服务高可用不可或缺的一种手段。 回想起初集中式部署的单体应用，因为只有一个节点，因此当该节点出现任意类型的故障（网络、硬件资源、物理环境……）时，都会造成整个系统对客户端不可用，而这就是所谓的“单点故障问题”。 单点...
redis 集群模式（redis cluster）介绍
目录 一 redis cluster 相关定义 1， redis cluster 是什么 2，redis 集群的组成 3，集群的作用 4，集群架构图 二 Redis集群的数据分片 1，哈希槽是什么 2，哈希槽如何排布 3，Redis集群的主从复制模型 4，哈希槽架构图 三 实...
K8s集群中的Windows节点，这样搭建快速搞定！
前言：K8s 1.14版增加了对windows节点的生产级支持，从1.9就有了对windows的实验性支持，灵雀云在多个客户环境有过实践，去除平台相关的内容后整理成文档，分享给大家。Docker在windows上可以选择Linux模式和Windows模式，两者不能兼容共存：选择linux模式时，p...
三分钟读懂TT猫分布式、微服务和集群之路
原文来源：https://blog.52itstyle.com/archives/1569/针对新手入门的普及，有过大型网站技术架构牛人路过，别耽误浪费了时间，阅读之前，请确保有一定的网络基础，熟练使用Linux，浏览大概需要3-5分钟的时间，结尾有彩蛋。分布式小马正在经营一个在线购物网站，名叫TT...
HaLoop：大集群上高效的迭代数据处理（上）
摘要：超大规模数据挖掘和数据分析需求的日益增长，引领着工业和学术界设计大数据计算平台新模式。MapReduce和Dryad是两种流行的平台，数据流在这两种平台上采用操作符的有向非循环图形式。迭代程序在数据挖掘、网页排名、图像分析、模型拟合等许多应用领域中自然而然地出现了，而这两种平台缺乏对迭代程序的...
Redis Cluster集群特点
1、所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。2、节点的fail是通过集群中超过半数的节点检测失效时才生效。3、客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。4、redis-clu...
动态的添加和删除hadoop集群中的节点
一：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆ssh-copy-id slave4C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）-----------------------------...
cdh集群节点系统文件损坏，重装系统恢复Hdfs数据
由于意外，集群中的一个节点系统坏了，重装系统后，把该节点添加集群中，恢复hdfs数据。思路：主要问题是把hdfs的数据恢复，由于hdfs的机制very good，只要把节点从集群中删掉，再添加进集群中，配置hdfs对应目录就好。背景：安装的cdh5.8，使用cm界面进行管理流程：1.从集群中删除节点...
docker搭建msyql集群坑----------percona/percona-xtradb-cluster 容器启动了之后自动关闭
不想多说了，说多了都是泪，，这TM也太坑了。。最近在看docker搭建mysql的集群的教程，才用的PXC集群方式使用docker命令安装percona/percona-xtradb-cluster 的镜像文件，然后根据这个刚下载的最近镜像文件创建容器启动，一启动之后就自动关闭了，很奇怪，我当时还以...
hadoop分布式集群之MySQL分布式集群搭建
分布式系统（distributed system）是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件（特别是操作系统），而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统。透明性是指每一个...
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires
ES 7.0版本集群配置报错，没发现master的异常。[hadoop-1] master not discovered or elected yet, an election requires a node with id [CCzmifRuSm6RxolhJ7XfDw], have discov...
rocketmq集群搭建双主双从多主多从
原理图解：讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 b...
Centos7 K8S 集群 - kubeadm搭建方式
机器准备 搭建环境是centos7, 四核心4G内存四台机器 一个master节点，一个etcd，两台node 机器名称IP 地址master192.168.1.128node1192.168.1.129node2192.168.1.130node3192.168.1.131机器时间同步 各节点时间...
mysql主从主主与集群
主从复制主从复制原理在Slave 服务器上执行start slave命令开启主从复制开关，开始进行主从复制。此时，Slave服务器的IO线程会通过在master上已经授权的复制用户权限请求连接master服务器，并请求从执行binlog日志文件的指定位置（日志文件名和位置就是在配置主从复制服务时执行...
Centos7 k8s 集群 - Mysql主从架构
项目地址 MysqlClusterconfigMap mysql-configmap.yaml apiVersion: v1kind: ConfigMapmetadata: name: mysql labels: app: mysqldata: primary.cnf: | # 主...
solr集群+zookeeper集群搭建及常用命令
zookeeper集群直接复制3个到3台不同主机下，修改下配置并启动即可每台主机/bin下执行./zkServer.status查看状态，显示master的为主机，表示集群搭建成功了比较简单不详细介绍了solr集群先启动zookeeper集群，保证是正常的先下载solr6.1.0版本，在三台机子上安...