yarn集群的搭建
大数据中除了hadoop集群外，还有个yarn集群，这个集群用来处理各种计算任务需要分配的cup和内存。1）首先配置yarn-site.xml文件<configuration><!-- Site specific YARN configuration properties --&g...
Windows Server R2搭建MongoDB集群以及数据的迁移
搭建MongoDB集群1.拷贝部署文件首先将MongoDB部署包拷贝到服务器D:\MongoDB目录下（先创建MongoDB文件夹）注：有需要部署文件的小伙伴可以在评论区留言2.修改mongoShare1.cfg文件将MongoDB4.0目录下的mongoShare1.cfg的文件用notepad打...
Hadoop集群环境搭建——文件上传
实验内容Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapReduce...
kubernetes实战（1）之虚拟机centos搭建k8s集群
一，环境准备 centos7系统，每个系统2c2g，40g，centos7下载地址：centos-7.9.2009-isos-x86_64安装包下载_开源镜像站-阿里云 # 每个节点分别设置对应主机名hostnamectl set-hostname masterhostnamectl set-hos...
CentOS6和CentOS7环境下RabbitMQ安装配置和非ROOT权限启动及集群搭建最完整教程
前言最近负责的一个项目需要使用 WebSocket 做前后端通信，我使用了Spring提供支持的STOMP协议，它可以解决 WebSocket 消息的语义化和集群状态下各集群节点之间消息共享的问题，例如用户连接了机器 A，但是机器 B需要知道该用户的在线状态和向这个用户推送消息。这是WebSocke...
ES集群单机（单节点/多节点）搭建
一、单机单节点搭建需要在安装目录/config/elasticsearch.yml中加入配置使用系统默认配置，在ES安装目录执行elasticsearch脚本 看到控制台输出started表示启动成功二、单机多节点（伪集群）搭建在单台服务器上以不同的端口，启动ES服务，搭建ES伪集群拷贝安装包三分，...
Redis Cluster集群搭建基于5.0.0
6.3 集群Redis Cluster 作者建议的最大集群规模 1,000 节点，目前查找的资料当中大部分都使用第三方工具，优酷使用Redis Cluster：蓝鲸项目中管理了超过 700 台节点6.3.1 安装最小集群3节点master，3节点slave：端口7000~7005cp redis.c...
使用Docker在本地搭建Flink分布式集群
Flink典型的任务处理过程如下所示：Flink安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载 Standalone 模式快速入门教程地址：https://ci.apache.org/projects/fli...
Flink HA高可用集群搭建（Standalone Cluster）
Flink HA高可用集群搭建（Standalone Cluster） 1.根据集群中hadoop的版本和scala的版本对应下载Flink，该文章下载的是Flink1.7.2版本。下载地址 https://flink.apache.org/downloads.html 2.安装解压Flink到/...
Zookeeper集群搭建
目录 一、引言 二、简洁 三、集群安装 1、下载&解压 2、配置hosts域名文件 3、修改zookeeper配置 4.启动集群 5.检测集群 6.停止集群 一、引言 适用人群：软件开发人员、架构师等。 文章目的：通过实践，...
Docker前后端分离实战之搭建Redis集群和前后端分离
·Redis是Wmware开发的开源免费的KV型NoSQL缓存产品 ·Redis具有很好的性能，最多可以提供10万次/秒的读写·目前新浪微博团队组建了世界上最大规模的Redis集群·高速缓存利用内存保存数据，读写速度远超硬盘·高速缓存可以减少I/O操作，降低I/O压力1. Redis目前的集群方案分...
Docker环境下搭建Rabbitmq+Haproxy+Keepalived高可用负载均衡集群
集群架构图 一）使用docker pull rabbitmq拉取最新rabbimq镜像 创建docker网络 rabbtimanet 用于haproxy和rabbimq通信1docker networ...
HBase（二）CentOS7.5搭建HBase1.2.6HA集群
https://www.cnblogs.com/frankdeng/p/9310191.html一、安装前提1、HBase 依赖于 HDFS 做底层的数据存储2、HBase 依赖于 MapReduce 做数据计算3、HBase 依赖于 ZooKeeper 做服务协调4、HBase源码是java编写的...
记录一个weblogic集群搭建时出现的问题--《BEA-290074》《BEA-290065》
根据领导要求，搭建weblogic双机集群：搭建要求：A服务器：Adminserver、Server1、Server2节点B服务器：Server3、Server4节点weblogic安装完成后，A服务器节点启动正常，但B服务器节点时启动报错，报错信息如下：<Sep 11, 2017 11:07...
Flink 集群搭建(基于flink on YARN模式)
YARN调度与资源管理知识点：yarn生产详解（资源管理+调度器）https://blog.csdn.net/shell33168/article/details/87928001 参考该博客基于Flink on YARN的flink集群规划(flink1.9.0与Hadoop2.8.5整合)...
使用 Docker 一步搞定 ZooKeeper 集群的搭建
背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是...
超算私房菜之集群搭建 - 艾斯1213
超算私房菜之集群搭建 ---恢复内容开始---集群搭建集群搭建，说是搭建，一般也就是配一些服务（超算主要用到SSH，NFS，NIS，并行环境）能使得多台机器协同运行。一般情况下，安装好系统后，将机器都接入交...
docker-swarm集群搭建
目录 一、docker swarm介绍 二、部署docker 三、搭建集群 3.1 工作模式 3.2 将当前主机作为leader 3.3 将第二个节点slave1加入到worker 3.4 将第三个节点slave2也加入到worker 3.5 将第四个节点(slave3)加入到mana...
Redis集群搭建
Redis集群 要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。 我们创建三个文件夹，名字分别叫s1、s2、s3： # 进入/tmp目录cd /tmp# 创建目录mkdir s1 s2 s3 然后我们在s1目录创建一个sentinel.conf文件，...
初试集群虚拟化搭建（二）—— Xen, kvm, OpenStack, VMware ESXi, Citrix XenServer等种种选择
小伙伴们找到了一些主流方案的资料，最终选择了XenServer6.5作为平台搭建。Xen特点：功能强大，支持Linux的各种发行版本通常是在现有Linux操作系统上安装，是一种半虚拟化的安装方式架构：资料:1）在 CentOS 6.5 上安装和配置 Xen2）Xen Made Easy&...