Hadoop集群搭建（二）：配置固定ip地址
主要两种配置方式：如果是服务器版本的虚拟机，则采用命令行模式配置：,1，更改网络的网卡名称：（更改配置文件）命令：[[email protected] ~]# vi /etc/udev/rules.d/70-persistent-net.rules将网卡名称同意改为eth0：更改完成后重启虚拟机 ...
Hadoop 学习之路（四）—— Hadoop单机伪集群环境搭建
一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：Linux下JDK的安装二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。2.1 配置映射配置ip地址和主机名映射：vim /etc/hosts# 文件末尾增加192.168.43.202 hadoop0012.2 生成...
Hadoop学习之路（四）Hadoop集群搭建和简单应用
概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点从节点2、masterslave3、管...
solr集群搭建-10-解决本地浏览器无法访问远程服务器的solr集群问题
声明：写此博客是为了记录并分析solr集群搭建的全过程，防止后期时间久了不用会遗忘。希望同时也能帮到有需要的朋友一、服务器上启动solr集群和zookeeper集群后，可以在服务器的浏览器中正常访问。但是本地浏览器无法访问到远程服务器二、先检查本地计算机能否ping通远程服务器IP，如果ping不同...
Mysql5.6-galera（centos7.2）集群搭建
Mysql5.6-galera（centos7.2）集群搭建一、基础环境准备（三台相同配置）1、安装环境介绍安装系统：Centos7.2软件版本：Galera Cluster5.6.46(MySql5.6.46)服务器地址（添加hosts解析）：172.18.18.4 mysql-1.dayan.c...
虚拟机搭建Hadoop集群（单机模式）
首先，请确保你已经安装了虚拟机，并安装配置了JAVA环境，需要这两方面教程的，请参考：1、虚拟机， http://blog.csdn.net/uq_jin/article/details/51355124 2、JAVA， http://blog.csdn.net/uq_jin/article/det...
ORACLE集群配置（注：根据网上资料自行搭建成功步奏总结）
一、 安装前准备1. 2台或多台linux服务器 2. 每台服务器一个公用ip一个私有ip 3. 公有ip：其他主机访问 2台主机最好同一ip段 4. 私有ip：2台或多台虚拟机互访 2台主机最好同一ip段 5. 注意：网卡名称相同。 6. O...
搭建伪分布式hadoop集群
开始之前强调最关键的一个点如果你多次的格式化，在格式化的之前 一定要把所有目录的data目录给删除了 不要光删除主节点或者压根不删除我已经将搭建好的虚拟机环境上传到网盘，大家可以直接使用https://pan.baidu.com/s/1bpMorz5 软件-虚拟机环境用户名 root 密码...
Ambari集群搭建
本文以 ambari-2.7.3.0 、 HDP-3.1.0.0 、 HDP-UTILS-1.1.0.22 、HDP-GPL-3.1.0.0为例搭建ambari集群。一、下载对应版本的镜像包wget http://public-repo-1.hortonworks.com/ambari/c...
关于windows下搭建zookeeper单机集群
第一次写博客。。。记一下widows搭建zookeeper集群的小坑首先可以从http://mirrors.shu.edu.cn/apache/zookeeper/下载可以先试验下单节点启动。解压之后找到bin目录打开zkServer.cmd。启动成功。单机三节点配置：复制三份相同的解压文件；分别创...
ActiveMQ的集群搭建
activemq在5.4版本之后可以支持集群模式一：使用ZooKeeper实现的Master-Slave实现方式，是对ActiveMQ进行高可用的一种有效的解决方案，高可用的原理：使用ZooKeeper（集群）注册所有的ActiveMQBroker。只有其中的一个Broker可以对外提供服务（也就是...
linux(centos7)搭建dubbo+zookeeper集群
一、在windows搭建单点测试 在平时的开发过程中，如果我们的项目用到dubbo+zookeeper，我习惯在本地搭建一个单点，用于debug调试，因为win平台搭建单点，比较简单，网上也很多相关的文章，再次我就不再赘述，直接甩给大家一个链接（https://blog.csdn.net/sj...
Spark分布式集群环境搭建
一、平台环境虚拟机：VMware Workstation Pro 64位操作系统：Ubuntu16.04 64位二、 软件包Jdk-8u171-linux-x64.tar(java version 1.8.0_171)Hadoop 2.9.1.tarScala-2.11.6Spark-2.3.1-b...
hadoop完全分布式集群搭建（HA）
一、集群规划因为伪分布式集群已经搭建好，所以打算将那个集群改造成ha集群集群规划：节点名称NNJJNDNZKFCZKRMNMhadoop1NameNodeJournalNodeDataNodeZKFCZookeeper NodeManagerhadoop2NameNodeJournalNodeDat...
HBase（03）——HBase集群及集群搭建
1、hbase集群结构2、Hbase集群基本组件说明Client：包含访问Hbase的接口，并维护cache来加快对Hbase的访问，比如region的位置信息。HMaster：是hbase集群的主节点，可以配置多个，用来实现HA为RegionServer分配region负责RegionServer...
Hadoop分布式集群搭建详细过程
1. 首先用五台机器搭建分布式，一个为master，剩下四个分别为slave01、slave02、slave03， slave04。2. 修改机器名 五台机器分别都执行sudo vim /etc/hostname命令，将文件中的内容分别改为master、slave01、slave02、slav...
搭建hadoop高可用集群时的错误 ERROR namenode.NameNode: Failed to start namenode.
在执行name node格式化（hdfs namenode -format）的时候，出现了以下无法启动NameNode的错误，研究了很久，请教了本班的大神后，终于知道原因是core-site的文件配置中 tmp 的目录路径写错了17/07/19 01:32:48 ERROR namenode.Nam...
内存小于16GG搭建Hadoop集群的一些个人观点
很多同鞋在学习大数据过程中，也会在自己电脑上搭建环境，但是内存不足确实是个让人头疼的问题，废话不多说，个人有如下一些想法，分享给大家：1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭...
Docker搭建Doris集群监控grafana+prometheus
说明：Doris 使用 Prometheus 和 Grafana 进项监控项的采集和展示。来看一下这俩东西都是什么：具体的架构形式是这样的一、Docker安装Prometheus说明：网上有跟多博客，可以教我们在Docker容器上安装Prometheus的，但是步骤比较复杂，我就不喜欢这么复杂的安装...
Hadoop集群搭建（七）：hadoop启动服务，开启各节点进程
七：hadoop启动服务，开启各节点进程创建tmp目录：（只需要在一台虚拟机上执行即可，我们三台虚拟机已经是一个集群，任意一台虚拟机执行即可）（切换hdfs账号创建临时文件夹）在集群中创建tmp文件夹，并赋权限为1777命令：[[email protected] ~]# sudo -u hdfs h...