CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

时间:2022-01-17 12:55:51

相关文章链接

CentOS6安装各种大数据软件 第一章:各个软件版本介绍

CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令

CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

CentOS6安装各种大数据软件 第四章:Hadoop分布式集群配置

CentOS6安装各种大数据软件 第五章:Kafka集群的配置

CentOS6安装各种大数据软件 第六章:HBase分布式集群的配置

CentOS6安装各种大数据软件 第七章:Flume安装与配置

CentOS6安装各种大数据软件 第八章:Hive安装和配置

CentOS6安装各种大数据软件 第九章:Hue大数据可视化工具安装和配置

CentOS6安装各种大数据软件 第十章:Spark集群安装和部署

1. 配置Linux的网络环境

1.1. 安装Linux系统时指定具体IP地址

步骤一:在如下位置点击按钮进入网络设置界面

CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

步骤二:双击网卡打开网卡的具体信息:

CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

步骤三:具体设置网络信息:

CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

步骤四:设置好时区和root用户密码,并将更改写入到磁盘中,点击next;

步骤五:选择Basic Server基础服务安装,点击next进行安装;

1.2. 在Linux内部配置IP地址并重启网络服务

修改IP地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0
重启网络服务:systemctl retart network.service 或 service network restart
停止网络服务:systemctl stop network.service
开启网络服务:systemctl start network.service

2. 创建bigData的软件存放目录和安装必备软件

上传下载软件(lrzss)和编辑软件(vim)的安装:
yum install -y lrzsz vim

创建bigData的软件存放目录:
mkdir -p /export/servers
mkdir -p /export/softwares
mkdir -p /export/datas
mkdir -p /export/logs
mkdir -p /export/jars
mkdir -p /export/scripts

3. JDK的安装

#1、卸载原有jdk
rpm -qa|grep java
rpm -e --nodeps tzdata-java-2015e-1.el6.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64 #2、使用rz上传jdk“参考资料\dev-soft\ jdk-8u65-linux-x64.tar.gz” #3、解压jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz
rm -rf jdk-8u65-linux-x64.tar.gz
#4、配置java_home
vim /etc/profile #5、打开以后;使用shift+g,输入o
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #6、重新加载环境变量的配置文件
source /etc/profile

4. 将国外的yum源切换为国内163的yum源

步骤一:上传国内yum源文件CentOS6-Base-163.repo到Linux上
步骤二:进入/etc/yum.repos.d/目录,将其中的所有文件删除
步骤三:复制CentOS6-Base-163.repo文件到/etc/yum.repos.d/目录下
步骤四:修改/etc/yum.repos.d/目录下的CentOS6-Base-163.repo文件,将所有gpgcheck=1修改为gpgcheck=0
步骤五:配置yum
    #首先清空所有
    yum clean all
    #其次进行缓存
    yum makecache
    #最后安装telnet
    yum install telnet

5. 自定义安装Scala

步骤一:上传Scala的压缩包到Linux上
步骤二:对Scala的压缩包进行解压
    tar -zxf scala-2.11.8.tgz -C /opt/modules/
步骤三:配置环境变量
    vim /etc/profile
    JAVA_HOME=/opt/modules/jdk1.8.0_144
    SCALA_HOME=/opt/modules/scala-2.11.8
    PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH
    export JAVA_HOME SCALA_HOME PATH
步骤四:刷新资源,使环境变量生效
    source /etc/profile
步骤五:验证是否安装成功
    scala -version

6. 在VMware上对Linux进行克隆

步骤一:在VMware中选择要克隆的机器,右击选择克隆,并选择地址
步骤二:在新的虚拟机中进入设置,并在网络设置中重新生成新的MAC地址
步骤三:启动node-2;并修改其主机名和ip等信息:
    #因为搭建的是basic Server;所以自带了vim;可以在以后的内容中使用了vi的时候都可以使用vim代替。
    #修改主机名;修改原 hostname 为 newname
    vim /etc/sysconfig/network
    #删除文件让其自动生成
    rm -rf /etc/udev/rules.d/70-persistent-net.rules
    #修改mac和ip
    vim /etc/sysconfig/network-scripts/ifcfg-eth0
    #删除上述文件中的HWADDR;(在命令模式的使用使用,dd)
    #修改上述文件中的ip;改为:192.168.12.122
    #保存文件:在命令模式下:wq或者快捷键shift+z+z
    #重启系统
    reboot

7. Linux配置免密登录

#生成一对公钥,私钥
ssh-keygen -t rsa #复制到其他需要配置免密登录的机器
ssh-copy-id 192.168.12.121 #测试如下命令是否可连接到对应的机器
ssh root@192.168.12.121 #注:需先在/etc/hosts文件下配置对应的host

8. Linux安装MySQL(Linux为CentOS6版本)

8.1. MySQL在线安装

yum install mysql-server

8.2. 启动MySQL服务

service mysqld start

8.3. 查看MySQL服务状态

service mysqld status

8.4. 设置MySQL服务自启动

#开启MySQL自启动
chkconfig mysqld on
#查看开机自启,看到2,3,4,5是on即可
chkconfig --list mysqld

8.5. 设置MySQL密码

/usr/bin/mysqladmin -uroot password 'root'

8.6. 连接MySQL

#回车输入密码即可
mysql -uroot -p

8.7. 开启mysql的远程登陆权限

#在MySQL数据库内部输入如下命令
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

9. Linux安装zookeeper

9.1. 安装zookeeper软件

#在node-1,2,3都执行如下命令;可以使用secrueCRT同时执行
mkdir -p /export/data/zkdata #检测集群时间是否同步
date -s "2018-07-30 14:03:03" #检测防火墙是否关闭
service iptables stop
chkconfig iptables off ##下载安装包、解压
cd /export/server
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper ##修改Zookeeper配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#修改内容:
dataDir=/export/data/zkdata
#添加如下内容
server.1=node-1:2888:3888
server.2=node-2:2888:3888
server.3=node-3:2888:3888 在data文件夹下新建myid文件,myid的文件内容为:
cd /export/data/zkdata
echo 1 > myid ##分发安装包到其他机器
scp -r /export/server/zookeeper root@node-2:/export/server
scp -r /export/server/zookeeper root@node-3:/export/server ##修改其他机器(node-2,node-3)的配置文件
修改myid文件
到node-2上:
cd /export/data/zkdata
echo 2 > myid 到node-3上:
cd /export/data/zkdata
echo 3 > myid ##启动(每台机器)
/export/server/zookeeper/bin/zkServer.sh start ##查看集群状态
jps(查看进程)
#查看集群状态,主从信息
/export/servers/zookeeper/bin/zkServer.sh status #将启动,停止等命令加入环境变量
export ZK_HOME=/export/servers/zookeeper
export PATH=${ZK_HOME}/bin:$PATH

9.2. 配置Zookeeper的一键启动,并配置到环境变量中

#步骤一:在/export/servers/onekey文件夹下配置slave文件
192.168.12.121
192.168.12.122
192.168.12.123 #步骤二:配置一键启动
vim startzk.sh
#输入如下内容
cat /export/servers/onekey/zk/slave | while read line
do
{
echo "开始启动 --> "$line
ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done
echo "★★★启动完成★★★"
#保存退出 #步骤三:配置一键停止
vim stopzk.sh
#输入如下内容
cat /export/servers/onekey/zk/slave | while read line
do
{
echo "开始停止 --> "$line
ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh stop >/dev/null 2>&1 &"
}&
wait
done
echo "★★★停止完成★★★"
#保存退出 #步骤四:将一键启动和停止命令加入环境变量
export ONEKEY=/export
export PATH=${ONEKEY}/onekey:$PATH

CentOS6安装各种大数据软件 第三章:Linux基础软件的安装的更多相关文章

  1. 大数据攻城狮之Linux基础------rpm软件管理

    rpm的英文名称为: Redhat package manager 常用的命令加组合: i 安装 rpm -ivh 软件包名 当然我们的rpm也可以支持多包同时操作 rpm -ivh 软件包1 软件包 ...

  2. CentOS6安装各种大数据软件 第四章:Hadoop分布式集群配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  3. CentOS6安装各种大数据软件 第十章:Spark集群安装和部署

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  4. CentOS6安装各种大数据软件 第九章:Hue大数据可视化工具安装和配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  5. CentOS6安装各种大数据软件 第八章:Hive安装和配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  6. CentOS6安装各种大数据软件 第七章:Flume安装与配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  7. CentOS6安装各种大数据软件 第六章:HBase分布式集群的配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  8. CentOS6安装各种大数据软件 第五章:Kafka集群的配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  9. CentOS6安装各种大数据软件 第一章:各个软件版本介绍

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

随机推荐

  1. C#利用System.Net发送邮件(带 抄送、密送、附件、html格式的邮件)

    net2.0后,C#可以利用System.Net发送邮件了. 代码整理如下: 3. 增加IProcessMessage类,定义了一个消息方法,用于消息传递 /********************* ...

  2. Unity Standard Assets 简介之 Characters

    这篇介绍Characters资源包.包含三个文件夹:FirstPersonCharacter.RollerBall.ThirdPersonCharacter. FirstPersonCharacter ...

  3. [Eigen] Issues when using Eigen

    1. Efficient Expression Refer to this post http://eigen.tuxfamily.org/dox/TopicWritingEfficientProdu ...

  4. Mysql --分区表的管理与维护

    改变一个表的分区方案只需使用alter table 加 partition_options 子句就可以了.和创建分区表时的create table语句很像 创建表 CREATE TABLE trb3 ...

  5. 【现代程序设计】homework-09

    1. 了解Lambda的用法 计算“Hello World!”中 a.字母‘e’的个数 b. 字母‘l’的个数 首先: ISO C++ 标准的另一大亮点是引入Lambda表达式.语法如下: [](形参 ...

  6. android 无线模式下使用ADB调试

    改动系统system权限 1. cp sud /system/xbin/sud chmod 755 /system/xbin/sud // note: su chmod 成755 2. cp su / ...

  7. 一个强大的LogParser的UI工具--logparserlizard简介(开源IIS日志分析工具)

    原文地址:http://blog.csdn.net/downmoon/article/details/4509513 日志分析,特别是IIS日志,一般人都会想到LogParser工具,的确很强.但是命 ...

  8. performance

    简介 延缓执行 JavaScript 是一个能有效提高网页加载速度以及提升用户阅读体验质量的途径.从实际经验来看,将我们的网站从经济实惠的 VPS 迁移到 Softlayer(美国著名的一个数据中心) ...

  9. namenode ha

    http://blog.csdn.net/totxian/article/details/45248399 http://www.aboutyun.com/thread-13679-1-1.html ...

  10. 【翻译】Flume 1.8.0 User Guide(用户指南) Channel

    翻译自官网flume1.8用户指南,原文地址:Flume 1.8.0 User Guide 篇幅限制,分为以下5篇: [翻译]Flume 1.8.0 User Guide(用户指南) [翻译]Flum ...