RHadoop计算平台搭建

时间:2022-06-18 11:21:27

 原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3824554.html

本文基于CentOS6.4系统介绍基于RHadoop平台的搭建,Hadoop的搭建可以参考http://www.cnblogs.com/tovin/p/3818908.html,以下着重介绍在Hadoop平台上构建R

一、安装R

  (1)安装依赖软件

    sudo yum install gcc-gfortran

    sudo yum install gcc gcc-c++

    sudo yum install readline-devel

    sudo yum install libXt-devel

  (2)安装R包

    cd /home/hdp/download  

    wget http://mirror.bjtu.edu.cn/cran/src/base/R-3/R-3.1.0.tar.gz

    tar zxvf R-3.1.0.tar.gz

    cd R-3.1.0

    ./configure --enable-R-shlib

    sudo make

    sudo make install

    把R、Rscript加入环境变量

    sudo ln -s /usr/local/bin/Rscript /usr/bin/Rscript

    sudo ln -s /usr/local/bin/R /usr/bin/R

  在linux终端输入R,如果启动正常则表明安装成功

  RHadoop计算平台搭建

二、安装RStudio

  为了更方便把RHadoop提供给开发人员使用,可以使用基于Web操作的RStudio来操作R

  cd /home/hdp/download  

  wget http://download2.rstudio.org/rstudio-server-0.98.953-x86_64.rpm

  sudo yum install libcrypto.so.6

  sudo yum install libgfortran.so.1

  sudo yum install libssl.so.6

  sudo yum install openssl098e-0.9.8e

  sudo yum install gcc41-libgfortran-4.1.2

  sudo yum install pango-1.28.1

  sudo yum install compat-libgfortran

  cd /etc/ld.so.conf.d/

  sudo vim rstudio.conf添加内容

    /usr/local/lib64/R/lib
  再执行sudo ldconfig将下面几个so库加入系统库

  RHadoop计算平台搭建

  sudo rpm -Uvh --nodeps rstudio-server-0.98.953-x86_64.rpm  

  至此rstudio安装完成并启动,运行rstudio-server verify-installation看是否会报错

  最后,可以进入/etc/rstudio目录修改rserver.conf配置文件添加登录权限管理

  RHadoop计算平台搭建

  auth-required-usr-group是针对设置的组才能登录系统。注意:rstudio用户是和linux本地帐号一致的,对于ldap用户是不支持的。

  访问8787端口就能进入rstudio web界面了:

    RHadoop计算平台搭建

三、安装RHadoop 

  1、下载rmr、rhdfs

         进入https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads下载rmr、rhdfs包

  2、安装rmr、rhdfs

    cmd执行命令行执行:
  

      R CMD javareconf
  

    启动R执行:

      install.packages("rJava")

      install.packages("reshape2")

      install.packages("Rcpp")

      install.packages("iterators")

      install.packages("itertools")

      install.packages("digest")

      install.packages("RJSONIO")

      install.packages("functional")

    cmd执行命令行执行:

    R CMD INSTALL rhdfs-1.0.8.tar.gz

    R CMD INSTALL rmr-3.1.2.tar.gz

  3、修改环境变量

   cd /usr/local/lib64/R/etc

   修改Renviron文件增加HADOOP_CMD、HADOOP_STREAMING环境变量,这步很关键不然RStudio会报错获取不到HADOOP环境变量

   RHadoop计算平台搭建

 4、部署DataNode

   将/usr/local/lib64/R目录下所有文件传至所有DataNode节点相同位置

   sudo cp /usr/local/lib64/R/bin/R /usr/local/bin/

     sudo cp /usr/local/lib64/R/bin/Rscript /usr/local/bin/ 

    至此完成了RHadoop平台部署 

四、测试验证

  访问Rstudio web验证一下rhdfs、rmr2的功能

  1、hdfs功能验证

    RHadoop计算平台搭建

  2、mapreduce功能验证

    RHadoop计算平台搭建

    RHadoop计算平台搭建

    安装部署成功,收工!

 原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3824554.html