大数据平台R语言web UI应用架构 设计与开发

时间:2022-06-01 14:12:40

1. 系统拓扑图

在日常业务分析中,R是非常常用的分析工具,而当数据量较大时,用R语言需要需用更多的时间来完成训练模型,spark作为大规模数据处理框架,采用内存计算,可以短时间内完成大量的数据的处理及计算模型,但缺点是不能图形展示,R语言的sparkly则提供了R语言和Spark的接口,实现了在数据量大的情况下,应用Spark的快速数据分析和处理能力结合R语言的图形化展示功能,方便业务分析,模型训练。

但是要想使多人同时共享R和Spark,还需要其他的相关组件,下图展示了所有相关的组件及应用:

大数据平台R语言web UI应用架构 设计与开发

2. 安装方法

  • 2.1 Rstudio-Server简介及安装方法

RStudio是R语言开发中的利器,是一个IDE集成环境。RStudio Server版本提供了web的功能,可以安装远程计算机,通过web进行访问,支持多用户.

大数据平台R语言web UI应用架构 设计与开发

安装完成后,如果顺利可登录 http://ip地址:8787 访问Rstudio Web客户端界面,如果遇到问题,请查看博主下一篇关于常见问题的解决方案

大数据平台R语言web UI应用架构 设计与开发

  • 2.2 sparklyr包的简介及安装方法

sparkly包是由Rstudio公司发布的,用于接口Spark大数据平台的,实现R与Spark的连接,sparklyr包提供了一个完整的dplyr后端,可筛选并聚合Spark数据集,接着在R中实现分析与可视化,利用Spark的MLlib机器学习库在R中实现分布式机器学习算法,同时可以创建一个扩展,用于调用Spark API,并为Spark的所有包集提供了一个接口。

sparkyr的安装方法

大数据平台R语言web UI应用架构 设计与开发

  • 2.3 shiny Server简介及安装方法

在R界面安装shiny包

install.packages('shiny', repos=‘https://cran.rstudio.com/')

wget https://download3.rstudio.org/centos5.9/x86_64/shiny-server-1.5.1.834-rh5-x86_64.rpm

sudo yum install --nogpgcheck shiny-server-1.5.1.834-rh5-x86_64.rpm

启动与关闭 shiny-server

start shiny-server         # 启动

stop shiny-server      # 停止

restart shiny-server      # 重启

status shiny-server      #查看状态

reload shiny-server      #不中断服务的前提下 更新加载配置项

登陆web界面查看运行情况

http://10.211.55.16:3838/   默认端口时3838,可以在配置文件(/etc/shiny-server/shiny-server.conf)中修改

大数据平台R语言web UI应用架构 设计与开发

大数据平台R语言web UI应用架构 设计与开发

大数据平台R语言web UI应用架构 设计与开发

3. 使用说明

  • 3.1 spark的连接方法

<本地模式>

如果只是在本机Rstudio使用,可以在本地下载spark,并调用本地local模式

library(sparklyr)

spark_install(version = "1.6.2")

sc <- spark_connect(master = “local”, version = ‘1.6.2’)

<yarn模式>

- 简单的配置方法:

library(sparklyr)

library(dplyr)

sc <- spark_connect(master = "spark://10.211.55.18:7077",spark_home = "/home/hive/spark/")

- 详细的配置方法:

library(sparklyr)

Sys.setenv(SPARK_HOME = "/home/ctsats/spark-1.6.1-bin-hadoop2.6")

Sys.setenv(HADOOP_CONF_DIR = '/etc/hadoop/conf.cloudera.hdfs')

Sys.setenv(YARN_CONF_DIR = '/etc/hadoop/conf.cloudera.yarn')

config <- spark_config()

config$spark.executor.instances <- 4

config$spark.executor.cores <- 4

config$spark.executor.memory <- “4G"

sc <- spark_connect(master="yarn-client", config=config)

  • spark连接方法与参数解析

 

spark_connect(master, spark_home = Sys.getenv("SPARK_HOME"),
method = c("shell", "livy", "test"), app_name = “sparklyr",
version = NULL, hadoop_version = NULL, config = spark_config(),
extensions = sparklyr::registered_extensions())

spark_connection_is_open(sc)

spark_disconnect(sc, ...)

spark_disconnect_all()

参数

参数说明

master

连接Spark 集群使用 url作为参数

sc <- spark_connect(master = "spark://10.211.55.18:7077",spark_home = "/home/hive/spark/")

连接本地(使用spark_install)安装spark使用 ”local”模式

sc <- spark_connect(master = “local”, version = ‘1.6.2’)

spark_home

设置spark的安装路径,这里如果指定安装spark_home,就不要指定version这个参数,因为version参数指定,会使用本地通过spark_install安装的spark路径,造成错误

method

这个参数用来设置连接spark的方法,目前只实现了shell模式

app_name

应用的名字,用在Spark集群中显示

hadoop_version

只用于local模式

config

连接Spark的通用设置,详见spark_config参数

extensions

可用于连接的扩展包,默认全部都可以( sparklyr::register_extension)

sc

一个spark链接

其他参数

这里暂时未用

  spark_config(file = "config.yml", use_default = TRUE)

 

参数

参数说明

file

配置文件的名字

use_default

默认使用spark_home构建时默认参数

spark_install(version = NULL, hadoop_version = NULL, reset = TRUE,

logging = "INFO", verbose = interactive())

spark_uninstall(version, hadoop_version)

spark_install_dir()

spark_install_tar(tarfile)

spark_installed_versions()

spark_available_versions()

参数

参数说明

version

安装spark的版本,可以用 spark_available_versions 查看支持的版本

hadoop_version

安装hadoop的版本,可以用 spark_available_versions 查看支持的版本

reset

尝试恢复默认设置

logging

设置日志等级,支持选项:"WARN", "INFO"

tarfile

安装本地包

其他具体参考如下链接:

http://spark.rstudio.com/reference/index.html

sparkly主要实现dplyr,ML,Extensions三个接口,下面主要介绍各个接口的功能:

  大数据平台R语言web UI应用架构 设计与开发

  • 3.2 dply的使用说明

dplyr是一个R接口,用于处理R内部或外部数据,dplyr使R用户操作数据更便捷,连续,高效。应用dplyr操作Spark DataFrames,你可以:

• 选择,过滤,聚合数据(Select, filter, and aggregate)

• 使用窗口功能(Use window functions ),e.g. for sampling

• 表连接(Perform joins on DataFrames)

• 采集数据(Collect data from Spark into R)

在dplyr中,状态可以通过管道被连接(定义方法%>%)

  • 3.3 ML的使用说明

sparklyr提供了一个Spark机器学习(spark.ml package)接口,与dplyr接口一样,你可以方便的在Spark创建和训练机器学习模型,并在R中分析应用

sparklyr 提供了三个相似的函数,用于在Spark进行机器学习

机器学习算法: Machine learning algorithms for analyzing data (ml_*)

特征提取与转换: Feature transformers for manipulating individual features (ft_*)

操作spark DataFrame: Functions for manipulating Spark DataFrames (sdf_*)

应用Sparklyr大致用如下流程组成:

通过sparklyr dplyr接口,执行SQL查询接口

通过 sdf_* and ft_*函数生产新的的列或分区数据集

从 ml_*方法选择合适的机器学习算法为数据建模

验证模型的质量(准确度),并用它对新的数据进行预测

应用R进行可视化分析并进行深度分析

    • 3.4 Extensions的使用说明

sparklyr提供了dplyr与spark DataFrames接口,同时提供了一个R语言与spark机器学习包的接口,然而,因为Spark是一个通用集群计算系统,其他接口可通过扩展工具创建自己的R接口。

举例1:

library(sparklyr)

# 读textfile RDD 这里的类型为list

rdd_collect <- function(sc, file) {

spark_context(sc) %>%

invoke("textFile", file, 1L) %>%

}

a <- rdd_collect(sc, “/Users/hduser/test.txt”)

# 查看a的数据类型,我们知道spark scala中该方法生成RDD类型,但是R语言中数据类型没有Rdd,所以这里生成list类型

class(a)

[1] "list"

其他扩展方法待大家自己扩展挖掘,方法参见:

http://spark.rstudio.com/extensions.html#introduction