超图大数据环境搭建之操作系统搭建

时间:2024-03-20 15:05:06
作者:XingJun

       超图空间大数据GIS平台基于Spark计算框架实现的,支持Windows和Linux系统,且iServer有内置Spark。本文将介绍如何在Windows系统上安装Ubuntu Server虚拟机,并安装SuperMap iServer for Linux。

1. 软件准备

       VMware Workstation 15: VM虚拟机软件,用于创建虚拟机。

       WinSCP: 用于Windows系统访问Linux系统目录

       Ubuntu Server 16.04: 系统镜像,用于虚拟机系统安装

       SuperMap iServer for Linux : 超图软件服务端产品iServer, 用于搭建GIS服务器

      VM和WinSCP安装比较简单,默认安装即可。本文主要介绍如何安装Ubuntu Server虚拟机和SuperMap iServer的安装。

2. VM创建虚拟机

       1. 新建虚拟机,选择自定义(Custom)

          超图大数据环境搭建之操作系统搭建

      2. VM兼容性设置,默认选择即可

          超图大数据环境搭建之操作系统搭建

      3. 安装系统,此处选择第3项,稍后安装系统

          超图大数据环境搭建之操作系统搭建

       4. 系统类型:Linux, 版本:Ubuntu 64bit

           超图大数据环境搭建之操作系统搭建

       5. 设置虚拟机名字和安装路径,

           如果有固态硬盘,可安装在固态硬盘,以获得更好的性能

           超图大数据环境搭建之操作系统搭建

       6. 配置虚拟机CPU核心数和进程数

           超图大数据环境搭建之操作系统搭建

     7. 配置虚拟机内存,根据主机内存情况,适当配置大一些

         超图大数据环境搭建之操作系统搭建

      8. 配置虚拟机的网络连接方式,此处选择第1项,桥接方式,虚拟机拥有独立的IP

         超图大数据环境搭建之操作系统搭建

      9. IO控制器类型,使用推荐配置

            超图大数据环境搭建之操作系统搭建

      10. 硬盘类型,使用推荐配置

            超图大数据环境搭建之操作系统搭建

      11. 选择使用的硬盘,此处新建一个,选择第一项

            超图大数据环境搭建之操作系统搭建

      12. 配置硬盘大小,此处配置50GB,且选择存储为单个文件

            超图大数据环境搭建之操作系统搭建

      13. 设置虚拟机文件名称,默认即可

           超图大数据环境搭建之操作系统搭建

      14. 确认配置完成安装

3. 安装Ubuntu Server

      1. 编辑虚拟机配置,设置Ubuntu Server镜像文件路径

          超图大数据环境搭建之操作系统搭建

     2. 启动虚拟机,选择系统语言,默认English

         超图大数据环境搭建之操作系统搭建

     3. 选择Install Ubuntu Server,回车继续下一步

         超图大数据环境搭建之操作系统搭建

    4. 选择安装语言,默认English

        超图大数据环境搭建之操作系统搭建

    5.  配置区域位置 — 选择Other, 下一步选择Asia, 在下一步选择China

        超图大数据环境搭建之操作系统搭建

        超图大数据环境搭建之操作系统搭建

        超图大数据环境搭建之操作系统搭建

     6. 配置本地文本编码格式,选择默认的en_US, UTF-8

        超图大数据环境搭建之操作系统搭建

    7. 是否通过按键检查键盘,选择“NO”;继续后两步,配置键盘适用的国家和布局风格,选择默认的即可

      超图大数据环境搭建之操作系统搭建

      超图大数据环境搭建之操作系统搭建

      超图大数据环境搭建之操作系统搭建

   8. 配置网络,设置hostname; "Go Back"可以自定义设置,此处使用默认配置,继续下一步

      超图大数据环境搭建之操作系统搭建

   9. 设置用户名和密码

       超图大数据环境搭建之操作系统搭建

       超图大数据环境搭建之操作系统搭建

       超图大数据环境搭建之操作系统搭建

       超图大数据环境搭建之操作系统搭建

    10. 是否加密用户目录,选择“No”, 继续下一步

        超图大数据环境搭建之操作系统搭建

    11. 确认时区是否正确,没有问题选择“Yes”,继续下一步

         超图大数据环境搭建之操作系统搭建

     12. 选择磁盘分区方法,以及磁盘,此处直接使用默认选项

          超图大数据环境搭建之操作系统搭建

          超图大数据环境搭建之操作系统搭建

      13. 磁盘配置修改写入磁盘,选择“Yes”,继续下一步

           超图大数据环境搭建之操作系统搭建

           超图大数据环境搭建之操作系统搭建

            超图大数据环境搭建之操作系统搭建

      14. 配置网络代理,此处不用代理,继续下一步

           超图大数据环境搭建之操作系统搭建

        15. 是否自动更新,选择“No automatic updates”, 不自动更新

           超图大数据环境搭建之操作系统搭建

       16. 安装其他程序,选择“OpenSSH Server”, 该程序可用于远程连接;Tab或上下键移动选项,空格确认

            超图大数据环境搭建之操作系统搭建

        17. 安装启动引导器,选择“Yes”

              超图大数据环境搭建之操作系统搭建

        18. 完成安装

              超图大数据环境搭建之操作系统搭建

        19. 系统启动后,输入用户名和密码,登录即可使用

               超图大数据环境搭建之操作系统搭建

          20. 虚拟机设置中修改CD/DVD配置,启动时不再使用系统镜像文件

                安装桌面版Ubuntu必须取消该设置,否则不能启动系统

                超图大数据环境搭建之操作系统搭建

4. WinSCP连接Ubuntu

      Windows访问Ubuntu Server目录,并将SuperMap iServer拷贝到Ubuntu系统。

      注:如果连接Ubuntu Server提示连接被拒绝,很肯是没有安装SSH,可使用sudo apt install openssh-server进行安装

      1. Ubuntu Server中使用ifconfig查看ip

          超图大数据环境搭建之操作系统搭建

      2. 启动WinSCP后,建立连接:

          超图大数据环境搭建之操作系统搭建

      3. 登录时,信任警告,选择“Yes”

         超图大数据环境搭建之操作系统搭建

      4. 将SuperMap iServer for Linux 产品包上传到Ubuntu Server

          超图大数据环境搭建之操作系统搭建

5. Ubuntu Server中安装iServer

      1. 解压产品包

         使用“tar -zxvf ”命令,解压SuperMap iServer产品包,  解压后进入产品包目录,目录中有如下内容:

         超图大数据环境搭建之操作系统搭建

      2. 安装产品依赖库

          a. 进入“support”目录:

               超图大数据环境搭建之操作系统搭建   

          b. 执行"./dependencies_check_and_install.sh install -yu", 安装依赖库

      3. 安装许可驱动

          a. 进入“support/SuperMap_License/Support”目录:

              超图大数据环境搭建之操作系统搭建

          b. 解压"aksusbd-2.4.1-i386.tar", 执行"tar -xvf aksusbd-2.4.1-i386.tar"

          c. 进入解压后的aksusbd-2.4.1-i386目录,执行“sudo ./dinst

              超图大数据环境搭建之操作系统搭建

       4. 启动并访问iServer服务

           a. 进入bin目录,执行“./startup.sh”

              超图大数据环境搭建之操作系统搭建

           b. 访问服务: http://[ip]:8090/iserver,设置管理员账号和密码

               超图大数据环境搭建之操作系统搭建

            c. 初始化完成后,就可以开始使用iServer服务了

                超图大数据环境搭建之操作系统搭建

 

6. iServer启用内置集群并进行分布式分析

     1. 生成Token令牌

         访问http://ip:8090/iserver/services,并登录,点击在用户名右侧下三角处,选择令牌

        超图大数据环境搭建之操作系统搭建

          输入需要生成令牌的用户名和密码,及其他配置,点击“生成令牌”,

        超图大数据环境搭建之操作系统搭建

      2. 开启本地集群

                 访问http://ip:8090/iserver/manager, 输入用户名和密码登录,然后选择 “集群”  ->  “使用集群”,

           勾选“是否使用集群”,并选择“使用本机集群服务(默认)”,最后保存。

            超图大数据环境搭建之操作系统搭建

             点击“集群概览”,查看正在使用的集群,可看到本机集群正在使用中

              超图大数据环境搭建之操作系统搭建

      3. 启用内置Spark

          选择“配置集群”,勾选“是否启用分布式计算集群”,并选择“启用本机的Spark集群(默认)”, 然后保存。

          超图大数据环境搭建之操作系统搭建

       4. 加入集群

           只有将本机加入集群,Spark才能检测到该节点。点击“加入集群” -> "添加报告器",如下图所示:

           超图大数据环境搭建之操作系统搭建

           超图大数据环境搭建之操作系统搭建

            添加后,需要保存,原来默认的集群可以移除。

         5. Spark查看集群节点和状态

             访问:http://10.10.0.143:8080/,如下图所示,Worker存在,且状态为ALIVE,那么Spark集群可以正常使用。

            超图大数据环境搭建之操作系统搭建

         6. 开启分布式分析服务                   

             点击“分布式分析服务”,勾选“是否启用”,配置好服务地址和Token, 保存。

              超图大数据环境搭建之操作系统搭建

                 

                此时services页面可看到分布式分析服务下创建了一个"distributedanalyst/rest"服务。

                 超图大数据环境搭建之操作系统搭建

        7. 使用分布式分析服务—点聚合分析

            a. 分布式分析服务提供了很多分析功能,如下图所示

                超图大数据环境搭建之操作系统搭建

                超图大数据环境搭建之操作系统搭建

           b. 使用点聚合分析—aggregatePoints

                进入“aggregatePoints”页面,显示作业列表,点击“创建分析任务”,创建一个点聚合分析任务。

               超图大数据环境搭建之操作系统搭建

                  超图大数据环境搭建之操作系统搭建

             c. 查看分析进度和结果

                     创建分析任务后,可以看到该任务的执行状态,分析完成后,分析结果提供了地图服务和数据服务,

              地图服务可以直接浏览分析结果。

              超图大数据环境搭建之操作系统搭建

             d.  地图浏览分析结果

                超图大数据环境搭建之操作系统搭建

 

        至此,我们就介绍完了从虚拟机创建,Ubuntu Server系统安装,SuperMap iServer安装到开启Spark集群服务,并使用分布式分析服务进行点聚合分析的全部过程。iServer还提供了很丰富的大数据功能,可参考iServer的帮助文件获得更多的内容。另外,我们后续会发布更多有关SuperMap大数据平台的专题。