基于Docker搭建大数据集群(五)Mlsql部署

时间:2022-05-13 04:59:19

主要内容

  • mlsql部署

前提

  • zookeeper正常使用
  • spark正常使用
  • hadoop正常使用

安装包

微云下载 | tar包目录下

  • mlsql-cluster-2.4_2.11-1.4.0.tar.gz
  • mlsql-console-1.4.0.tar.gz
  • mlsql-engine_2.4-1.4.0.tar.gz

一、环境准备

上传到docker镜像

docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-console-1.4.0.tar.gz cluster-master:/root/tar
docker cp mlsql-engine_2.4-1.4.0.tar.gz cluster-master:/root/tar

解压

tar xivf mlsql-cluster-2.4_2.11-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-console-1.4.0.tar.gz -C /opt/mlsql
tar xivf mlsql-engine_2.4-1.4.0.tar.gz -C /opt/mlsql

二、启动和配置 MLSQL Engine

默认9003端口,可手动修改

启用yarn

--master local[*]

替换成

--master yarn-client

授权

chmod 777 start-default.sh

二、启动和配置 MLSQL Cluster

默认8080端口,可自己手动修改

  1. 在mysql中新建数据库mlsql_cluster
  2. 将根目录下db.sql导入
  3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址,同时如果有必要,修改对应的数据库,用户名称,密码等
  4. start-default.sh 启动

三、启动和配置 MLSQL Console

默认9002端口,可自己手动修改

  1. 在mysql中新建数据库mlsql_console
  2. 将根目录下的db.sql导入
  3. 修改application.docker.yml,将"MYSQL_HOST" 占位符替换成MySQL地址,同时如果有必要,修改对应的数据库,用户名称,密码等。
  4. 现在可以调用./start-default.sh 启动了

访问

基于Docker搭建大数据集群(五)Mlsql部署