Azkaban2官方配置文档

时间:2022-12-29 13:53:31

最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~Azkaban2官方配置文档

介绍

Azkaban2新功能:

1、Web UI

2、简单工作流上传

3、更容易设置job的依赖关系

4、调度工作流

5、权限设置

6、Kill和restart工作流

7、模块化和插件化

8、日志和设计工作流和job

搭建

Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:

l  MySQL

l  Azkaban Web Server  - 是一个和web接口一样的充当控制器功能的Jetty Server

l  Azkaban Executor Server - 用于提交工作流

 

下载

需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。

下载地址:

https://github.com/azkaban/azkaban2/wiki/Download-Packages

 

搭建数据库

现在,Azkaban只能用MySQL进行数据存储。

l  下载azkaban-sql-script tar包。

运行包中的mysql脚本来创建数据库表。

获取JDBC驱动jar

下载地址:http://www.mysql.com/downloads/connector/j/ 

搭建Web Server

下载并安装

1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。

2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这          个目录下的外部引入jar包。

在 conf 目录下,会有以下几个文件:

文件

描述

azkaban.properties

用于Azkanba运行时的属性配置

global.properties

全局静态属性,作为共享属性共享给每一个工作流程和job

azkaban-users.xml

用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用

搭建SSL

Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:

http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:

jetty.keystor-keystore

jetty.password=password

jetty.keypassword=password

jetty.truststore=keystore

jetty.trustpassword=password

 

搭建UserManager

Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:

l  user.manager.class=azkaban.user.XmlUserManager

l  User.manager.xml.file=conf/azkaban-users.xml

接下来是一个azkaban-users.xml文件的例子:

<azkaban-users>   
     <user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>   
     <role name="admin" permissions="ADMIN" />   
</azkaban-users>

 

也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager

搭建数据库

为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100


       配置主机和端口号

配置azkaban.properties中的属性:

executor.port=12321

executor.host=<url>

 

搭建Web Client

             Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口      号和连接的数量。

颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。

安装可视化插件

之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。

为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。

运行Web Server

Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。

 

 

 -------------------------------------------------------------------------------------------------------

 

Azkaban Web Server设置

一般属性

Property

Description

Default

azkaban.name

将会在Azkaban UI中展示出来的azkaban的名字

Local

azkaban.label

一个描述Azkaban实例的标签

My Local Azkaban

azkaban.color

设置Azkaban UI颜色的一个十六进制的值

#FF3601 (red)

web.resource.dir

设置UIcssjavascript文件存放的路径

src/web

default.timezone

默认的时区

America/Los_Angeles

user.manager.class

用户管理用户权限的     user manager。默认是XmlUserManager

azkaban.user.XmlUserManager

mail.sender

邮件发送的地址

 

mail.host

邮件server主机地址

 

mail.user

邮件server用户名

 

mail.password

邮件server密码

 

azkaban.should.proxy

被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

false

proxy.keytab.location

被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

 

proxy.user

代理用户

 

viewer.plugin.dir

可视化插件被安装到的目录

plugins/viewer

 

Jetty 属性

Property

Description

Default

jetty.maxThreads

最大请求线程数

25

jetty.ssl.port

Ssl端口号

8443

jetty.keystore

The keystore file

keystore

jetty.password

Jetty password

password

jetty.keypassword

The keypassword

password

jetty.truststore

The trust store

keystore

jetty.trustpassword

The trust password

password



 

 

Mysql连接属性

Property

Description

Default

database.type

数据库类型,现在只支持mysql

mysql

mysql.port

Mysql数据库的端口号

3306

mysql.host

Mysql数据库的主机地址

localhost

mysql.database

Mysql数据库名称

azkaban2

mysql.user

mysql user

azkaban

mysql.password

mysql password

password

mysql.numconnections

Azkaban webclient可以开放给数据库的连接数量

100

 

Execurot Sercer属性

Properties

Description

Default

executor.port

azkaban executor server端口号

12321

executor.host

azkaban executor server主机地址

localhost



 

 

设置Executor Server

下载和安装

1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。

2、Copy jdbc驱动jar包到./extlib目录下。

File

Description

azkaban.properties

Azkaban运行时属性

global.properties

全局静态属性,作为共享属性共享给每一个工作流程和job

 

 

搭建数据库

为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

   database.type=mysql
   mysql.port=3306
   mysql.host=localhost
   mysql.database=azkaban2
   mysql.user=azkaban
   mysql.password=azkaban
   mysql.numconnections=100


       配置主机和端口号

配置azkaban.properties中的属性:

executor.maxThreads=50

executor.port=12321

 

 -----------------------------------------------------------------------------

转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051