JBOSS通过Apache负载均衡方法一:使用mod_jk

时间:2022-02-06 07:31:36

JBOSS通过Apache负载均衡方法一:使用mod_jk

 

本文第一、二节分别对Linux环境下前端使用Apache以及windows环境下前端使用IIS通过AJP协议和后端的JBOSS通信实现负载均衡进行说明,第三节对相应的参数做了解释。

一、   Linux环境下Apache + mod_jk + JBOSS

Apache和JBOSS使用AJP协议,利用8009端口通过mod_jk来实现通信。

  1. 1.  安装并配置apache

下载apache代码包,上传到服务器。

解开代码包

[root@jboss01 app]#cd /opt/app
[root@jboss01 app]#tar -zxvf httpd-2.2.23.tar.gz

[root@jboss01 app]#cd /opt/app/httpd-2.2.23

在[root@jboss01 httpd-2.2.23]#下编译
./configure -prefix=/usr/local/apache2 -enable-module=so -enable-module=setenvif -enable-module=rewrite -enable-rewrite=shared -enable-proxy=shared -with-mpm=prefork -enable-so -enable-auth-anon -enable-file-cache=shared -enable-cache=shared -enable-disk-cache=shared -enable-mem-cache=shared

make clean
make
make install

修改配置。本例中,提供服务的监听端口是8090,请根据实际情况修改。
vi /usr/local/apache2/conf/httpd.conf
将Listen 80         改成Listen 8090
将User daemon和Group daemon  改为User apache和Group apache
删除ServerName前的#,将该行改为  ServerName 172.18.49.181:8090

添加用户和用户组
groupadd apache
useradd apache –g apache

apache mod_jk配置

下载mod_jk,将其改名为mod_jk.so,拷贝到/usr/local/apache2/modules下

mod_jk的下载路径:http://archive.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

chmod +x /usr/local/apache2/modules/mod_jk.so

在/usr/local/apache2/conf/httpd.conf的末尾增加:
Include conf/mod_jk.conf

建立空文件 /usr/local/apache2/conf/uriworkermap.properties

vi /usr/local/apache2/conf/mod_jk.conf   输入以下内容:
_____________________________________________________________________
# Load mod_jk module
# Specify the filename of the mod_jk lib
LoadModule jk_module modules/mod_jk.so
# Where to find workers.properties
JkWorkersFile conf/workers.properties
# Where to put jk logs
JkLogFile logs/mod_jk.log
# Set the jk log level [debug/error/info]
JkLogLevel info
# Select the log format
JkLogStampFormat “[%a %b %d %H:%M:%S %Y]”
# JkOptions indicates to send SSK KEY SIZE
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
# JkRequestLogFormat
JkRequestLogFormat “%w %V %T”
# Mount your applications
JkMount /* loadbalancer              
# You can use external file for mount points.
# It will be checked for updates each 60 seconds.
# The format of the file is: /url=worker
# /examples/*=loadbalancer
JkMountFile conf/uriworkermap.properties
# Add shared memory.
# This directive is present with 1.2.10 and
# later versions of mod_jk, and is needed for
# for load balancing to work properly
JkShmFile logs/jk.shm
# Add jkstatus for managing runtime data
<Location /jkstatus/>
JkMount status
Order deny,allow
Deny from all
Allow from 172.18.49.181
</Location>
____________________________________________________________________________

vi /usr/local/apache2/conf/workers.properties,增加以下内容:
_______________________________________________
# Define list of workers that will be used
# for mapping requests
worker.list=loadbalancer

# Define Node1
# modify the host as your host IP or DNS name.
worker.node1.port=8009
worker.node1.host=172.18.49.183
worker.node1.type=ajp13
worker.node1.lbfactor=1

worker.node1.connection_pool_timeout=600

#worker.node1.connection_pool_size=500
#worker.node1.connection_pool_minsize=250

worker.node1.socket_timeout=5
# Define Node2
# modify the host as your host IP or DNS name.
worker.node2.port=8009
worker.node2.host=172.18.49.184
worker.node2.type=ajp13
worker.node2.lbfactor=1

worker.node2.connection_pool_timeout=600

#worker.node2.connection_pool_size=500
#worker.node2.connection_pool_minsize=250

worker.node2.socket_timeout=5

# Load-balancing behaviour
worker.loadbalancer.type=lb
worker.loadbalancer.balance_workers=node1,node2
____________________________________________________

如果有更多的节点,顺序定义更多的node段,并在worker.loadbalancer.balance_workers后全部列出.
lbfactor是负载分配权重,值越大分配的负载越多.

配置apache自动启动

ln –s /usr/local/apache2/bin/apachectl /etc/init.d/apache
chmod 777 /etc/init.d/apache
ln –s /etc/init.d/apache /etc/rc3.d/S80apache
ln –s /etc/init.d/apache /etc/rc3.d/K20apache
ln –s /etc/init.d/apache /etc/rc4.d/S80apache
ln –s /etc/init.d/apache /etc/rc4.d/K20apache
ln –s /etc/init.d/apache /etc/rc5.d/S80apache
ln –s /etc/init.d/apache /etc/rc5.d/K20apache

  1. 启动Jboss集群

先启动负载均衡器apache,然后启动各jboss节点。各jboss节点的启动顺序没有要求。对于apache的启动,参考如下:
在/usr/local/apache2/bin目录下执行./httpd –k start   (终止命令: ./httpd –k stop),在/usr/local/apache2/logs/mod_jk.log中,看到如下信息则表明apache对mod_jk加载成功:

“[info]  init_jk::mod_jk.c (2743): mod_jk/1.2.23 initialized”

如有mod_jk相关的错误信息,一般是由于mod_jk的版本与apache版本不兼容,需在apache官网上下载合适的版本。用netstat检查8090监听端口存在,则说明apache启动成功.

JBOSS通过Apache负载均衡方法一:使用mod_jk

  1. 3.  负载均衡实验

在172.18.49.183/184上分别部署了简单的测试页面,显示如下:

JBOSS通过Apache负载均衡方法一:使用mod_jkJBOSS通过Apache负载均衡方法一:使用mod_jk

此时,在IE中输入http://172.18.49.181:8090/cluster_test/,并不断刷新,应该会交替出现如下两个页面,则说明负载均衡配置成功,如果此时关闭184上的JBOSS,则每次访问只会出现图1,重新打开184上的JBOSS,不断刷新访问,则图1和图2重新交替显示。

JBOSS通过Apache负载均衡方法一:使用mod_jk

图1

JBOSS通过Apache负载均衡方法一:使用mod_jk

图2

二、   Windows环境下IIS + isapi_redirect + JBOSS

IIS和JBOSS使用AJP协议,利用8009端口通过加载isapi_redirect.dll来实现通信。

  1. 在注册表中添加isapi_redirect相关信息

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Apache Software Foundation]

[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Apache Software Foundation\Jakarta Isapi Redirector]

[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Apache Software Foundation\Jakarta Isapi Redirector\1.0]

"extension_uri"="/jakarta/isapi_redirect.dll"

"log_file"="E:\\ajp\\logs\\isapi_redirect.log"

"log_level"="info"

"worker_file"="E:\\ajp\\conf\\workers.properties"

"worker_mount_file"="E:\\ajp\\conf\\uriworkermap.properties"

  1. 按照注册表的路径添加workers.properties和uriworkermap.properties文件,内容分别如下:

workers.properties的内容与linux中基本一致,只需添加worker.node1.connection_pool_size=500
worker.node1.connection_pool_minsize=250

worker.node2.connection_pool_size=500
worker.node2.connection_pool_minsize=250

而uriworkermap.properties需要添加所要访问的JBOSS部署的WEB路径,如:/*.*=loadbalancer,则表示访问所负载的JBOSS上的任何web。

  1. 在IIS中加载isapi_redirect.dll

在IIS管理器中,双击ISAPI和CGI限制,

JBOSS通过Apache负载均衡方法一:使用mod_jk

点添加,在弹出框中选择isapi_redirect.dll路径,并选择允许执行扩展路径

JBOSS通过Apache负载均衡方法一:使用mod_jk

在IIS管理器中,双击ISAPI筛选器,点添加,在弹出框中,填写名称为”Jakarta”,此处必须与注册表中一致。

JBOSS通过Apache负载均衡方法一:使用mod_jk

在网站中添加测试站点

JBOSS通过Apache负载均衡方法一:使用mod_jk

在网站中添加虚拟目录,如下图所示,物理路径为isapi_redirect.dll所在路径。

JBOSS通过Apache负载均衡方法一:使用mod_jk

双击处理程序映射,编辑权限功能,勾选“执行”

JBOSS通过Apache负载均衡方法一:使用mod_jk

编辑ISAPI-dll,添加路径

JBOSS通过Apache负载均衡方法一:使用mod_jk

重启IIS,并查看E:\ajp\logs\isapi_redirect.log,如无该文件生成,说明isapi_redirect.dll没有被正确加载,需检查以上步骤是否有误,如果去人无误还无法加载,可尝试重启windows服务器,直到isapi_redirect被正确加载,此时,isapi_redirect.log中会生成“[Fri Apr 25 10:03:49.863 2014] [16260:16312] [emerg] init_jk::jk_isapi_plugin.c (2867): Unable to read worker file E:\ajp\conf\workers.properties. (errno=0, err=No error)”类似的信息。

  1. 验证负载均衡

验证方法参加第一部分Linux环境下Apache + mod_jk + JBOSS相关的内容。

三、    参数说明

  1. worker.list

表示要通过apache或IIS做负载的JBOSS集群或其它集群的名称列表,多个直接用逗号隔开。本文只有一个JBOSS集群,命名为loadbalancer。

  1. worker.loadbalancer.type=lb,表示采用负载的方式来访问web,如果worker.loadbalancer.type=ajp13,则说明不使用负载。
    worker.loadbalancer.balance_workers=node1,node2,表明集群有两个节点,分别为node1和node2。
  2. worker.node1.port=8009,该端口为JBOSS通过AJP协议用于与apache或IIS通信的端口,需要与JBOSS配置文件中<socket-binding name="ajp"中的端口保持一致,默认为8009。
    worker.node1.host=172.18.49.183,为该节点的JBOSS的DNS解析地址
    worker.node1.type=ajp13,AJP协议类型为1.3
    worker.node1.lbfactor=1,负载系数,两个节点都为1,则表示按1:1轮询。worker.node1.connection_pool_timeout=600,表示JK connector将在连接处于空闲状态600s后关闭与后端JBOSS的连接,该参数必须与JBOSS配置中的“DEFAULT_CONNECTION_TIMEOUT”保持一致。

worker.node1.connection_pool_size=500,表示所允许的与后端JBOSS的最大连接数,需要注意的是,如果使用Apache,该参数不推荐使用,因为apache是自适应的去分配连接。
worker.node1.connection_pool_minsize=250,表示当资源池被收缩时,可以保持的空闲连接数,apache官方推荐值为最大连接数的一半。如果使用Apache,该参数同样不推荐使用。

worker.node1.socket_timeout=5,表示TCP传输的超时为5s,如不设置该参数,则表示超时值为无穷大,此时,如果网络状况不佳,可能会存在很多死连接,导致JBOSS压力偏低,性能发挥不出来。但该值如果设置太小,会使得JK connector对网络状况过于敏感,不仅增大JBOSS压力,还会错误的杀掉因为网络或其它原因而响应稍慢的一些连接。Apache的官方推荐值为1到5秒。