haproxy做TCP层的负载均衡

时间：2023-03-08 22:02:28

最新项目中发现，大量游戏玩家访问登录服务器时出现延迟，导致玩家无法登录，愿意可能是登录服务器性能达到极限。

所以目前想通过proxy的方式访问登录服务器集群，避免登录延迟。

1.下载haproxy最新版本

http://www.haproxy.org/download/1.5/src/haproxy-1.5.12.tar.gz

2.安装haproxy软件

tar zxvf haproxy-1.5.12.tar.gz

cd haproxy-1.5.12

　　uname -a    //查看linux内核版本, TARGET是内核版本，2.6就写作26

　　make TARGET=linux26 PREFIX=/usr/local/haproxy

　　make install PREFIX=/usr/local/haproxy

3.配置haproxy

mkdir /etc/haproxy/conf

vim /etc/haproxy/conf/haproxy.cfg

  1. <span style="color:#505050;">###########全局配置#########
  2. global
  3. chroot /usr/local/haproxy
  4. daemon
  5. nbproc 1
  6. group nobody
  7. user nobody
  8. pidfile /opt/haproxy/logs/haproxy.pid
  9. ulimit-n 65536
  10. #spread-checks 5m
  11. #stats timeout 5m
  12. #stats maxconn 100
  13. ########默认配置############
  14. defaults
  15. mode tcp               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
  16. retries 3              #两次连接失败就认为是服务器不可用，也可以通过后面设置
  17. option redispatch      #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
  18. option abortonclose    #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
  19. maxconn 32000          #默认的最大连接数
  20. timeout connect 5000ms #连接超时
  21. timeout client 30000ms #客户端超时
  22. timeout server 30000ms #服务器超时
  23. #timeout check 2000    #心跳检测超时
  24. log 127.0.0.1 local0 err #[err warning info debug]
  25. ########test1配置#################
  26. listen test1
  27. bind 0.0.0.0:8008
  28. mode tcp
  29. balance roundrobin
  30. server s1 127.0.0.1:8010 weight 1 maxconn 10000 check inter 10s
  31. server s2 127.0.0.1:8011 weight 1 maxconn 10000 check inter 10s
  32. server s3 127.0.0.1:8012 weight 1 maxconn 10000 check inter 10s
  33. ########test2配置#################
  34. listen test2
  35. bind 0.0.0.0:8007
  36. mode tcp
  37. balance roundrobin
  38. server s1 192.168.1.88:8010 weight 1 maxconn 10000 check inter 10s
  39. server s2 192.168.1.88:8011 weight 1 maxconn 10000 check inter 10s
  40. ########统计页面配置########
  41. listen admin_stats
  42. bind 0.0.0.0:8099 #监听端口
  43. mode http         #http的7层模式
  44. option httplog    #采用http日志格式
  45. #log 127.0.0.1 local0 err
  46. maxconn 10
  47. stats refresh 30s #统计页面自动刷新时间
  48. stats uri /stats  #</span><span style="color:#ff0000;"><strong>统计页面url:port/stats</strong></span><pre name="code" class="cpp" style="color: rgb(80, 80, 80); font-size: 14px; line-height: 28px;"><span style="font-family: 宋体, 'Arial Narrow', arial, serif;">stats realm XingCloud\ Haproxy #统计页面密码框上提示文本</span>

stats auth admin:admin #统计页面用户名和密码设置stats hide-version #隐藏统计页面上HAProxy的版本信息



4.配置启动脚本


vim /usr/local/haproxy/sbin/haproxy.sh


#!/bin/sh
cd /usr/local/haproxy/sbin
/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/conf/haproxy.cfg &


5.查看启动进程


ps -ef |grep haproxy  或者netstat -ntpl |grep haproxy  来检查haproxy是否启动成功！


###############################################################


配置详解




    

  1. ####################全局配置信息########################
    2. 

  2. #######参数是进程级的,通常和操作系统（OS）相关#########
    3. 

  3. global
    4. 

  4. maxconn 20480                   #默认最大连接数
    5. 

  5. log 127.0.0.1 local3            #[err warning info debug]
    6. 

  6. chroot /var/haproxy             #chroot运行的路径
    7. 

  7. uid 99                          #所属运行的用户uid
    8. 

  8. gid 99                          #所属运行的用户组
    9. 

  9. daemon                          #以后台形式运行haproxy
    10. 

  10. nbproc 1                        #进程数量(可以设置多个进程提高性能)
    11. 

  11. pidfile /var/run/haproxy.pid    #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
    12. 

  12. ulimit-n 65535                  #ulimit的数量限制
    13. 

  13. #####################默认的全局设置######################
    14. 

  14. ##这些参数可以被利用配置到frontend,backend,listen组件##
    15. 

  15. defaults
    16. 

  16. log global
    17. 

  17. mode http                       #所处理的类别 (#7层 http;4层tcp  )
    18. 

  18. maxconn 20480                   #最大连接数
    19. 

  19. option httplog                  #日志类别http日志格式
    20. 

  20. option httpclose                #每次请求完毕后主动关闭http通道
    21. 

  21. option dontlognull              #不记录健康检查的日志信息
    22. 

  22. option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
    23. 

  23. option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    24. 

  24. option abortonclose             #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接
    25. 

  25. stats refresh 30                #统计页面刷新间隔
    26. 

  26. retries 3                       #3次连接失败就认为服务不可用,也可以通过后面设置
    27. 

  27. balance roundrobin              #默认的负载均衡的方式,轮询方式
    28. 

  28. #balance source                  #默认的负载均衡的方式,类似nginx的ip_hash
    29. 

  29. #balance leastconn               #默认的负载均衡的方式,最小连接
    30. 

  30. contimeout 5000                 #连接超时
    31. 

  31. clitimeout 50000                #客户端超时
    32. 

  32. srvtimeout 50000                #服务器超时
    33. 

  33. timeout check 2000              #心跳检测超时
    34. 

  34. ####################监控页面的设置#######################
    35. 

  35. listen admin_status                    #Frontend和Backend的组合体,监控组的名称,按需自定义名称
    36. 

  36. bind 0.0.0.0:65532             #监听端口
    37. 

  37. mode http                      #http的7层模式
    38. 

  38. log 127.0.0.1 local3 err       #错误日志记录
    39. 

  39. stats refresh 5s               #每隔5秒自动刷新监控页面
    40. 

  40. stats uri /admin?stats         #监控页面的url
    41. 

  41. stats realm itnihao\ itnihao   #监控页面的提示信息
    42. 

  42. stats auth admin:admin         #监控页面的用户和密码admin,可以设置多个用户名
    43. 

  43. stats auth admin1:admin1       #监控页面的用户和密码admin1
    44. 

  44. stats hide-version             #隐藏统计页面上的HAproxy版本信息
    45. 

  45. stats admin if TRUE            #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
    46. 

  46. errorfile 403 /etc/haproxy/errorfiles/403.http
    47. 

  47. errorfile 500 /etc/haproxy/errorfiles/500.http
    48. 

  48. errorfile 502 /etc/haproxy/errorfiles/502.http
    49. 

  49. errorfile 503 /etc/haproxy/errorfiles/503.http
    50. 

  50. errorfile 504 /etc/haproxy/errorfiles/504.http
    51. 

  51. #################HAProxy的日志记录内容设置###################
    52. 

  52. capture request  header Host           len 40
    53. 

  53. capture request  header Content-Length len 10
    54. 

  54. capture request  header Referer        len 200
    55. 

  55. capture response header Server         len 40
    56. 

  56. capture response header Content-Length len 10
    57. 

  57. capture response header Cache-Control  len 8
    58. 

  58. #######################网站监测listen配置#####################
    59. 

  59. ###########此用法主要是监控haproxy后端服务器的监控状态############
    60. 

  60. listen site_status
    61. 

  61. bind 0.0.0.0:1081                    #监听端口
    62. 

  62. mode http                            #http的7层模式
    63. 

  63. log 127.0.0.1 local3 err             #[err warning info debug]
    64. 

  64. monitor-uri /site_status             #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503
    65. 

  65. acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
    66. 

  66. acl site_dead nbsrv(server_blog) lt 2
    67. 

  67. acl site_dead nbsrv(server_bbs)  lt 2
    68. 

  68. monitor fail if site_dead            #当满足策略的时候返回503,网上文档说的是500,实际测试为503
    69. 

  69. monitor-net 192.168.16.2/32          #来自192.168.16.2的日志信息不会被记录和转发
    70. 

  70. monitor-net 192.168.16.3/32
    71. 

  71. ########frontend配置############
    72. 

  72. #####注意,frontend配置里面可以定义多个acl进行匹配操作########
    73. 

  73. frontend http_80_in
    74. 

  74. bind 0.0.0.0:80      #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
    75. 

  75. mode http            #http的7层模式
    76. 

  76. log global           #应用全局的日志配置
    77. 

  77. option httplog       #启用http的log
    78. 

  78. option httpclose     #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式
    79. 

  79. option forwardfor    #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
    80. 

  80. ########acl策略配置#############
    81. 

  81. acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
    82. 

  82. #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
    83. 

  83. acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
    84. 

  84. #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
    85. 

  85. #acl itnihao    hdr(host) -i itnihao.cn
    86. 

  86. #如果请求的域名满足itnihao.cn返回true -i是忽略大小写
    87. 

  87. #acl file_req url_sub -i  killall=
    88. 

  88. #在请求url中包含killall=,则此控制策略返回true,否则为false
    89. 

  89. #acl dir_req url_dir -i allow
    90. 

  90. #在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false
    91. 

  91. #acl missing_cl hdr_cnt(Content-length) eq 0
    92. 

  92. #当请求的header中Content-length等于0时返回true
    93. 

  93. ########acl策略匹配相应#############
    94. 

  94. #block if missing_cl
    95. 

  95. #当请求中header中Content-length等于0阻止请求返回403
    96. 

  96. #block if !file_req || dir_req
    97. 

  97. #block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求
    98. 

  98. use_backend  server_web  if itnihao_web
    99. 

  99. #当满足itnihao_web的策略时使用server_web的backend
    100. 

  100. use_backend  server_blog if itnihao_blog
    101. 

  101. #当满足itnihao_blog的策略时使用server_blog的backend
    102. 

  102. #redirect prefix http://blog.itniaho.cn code 301 if itnihao
    103. 

  103. #当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3
    104. 

  104. default_backend server_bbs
    105. 

  105. #以上都不满足的时候使用默认server_bbs的backend
    106. 

  106. ##########backend的设置##############
    107. 

  107. #下面我将设置三组服务器 server_web,server_blog,server_bbs
    108. 

  108. ###########################backend server_web#############################
    109. 

  109. backend server_web
    110. 

  110. mode http            #http的7层模式
    111. 

  111. balance roundrobin   #负载均衡的方式,roundrobin平均方式
    112. 

  112. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
    113. 

  113. option httpchk GET /index.html #心跳检测的文件
    114. 

  114. server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
    115. 

  115. #服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
    116. 

  116. #fall 3是3次失败认为服务器不可用,weight代表权重
    117. 

  117. server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
    118. 

  118. #服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
    119. 

  119. #fall 3是3次失败认为服务器不可用,weight代表权重
    120. 

  120. ###################################backend server_blog###############################################
    121. 

  121. backend server_blog
    122. 

  122. mode http            #http的7层模式
    123. 

  123. balance roundrobin   #负载均衡的方式,roundrobin平均方式
    124. 

  124. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
    125. 

  125. option httpchk GET /index.html #心跳检测的文件
    126. 

  126. #服务器定义:
    127. 

  127. #cookie 1表示serverid为web1,
    128. 

  128. #check inter 1500是检测心跳频率
    129. 

  129. #rise 3是3次正确认为服务器可用,
    130. 

  130. #fall 3是3次失败认为服务器不可用,
    131. 

  131. #weight代表权重
    132. 

  132. server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
    133. 

  133. server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
    134. 

  134. ###################################backend server_bbs###############################################
    135. 

  135. backend server_bbs
    136. 

  136. mode http            #http的7层模式
    137. 

  137. balance roundrobin   #负载均衡的方式,roundrobin平均方式
    138. 

  138. cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义
    139. 

  139. option httpchk GET /index.html #心跳检测的文件
    140. 

  140. #服务器定义,
    141. 

  141. #cookie 1表示serverid为web1,
    142. 

  142. #check inter 1500是检测心跳频率
    143. 

  143. #rise 3是3次正确认为服务器可用,
    144. 

  144. #fall 3是3次失败认为服务器不可用,
    145. 

  145. #weight代表权重
    146. 

  146. server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
    147. 

  147. server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
    148. 





配置例子1




    

  1. ###########全局配置#########
    2. 

  2. global
    3. 

  3. daemon
    4. 

  4. nbproc 1
    5. 

  5. pidfile /var/run/haproxy.pid
    6. 

  6. ########默认配置############
    7. 

  7. defaults
    8. 

  8. mode http               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
    9. 

  9. retries 2               #两次连接失败就认为是服务器不可用，也可以通过后面设置
    10. 

  10. option redispatch       #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
    11. 

  11. option abortonclose     #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
    12. 

  12. maxconn 4096            #默认的最大连接数
    13. 

  13. timeout connect 5000ms  #连接超时
    14. 

  14. timeout client 30000ms  #客户端超时
    15. 

  15. timeout server 30000ms  #服务器超时
    16. 

  16. #timeout check 2000      #=心跳检测超时
    17. 

  17. log 127.0.0.1 local0 err #[err warning info debug]
    18. 

  18. ########统计页面配置########
    19. 

  19. listen admin_stats
    20. 

  20. bind 0.0.0.0:1080               #监听端口
    21. 

  21. mode http                       #http的7层模式
    22. 

  22. option httplog                  #采用http日志格式
    23. 

  23. #log 127.0.0.1 local0 err
    24. 

  24. maxconn 10
    25. 

  25. stats refresh 30s               #统计页面自动刷新时间
    26. 

  26. stats uri /stats                #统计页面url
    27. 

  27. stats realm XingCloud\ Haproxy  #统计页面密码框上提示文本
    28. 

  28. stats auth admin:admin          #统计页面用户名和密码设置
    29. 

  29. stats hide-version              #隐藏统计页面上HAProxy的版本信息
    30. 

  30. ########test1配置#################
    31. 

  31. listen test1
    32. 

  32. bind 0.0.0.0:90
    33. 

  33. mode tcp
    34. 

  34. #maxconn 4086
    35. 

  35. #log 127.0.0.1 local0 debug
    36. 

  36. server s1 10.18.138.201:80
    37. 

  37. server s2 10.18.102.190:80
    38. 

  38. server s3 10.18.102.189:80
    39. 

  39. server s4 10.18.102.188:80
    40. 

  40. server s5 10.18.102.187:80
    41. 

  41. ########frontend配置##############
    42. 

  42. ########test2配置#################
    43. 

  43. listen test2
    44. 

  44. bind 0.0.0.0:91
    45. 

  45. mode tcp
    46. 

  46. #maxconn 4086
    47. 

  47. #log 127.0.0.1 local0 debug
    48. 

  48. server s1 10.18.138.130:80      weight 1
    49. 

  49. server s2 10.18.138.201:8080    weight 6
    50. 

  50. ########frontend配置##############
    51. 





配置例子2




      

    1. global
      2. 

    2. maxconn 51200 #限制单个进程的最大连接数
      3. 

    3. chroot /usr/local/haproxy
      4. 

    4. uid 99 #所属运行用户，默认99为nobody
      5. 

    5. gid 99 #所属运行用户组，默认99为nobody
      6. 

    6. daemon #让进程作为守护进程在后台运行
      7. 

    7. quiet
      8. 

    8. nbproc 2 #指定作为守护进程运行时的进程数，推荐设置为与CPU核心数相同
      9. 

    9. pidfile //usr/local/haproxy/haproxy.pid
      10. 

    10. defaults
      11. 

    11. mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
      12. 

    12. #retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置
      13. 

    13. option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
      14. 

    14. option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
      15. 

    15. timeout connect 5000ms #连接超时
      16. 

    16. timeout client 30000ms #客户端超时
      17. 

    17. timeout server 30000ms #服务器超时
      18. 

    18. #timeout check 2000 #=心跳检测超时
      19. 

    19. log 127.0.0.1 local0 err #[err warning info debug]
      20. 

    20. balance roundrobin                     #负载均衡算法
      21. 

    21. #option  httplog                        #日志类别,采用httplog
      22. 

    22. #option  httpclose   #每次请求完毕后主动关闭http通道,ha-proxy不支持keep-alive,只能模拟这种模式的实现
      23. 

    23. #option  dontlognull
      24. 

    24. #option  forwardfor  #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
      25. 

    25. listen www.123p6.cn 0.0.0.0:80 #运行的端口及主机名
      26. 

    26. mode http #使用http的7层模式
      27. 

    27. balance roundrobin #设置服务器负载分配算法
      28. 

    28. option httpclose
      29. 

    29. option forwardfor
      30. 

    30. option httpchk GET /keepalive.html #健康检测页面
      31. 

    31. server webapp1 192.168.1.101:80 weight 1 check inter 2000 rise 2 fall 3
      32. 

    32. server webapp2 192.168.1.102:80 weight 1 check inter 2000 rise 2 fall 3
      33. 

    33. # weight - 调节服务器的负重
      34. 

    34. # check - 允许对该服务器进行健康检查
      35. 

    35. # inter - 设置连续的两次健康检查之间的时间，单位为毫秒(ms)，默认值 2000(ms)
      36. 

    36. # rise - 指定多少次连续成功的健康检查后，即可认定该服务器处于可操作状态，默认值 2
      37. 

    37. # fall - 指定多少次不成功的健康检查后，认为服务器为当掉状态，默认值 3
      38. 

    38. # maxconn - 指定可被发送到该服务器的最大并发连接数
      39. 

    39. listen localhost 0.0.0.0:8888 #监控页面的端口
      40. 

    40. mode http
      41. 

    41. transparent
      42. 

    42. stats refresh 30s #统计页面自动刷新时间
      43. 

    43. stats uri /haproxy-stats #监控页面的访问地址
      44. 

    44. stats realm Haproxy \ statistic #统计页面密码框上提示文本
      45. 

    45. stats auth haproxyadmin:haproxypass #统计页面用户名和密码设置
      46. 

    46. stats hide-version #隐藏统计页面上HAProxy的版本信息
      47. 



相关文章