OceanBase中主备Rootserver如何管理切换

主RootServer会不断给备RootServer发送lease。被RootServer收到该lease后会保存到几个变量中：

int ObCheckRunnable::renew_lease(const ObLease& lease)

{

  int err = OB_SUCCESS;

  lease_on_ = true;

  lease_time_ = lease.lease_time;

  lease_interval_ = lease.lease_interval;

  renew_interval_ = lease.renew_interval;

  return err;

}

然后备RootServer的CheckRunnable::run()线程中会周期性检查是否需要进行lease续约。RS会检查vip是否与自己的本地ip一致，分为几种情况：

if (rs.ip = vip  && rs.role = slave)

{

   vip漂移到了备rs（原因可能是主rs挂掉了）

   备rs读取自己的lease状态，如果状态不为invalid则自己进入switching状态。

 （如果被发现自己lease已经超时，则认为自己的lease状态为invalid，此时报警，不做切换）

}

if (rs.ip = vip && rs.role = master)

{

   vip还在主rs上。属于一般正常情况。什么都不用做。

}

if (rs.ip != vip && rs.role = slave)

{

  vip不在备rs上。属于一般正常情况。

  这时候检查一下自己的lease状态，如果lease为invalid状态，则进入state变为init状态，重新注册。

  如果lease为should renew状态，则renew lease（向vip rs发送renew请求）。

}

if (rs.ip != vip && rs.role = master)

{

  异常情况。主rs失去了vip，为了避免损失进一步扩大，主rs立即退出。（思考：这里为什么主rs不把自己切换成备？）

}

这里特别需要注意的是renew lease，它始终是向vip rs发送renew lease请求，而不是向某个具体的rs发送请求。所以rs的lease状态严重依赖于HA。

什么时候需要Renew lease呢？看下面一段代码。仅当lease超过了一个安全区域即将过期的时候才会renew。

// common/ob_check_runnable.cpp

int64_t ObCheckRunnable::get_lease_status_()

{

  LeaseStatus status = LEASE_NORMAL;

  timeval time_val;

  gettimeofday(&time_val, NULL);

  int64_t cur_time_us = time_val.tv_sec * 1000 * 1000 + time_val.tv_usec;

  if (lease_time_ + lease_interval_ < cur_time_us)

  {

    TBSYS_LOG(WARN, "Lease expired");

    status = LEASE_INVALID;

  }

  else if (lease_time_ + lease_interval_ < cur_time_us + renew_interval_)

  {

    TBSYS_LOG(DEBUG, "Lease will expire");

    status = LEASE_SHOULD_RENEW;

  }

  return status;

}

下面梳理一次主死掉、备切换成主的过程：

1. 主、备各司其职。主负责具体工作，备通过回放commit log与主保持准同步状态。

2. 主因为某种原因死掉（运维、异常等），HA检测到该事件，立即进行IP切换（把备的IP设置成VIP）

3. 备在CheckRunnable::run()中检测到自己的IP与VIP相等，并且自己当前角色是SLAVE，立即把自己的STATE设置成SWITCH状态。

4. 在run()开始执行之前，主线程（ob_root_worker.cpp）就已经在一个loop里面了：

        while (ObRoleMgr::SWITCHING != role_mgr_.get_state() // lease is valid and vip is mine

            && ObRoleMgr::INIT != role_mgr_.get_state() //  lease is invalid, should reregister to master

            // but now just let it exit.

            && ObRoleMgr::STOP != role_mgr_.get_state() // stop normally

            && ObRoleMgr::ERROR != role_mgr_.get_state())

        {

          usleep(10 * 1000); // 10 ms

        }

        if (ObRoleMgr::SWITCHING == role_mgr_.get_state())

        {

                  切换成master：停止log等待线程，停止log重放线程，启动工作线程，等等。

        }

小结：

1. 主备切换受HA管理，非异常情况下主备RS不进行切换

2. 备集群SWITCH状态是进入ACTIVE MASTER状态的准备态