集群节点间网络通信TIPC

时间:2023-06-03 17:12:08
1. TIPC背景介绍##

TIPC主要是用于集群网络环境之中,它这个协议有一些前提假设包括:

  1. 协议发送的大部分message都是直接到达目的地(无路由);
  2. message的传输时间都很短;
  3. message都在集群内部节点间传递;
  4. 包丢失率很低, 重传不经常发生;
  5. 可用带宽和内存都很大;
  6. 包校验和都由硬件校验;
  7. 通信节点的数量在一定时间内是相对受限和静态的;
  8. 安全在封闭的集群环境里相对Internet来说不是关键因素。

    Q:上述假定可以得出TIPC是基于流量驱动(traffic-driven)和固定大小滑动窗口的信号链路层协议。

    A:tipc的每个link都可以设置tolerance数值和window大小,静态的。
2. TIPC网络协要素##

网络协议包括协议结构,逻辑节点何消息结构三个方面。

2.1 协议结构##
2.2 节点逻辑结构##

TIPC网络是由单个的处理单元或节点组成. 网络节点是严格分层的, 规则如下:

  1. 相关节点的集合构成一个cluster: 如果cluster中的每一个节点都至少有一条直达其他每个节点的路径(即cluster的节点是全连通的), 那么这些节点构成一个cluster, 每个cluster有1~4095个节点.
  2. 相关cluster的集合构成一个zone: 如果zone中的每一个cluster都至少有一条直达其他每个cluster的路径(即zone的cluster是全连通的), 那么这些cluster构成一个zone, 每个zone有1~4095个cluster, 每个cluster的大小不必相同.
  3. 相关zone的集合构成一个TIPC网络: 如果网络中的每一个zone都至少有一条直达其他每个zone的路径(即网络的zone是全连通的), 那么这些zone构成一个TIPC网络, 每个TIPC网络有1~255个zone, 每个zone的大小不必相同.

    节点一般是按照邻近关系分组, TIPC的通信质量随着节点距离增加而下降, 在一个典型的TIPC网络中, 同一cluster中的节点间通信最频繁, 其次是同一zone而不同cluster的节点, 而不同zone中的节点基本没有通信.

    TIPC网络中的每个节点都有一个由zone ID, cluster ID和node ID组成的地址, 一般标记为 z.c.n 其中: 1<=Z<=255, 1<=C, N<=4095.TIPC网络中的每个节点都有一个由zone ID, cluster ID和node ID组成的地址, 一般标记为 z.c.n 其中: 1<=Z<=255, 1<=C, N<=4095. 如果一个TIPC网络节点还没有被分配地址, 那么就以<0.0.0>标记它. TIPC网络一般也有自己的ID. 这样可以使多个逻辑TIPC网络共同使用相同的物理介质(如以太网LAN等)而不相互干扰。
2.3 消息结构##

message是TIPC节点端口间信息交换的基本单元. TIPC中有2种基本消息:

  1. payload message: 在应用程序和应用程序或应用程序和TIPC服务之间传送应用程序相关的内容。
  2. internal message: 在TIPC子系统之间传送TIPC相关的内容。

    每个TIPC消息都包含消息头部和数据2部分, 消息头部的格式和用户相关, 大小从6个字到11字(word)不等(TIPC支持头部将来最大扩展到60字节). 头部是以网络字节序编码的32字节整形存储的。
3. 原理##

使用端口名称Port Naming来指代<ZCN:REF>,首先端口名称这个概念必须基于scope的前提,在同一个scope下,端口名是不能重合的{type,instance}这里的type和instance都是32位的大小,端口名称增加了灵活度,例如多个<ZCN:REF>都提供一样的服务,那么我们可以在端口名称的情况里进行多个<ZCN:REF>绑定到一个{type,instance}的方式,反过来,一个port提供多个服务的话,那么我们也可以一个<ZCN:REF>绑定到多个{type,instance}。

使用TIPC,我们在创建socket的时候在内核中注册自己的服务类型service type,那么在发送端,只需要指定服务类型就可以由内核路由到相应的socket。这个时候,对应用层来说,对端地址仅仅是一个服务类型service type!很显然,内核维护着这么一张TIPC的路由表,即由服务去查找socket。而每台机都有这样的路由表,他们之间信息就像能够共享一样地为整个集群的TIPC socket服务。有了TIPC,这个socket使用了哪个IP,哪个端口。

4. 安装与配置##
  1. 源码编译安装(内核模块动态装载方式)2016-12-04 00:11:56 星期日
  • download related kernel version source: [root@192 ~]# yum install kernel-devel-uname -r``
  • 将现有的config覆盖源码的config cp /boot/config-3.10.0-229.11.1.el7.x86_64 .config
  • make menuconfig
  • make modules 此时就可以在对应的模块目录下找到自己的ko文件
  • download tipcutils-2.0.2.tar.gz
  • cd tipcutils-2.0.2; make
[root@192 tipc]# pwd
/lib/modules/3.10.0-327.36.3.el7.x86_64/kernel/net/tipc
[root@192 tipc]# modprobe tipc
[root@192 tipc]# lsmod |grep tipc
tipc 116876 0

例如TIPC内核模块而言,直接用root # modprobe tipc来加载,就可以将tipc模块加载到内核。

配置网络: root# tipc-config -netid=1234 -addr=1.1.8 -be=eth:eth0/1.1.0

远程管理: root# tipc-config -dest=1.1.9 -n

禁用远程管理: root# tipc-config -mng=disable

tipc-2.0标准去掉了之前标准里面对于zone的支持,目前这个版本只支持在一个cluster里面的节点情况,在linux内核里面作为一个模块来加载的是tipc.ko。该模块的管理工具包括./tipc-config ,这个工具是与版本相关的,不要拿之前的版本软件工具来用。

在配置TIPC网络的过程中,需要理解选项中的几个概念:

address 节点地址(例如,1.1.2)

bear 承载名称(例如,eth:eth0)

link 节点间链接(例如,1.1.1:eth0-1.1.2:eth0)

media 媒体名称(例如,eth)

link tolerance

link window

domain 网络区域,例如2.3.12,2.3.0,2.0.0或0.0.0

network id

priority

5. 编程指南##

编程时需要注意的几点:

  1. 程序里面一般只用端口名称来通信;
  2. 如果节点之间存在冗余link的话,是协议栈自行决定。
5.1 Port Naming##
  • port naming 冲突机制:在一个node内部,这个是比较*的,节点内的任何port都可以绑定到任何一个name上,也可以绑定多个name,但是不能重复绑定一个name;
  • 在节点之间有一个scope的概念,这个涉及到,比如scope有node已经publish了一个name,那么就不能有重复了,除非不在一个scope。naming在scope内有排斥作用,如果先前的服务提供了某些范围的name sequences,这时会publish给定义的scope内的所有节点,这时后续的有冲突的这个name就无法创建成功。
  • Overlapping name sequences are permitted if they are published by different nodes and are published with non-overlapping scopes. For example, it is possible to publish {100,500,1200} on node <1.1.1> and {100,1100,1500} on node <1.1.2> as long as they both are published with node scope.
  • naming 的用户可用范围是0~63,其中{0,zcn}和{1,1}是用于
5.2 Naming Resolution##

client应用在计划连接server时会指定lookup domain,默认查找整个tipc网络,**因为port naming的特性,一个name可能对应好多个id,这里tipc是循环使用这个有效的port id

首先应用程序从自己的topo svr这里获取目标port id,如果找不到,这个消息会依次发送给各个节点。

5.3 Multicast Messaging##

这个是一个port name匹配的问题,从name的角度来看,消息的副本会发给sequence匹配上的name;从port id的角度看,不管怎样,每次只收到一个这样的消息。

5.4 Name Subscriptions##

TIPC提供一个topology服务,应用先connect到{1,1},这个是topo提供的服务,然后再订阅自己感兴趣的;

首先,每个node都会发布自己的{0,zcn}用于自动建立link等;

订阅消息包含:****

订阅返回的事件消息包含:****

6. 参考文档##
  1. 集群通信TIPC协议
  2. 通信协议——HTTP、TCP、UDP三者的关系