最近调试支付接口的时候,遇到了一个奇怪的问题:我按照支付接口文档,对接支付通道,当消费业务正常后,调试查余和冲正的时候,支付通道的对接技术告诉我,系统没有我们支付系统的请求报文,数据库和日志中都没有,我查看我们系统已经将报文想消费报文那样发给同一台服务器。后来想了想是不是他们的服务器是集群服务,业务处理不在一台服务器上,或者防火墙包过滤掉了,后来经过确认排除这些原因。
静下心想一想,数据无非经历了计算机网络的5层:应用层,传输层,网络层,数据链路,物理层。我想到了抓包工具tcpdump。经过抓包发现,我们系统确实和支付系统经历的三次握手建立了链接,并发送了报文数据,可是对接技术一直找不到问题所在。我告诉他,问题应该还是在应用层,只是错误应该出现在没有开始记录到日志文件的地方。最后,确实是这样。
下边详细描述一下tcpdump:
概述:tcpdump是一个用于截取网络分组,并输出分组内容的抓包工具,类似于window下的wireshark。tcpdump凭借强大的功能和灵活的截取策略,使其成为类UNIX系统下用于网络分析和问题排查的首选工具。 tcpdump存在于基本的Linux系统中,由于它需要将网络界面设置为混杂模式,普通用户不能正常执行,但具备root权限的用户可以直接执行它来获取网络上的信息。使用whereis命令查找是否安装tcpdump,并找到其命令的位置。
原理:tcpdump工作原理是将网络中传送的数据包的“头”完全截获下来提供分析,类似防火墙的包过滤。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。注意:不带参数的tcpdump会收集网络中所有的信息包头,数据量巨大,必须过滤。
选项介绍:
-A 以ASCII格式打印出所有分组,并将链路层的头最小化。
-c 在收到指定的数量的分组后,tcpdump就会停止。
-C 在将一个原始分组写入文件之前,检查文件当前的大小是否超过了参数file_size 中指定的大小。如果超过了指定大小,则关闭当前文件,然后在打开一个新的文件。参数 file_size 的单位是兆字节(是1,,000字节,而不是1,,576字节)。
-d 将匹配信息包的代码以人们能够理解的汇编格式给出。
-dd 将匹配信息包的代码以c语言程序段的格式给出。
-ddd 将匹配信息包的代码以十进制的形式给出。
-D 打印出系统中所有可以用tcpdump截包的网络接口。
-e 在输出行打印出数据链路层的头部信息。
-E 用spi@ipaddr algo:secret解密那些以addr作为地址,并且包含了安全参数索引值spi的IPsec ESP分组。
-f 将外部的Internet地址以数字的形式打印出来。
-F 从指定的文件中读取表达式,忽略命令行中给出的表达式。
-i 指定监听的网络接口。
-l 使标准输出变为缓冲行形式,可以把数据导出到文件。
-L 列出网络接口的已知数据链路。
-m 从文件module中导入SMI MIB模块定义。该参数可以被使用多次,以导入多个MIB模块。
-M 如果tcp报文中存在TCP-MD5选项,则需要用secret作为共享的验证码用于验证TCP-MD5选选项摘要(详情可参考RFC )。
-b 在数据-链路层上选择协议,包括ip、arp、rarp、ipx都是这一层的。
-n 不把网络地址转换成名字。
-nn 不进行端口名称的转换。
-N 不输出主机名中的域名部分。例如,‘nic.ddn.mil‘只输出’nic‘。
-t 在输出的每一行不打印时间戳。
-O 不运行分组分组匹配(packet-matching)代码优化程序。
-P 不将网络接口设置成混杂模式。
-q 快速输出。只输出较少的协议信息。
-r 从指定的文件中读取包(这些包一般通过-w选项产生)。
-S 将tcp的序列号以绝对值形式输出,而不是相对值。
-s 从每个分组中读取最开始的snaplen个字节,而不是默认的68个字节。
-T 将监听到的包直接解释为指定的类型的报文,常见的类型有rpc远程过程调用)和snmp(简单网络管理协议;)。
-t 不在每一行中输出时间戳。
-tt 在每一行中输出非格式化的时间戳。
-ttt 输出本行和前面一行之间的时间差。
-tttt 在每一行中输出由date处理的默认格式的时间戳。
-u 输出未解码的NFS句柄。
-v 输出一个稍微详细的信息,例如在ip包中可以包括ttl和服务类型的信息。
-vv 输出详细的报文信息。
-w 直接将分组写入文件中,而不是不分析并打印出来。
tcpdump选项详解
过滤表达式:tcpdump利用它作为过滤报文的条件,如果一个报文满足表 达式的条件,则这个报文将会被捕获。如果没有给出任何条件,则网络上所有的信息包 将会被截获。 分为一下几种类型:
①类型,主要包括host,net,port,例如 host 210.27.48.2, 指明 210.27.48.2是一台主机,net 202.0.0.0指明202.0.0.0是一个网络地址,port 23 指明端口号是23。如果没有指定类型,缺省的类型是host。
②确定传输方向,主要包括src,dst,dst or src,dst and src, 这些关键字指明了传输的方向。举例说明,src 210.27.48.2 ,指明ip包中源地址是 210.27.48.2 , dst net 202.0.0.0 指明目的网络地址是202.0.0.0。如果没有指明 方向关键字,则缺省是src or dst关键字。 注意:实际使用中,因为很多服务器都是NAT的,所以注意过滤的ip地址。
③协议,主要包括fddi,ip,arp,rarp,tcp,udp等类型。Fddi指明是在FDDI (分布式光纤数据接口网络)上的特定的网络协议,实际上它是”ether”的别名,fddi和ether 具有类似的源地址和目的地址,所以可以将fddi协议包当作ether的包进行处理和分析。 其他的几个关键字就是指明了监听的包的协议内容。如果没有指定任何协议,则tcpdump 将会 监听所有协议的信息包。
除了这三种类型的关键字之外,其他重要的关键字如下:gateway, broadcast,less, greater, 还有三种逻辑运算,取非运算是 ‘not ' '! ‘, 与运算是’and’,’&&';或运算是’or’ ,’||’; 这些关键字可以组合起来构成强大的组合条件来满足人们的需要。
补充:@20170918
# Flags are some combination of S (SYN), F (FIN), P (PUSH), R (RST), U (URG), W (ECN CWR), E (ECN-Echo) or `.' (ACK), or `none' # SYN表示建立连接;
# FIN表示关闭连接;
# ACK表示响应;
# PSH表示有 DATA数据传输;
# RST表示连接重置。 //三次握手
::51.850445 IP 172.16.13.73. > 172.16.13.21.: Flags [S], seq , win , options [mss ,nop,wscale ,nop,nop,TS val ecr ,sackOK,eol], length
::51.853275 IP 172.16.13.21. > 172.16.13.73.: Flags [S.], seq , ack , win , options [mss ,sackOK,TS val ecr ,nop,wscale ], length
::51.853303 IP 172.16.13.73. > 172.16.13.21.: Flags [.], ack , win , options [nop,nop,TS val ecr ], length //通信
::06.761370 IP 172.16.13.73. > 172.16.13.21.: Flags [P.], seq :, ack , win , options [nop,nop,TS val ecr ], length : HTTP
::06.763993 IP 172.16.13.21. > 172.16.13.73.: Flags [.], ack , win , options [nop,nop,TS val ecr ], length
::06.765269 IP 172.16.13.21. > 172.16.13.73.: Flags [P.], seq :, ack , win , options [nop,nop,TS val ecr ], length : HTTP: HTTP/1.1 Bad Request //四次挥手
::06.765271 IP 172.16.13.21. > 172.16.13.73.: Flags [F.], seq , ack , win , options [nop,nop,TS val ecr ], length
::06.765283 IP 172.16.13.73. > 172.16.13.21.: Flags [.], ack , win , options [nop,nop,TS val ecr ], length
::06.765291 IP 172.16.13.73. > 172.16.13.21.: Flags [.], ack , win , options [nop,nop,TS val ecr ], length
::06.765444 IP 172.16.13.73. > 172.16.13.21.: Flags [F.], seq , ack , win , options [nop,nop,TS val ecr ], length
::06.767870 IP 172.16.13.21. > 172.16.13.73.: Flags [.], ack , win , options [nop,nop,TS val ecr ], length