在上一篇文章中,介绍了一种测试Android App启动流量的方法。当时也提到了,通过读取/proc/uid_stat/<UID>/目录下的tcp_rcvtcp_snd文件,只能得到App的流量总值,无法得到更细化的数据。

例如,UC浏览器国际版在启动后,会和美国的服务器进行通讯交互,如果我们想测试浏览器在启动后与美国服务器的通讯流量,要怎么实现呢?。

本文便是针对这类场景的测试需求,讲解如何采用tcpdump测试得到更细化的流量数据。

tcpdump

tcpdump,是一个在Unix-like系统中通用的网络抓包工具,当然,这个工具在Android系统中也是可以使用的。

对于工具本身,本文不做过多介绍。为了防止有读者之前完全没有tcpdump的使用经验,在这里我只简单地进行几点说明:

  • 大多Android系统默认未集成tcpdump工具,我们需要事先将专门针对Android系统编译好的的tcpdump导入到Android系统,例如/data/local/tmp/tcpdump;当然,我们也不用自己编译,在androidtcpdump网站就可以下载到编译好的tcpdump二进制文件。
  • 运行tcpdump工具时需要root权限。
  • tcpdump命令支持许多参数,常见的有:
    • -i指定网卡(interface),any表示不限网卡;
    • -c指定接收的packets数量,接收完成后自动停止抓包;
    • -w指定输出文件,输出文件的格式为pcap;
    • -s(--snapshot-length)指定在每个packet中最多截取的字节数,设置为0时表示截取上限取默认值262144;
    • -v/-vv/-vvv,指定输出的详细程度,针对流量测试,我们不需要非常详尽的输出数据,取-v即可。

基于以上对tcpdump的介绍,我们要测试浏览器在启动后与美国服务器的通讯流量,就只需要先启动浏览器,然后在adb shell中执行以下命令即可。

1
2
3
4
5
1|shell@hammerhead:/ $ su -c /data/local/tmp/tcpdump -v -i any -s 0 -c 2000 -w /sdcard/us.pcap
tcpdump: listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
2000 packets captured
2024 packets received by filter
0 packets dropped by kernel

在这里之所有指定接收packets数为2000,是因为浏览器启动后并不是立即与美国服务器进行通讯。所以在这里设置了一个比较大的值,确保浏览器与美国服务器的异步通讯数据能包含在这2000packets之中。当然,这个2000只是一个工程实践得到的经验值,具体取多少还是要依赖于具体场景。

经过一段时间的抓包后,就生产了抓包结果,即/sdcard/us.pcap

人工分析pcap文件

拿到pcap文件只是第一步,我们必须要对这个文件进行解析才能得到我们想要的结果。

那么,通过什么方法解析pcap文件呢?

先简单介绍下pcap。pcap,即packet capture的缩写,是一种通用的网络抓包数据存储格式。既然是通用,因此它除了可以被tcpdump解析外,还支持被多种网络工具解析,其中,就包括大家熟知的wireshark

至于为什么有了tcpdump还要用wireshark来解析,这主要还是因为wireshark是图形界面,操作和使用上更友好一些。

wireshark中分析pcap文件十分简单,只需要直接打开文件,就可以看到抓包过程中捕获的所有网络通讯数据。不过,由于我们抓包获得的数据是系统层面的,除了我们关注的与美国服务器的通讯交互外,还包含了非常多的其它通讯信息。

好在wireshark有非常强大的筛选功能。对于本案例,我们可以先确定出美国服务器的host或IP,例如host为ucus.ucweb.com,那么我们就可以在筛选器中通过http.host == "ucus.ucweb.com"语句,即可筛选出所有本地与美国服务器的通讯交互数据。

wireshark host filter

对于更丰富的筛选功能,大家可以根据实际需求查询wireshark的帮助文档,在此就不再进行展开。

从上图的筛选结果中可以看到,美国服务器的地址为168.235.199.134。那接下来如何查看通讯的流量大小呢?

首先,找出该次请求的TCP Stream

wireshark tcp stream menu

在筛选出的TCP Stream中,将各条记录的Length进行求和,即可得到总的大小。

wireshark tcp stream data

例如,发送流量的总和,即100.84.126.160->168.235.199.134的总和,加和总值为3722bytes;接收流量的总和,即168.235.199.134->100.84.126.160的总和,加和总值为6300bytes。

当然,这里只是为了讲解计算流量的原理,实际上,我们并不需要去进行这个计算,可以直接读取得到总值。

【Statistics】->【Endpoints】

wireshark endpoints menu

在Endpoints界面中,选择TCP tab,勾选“Limit to display filter”,即可看到通讯流量汇总数据。

wireshark tcp stream data

可以看出,这个的汇总数值与前面计算得到的数值完全相同。

自动化测试脚本

通过前面的人工分析,我们已经掌握了分析特定流量的一般性方法。然而,要想将此种场景的流量测试加入持续集成自动化测试系统,采用以上方法显然是不行的。

那么,要怎样才能在代码中完成对pcap文件的分析呢?

好在已经有前辈做了相应的工作,在GitHub上就找到了一个开源项目pcap2har,可以实现对pcap文件的解析。

pcap2har项目的详细介绍请大家自行查看项目文档。

针对本文中的测试场景,解析pcap文件的代码实现如下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
#!/usr/bin/env python
#coding=utf-8

import dpkt
from pcap2har import pcap
from pcap2har import http


def parsePcapFile(pcap_file, target_host):
    # parse pcap file
    dispatcher = pcap.EasyParsePcap(filename=pcap_file)

    traffic_total = 0
    traffic_receive_total = 0
    traffic_send_total = 0
    url_list = []

    # stream为tcp数据流,当为长链接时一个tcp流里面可以有多个http请求
    for stream in dispatcher.tcp.flows():
        # fwd为请求大小,如果小于200则肯定不是正常的HTTP请求,忽略
        if stream.fwd.caplen < 200:
            continue

        pointer = 0
        while pointer < len(stream.fwd.data):
            try:
                myrequest = http.Request(stream.fwd, pointer) #解析请求头
            except dpkt.Error as error:  # if the message failed
                break
            except:
                raise

            pointer += myrequest.data_consumed
            myhead = myrequest.msg.headers

            # 请求头大小<200时忽略
            if myrequest.data_consumed < 200:
                continue

            if myhead["host"] == target_host:
                traffic_receive_total += stream.rev.caplen
                traffic_send_total += stream.fwd.caplen
                traffic_total += stream.streamlen
                url_list.append(myrequest.fullurl)

    traffic_data = {
        'total': traffic_total,
        'tcp_snd': traffic_send_total,
        'tcp_rcv': traffic_receive_total,
        'url_list': url_list
    }
    return traffic_data


if __name__ == '__main__':
    pcap_file = ""
    target_host = "ucus.ucweb.com"
    print parsePcapFile(pcap_file, target_host)
    # output: {'url_list': ['http://ucus.ucweb.com/usquery.php'], 'total': 10022, 'tcp_rcv': 6300, 'tcp_snd': 3722}