文章大纲：

• 1、如何使用网页抓取工具抓取APP数据
• 2、app扫码打开h5链接如何获取app本地存储数据
• 3、App中的数据可以用 *** 爬虫抓取么
• 4、如何使用Burpsuite抓取手机APP的HTTPS数据
• 5、fiddler怎么抓取app数据包怎么用
• 6、如何进行手机APP的数据爬取？

如何使用网页抓取工具抓取APP数据

如果用前嗅的ForeSpider数据采集软件就可以的。但是需要知道app的协议是什么。如果是http，https的，就可以直接采集。

实时更新也是可以做到的，软件支持定时采集、一定间隔时间采集，设置好间隔时间，就相当于是在实时更新了。

ForeSpider直接连接数据库，数据入库有多种策略，而且入库前会有两次自动排重，以保证只插入更新后的数据。

有免费版可以下载，不限制功能。

app扫码打开h5链接如何获取app本地存储数据

导入。

如果想要提取app用户数据，首先我们需要做的就是全方位的优化渠道，通过项目关的第三方统计平台，直接将统计的数据进行优化，数据经过整理和分析之后，会不会大致的了解到相应的优化渠道，这样就可以比较轻松的评估出个渠道的优劣，优先选择那些优质渠道。

App中的数据可以用 *** 爬虫抓取么

可以，你可以用抓包，然后通过 *** ip的方式，让你的手机和电脑处在一个 *** ，然后通过发送请求的方式去获取

如何使用Burpsuite抓取手机APP的HTTPS数据

1.所需条件

· 手机已经获取root权限

· 手机已经成功安装xposed框架

· 电脑一台

2.详细步骤

2.1 在手机上面安装xposed JustTrustMe

JustTrustMe是一个去掉https证书校验的xposed hook插件，去掉之后就可以抓取做了证书校验的app的数据包。JustTrustMe在github的地址位：

安装好模块之后勾选JustTrustMe模块，然后重启手机

2.2 配置burpsuite

打开burpsuite，切换到Proxy，然后切换到下面的Options选项，然后点击add，然后配置好端口，ip选择本机的ip地址，然后点击ok添加

将running框勾选上

2.3 导入burpsuite证书

在电脑端使用Firefox浏览器访问设置的 *** ip:端口，下载burpsuite证书，比如我上面的ip为192.168.1.105，端口为8080，就访问然后去下载证书

点击CA certificate下载burpsuite的证书，保存证书文件

进入Firefox的设置里面，选择高级，然后选择证书，点击查看证书

然后选择服务器，点击导入，导入刚刚下载的cacert.der证书，导入之后会多一个PortSwigger的证书，选中它，然后点击导出,选择X.509证书，然后重新命名导出,这里之所以要这样导出证书，是因为手机上面识别不了burpsuite默认导出的证书格式，要转换一下。

导出之后，将证书放到手机的sd卡中，然后进入手机设置，安全，从sd卡安装，然后选择放到手机的证书文件，如果手机没有设置锁屏密码，这里会要求设置手机锁屏密码。不同的手机导入略微有些不同，但是都是在设置，安全设置里面去导入证书。

点击从sd卡安装就可以选择sd卡中的证书文件，然后安装了。

2.4 在手机上配置 *** 服务器

进入手机设置，WLAN，将手机和wifi连接到同一个路由器上面，然后设置wifi，有些手机是长按当前连接的wifi进行设置，有些是点击向右的箭头进行设置，这里两中都说一下

之一种：

进入设置，点击wlan，然后长按当前连接的wifi，选择修改 *** ，滑到最下面，勾选显示高级选项，然后选择 *** 设置为手动 *** 服务器主机名字填电脑ip，端口填你刚刚设置的端口。然后确定，就设置成功了。

第二种：

进入设置，wlan，点击当前连接的wifi最右边的向右详情图标，打开编辑当前连接的wifi，然后将 *** 设置选择为手动，主机名填电脑ip地址，端口填刚刚在burpsuite里面设置的地址，然后点击确定保存，就设置成功了。

设置好之后便可以抓取https的数据包了，带证书校验的也可以正常抓取，如果不装JustTrusMe插件，就不能抓带证书校验的app的https数据包。

使用burpsuite抓取https的教程到这里就结束了。

fiddler怎么抓取app数据包怎么用

Fiddler基本原理

Fiddler数据包的原理是Fiddler将自己设置为一个 *** 服务器，默认监听127.0.0.1：8888端口同时将浏览器的HTTP、HTTPS协议设置为使用 *** 服务器也就是使用自己作为浏览器的 *** 服务器；

打开Fiddler后Fiddler自动为你设置的HTTP *** ：

抓取Andriod与IOS数据包的原理也是一样，在Andriod上设置Http *** 为Fiddler *** 服务器；

Fiddler初步使用

安装Fiddler，这里使用的是v4.6.1.5版本；

设置Fiddler：Tools菜单下Fiddler Options选项，选择Connections，勾选Allow romte computers to connect；

该设置是指Fiddler允许远程电脑连接，设置好后重启Fiddler；

在命令行下使用ipconfig查看本机地址，如：192.168.1.104；

注意Andriod与IOS设备必须与PC在一个局域网中；

Andriod设置

设置-WLAN，找到当前正在使用的Wifi，长按该连接，弹出选项后选择 “修改 *** ” ，然后勾选实现高级选项

在 *** 选择框中选手动，在 *** 服务器主机名中填入刚刚在电脑上看到的地址：192.168.1.104，端口填8888，然后点击保存；

IOS设置

这里使用的是IOS 9，点击设置图标，选择无线局域网，找到当前连接的wifi点击后面的！号图标，在HTTP *** 中选择手动，

服务器地址填，电脑的地址：192.168.1.104，端口填8888，然后即可，IOS中设置好后自动保存；

证书安装

由于有些App有使用了HTTPS证书，所以在Andriod、IOS上没有安装Fiddler证书就可以回出现App无法使用的情况；

安装证书，在浏览器中输入：192.168.1.104:8888（你电脑的IP地址），点击FiddlerRoot certificate，然后安装证书；

设置好后就可以在电脑上使用Fiddler对Andriod或IOS上的App进行抓包

如何进行手机APP的数据爬取？

Python爬虫手机的步骤：

1. 下载fiddler抓包工具

2. 设置fiddler

这里有两点需要说明一下。

设置允许抓取HTTPS信息包

操作很简单，打开下载好的fiddler，找到 Tools - Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。

设置允许外部设备发送HTTP/HTTPS到fiddler

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。

好了，需要的fiddler设置就配置完成了。

3. 设置手机端

设置手机端之前，我们需要记住一点：电脑和手机需要在同一个 *** 下进行操作。

可以使用wifi或者手机热点等来完成。

假如你已经让电脑和手机处于同一个 *** 下了，这时候我们需要知道此 *** 的ip地址，可以在命令行输入ipconfig简单的获得，如图。

好了，下面我们开始手机端的设置。

手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。

进入到手机wifi的设置界面，选择当前连接 *** 的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP *** 的选项，点击进入。

进入后，填写上面记住的ip地址和端口号，确定保存。

4. 下载fiddler安全证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：，然后点击FiddlerRoot certificate下载fiddler证书。

以上就简单完成了所有的操作，最后我们测试一下是否好用。

5. 手机端测试

就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。

结果没有问题，抓到信息包。然后就可以使用我们分析网页的 *** 来进行后续的操作了。