安卓7.0以上手机使用charles代理抓取https数据

谷歌在安卓7.0修改了安全策略，用户添加的CA证书不能再用于安全连接，对于https传输的数据就抓取不到了，会显示 <unknown>。 我的解决方法是将charles的CA证书安装进系统信任的证书目录下，这样在开启charles代理的时候，系统就会认为CA证书安全，从而可以获取https数据。   准备工作： 一台已root过的手机，我用的是小米5，开启开发者选项连接电脑。 下载charles证书，电脑端浏览器输入chls.pro/ssl即可下载，如果未下载也可以在charles>>help>>SSL Proxying>>Save Charles Root Certificate保存证书到本地文件夹   具体步骤： 1.重命名证书 安卓系统的安全证书在   /system/etc/security/cacerts/目录下，进入adb shell，打开目录就能看到这些证书文件，文件名是Hash值加数字后缀。后缀名的数字是为了防止文件名冲突的，比如如果两个证书算出的Hash值是一样的话，那么一个证书的后缀名数字可以设置成0，而另一个证书的后缀名数字可以设置成1   用 “openssl x509 -subject_hash_old -in 证书名加后缀”计算出hash值，并将后缀设为0 修改后的文件为4fb5a349.0     2.将证书传到系统证书目录下 首先将文件4fb5a349.0 push到/sdcard/Download目录下(cmd 要进入文件目录下操作） adb push 4fb5a349.0 /sdcard/Download   然后复制到/system/etc/security/cacerts/目录下 adb shell su cp /sdcard/Download/4fb5a349.0 /system/etc/security/cacerts/ 如果出现 //4fb5a349.0：Read-only file system这个警告，这是因为system文件为只读，需要将其挂载为可读写。 一般的解决方法是 mount -o rw,remount /system 修改system读写权限，然后再进行复制操作   如果修改了之后还是提示Read-only file system，还有方法 adb root adb disable-verity adb reboot #手机会重启，不用关闭cmd窗口，手机可能需要拔掉数据写重新连接 adb root adb shell  mount -o rw,remount /system    #再次进行修改   然后就可以进行复制操作了。（我是遇到了这种情况，这个方法可行） 复制完之后输入reboot重启   3.测试 重启之后，小米手机打开设置-更多设置-系统安全-信任的凭据中可以看到安装的证书

 

然后通过设置charles代理就可以查看到https的数据了。   总结： 在抓取手机app数据的时候遇到了很多问题，查看了很多的博客资料，在此向他们提出感谢 https://www.codercto.com/a/58894.html https://www.jianshu.com/p/f547b05a5335 https://www.jianshu.com/p/035f7d7a0f7e https://blog.csdn.net/Nicolas_king/article/details/81122416   我抓取的是所在公司开发的app数据，爬虫仅仅作为测试而已。手机常用app的数据一般都是经过了加密，一些涉及个人隐私的数据爬取是违法的，所见即所得，否则即违法。 希望我的这篇文章能帮到大家，有任何意见还请不吝赐教。