mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫

参考链接： https://zhuanlan.zhihu.com/p/68806789

介绍一款爬虫辅助工具mitmproxy ，mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是，mitmproxy可以进行二次开发，尤其可以对接python。

mitmproxy一般用于开发或者测试，用在爬虫辅助也是极好的。

github地址： https://github.com/mitmproxy/mitmproxy

官网地址： https://mitmproxy.org/

进入CMD窗口，Python3执行

安装完成后，系统将拥有 mitmproxy、mitmdump、mitmweb 三个命令，由于 mitmproxy 命令不支持在 windows 系统中运行。

控制台运行慎喊

输出

同时打开你的默认浏览器

这是完毕，在随便访问一个网站，例如百度，一股似曾相识的感觉铺面而来，这就是网页版的Fiddler

接下来关闭所有 Chrome 窗口，否则命令行启动时的附加参数将失效。打开 cmd，执行：

前面那一长串是 Chrome 的的安装路径，应当根据系统宽磨野实际情况修改，后面两参数设置了代理地址游粗并强制忽略掉证书错误。

当我们初次运行mitmproxy或mitmdump时，

会在当前目录下生成 ~/.mitmproxy文件夹，其中该文件下包含4个文件，这就是我们要的证书了。

windows上安装证书很简单，双击.p12结尾的证书文件即可。 安卓手机需要将对应的文件发送到手机文件，进行安装。

在windows平台下一般使用mitmdump 控制台运行 mitmdump，出现如下结果

打开模拟器，跟fiddler和Charles的配置其实是非常类似的

火车头采集器是比较好的网站采集软件。火车头采集器：火车采集器已经成为国内使用岁森春人数最多、功能最完善、网站程序支持最全面、数据库支持最丰富的软件产品。使用火车采集器，系统支持远程图片下载，图片批量水印，Flash下载，下载文件地址探测，自制作发表的cms模块参数，自定义发表的内容等。此外，丰富的规则制定，内容替换功能，对Access，春租Mysql，MSsql的数据入库导出的支持，更可令采集内容的时乎耐候得心应手。

---