Fiddler 真的是一款相当不错的数据包分析工具,从数据包截取,分析,改数据,可编程规则 等方方面面 真的可以说的上数一数二的好工具了。

本次事件的由来是由于在微信中很多推广网站&页面,都对微信&手机进行了识别,非微信&手机情况下,网页不可访问。

有朋友想获取网页内容和相关图片所以拜托我来解决。仔细想了想这种情况,感觉没有必要重头编写一个程序去模拟,因为要解决很多的问题,模拟手机、模拟微信,最麻烦的可能还要模拟的token 获取过程。

而且受规则一旦发生变化,未来的代码维护也变的不可预见的麻烦。

所以采用代理方式,让终端正常操作,对流经的所有内容进行过滤,保存,效果应该最好。遵循这个思路,立刻就想到了 Fiddler。

(曾经用过Fiddler  帮朋友破解过直播网站免费看小视频。-,.-! 好吧,我也看了~)

这里分享我用的Fiddler 4.6.3 中文汉化版 链接: https://pan.baidu.com/s/17F6s8hsMNdhSqXc7OeLnbQ 提取码: jufr

可能会被提示有病毒,可以忽略误该报提示。文件夹里还有 fiddlersyntaxsetup.exe 源码编辑扩展的下载。(原版亚马逊云的下载需要咳血上网,另外好像这几天咳血上网也无法下载)

 

大体解决思路为,利用Fiddler 的 规则-> 自定义规则 (c#代码)来实现对内容的分析、过滤、保存过程。

1、打开Fiddler ,找到 规则(Rules)-> 自定义规则(Customize Rules) 打开 规则代码。

2、定位并找到 static function OnDone(oSession: Session) 处。(该部分代码默认情况下是注释状态,)

移除注释,在其中编写代码如下:

    static function OnDone(oSession: Session) {
    
        //检查Content-Type 
        if (oSession.ResponseHeaders["Content-Type"]!=null || oSession.ResponseHeaders["content-type"]!=null)
        {
            //避免不规范标头
            var contentType=oSession.ResponseHeaders["Content-Type"];
            if (String.IsNullOrEmpty(contentType) )
                contentType=oSession.ResponseHeaders["content-type"];
            
            //判定请求是否图片
            if (contentType.Contains("image"))
            {
                //确定文件名(保存用)
                var fileName="";
                var fileIndex =    oSession.RequestHeaders.RequestPath.LastIndexOf ("/");
                if (fileIndex>0)
                    fileName =    oSession.RequestHeaders.RequestPath.Substring (fileIndex+1);
                
                //如果文件名非法(名称含非法字符)
                if(fileName.IndexOf('?')>0 || fileName.IndexOf('&') )
                    fileName=String.Empty;
                //输出日志(在Fiddler 主窗口,日志处输出)
                //FiddlerObject.log("Content-Type:"+ contentType +" RequestPath:"+oSession.RequestHeaders.RequestPath);
                
                //如果文件名为Null,自行创建一个文件名(Guid)
                if (String.IsNullOrEmpty( fileName))
                {
                    fileName=Guid.NewGuid().ToString();
                    var extName=    contentType.Replace("image/","");
                    fileName=fileName+"."+extName;
                }
                
                //太小的图片不要,比如站位图片(自行调节)
                if (oSession.ResponseBody.Length>100)
                {
                    //指定保存位置
                    var saveDir="d:\\Temp\\";
                    //不存在则创建文件夹
                    if (!System.IO.Directory.Exists(saveDir))
                        System.IO.Directory.CreateDirectory(saveDir);
                    
                    //保存响应流
                    oSession.SaveResponseBody(saveDir+fileName);
                    //写日志
                    FiddlerObject.log("[文件保存]:"+fileName)
                }
            }
        }
    }

我写代码一般备注比较多,所以在此不再赘述。

保存后,Fiddler 会自动加载并应用此规则。

 

自此,本机或通过代理过来的 访问中如果有图片的,均会自动保存在d:\temp 文件夹下。

不过微信和不少网站都需要https 连接,默认情况下,代理会出现证书问题,需要配置相关的根证书。

关于Fiddler 如何配置HTTPS 和如何配置代理,请参考我另外一篇博文。

 

posted on 2020-03-26 10:06  李佩亮  阅读(2918)  评论(1编辑  收藏  举报