Fiddler
目录
- 一、Fiddler简介
- 二、不同代理模式的区别
- 三、介绍及界面概述
- 四、Fiddler抓web网站请求
- 五、浏览器内核(理解)
- 六、HTTPS以及Fiddler抓取HTTPS协议
- 七、抓取手机内容
- 八、设置断点修改
- 九、重定向AutoResponder
- 十、Fiddler过滤
- 十一、Fiddler Script
- 十二、次要功能和第三方插件
正文
转摘自:玲虫师
一、Fiddler简介
Fiddler 是一款免费的互联网调试代理工具,原版软件无中文版,但有汉化版。它不仅可以抓取你电脑甚至手机与互联网的各种 http 通讯,同时还能查看他们进行分析。在必要的时候,你甚至可以修改(伪造)某些通讯实现前后端开发者调试的作用。其他作用比如解密 https 协议会话,测试网站的性能以及开发和使用第三方插件。
它支持所有操作系统和浏览器,但一般对 win 平台支持较好.
这是界面。具体操作之后再讲。先说Fiddler的工作原理。
Fiiddler 为什么能抓取你跟服务器交互的协议包呢?首先看这么一个图:
总的来说原理很简单,看完图之后大家应该有了很直观的了解。
打开fiddler的时候,它会自动给你的电脑创建一个系统代理,默认监听端口为8888。Fiddler作为一个客户端和服务器之间的桥梁,可以获得它们之间通信的信息,这些信息进行解析之后以会话的形式呈现给我们。
代理了之后会不会跟平时正常的上网有区别?其实你感觉不到有什么区别的,就是正常的访问就可以了。唯一的区别是把这些访问都显示在了fiddler的会话面板上。我们把一个个会话称为包,正是一个个数据包的发送和接收组成了我们的网络访问。
担心系统代理设置了回不来?没关系,fiddler在关闭的时候会自动取消这个代理,恢复系统原貌。
二、不同代理模式的区别
Fiddler有不同的代理模式,分为以下两种:
- 流模式(Streaming)
- 缓冲模式(Buffering)
流模式可以理解为一种实时通信的模式,有请求就有返回,也就是实时返回。
缓冲模式是等所有请求都到了再一起返回,也就是等所有数据都准备好了以后才返回给客户端。
流模式更接近于浏览器本身真实的行为。
而缓冲模式可以控制最后的服务器响应。
在实际使用中我们可以根据具体的实际情况来选择代理模式。
在界面上的切换操作很简单,就是一个按钮的按下的弹起的区别。
三、介绍及界面概述
3.1 Fiddler 界面概述
3.2 翻译
3.2.1 主菜单
File文件:
File--->Capture Traffic启用或停止捕获; File--->New Viewer 新窗口; File--->Load Archive 存档; File--->Recent Archive 最近文档; File--->Save保存; Save--->All Session... 全部会话; Save--->Selected Session 选择了的会话; Save--->Request 请求; Save--->Response 响应; File--->Import Sessions导入会话; File--->Export Sessions导出会话; File--->Exit退出; |
|
Edit编辑: Edit--->Copy拷贝; Copy--->Session拷贝整个Session; Copy--->Just Url将选中session的url拷贝到剪贴板; Copy--->Headers Only拷贝头信息,包括请求和返回的头信息; Copy--->Full Summary将session列表显示的信息及表头复制到剪贴板,通过tab分割。便于在Excel或其他编辑器中查看编辑; Edit--->Remove移除; Remove--->Selected Sessions选择会话; Remove--->Unselected Sessions反选会话; Remove--->All Sessions全部会话; Edit--->Select All选择全部; Edit--->Undelete恢复之前删除的会话; Edit--->Paste as Sessions作为会话粘贴文件; Edit--->Mark标记所选的会话; Mark--->Strikeout失败; Mark--->Red红色; Mark--->Blue蓝色; Mark--->Gold金色; Mark--->Green绿色; Mark--->Orange橙色; Mark--->Purple紫色; Mark--->Unmark未标记; Edit--->Unlock for Editing调为可编辑 Edit--->Find Sessions查找会话 |
|
|
Rules规则:
Rules--->Hide Image Requests隐藏图片请求; Rules--->Hide HTTPS CONNECTs隐藏HTTPS连接; Rules--->Automatic Breakpoints断点控制; Automatic Breakpoints--->Before Requests请求之前; Automatic Breakpoints--->After Responses 响应之后; Automatic Breakpoints--->Disabled禁用; Automatic Breakpoints--->Ignore Images忽略图片; Rules--->Customize Rules打开Fiddler ScriptEditor; Rules--->Require Proxy Authentication密码代理验证; Rules--->Apply GZIP Encoding采用GZIP编码; Rules--->Remove All Encodings删除全部编码; Rules--->Hide 304s隐藏304会话; Rules--->Request Japanese Content要求日语内容; Rules--->User-Agents支持把User-Agents请求头设置或替换成指定值; Rules--->Performance提供影响web性能的简单选项; Performance--->Simulate Modem speeds模拟调制解调器速度; Performance--->Disable Caching禁止缓存 Performance--->Cache Always Fresh新的缓存 |
Tools工具: Tools--->Options选项; Tools--->WinINET Options WinINET选项; Tools--->Clear WinINET Cache-清除WinINET缓存; Tools--->Clear WinINET Cookies清除WinINET的Cookies; Tools--->TextWizard文字编码解码; Tools--->Compare Sessions比较会话; Tools--->New Session Clipboard新会话写字板; Tools--->HOSTS hosts配置; Tools--->Reset Script重置脚本; Tools--->Sandbox沙箱; Tools--->View IE Cache查看IE缓存; |
|
|
View视图:
View--->Show Toolbar显示工具条 View--->Default Layout默认布局 View--->Stacked Layout堆叠布局 View--->Wide Layout全部布局 View--->Tabs制表符 Tabs--->preferences偏好 Tabs--->autosave自动保存 Tabs--->apitest API测试 View--->Statistics统计 View--->Inspectors嗅探 View--->Composer构造 View--->Minimize to Tray关闭自托盘 View--->Stay on Top前端显示 View--->Squish Session List会话列表格式 View--->AutoScroll Session List自动滚动会话链表 View--->Refresh刷新 |
Help帮助:
Help--->Help帮助 Help--->Fiddler Book说明 Help--->Discussions社区讨论 Help--->HTTP References HTTP的参考 Help--->Troubleshoot Filters-故障排除 Help--->Check For Updates检测更新 Help--->Send Feedback发送反馈 Help--->Abou关于 |
3.2.2 快捷菜单
给捕捉到的会话增加一个备注,不常用。选中会话,点下该按钮,就可以增加备注了。 Replay--->重新发送选中请求。回放按钮,比较常用。想重播会话,就可以点这个按钮,在底部对该请求做了一次回放,快捷键是R。可以多次重放。 Remove--->删除会话。清空监控面板的,可以过滤掉不同的请求,也可以清空全部的请求。 Go--->打断点时使用 Stream--->点击为流模式,不点击为缓冲模式 缓冲模式:内容全部返回在发送到客户端;可以控制响应,修改响应数据,但是时序图有时候会出现异常; 流模式:收到内容立即发送给客户端;更接近真实浏览器的性能,速度快,时序图更准确(比如瀑布图),但是不能控制响应; 如果不需要AutoResponse和Fileters功能的话,一般使用缓冲模式; Decode--->解码,默认勾选。帮助我们把http请求里面的东西解压出来,在查看的时候更方便一些。 |
|
|
Keep:All sessions--->保持全部会话
Any Process--->任何进程,精准定位。帮我们过滤不想看到的进程发出的请求,只保留我们要看到的进程的请求。方法是比如只想看到谷歌浏览器请求,把靶心拖动到谷歌浏览器放开即可。 Find--->查找 Save--->保存 |
截屏
秒表 Browse--->打开浏览器 Clear Cache--->清除缓存。可以快速清除缓存。 TextWizard--->编码解码小工具。可以快速编码和解码内容,很实用,点开后,选择解码方式就可以编解码了。省去了使用字符集转化的工具。 |
|
Tearoff--->打开一个新窗口。可以把右侧面板变成浮窗,想恢复关闭即可。
MSDN Search--->MSDN关键字查找。查的都是英文资料,中文环境很少用。 |
3.2.3 会话列表
#--->图标及序号 Result--->HTTP响应状态码 Protocol--->请求使用的协议 Host--->接受请求的服务器主机名和端口号 URL--->请求的服务器路径的文件名,也包括GET参数 Body--->请求的大小,以byte为单位 Caching--->请求的缓存过期时间或缓存控制header等值;响应头中Expires和Cache-Control字段的值 |
|
Content-Type--->请求响应的类型
Process--->发出此请求的Windows进程及进程ID; Comment--->注释信息; Custom--->用户可以通过脚本设置自定义值;FiddlerScript所设置的ui-CustomColumn标志位的值 |
|
|
--->正在向服务器发送请求 -->正在从服务器下载响应 --->请求停止于断点处,允许对它进行修改 --->响应停止于断点处,允许对它进行修改 --->请求使用HTTP HEAD方法,响应没有body --->请求使用POST方法向服务器发送数据 --->请求使用了HTTPCONNECT方法,使用HTTPS协议建立连接通道 --->响应是HTML内容 --->响应是图片 --->响应是脚本文件 --->响应是CSS文件 --->响应是XML --->响应是JSON --->响应是音频文件 --->响应是视频文件 --->响应是Silverlight程序 --->响应是Flash应用程序 --->响应是字体文件 --->通用响应成功 --->响应是HTTP/300,301,302,303,307重定向 --->响应是HTTP/304,使用缓存文件 --->响应需要一个客户端凭证 --->响应是一个Sever错误 --->会话被客户端或fiddler或Sever终止 --->脚本文件 response是HTML或者XML。有时候会发现返回值是json,但实际上也是这个图标,原因是返回值的Content-Type: text/html HTTP状态: 红色表示错误,黄色表示认证 数据流类型: 灰色表示CONNECT 响应类型:紫色表示CSS,蓝色表示HTML,绿色表示script,灰色表示 |
3.2.4 会话右键
Decode Selected Sessions--->解码选择的session,一些Response body 会Encode。Decode后通常能解决乱码的问题;
AtuoScroll Session List--->自动滚动 Session List。当不断有新的session进入list时候,关闭此功能,更容易定位选择某一个或多个session; Comment--->为一个或多个session添加注释; Compare--->对比:选中两条session右键,就会出现Compare选项。这个功能是通过第三方的软件来实现,可以下载WinDiff.Exe放在Fiddler的安装目录下,或是下载WinMerge安装,安装时,注意将软件添加到系统环境变量中; COMETPeek--->命令会保留正在执行的响应的“快照”,在响应完成前就可以查看部分内容。当web应用采用COMET模式以流式向客户端返回数据时,可以使用该命令。由于“流式”的含义就是永不结束,直有当服务端停止连接后,Fiddler才会返回响应; Abort Session--->终止当前正在执行的请求; Clone Response--->当Session列表中选中两个Session,并且其中一个Session在断点处中止,而另一个Session已经运行完成时才可用。该命令会把已经完成的Session的响应拷贝给暂停运行的Session; Unlock For Editing--->使Session的请求和响应都可以在Inspector中编辑; Inspect in New Windowns--->打开一个新的Session Inspector窗口; Properties--->打开Session属性窗口,显示当前的Session信息 |
|
Copy拷贝;
Copy--->Just Url将选中session的url拷贝到剪贴板; Copy--->This Column拷贝摘要,其中包括:请求方法,URL,响应状态码及状态信息。如果是重定向的HTTP/3xx,还会有该请求Response header中Location字段; Copy--->Terse Summary简要; Copy--->Headers Only拷贝头信息,包括请求和返回的头信息; Copy--->Session拷贝整个Session; |
|
Save保存:
Save--->Selected Sessions选择Sessions; Save--->Selected Sessions---> in ArchiveZIP将选择的sessions保存为SAZ格式压缩文件; Save--->Selected Sessions--->as Text将所选Session保存为txt格式文件; Save--->Selected Sessions---> as Text(Headers only)将所选sessions的请求和响应头一起保存为txt格式文件; |
|
Remove删除:
Remove--->Selected Sessions删除选中的sessions Remove--->Unselected Sessions删除未选中的sessions; Remove--->All Session删除所有sessions |
|
Filter Now快捷过滤:
选中一个session右键会出现Filter Now选项,Fiddler会根据你选择的session快速生成隐藏/显示条件; 当我们选则隐藏某一个条件后,session list会隐藏符合条件的session; |
|
Mark标记所选的会话:
Mark--->Strikeout失败; Mark--->Red红色; Mark--->Blue蓝色; Mark--->Gold金色; Mark--->Green绿色; Mark--->Orange橙色; Mark--->Purple紫色; Mark--->Unmark未标记; |
|
Replay重新请求此地址:
Replay--->Reissue Requests 将选中的请求以原来的形式重新发送。如果按住Shift键,可以键入重复次数。或是选中sessions后按Shift+R; Replay--->Reissue Unconditionally无条件的发送选中请求,告诉服务器不要返回HTTP/304响应,快捷键Shift+U; Replay--->Reissue and Edit把选中的请求以原来的形式重新发送,在每个session中设置请求断点,在请求被发送到服务器前,使用Fiddler的Inspector修改请求; Replay--->Reissue and Verify把选中的请求以原来的形式重新发送,验证Response状态码和Response body; 重新发送的请求会被标记出背景色,绿色代表验证通过,红色表示验证失败,在comments中会提示失败原因和对比的session id; Replay--->Reissue Sequentially将选中的请求重新发送,等待前一个响应回来后,在发送下一个; Replay--->Reissue from Composer将选中的请求克隆到Fiddler右侧的Composer模块中(Composer后续博客讲解); Replay--->Revisit in IE将sessions的url在IE中打开。注意IE总是使用GET方法,而且用自己的header和cookie,不管session中提供了什么HTTP方法和请求头; |
|
Select选择:
Select--->Parent Request当前请求是从那个页面来的,相当于当前请求头中的Refere字段值。鼠标放在session上按P键可执行; Select--->Child Requests与1相反; Select--->Duplicate Requests选中Session列表中和当前的Session的URL和HTTP方法相同的所有Session; Select--->Matching Values值匹配选择,可以根据Session列表中的任意值匹配,鼠标放任意一列,点击Alt+左键,就会匹配出相同值的session; |
3.2.5 选项卡
Statidtics--->统计,对选中多个Sessions统计;
Inspectors--->检查,请求头和响应体 AutoResponder--->重新定向 Composer---> 模拟进行发送 FiddlerScript--->脚本 Log--->日志 Fiters--->过滤 Timeline--->瀑布流时间图 |
3.2.6 请求查看器
Headers--->请求头信息显示为一个分级视图,包含了web客户端信息、Cookie、传输状态等; TextView--->显示POST请求的body部分为文本; SyntaxView--->显示脚本(安装SyntaxView插件) WebForms--->以直观的界面显示QueryString的值和Body的值,这里的Body应该是application/x-www-form-urlen-coded格式; HexView--->请求内容的16进制显示; Auth--->显示hearer中Proxy-Authorization和Authoriization信息; Cookies--->以直观的界面显示Header中Cookie的值; Raw--->将整个请求显示为纯文本; JSON--->通过JOSN格式显示; XML--->如果请求的body是XML格式,就是用分级的XML树来显示它; |
3.2.7 响应查看器
Transformer--->响应信息的压缩编码格式;
Headers--->用分级视图显示响应的header; TextView--->使用文本显示相应的body; SyntaxView--->显示脚本(安装SyntaxView插件) ImageView--->响应内容如果是图片则显示图片,左侧灰色区域会显示图片的大小、宽高、文件格式等信息,在下方还可以选择缩放模式:自动缩放、缩放以适应显示区域大小、无缩放; HexView--->响应内容的16进制显示; WebView--->显示HTML格式,模拟网页显示; Auth--->显示hearer中Proxy-Authorization和Authoriization信息; Caching--->缓存; Cookies--->以直观的界面显示Header中Cookie的值; Raw--->将整个响应显示为纯文本; JSON--->通过JOSN格式显示; XML--->如果响应的body是XML格式,就是用分级的XML树来显示它; |
四、Fiddler抓web网站请求
4.1手动设置方法一
Tools--->WinINET Options--->连接--->局域网设置--->代理服务器勾选后“高级”--->服务器地址:127.0.0.1,端口8888;
4.2 手动设置方法二
①、File--->勾选Capture Traffic;
②、点击左下角Capturing进行选择或取消;
4.3 自动设置步骤
Tools---> Options--->Connections--->勾选Act as system proxy on startup(作为系统启动代理)
五、
浏览器千千万,使用fiddler抓包的时候浏览器该如何选择呢?
我们的选择原则是保证有几种不同浏览器的内核。
浏览器内核又可以分成两部分:渲染引擎(layout engineer 或者 Rendering Engine)和 JS 引擎。 渲染引擎 它负责取得网页的内容(HTML、XML、图像等等)、整理讯息(例如加入 CSS 等),以及计算网页的显示方式,然后会输出至显示器或打印机。
浏览器的内核的不同对于网页的语法解释会有不同,所以渲染的效果也不相同。 JS 引擎 则是解析 Javascript 语言,执行 javascript语言来实现网页的动态效果。 最开始渲染引擎和 JS 引擎并没有区分的很明确,后来 JS 引擎越来越独立,内核就倾向于只指渲染引擎。有一个网页标准计划小组制作了一个 ACID 来测试引擎的兼容性和性能。
内核的种类很多,如加上没什么人使用的非商业的免费内核,可能会有10多种,但是常见的浏览器内核可以分这四种:Trident、Gecko、Blink、Webkit。
(1)Trident(IE内核)
国内很多的双核浏览器的其中一核便是 Trident,美其名曰 "兼容模式"。
代表: IE、傲游、世界之窗浏览器、Avant、腾讯TT、猎豹安全浏览器、360极速浏览器、百度浏览器等。
Window10 发布后,IE 将其内置浏览器命名为 Edge,Edge 最显著的特点就是新内核 EdgeHTML。
(2)Gecko(firefox)
Gecko(Firefox 内核): Mozilla FireFox(火狐浏览器) 采用该内核,Gecko 的特点是代码完全公开,因此,其可开发程度很高,全世界的程序员都可以为其编写代码,增加功能。 可惜这几年已经没落了, 比如 打开速度慢、升级频繁、猪一样的队友flash、神一样的对手chrome。
(3) webkit(Safari)
Safari 是苹果公司开发的浏览器,所用浏览器内核的名称是大名鼎鼎的 WebKit。
现在很多人错误地把 webkit 叫做 chrome内核(即使 chrome内核已经是 blink 了),苹果感觉像被别人抢了媳妇,都哭晕再厕所里面了。
代表浏览器:傲游浏览器3、 Apple Safari (Win/Mac/iPhone/iPad)、Symbian手机浏览器、Android 默认浏览器,
(4) Chromium/Blink(chrome)
在 Chromium 项目中研发 Blink 渲染引擎(即浏览器核心),内置于 Chrome 浏览器之中。Blink 其实是 WebKit 的分支。大部分国产浏览器最新版都采用Blink内核。二次开发。
(5) Presto(Opera)
Presto(已经废弃) 是挪威产浏览器 opera 的 "前任" 内核,为何说是 "前任",因为最新的 opera 浏览器早已将之抛弃从而投入到了谷歌怀抱了。
6.1 浅谈HTTPS
我们都知道HTTP并非是安全传输,在HTTP基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的。目前越来越多的企业选择使用HTTPS协议与用户进行通信,如百度、谷歌等。HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息。网上有诸多资料,有些写得过于晦涩难懂,尤其是需要密码学的一些知识。我做了一下简单的整理,刨除复杂的底层实现,单从理解SSL协议的角度宏观上认识一下HTTPS。一言以弊之,HTTPS是通过一次非对称加密算法(如RSA算法)进行了协商密钥的生成与交换,然后在后续通信过程中就使用协商密钥进行对称加密通信。HTTPS协议传输的原理和过程简图如下所示:
一共有8个步骤,我们针对每一步,具体看看发生了什么事:
第一步,客户端发起明文请求:将自己支持的一套加密规则、以及一个随机数(Random_C)发送给服务器。 第二步,服务器初步响应:服务器根据自己支持的加密规则,从客户端发来的请求中选出一组加密算法与HASH算法,生成随机数,并将自己的身份信息以证书(CA)的形式发回给浏览器。
CA证书里面包含了服务器地址,加密公钥,以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数(Random_S)。 第三步,客户端接到服务器的初步响应后做四件事情: (1)证书校验: 验证证书的合法性(颁发证书的机构是否合法,证书中包含的网站地址是否与正在访问的地址一致等)。 (2)生成密码:浏览器会生成一串随机数的密码(Pre_master),并用CA证书里的公钥加密(enc_pre_master),用于传给服务器。 (3)计算协商密钥: 此时客户端已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master,计算得到协商密钥enc_key。 enc_key=Fuc(random_C, random_S, Pre-Master) (4)生成握手信息:使用约定好的HASH计算握手消息,并使用协商密钥enc_key及约定好的算法对消息进行加密。 第四步,客户端将第三步产生的数据发给服务器: 这里要发送的数据有三条: (1)用公钥加密过的服务器随机数密码enc_pre_master (2)客户端发给服务器的通知,"以后我们都要用约定好的算法和协商密钥进行通信的哦"。 (3)客户端加密生成的握手信息。 第五步,服务器接收客户端发来的数据要做以下四件事情: (1)私钥解密:使用自己的私钥从接收到的enc_pre_master中解密取出密码Pre_master。 (2)计算协商密钥:此时服务器已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与Pre-master,计算得到协商密钥enc_key。 enc_key=Fuc(random_C, random_S, Pre-Master) (3)解密握手消息:使用协商密钥enc_key解密客户端发来的握手消息,并验证HASH是否与客户端发来的一致。 (4)生成握手消息使用协商密钥enc_key及约定好的算法加密一段握手消息,发送给客户端。 第六步,服务器将第五步产生的数据发给客户端: 这里要发的数据有两条: (1)服务器发给客户端的通知,”听你的,以后我们就用约定好的算法和协商密钥进行通信哦“。 (2)服务器加密生成的握手信息。 第七步,客户端拿到握手信息解密,握手结束。 客户端解密并计算握手消息的HASH,如果与服务端发来的HASH一致,此时握手过程结束。 第八步,正常加密通信 握手成功之后,所有的通信数据将由之前协商密钥enc_key及约定好的算法进行加密解密。
6.2 Fiddler抓取HTTPS协议原理
我们都知道,Fiddler是个很好的代理工具,可抓取协议请求用于调试。关于Fiddler抓取HTTP协议的原理和配置比较简单,对Fiddler和客户端稍作配置,便能使得Fiddler轻易地获取HTTP请求。但是由于HTTPS协议的特殊性,要进一步地配置Fiddler,我们首先要了解一下fiddler抓取HTTPS协议的原理才能更好地理解如何对fiddler进行配置。Fiddler本身就是一个协议代理工具,在上一节HTTPS原理图上,客户端与服务器端进行通信的过程全部都由Fiddler获取到,也就是如下图所示:
我们看到Fiddler抓取HTTPS协议主要由以下几步进行:
第一步,Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。 第二步,服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥。
然后Fiddler伪造自己的CA证书, 冒充服务器证书传递给客户端浏览器。 第三步,与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。 第四步,客户端将重要信息传递给服务器, 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开, 获得并计算得到HTTPS通信用的对称密钥enc_key。
Fiddler将对称密钥用服务器证书公钥加密传递给服务器。 第五步,与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。 第六步,Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。 第七步,客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。
在之后的正常加密通信过程中,Fiddler如何在服务器与客户端之间充当第三者呢?
服务器—>客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文。再次加密, 发送给客户端。 客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。
由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中信息对其透明。
从上面可以看到,Fiddler抓取HTTPS协议成功的关键是根证书(具体是什么,可Google),这是一个信任链的起点,这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。
接下来我们就来看如果设置让Fiddler抓取HTTPS协议。
6.3 Fiddler抓取HTTPS设置
用火狐访问 https 认证网站(如百度)会出现以下问题:
处理步骤如下:
tools > Options > HTTPS 和 Connections
此时在桌面可以得到一个证书:
双击可看详情
得到证书之后需要去火狐浏览器添加。
然后就可以访问 https 认证的网站了。
七、抓取手机内容
7.1、常用设置
设置步骤一:Tools---> Options--->HTTPS--->勾选Decrypt HTTPS traffic--->选择…from remote clients only(从远程客户端)
设置步骤二:Tools---> Options--->Connections--->设置Fiddler listens on port:8888--->勾选Allow remote computers to connect(允许远程设备连接)
设置步骤三:①.查看fiddler所在计算机的IP(cmd---> ipconfig或者点击fiddler右上角Online)
②.手机上进行设置:同一个wifi下设置代理,服务器地址:计算机的IP(192.168.0.163),端口8888;
7.2、附加设置(常用设置后无法进行抓包)
方法一:因为有些APP对安全上要求没有那么高时候,不需要下载证书,但是有的APP对安全要求比较高,就需要下载证书,下载证书步骤:在手机浏览器(自带浏览器,本人在尝试中,UC出错)输入网址:
http://[FIDDLERSERVER]:[Port]/FiddlerRoot.cer 或者 [FIDDLERSERVER]:[Port], 例如: http://192.168.0.163:8888/FiddlerRoot.cer 或者 192.168.0.163:8888
安装的证书在手机的位置如下,可以进行删除、重新安装;
方法二:Rules---> Customize Rules--->按Ctrl+F--->打开Find and Replace--->输入查询关键字:OnBeforeResponse--->在函数OnBeforeResponse中添加如下代码
if (oSession.oRequest["User-Agent"].indexOf("iPhone/9.2.1")> -1 && oSession.HTTPMethodIs("CONNECT")) { oSession.oResponse.headers["Connection"] = "Keep-Alive"; }
八、设置断点修改
8.1 断点修改Request
8.1.1 Request全部中断
设置中断:Rules---> Automatic Breakpoints--->Before Requests
取消中断:Rules---> Automatic Breakpoints--->Disabled
点击下发红色箭头的位置进行中断切换;
例1:打开http://news.baidu.com/--->设置请求断点--->清空fillder抓包数据--->不输入任何关键字,点击http://news.baidu.com/页面中“百度一下”--->在fiddler中设置“value=巧吧软件测试”--->点击“Run to Completion” --->点击“Go” --->结果:“value=巧吧软件测试”;
Inspectors界面:Break on Response:发送请求,在响应数据回到Fiddler时再次中断;Run to Completion:单条运行修改后的请求;
8.1.2 Request特定网站中断
特定网站中断设置:快速命令行输入“bpu www.baidu.com+Enter”,只会中断www.baidu.com;
特定网站中断取消:快速命令行输入“bpu+Enter”;
8.2 断点修改Response
8.2.1 Response全部中断
设置中断:Rules---> Automatic Breakpoints--->After Response
取消中断:Rules---> Automatic Breakpoints--->Disabled
点击下发红色箭头的位置进行中断切换;
例1_脚本替换:打开http://news.baidu.com/--->设置请求断点--->清空fillder抓包数据--->刷新http://news.baidu.com/页面--->在Response中修改内容--->点击“Run to Completion” --->点击“Go” --->结果:修改后的内容;
例2_状态码替换:打开http://news.baidu.com/--->设置请求断点--->清空fillder抓包数据--->刷新http://news.baidu.com/页面--->在Response中选择状态码--->选择502_Unreachable.dat --->点击“Run to Completion”--->点击“Go” --->结果:状态码502内容;
8.2.2 Response特定网站中断
特定网站中断设置:快速命令行输入“bpafter www.baidu.com+Enter”,只会中断www.baidu.com;
特定网站中断取消:快速命令行输入“bpafter+Enter”;
8.2.3 Response查找或替换
8.3 其他断点相关命令行
bps:特定http状态码时中断,比如:bps 200;
bpv/bpm:在特定请求method时中断,比如bpv GET或bpm POST;
g:等于Go
九、重定向AutoResponder
9.1. 文件及图片替换(Enable rules)
目的:允许从本地返回文件,代替服务器响应,而不用将文件发布到服务器【可用正式环境验证本地文件】
步骤一:抓页面http://ir.baidu.com/phoenix.zhtml?c=188488&p=irol-irhome --->选择session,右击--->Save--->Response---> Response Body
步骤二:打开另存html文件--->修改内容
步骤三:AutoResponder--->勾选Enable rules--->选择session--->点击“Add Rule”
步骤四:Rule Editor--->第二个下拉框--->选择Find a file… --->选择修改后的html--->save;
步骤四:Rule Editor--->第二个下拉框--->选择状态码--->save;
步骤五:清空fillder抓包数据--->刷新http://ir.baidu.com/phoenix.zhtml?c=188488&p=irol-irhome --->页面--->查看结果;
9.2 未匹配到请求时正常响应(Unmatched requests passthrough)
不勾选Unmatched requests passthrough时地址错误;
访问其他网站会出错。点上之后即可访问其他网站。
9.3 设置延时(Enable Latency)
步骤:勾选Enable Latency --->出现Latency列--->选中某个文件--->右击--->选择Set Latency--->设置延迟时间(3000毫秒)--->save--->重新刷新http://ir.baidu.com/phoenix.zhtml?c=188488&p=irol-irhome页面,设置的内容会发生3s的延迟;
9.4 URL匹配
EXACT开头:表示完全匹配
regex开头:表示用正则表达式来匹配
StringToMatch:字符串匹配
9.5 Test是否匹配
步骤:选中session--->点击Test--->查看是否匹配上;
十、Fiddler过滤
10.1 User Fiters启用
10.2 Action
Action:Run Filterset now是否运行,Load Filterset加载,Save Filterset保存;
10.3 Hosts过滤
Zone:指定只显示内网(Intranet)或互联网(Internet)的内容;
Host:指定显示某个域名下的会话;
-No Host Filter:无HOST过滤;
Hide the following Hosts:只显示如下HOST;
Flag the following Hosts:加粗显示如下HOST;
输入多个HOST,多个之前用半角逗号或者回车分隔;
支持通配符:*,baidu.com;
步骤:选择Hosts--->输入过滤条件单条件(ir.baidu.com)或多条件(ir.baidu.com,www.baidu.com或ir.baidu.com+Enter+www.baidu.com)或通配符(*.baidu.com)--->Changes not yet saved--->选择Ations中Run Filterset now;
10.4 Client Process过滤
客户端进程过滤规则:
Show only traffic from:你可以指定只捕获哪个Windows进程中的请求;
Show only Internet Explorer traffic:只显示IE发出的请求;
Hide Windows RSS platform traffic:隐藏Windows RSS平台发出的请求;
10.5 Request Headers过滤
请求header过滤规则:
经常使用:Show only if URL contains;
Flag requests with headers:标记带有特定header的请求;
Delete request headers:删除请求header;
Set request header设置请求的header;
10.6 Breakpoints
断点设置规则:
Break request on HTTP POST:给所有POST请求设置断点;
Break request on HTTP GET with QueryString:给所有带参数的GET请求设置断点;
Break response on Content-Type:给特定的Content-Type设定断点;
10.7 Response Status Code过滤
响应HTTP状态过滤规则:
Hide success(202,204,206):隐藏响应成功的session(202,204,206);
Hide Authentication demands(401):隐藏未经授权被拒绝的session(401);
Hide redirects(300,301,302,303,307):隐藏重定向的session(300,301,302,303,307);
Hide Not Modified(304):隐藏无变更的session(304);
10.8 Response Type and Size
响应类型和大小过滤规则:
Show all Content-Type:显示所有响应类型;
Hide smaller than ?KB:隐藏小于指定大小的session;
Hide larger than ?KB:隐藏大于指定大小的session;
Time HeatMap:获得即时数据(绿色阴影代表响应时间在50毫秒以内;超过50毫秒但在300毫秒之内的响应条目没有颜色;响应时间在300至500毫秒之间的会涂以黄色;超过500毫秒的用红色底纹显示);
Block script files:阻止脚本文件,显示为404;
Block image files:阻止图片文件;
Block SWF files:阻止SWF文件;
Block CSS files:阻止CSS文件;
10.9 Response Headers
响应header过滤规则:
Flag response that set cookies:标记会设置cookie的响应;
Flag response with headers:标记带有特定header的响应;
Delete response headers:删除响应header;
Set response header:设置响应的header;
10.10 会话列表:鼠标右击
十一、Fiddler Script
11.1 安装SyntaxView插件
使用Fiddler Script前需要安装SyntaxView插件:
方式1:Inspectors tab--->Get SyntaxView tab--->Download and Install SytaxView Now…
方式2:http://getfiddler.com/FiddlerSyntaxSetup.exe
11.2 进入FiddlerScript页面
方式1:直接点击FiddlerScript页签;
方式2:Rules--->Customize Rules--->Fiddler ScriptEditor;
11.3 FiddlerScript脚本进行自定义修改
修改session样式;
修改http请求和应答;
修改URL;
定制菜单:定制rule菜单的子菜单;定制tool菜单的子菜单;定制右键子菜单;
11.4 模拟慢速网络
步骤一:Customize Rule修改脚本:上传/下载1KB要delay多久
步骤二:Rules--->Performance--->启用Simulate Modem Speeds
步骤三:重新刷新抓包网页--->结果很慢;
十二、次要功能和第三方插件
12.1 替换HTTP Request Host
应用场景:进行开发时,线上去测试跳转调试
替换命令:urlreplace news.baidu.com www.baidu.com;
清除命令:urlreplace,需要同时清除浏览器缓存;
永久替代:Script脚本实现
12.2 配置Host
应用场景:线下和线上进行域名ip地址进行替换;
步骤:Tools--->HOSTS--->Host Remapp
12.3 Compose-Request发射器
12.4 HTTP统计图
12.5 QuickExec命令行的使用
cls
select:select image
?.png
bpu、bpafter、bps、bpv、bpm
>size <size
=status:=状态码
@host:匹配域名
12.6 TimeLine瀑布图
选择多个会话,从条形图表中可以分别出哪些请求耗时最多;
不同颜色代表不同的元素类型的响应(浅绿色代表图片,深绿色是JavaScript,红色是CSS,其他为蓝色);
其他符号:请求前面的红色圆圈表示这个连接是新建的,绿色表示是复用的;
黑色竖线,表示的是浏览器收到服务器响应的第一个字节这一时刻;
向下的箭头表示重定向,302错误;
红色感叹号表示有错误发生,状态为4XX或5XX;
红色的X,说明服务端响应完这个请求之后,断开了连接;
闪电表示这是Fiddler的“AutoResponder”的响应;
软盘图标表示这个响应正文从本地获得,304错误;
12.7 编码小工具、查询会话、编码解码
12.8 第三方插件
Syntax-Highlighring:代码高亮插件;
JavaScript格式化插件:JS格式化;
WinDiff:会话比较功能;
Stave插件:目录替换;项目配置管理;自定义颜色;上下行网速限制;
Willow:可以统计数据包;修改Host;请求重定向;编码转换;低网速模拟:慢速网络模拟可视化;断点调试;过滤HTTP请求;
12.9 官方文档
http://www.telefik.com/fiddler
http://www.360doc.com/content/16/0128/15/30056680_531241446.shtml (关于接口)