摘要：
通过账号登录获取cookies，模拟登录（前提有天眼查账号），会员账号可查看5000家，普通只是100家，同时也要设置一定的反爬措施以防账号被封。拿有权限的账号去获取cookies，去访问页面信息，不过这样呢感觉还是不合适，因为之前也采集过都是避开登录和验证码的问题，因为这些数据只是人家网站让不让你拿，该怎样去拿的问题。这里只是简单地做一下测试，实际采集会遇到各种问题的，这里只是个解题思路仅供参... 阅读全文
|
摘要：
通过账号登录获取cookies，模拟登录（前提有天眼查账号），会员账号可查看5000家，普通只是100家，同时也要设置一定的反爬措施以防账号被封。拿有权限的账号去获取cookies，去访问页面信息，不过这样呢感觉还是不合适，因为之前也采集过都是避开登录和验证码的问题，因为这些数据只是人家网站让不让你拿，该怎样去拿的问题。这里只是简单地做一下测试，实际采集会遇到各种问题的，这里只是个解题思路仅供参... 阅读全文
摘要：
对页面信息进行简单抓取：需要注意的问题 ： auth-sign 和 auth 都是有一定的时效性，还有url原url是https这里要改为http请求。 这参数的问题需要通过mitmdump去获取请求的具体参数并将之取出，不用手动去截获分析http请求和响应，写好请求和相应的处理逻辑，通过python实现二次操作。后期通过appium模拟人为操作去滑动请求刷新界面，得到相应再做处理。 impo... 阅读全文
摘要：
由上边的两图可以看到请求的一个过程，这里每次单击拖动只会更新10条数据（数据包含在data{}里），下面就要对请求的header参数进行分析。 3.经过分析 主要参数包含 结果如图： 4.进入单个tag的详情页： 评论 5.能力有限，目前只能分析到这几步，采集每一项tag的具体东西还没做完善，后期的 阅读全文
摘要：
手机浏览访问 http://httpbin.org/get 效果如图： 阅读全文
摘要：
windows 版本 双击安装 mitmproxy-ca.p12 按着引导安装，安装成功后会提示证书导入成功。 2.手机端 android手机上，同样需要将 mitmproxy-ca.cert.pem 文件发送到手机上。 这里通过访问 mitm.it 网站下载文件 失败，就选择通过邮件的方式发送给手 阅读全文
摘要：
2.Androoid 开发环境配置 所需：下载配置Android SDK 直接下载 Android Studio 下载地址 ：https://developer.android.com/studio/index.html?jl=zh-cn 安装配置 Android studio 下载配置 Sdk 参 阅读全文
摘要：
1.选择下载Windows下得exe安装包 mitmproxy-4.0.1-Windows-installer.exe (我选择的是) 下载完双击安装。 安装成功之后 如图： 2.证书配置 mitmproxy想要获取https请求就需要设置证书，mitmproxy在安装之后会提供一套CA证书，只要客 阅读全文
摘要：
3.安装证书 点击安装证书 如图 点击第二项‘将所有证书放入下列存储’ 点击浏览选择第二项‘受信任的根证书颁发机构’ 再点击确定 下一步 会跳出安装成功的提示。 二、手机端证书安装配置 1.安装之前需要查看 charles代理是否开启 操作如图 下一步就=就是将手机和电脑连在同一局域网下 本机 手机 阅读全文
摘要：
<input id="su" class="bg s_btn btnhover" value="百度一下" type="submit"/> //*[@id='su'] 获取id 的属性为'su' 的值 或 //input[contains(@class,'bg s_btn')] <a href="h 阅读全文
摘要：
主线程A中，创建了子线程B，并且在主线程A中调用了B.setDaemon(),这个的意思是，把主线程A设置为守护线程，这时候，要是主线程A执行结束了，就不管子线程B是否完成,一并和主线程A退出. 这就是setDaemon方法的含义，这基本和join是相反的。 此外，还有个要特别注意的：必须在star 阅读全文
|