文章分类 -  爬虫

mitmproxy爬逻辑思维文章
摘要：一、分析页面 首先，用命令行工具打开mitmweb，如图： 然后，将手动配置手机的代理服务器为PC机。 如何配置可以参考之前的文章https://www.cnblogs.com/xyztank/articles/12362470.html 接着，在手机打开想要爬取的软件“得到App”。 根据代理截获 阅读全文
posted @ 2020-03-21 17:13 xyztank 阅读(192) 评论(0) 推荐(0) 编辑
利用爬虫技术爬取“火星引力”的小说“天辰”
摘要：一、前沿 首先推荐一个好看的网络小说网站： "武侠world" ，又可以学英语，又可以看小说，还可以治疗各种上瘾症（无法治疗小说瘾），非常不错。 这段时间真是小说荒，好看的网络小说本来就少，而且更新得实在是太慢，于是想到把之前得小说再翻出来看看。虽然，网上免费的小说网站不少，但广告实在是太多，于是想 阅读全文
posted @ 2020-02-25 16:53 xyztank 阅读(551) 评论(0) 推荐(0) 编辑
利用词频技术统计分析写作水平高
摘要：一、公司简介 大渡河公司于2000年11月在成都高新区注册成立，主要任务是以龚嘴、铜街子为母体电站，滚动开发大渡河流域水电站，是国家能源集团所属最大的集水电开发建设和运营管理于一体的大型流域水电开发公司。 公司目前主要负责大渡河流域开发和西藏帕隆藏布流域开发筹建，拥有大渡河干流、支流以及西藏帕隆藏布 阅读全文
posted @ 2020-02-25 16:52 xyztank 阅读(101) 评论(0) 推荐(0) 编辑
利用selenium爬取妹子图
摘要：一、妹子图爬取前分析 1、首先要知道爬取网站的url，这里妹子图的url就是它 "https://www.mzitu.com/" 2、接着我们分析妹子图的请求方式，看看它以什么方式渲染。这里妹子图只是利用了传统的网页（没有使用Ajax或js）。 3、接着点击进入页面，连续点击下一页，发现url存在一 阅读全文
posted @ 2020-02-25 16:50 xyztank 阅读(2608) 评论(0) 推荐(0) 编辑
利用python爬取新闻信息
摘要：一、公司简介 大渡河公司于2000年11月在成都高新区注册成立，主要任务是以龚嘴、铜街子为母体电站，滚动开发大渡河流域水电站，是国家能源集团所属最大的集水电开发建设和运营管理于一体的大型流域水电开发公司。 公司目前主要负责大渡河流域开发和西藏帕隆藏布流域开发筹建，拥有大渡河干流、支流以及西藏帕隆藏布 阅读全文
posted @ 2020-02-25 16:48 xyztank 阅读(1390) 评论(0) 推荐(0) 编辑
利用python多线程爬取妹子图
摘要：一、妹子图爬取前分析 1、首先我们还是要简单分析一下妹子图，第一就是要知道爬取网站的url，这里妹子图的url就是它 "https://www.mzitu.com/" 2、接着我们分析妹子图的请求方式，看看它以什么方式渲染。这里妹子图只是利用了传统的网页（没有使用Ajax或js）。 3、接着点击进入 阅读全文
posted @ 2020-02-25 16:46 xyztank 阅读(1517) 评论(3) 推荐(0) 编辑
mitmproxy的下载及证书配置
摘要：一、mitmproxy的安装 mitmproxy是一个抓包工具，类似于WireShark、Filddler，并且它支持抓取HTTP和HTTPS协议的数据包。另外，它还有两个非常有用的组件，一个mitmdump，它是mitmproxy的命令行接口，利用它可以对接python脚本；另一个是mitmweb 阅读全文
posted @ 2020-02-25 16:41 xyztank 阅读(3164) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示