摘要: scrapy是python的一个爬虫框架,从网上随意搜索便能得到千篇一律的使用demo(本文也是哟),并且非常容易理解。即便你没看过相关的demo,也一样可以食用本文。我的应用场景大多是列表页,文章页等。如果你的业务需要登录验证,图片验证等,请另寻他法,不要在本篇文章浪费你宝贵的时间。由于我的代码编 阅读全文
posted @ 2020-07-06 17:25 blueToWhite 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 起因:最近用Htmlunit爬取网页。demo运行起来后,发现速度相当慢,一直在不停的加载js文件,偶尔还会报错,js超时等。抓包工具看了一下请求,发现一直在不停的下载js文件。按理说请求过js文件后,本地是会缓存这些文件的。避免再次从服务器下载,增加服务器压力和客户端页面加载速度。由此便开始大量的百度,寻求解决方案。一番操作下来,千篇一律的配置文章看了几十个,但是还是没解决问题。无奈只能沉下气来,从新审视代码... 阅读全文
posted @ 2019-11-07 16:24 blueToWhite 阅读(700) 评论(0) 推荐(0) 编辑
摘要: 本文所用组件传送门:vue-org-tree 本文基于antd (其他前端组件框架操作基本都类似的: iview,elementui,boostrap-vue...) 当然,github上还有其他类似的组件,实现方法各有不同,显示效果也有差异,但都是很方便的组件。 看到网上有很多相关的使用教程,gi 阅读全文
posted @ 2019-09-07 12:06 blueToWhite 阅读(13556) 评论(6) 推荐(2) 编辑