摘要: 首先来看下要爬取的网站的页面 查看网页源代码:你会发现它是由js动态加载显示的 所以采用selenium+谷歌无头浏览器来爬取它 1 加载网站,并拖动到底,发现其还有个加载更多 2 模拟点击它,然后再次拖动到底,,就可以加载完整个页面 得到结果: 随意打开一个txt: Scrapy版 wangyi. 阅读全文
posted @ 2019-04-21 22:23 噼里巴啦 阅读(1136) 评论(0) 推荐(0) 编辑
摘要: 图片懒加载技术 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“ 阅读全文
posted @ 2019-04-21 12:04 噼里巴啦 阅读(3694) 评论(0) 推荐(0) 编辑