摘要：
Splash是什么： Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。 为什么要有Splash： 为了更加有 阅读全文
摘要：
在selenium中，我们会遇到一些问题，就是多窗口处理的问题，我们爬取的内容在一个新窗口上，这个时候，我们就需要先切换到这个新的窗口上，然后进行抓取内容。 如何切换呢？ 首先，获取当前窗口句柄 1.元素有属性，浏览器的窗口其实也有属性的，只是你看不到，浏览器窗口的属性用句柄（handle）来识别。 阅读全文
摘要：
我们在定位页面元素的时候呢，经常使用到xpath。xpah定位元素，我们可以使用开发者工具，然后右键选取元素的xpath ,但是这种方式得到的xpath是绝对路径，如果页面元素发生变动，经常会出现定位不到的情况，所以，我们有必要学习一下，手动定位页面元素，既相对定位的写法。 常用的集中规则有： no 阅读全文
摘要：
在爬虫中，我们经常使用xpath来对元素进行定位，xpath定位分为两种，一种是绝对定位，/html/body/div[2]/div[1]/div/div[3]/a[7]，另外一种是相对定位，比如r'//*[@id ='ul' ]/a[7]' 通常我们可以通过开发者工具，复制元素对应的xpath，这 阅读全文
摘要：
我们这一代人如何学习？ 所以下面我才谈今天我重点想谈的问题：在这个时代，在这个碎片化、终身化、跨界化学习的时代，我们应该怎么学习？ 我给大家五个建议，也就是五个关键词。 ——人格—— 视频：这一代人的学习[罗辑思维]No.205 第一个关键词是人格。 这牵扯到对知识的理解，我们过去往往以为阅读就约等 阅读全文
摘要：
我们在使用scrapy框架的时候，会经常疑惑，数据流是怎么样在各个组件中间传递的。最近经常用scrapy+selenium爬取淘宝，又因为今天周五心情好，本宝宝决定梳理一下这方面知识。 scrapy中各个组件相互通信的方式是通过request对象和response对象来完成的。也就是说spider和 阅读全文
摘要：
一个域名下面可能存在着很多个cookie对象。如果我们用selenium的get_cookies方法，可以得到当前浏览器的多个cookie，比如： 这是一个cookie解析之后，它对应的字段的意义是什么呢？ name 字段为一个cookie的名称。 value 字段为一个cookie的值。 doma 阅读全文
摘要：
在用selenium爬取网页的时候，有时候需要登陆，这时候用selenium获取cookie和携带cookie是很方便的，获取cookie可以通过内置的函数get_cookies()，它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的，所有get_cookies( 阅读全文
摘要：
通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。 所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不 阅读全文
摘要：
可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？ 我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。 如何生成斐波那契數列 斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和 阅读全文