摘要：
阅读全文
摘要：
现在很多人都说用多线程工作快是因为多个不同任务可以同时执行，注意我说的是不同任务，要是重复做一件事达到相同效果就是画蛇添足了，其实这是个错误的说法，线程真正的本质是无法同时执行的。现在我们来看下多线程的工作机制： 现在我们就开其两个线程线程1，线程2，分别执行函数1，2，可以看到我在途中写了个主线程 阅读全文
摘要：
之前我用过多线程的方式执行了爬虫程序，爬取了糗事百科的数据可以看到速率非常之快，就像正常一个人他要完一个汉堡，再吃喝一瓶水才能走，结果他边吃汉堡边喝水，速率一下加快了一样。首先我们看看什么是线程： 图中我将一个PY文件的内容，进行了细化，这个PY文件如果要执行，那么他这个行为就叫做一个进程,那么线程 阅读全文
摘要：
说起python爬虫数据存储就不得不说到mongodb，现在我们来试一下scrapy操作mongodb 首先开启mongodb mongod --dbpath=D:\mongodb\db 开启服务后就可以进行使用， 还是接着上一卷在上进行修改： 来看下结果： 看到没有爬虫的完善就像个公式，不断嵌套 阅读全文
摘要：
上一卷中我将爬取的数据文件直接写入文本文件中，现在我将数据存储到mysql中，我依然用的是pymysql，这个很麻烦建表需要在外面建 这次代码只需要改变pipyline就行 来 现在看下结果： 对比发现数据准确无误 阅读全文
摘要：
将爬取数据存储在JSON文件里并不难，只需修改pipelines文件 直接看代码： 来看下结果： 中文字符恶心的很 之后我会在后卷中做出修改 阅读全文
摘要：
之前我们做的数据爬取都是单页的现在我们来讲讲多页的 一般方式有两种目标URL循环抓取 另一种在主页连接上找规律，现在我用的案例网址就是 通过点击下一页的方式获取多页资源 话不多说全在代码里（因为刚才写这篇文章时电脑出现点问题所以没存下来，所以这一版本不会那么详细） 来 看下结果522*35条连接页面 阅读全文
摘要：
之前我们都是在终端切入到scrapy的路境内执行爬虫的，你要多敲多少行的字节，所以这次我们谈谈如何在编辑器里执行，这个你可以用在爬虫中，当你使用PYTHONWEB开发时尽量不要在编辑器内启动端口服务那样不容易关闭服务 先来看下我编写的爬虫文件 先来看下结果： 看到了吧不停的切换路径，也同时感到了xp 阅读全文
摘要：
之前我们爬取的都是那些无需登录就要可以使用的网站但是当我们想爬取自己或他人的个人中心时就需要做登录，一般进入登录页面有两种 ，一个是独立页面登陆，另一个是弹窗，我们先不管验证码登陆的问题 ，现在试一下直接登陆的爬取： 爬虫是模拟人的行为来请求网页读取数据的现在我们划分一下过程，从登陆到获取： 先看一 阅读全文
摘要：
现在爬取http://category.dangdang.com/pg1-cid4008149.html网址上的商品价格，名称，评价数量 先准备下下数据：商品名，商品链接，评价数量 第一步：在item.py里进行设置 第二步：在setting里设置 将ROBOT文件设置为禁用 在设置里打开数据处理文 阅读全文