Document
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 133 下一页
该文被密码保护。 阅读全文
posted @ 2018-05-08 11:04 从未被超越 阅读(0) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2018-05-08 09:25 从未被超越 阅读(0) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2018-05-07 14:04 从未被超越 阅读(0) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2018-05-07 14:02 从未被超越 阅读(0) 评论(0) 推荐(0) 编辑
摘要: # -*- coding: utf-8 -*- #解决编码问题import urllibimport urllib2import reimport osimport timepage = 1url = 'http://www.qiushibaike.com/text/page/4/?s=497019 阅读全文
posted @ 2018-05-03 15:50 从未被超越 阅读(476) 评论(0) 推荐(0) 编辑
摘要: 昨天晚上无聊时,想着练习一下Python所以写了一个小爬虫获取小刀娱乐网里的更新数据 [python] view plain copy #!/usr/bin/python # coding: utf-8 import urllib.request import re #定义一个获取网页源码的子程序 阅读全文
posted @ 2018-05-03 15:46 从未被超越 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 存储使用mysql,增量更新东方头条全站新闻的标题 新闻简介 发布时间 新闻的每一页的内容 以及新闻内的所有图片。项目文件结构。 这是run.py的内容 这是settings.py 这是pipelines.py,里面有建表文件。里面有个mysql检查url是否存在的语句,其实是多余的。因为url已经 阅读全文
posted @ 2018-05-03 15:42 从未被超越 阅读(670) 评论(0) 推荐(0) 编辑
摘要: 一般我们写好scrapy爬虫,如果需要启动的话,需要进入scrapy项目的根目录,然后运行以下命令: 这样我们就可以在终端查看到爬虫信息了。但爬虫运行状态还需要给上级领导看,或者自己有空的时候就看看,总不可能想看的时候就登录服务器。 下面就给大家介绍scrapy官方推荐的部署爬虫项目的方法。 需要安 阅读全文
posted @ 2018-05-03 15:37 从未被超越 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 一.基本原理: Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule),并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码,将scra 阅读全文
posted @ 2018-05-03 15:35 从未被超越 阅读(1940) 评论(0) 推荐(0) 编辑
摘要: Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候,单个主机的处理能力就不能满足我们的需求了(无论是处理速度还是网络请求的并发数),这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的S 阅读全文
posted @ 2018-05-03 15:34 从未被超越 阅读(781) 评论(0) 推荐(0) 编辑
上一页 1 ··· 28 29 30 31 32 33 34 35 36 ··· 133 下一页