摘要: 本人步骤: 1>setting.py: ITEM_PIPELINES = { 'newding.pipelines.NewdingPipeline': 300,} 以上配置;创建项目会自动出现这些 以下是想要入数据库的(阶段): 阅读全文
posted @ 2017-04-10 20:26 诡道!!! 阅读(1068) 评论(0) 推荐(0) 编辑
摘要: # encoding:utf8import requests # Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。from lxml 阅读全文
posted @ 2017-04-10 19:52 诡道!!! 阅读(359) 评论(0) 推荐(0) 编辑
摘要: urllib 和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下 urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL 阅读全文
posted @ 2017-04-10 18:56 诡道!!! 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 爬虫使用代理ip 获得代理IP的网站: http://www.xicidaili.com/ 验证代理是否可用的方式之一: globalUrl = "http://ip.chinaz.com/getip.aspx" 如何使用代理: 一 使用requests: ip = "http://" + i[0] 阅读全文
posted @ 2017-04-10 16:29 诡道!!! 阅读(328) 评论(0) 推荐(0) 编辑
摘要: 前端Js框架汇总 概述: 有些日子没有正襟危坐写博客了,互联网飞速发展的时代,技术更新迭代的速度也在加快。看着Java、Js、Swift在各领域心花路放,也是煞是羡慕。寻了寻.net的消息,也是振奋人心,.net core 1,mono,xamarin等等,但大多都还在狂吼的阶段。其实一直以来对技术 阅读全文
posted @ 2017-04-10 13:48 诡道!!! 阅读(713) 评论(0) 推荐(0) 编辑
摘要: windows下scrapy 的安装 2016-07-18 20:27:53 安装python 根据你的需求下载python安装包,安装python(本文基于python27)https://www.python.org/downloads/ 在 环境变量 "Path"中加入路径:"安装目录/pyt 阅读全文
posted @ 2017-04-10 13:39 诡道!!! 阅读(348) 评论(0) 推荐(0) 编辑
摘要: 分类: Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据,使用了python自带的urllib和第三方库requests,解析html使用了beautifulsoup以及lxml 这里说下lxml,lxml是python的一个html、xml解析库,lxml使用XPath能快速 阅读全文
posted @ 2017-04-07 18:50 诡道!!! 阅读(9323) 评论(0) 推荐(0) 编辑
摘要: (以下是借鉴别人的,多多体谅) TCP协议三次握手与四次挥手 TCP协议三次握手过程分析 TCP(Transmission Control Protocol) 传输控制协议 TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接: 位码即tcp标志位,有6种标示:SYN 阅读全文
posted @ 2017-04-07 16:58 诡道!!! 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 1.什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.什么是聚焦爬虫 聚焦网络爬虫(Focused Crawler),又称主题 阅读全文
posted @ 2017-04-07 16:27 诡道!!! 阅读(373) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-04-07 13:32 诡道!!! 阅读(29) 评论(2) 推荐(0) 编辑