摘要: 本人步骤: 1>setting.py: ITEM_PIPELINES = { 'newding.pipelines.NewdingPipeline': 300,} 以上配置;创建项目会自动出现这些 以下是想要入数据库的(阶段): 阅读全文
posted @ 2017-04-10 20:26 诡道!!! 阅读(1068) 评论(0) 推荐(0) 编辑
摘要: # encoding:utf8import requests # Requests 是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。from lxml 阅读全文
posted @ 2017-04-10 19:52 诡道!!! 阅读(359) 评论(0) 推荐(0) 编辑
摘要: urllib 和urllib2都是接受URL请求的相关模块,但是提供了不同的功能.两个最显著的不同如下 urllib2 can accept a Request object to set the headers for a URL request,urllib accepts only a URL 阅读全文
posted @ 2017-04-10 18:56 诡道!!! 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 爬虫使用代理ip 获得代理IP的网站: http://www.xicidaili.com/ 验证代理是否可用的方式之一: globalUrl = "http://ip.chinaz.com/getip.aspx" 如何使用代理: 一 使用requests: ip = "http://" + i[0] 阅读全文
posted @ 2017-04-10 16:29 诡道!!! 阅读(328) 评论(0) 推荐(0) 编辑
摘要: 前端Js框架汇总 概述: 有些日子没有正襟危坐写博客了,互联网飞速发展的时代,技术更新迭代的速度也在加快。看着Java、Js、Swift在各领域心花路放,也是煞是羡慕。寻了寻.net的消息,也是振奋人心,.net core 1,mono,xamarin等等,但大多都还在狂吼的阶段。其实一直以来对技术 阅读全文
posted @ 2017-04-10 13:48 诡道!!! 阅读(713) 评论(0) 推荐(0) 编辑
摘要: windows下scrapy 的安装 2016-07-18 20:27:53 安装python 根据你的需求下载python安装包,安装python(本文基于python27)https://www.python.org/downloads/ 在 环境变量 "Path"中加入路径:"安装目录/pyt 阅读全文
posted @ 2017-04-10 13:39 诡道!!! 阅读(348) 评论(0) 推荐(0) 编辑