雷子-LL - 博客园

2017年3月21日

摘要： Ctrl+M 创建一个新的连接Ctrl+N 使用当前设置新建连接Ctrl+F4 断开当前连接对象浏览器 F5 刷新对象浏览器(默认)Ctrl+B 设置焦点于对象浏览器 SQL 窗口 Ctrl+T 新建查询编辑器Ctrl+E 设置焦点于 SQL 窗口Ctrl+Y 重做 Ctrl+Z 撤销 Ctrl+ 阅读全文

posted @ 2017-03-21 00:11 雷子-LL 阅读(882) 评论(0) 推荐(0) 编辑

2017年3月17日

简单爬虫-爬取免费代理ip

摘要：环境：python3.6 主要用到模块：requests,PyQuery 代码比较简单，不做过多解释了阅读全文

posted @ 2017-03-17 22:52 雷子-LL 阅读(3471) 评论(0) 推荐(0) 编辑

2017年3月15日

Scrapy框架--使用cookie

摘要： CookieMiddleware class scrapy.downloadermiddlewares.cookies.CookieMiddlewar 该中间件使得爬取需要cookie(例如使用session)的网站成为了可能。其追踪了web server发送的cookie，并在之后的reques 阅读全文

posted @ 2017-03-15 02:46 雷子-LL 阅读(2452) 评论(0) 推荐(0) 编辑

Scrapy框架--Requests对象

摘要： Scrapy使用request对象来爬取web站点。 request对象由spiders对象产生，经由Scheduler传送到Downloader,Downloader执行request并返回response给spiders。 Scrapy架构： 1、Request objects class sc 阅读全文

posted @ 2017-03-15 01:11 雷子-LL 阅读(26257) 评论(3) 推荐(1) 编辑

2017年3月9日

Pyquery API中文版

摘要： Pyquery的用法与jQuery相同，可以直接参考jQuery API学习。阅读全文

posted @ 2017-03-09 12:43 雷子-LL 阅读(972) 评论(0) 推荐(0) 编辑

python3.6安装Scrapy

摘要：环境：win10(64位）， Python3.6（64位） 1、安装pyhthon 这个就不多说了，对应版本就下载对应的依赖包 2、安装pywin32 在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/ 下载对应版本阅读全文

posted @ 2017-03-09 02:32 雷子-LL 阅读(8569) 评论(1) 推荐(0) 编辑

python3.6安装pyspider

摘要： win10下安装pyspider 1、pip 我在安装pip的时候默认安装了Pip. 如果没有的话：pip安装 2、PhantomJS PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处阅读全文

posted @ 2017-03-09 02:05 雷子-LL 阅读(2296) 评论(0) 推荐(0) 编辑

2017年2月24日

(转)Python爬虫利器一之Requests库的用法

摘要：官方文档以下内容大多来自于官方文档，本文进行了一些修改和总结。要了解更多可以参考官方文档安装利用 pip 安装 $ pip install requests $ pip install requests $ pip install requests $ pip install request 阅读全文

posted @ 2017-02-24 01:00 雷子-LL 阅读(480) 评论(0) 推荐(0) 编辑

2017年2月23日

python学习记录-socket模块

摘要：主要使用的模块是socket模块，在这个模块中可以找到socket()函数，该函数用于创建套接字对象。套接字也有自己的方法集，这些方法可以实现基于套接字的网络通信。 1、socket类型构造函数： socket.socket(family=AF_INET, type=SOCK_STREAM, pr 阅读全文

posted @ 2017-02-23 22:27 雷子-LL 阅读(711) 评论(0) 推荐(0) 编辑