摘要: 分类: Python/Ruby 最近刚开始使用python来做爬虫爬取相关数据,使用了python自带的urllib和第三方库requests,解析html使用了beautifulsoup以及lxml 这里说下lxml,lxml是python的一个html、xml解析库,lxml使用XPath能快速 阅读全文
posted @ 2017-04-07 18:50 诡道!!! 阅读(9326) 评论(0) 推荐(0) 编辑
摘要: (以下是借鉴别人的,多多体谅) TCP协议三次握手与四次挥手 TCP协议三次握手过程分析 TCP(Transmission Control Protocol) 传输控制协议 TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接: 位码即tcp标志位,有6种标示:SYN 阅读全文
posted @ 2017-04-07 16:58 诡道!!! 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 1.什么是生成器? 生成器是一次生成一个值的特殊类型函数。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成器【Generator】,简单的说就是在函数的执行过程中,yield语句会把你需要的值返回给调用生成器的地方,然后退出函数,下一次调用生成器函数的时候又从上次中断的地方开 阅读全文
posted @ 2017-04-07 16:38 诡道!!! 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 1.什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 2.什么是聚焦爬虫 聚焦网络爬虫(Focused Crawler),又称主题 阅读全文
posted @ 2017-04-07 16:27 诡道!!! 阅读(375) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-04-07 13:32 诡道!!! 阅读(29) 评论(2) 推荐(0) 编辑