飞鸟与新月 - 博客园

2020年4月14日

摘要：什么是爬虫？爬虫是什么呢，一般说的爬虫都是网络爬虫。那什么是网络爬虫呢？百度百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。总结来阅读全文

posted @ 2020-04-14 21:23 飞鸟与新月阅读(225) 评论(0) 推荐(0) 编辑

21丨良心中间商：HTTP的代理服务

摘要：说明《透视HTTP协议》是罗剑锋（奇虎360技术专家）在极客时间开的一门专栏课，笔者记录一下学习笔记，仅供参考。在前面讲 HTTP 协议的时候，我们严格遵循了 HTTP 的“请求 - 应答”模型，协议中只有两个互相通信的角色，分别是“请求方”浏览器（客户端）和“应答方”服务器。今天，我们要在阅读全文

posted @ 2020-04-14 19:02 飞鸟与新月阅读(474) 评论(0) 推荐(0) 编辑

2020年4月13日

Windows安装Scrapy（一）

摘要： Scrapy是python开发的一个爬虫框架；Scrapy很多模块都是基于Linux下的，所以在windows上面安装的时候，可能会有各种各样的问题下面整理遇到的问题： 1.直接安装pip install scrapy 2、安装的时候scrapy它要依赖很多其他的模块，一般都是其他的模块安装的时候阅读全文

posted @ 2020-04-13 22:17 飞鸟与新月阅读(2136) 评论(0) 推荐(0) 编辑

20丨生鲜速递：HTTP的缓存控制

摘要：说明《透视HTTP协议》是罗剑锋（奇虎360技术专家）在极客时间开的一门专栏课，笔者记录一下学习笔记，仅供参考。缓存（Cache）是计算机领域里的一个重要概念，是优化系统性能的利器。由于链路漫长，网络时延不可控，浏览器使用 HTTP 获取资源的成本较高。所以，非常有必要把“来之不易”的数据缓阅读全文

posted @ 2020-04-13 21:50 飞鸟与新月阅读(304) 评论(0) 推荐(0) 编辑

python正则表达式re模块理解（RE.COMPILE、RE.MATCH、RE.SEARCH）（六）

摘要： import re help(re.compile) ''' 输出结果为： Help on function compile in module re: compile(pattern, flags=0) Compile a regular expression pattern, returning 阅读全文

posted @ 2020-04-13 21:30 飞鸟与新月阅读(803) 评论(0) 推荐(0) 编辑

python中英文字母和中文汉字所占的字节

摘要： print(type('李杰'.encode('utf-8')))#<class 'bytes'> print(type('李杰'.encode('gbk')))#<class 'bytes'> print(len('李杰'.encode('utf-8')))#6 print(len('李杰'.en 阅读全文

posted @ 2020-04-13 21:27 飞鸟与新月阅读(1381) 评论(0) 推荐(0) 编辑

2020年4月12日

19丨让我知道你是谁：HTTP的Cookie机制

摘要：说明《透视HTTP协议》是罗剑锋（奇虎360技术专家）在极客时间开的一门专栏课，笔者记录一下学习笔记，仅供参考。在之前的第 13、14 讲中，我曾经说过，HTTP 是“无状态”的，这既是优点也是缺点。优点是服务器没有状态差异，可以很容易地组成集群，而缺点就是无法支持需要记录状态的事务操作。好阅读全文

posted @ 2020-04-12 16:59 飞鸟与新月阅读(455) 评论(0) 推荐(0) 编辑

2020年4月8日

python正则表达式示例（五）

摘要：竖线-匹配两者之一竖线表示匹配前者或后者。特别要注意的是，竖线在正则表达式的优先级是最低的，这就意味着，竖线隔开的部分是一个整体比如绿色|橙表示要匹配是绿色或者橙，而不是绿色或者绿橙从下面的文本里面抓取所有职位的薪资 Python3 高级开发工程师上海阅读全文

posted @ 2020-04-08 23:07 飞鸟与新月阅读(468) 评论(0) 推荐(1) 编辑

18丨四通八达：HTTP的重定向和跳转

摘要：说明《透视HTTP协议》是罗剑锋（奇虎360技术专家）在极客时间开的一门专栏课，笔者记录一下学习笔记，仅供参考。在专栏第 1 讲时我曾经说过，为了实现在互联网上构建超链接文档系统的设想，蒂姆·伯纳斯 - 李发明了万维网，使用 HTTP 协议传输“超文本”，让全世界的人都能够自由地共享信息。 “ 阅读全文

posted @ 2020-04-08 23:03 飞鸟与新月阅读(541) 评论(0) 推荐(0) 编辑

2020年4月7日

python正则表达式（^ $ ( ) ）（四）

摘要：起始位置和单行，多行模式^表示匹配文本的起始位置。正则表达式可以设定单行模式和多行模式如果是单行模式，表示匹配整个文本的开头位置如果是多行模式，表示匹配文本每行的开头位置比如，下面的文本中，每行最前面的数字表示水果的编号，最后的数字表示价格 001-苹果价格-60， 002-橙子价格-70， 0 阅读全文

posted @ 2020-04-07 22:57 飞鸟与新月阅读(6335) 评论(0) 推荐(1) 编辑

飞鸟2015

公告