爬虫1.2-数据解析

爬虫-数据解析

目录

• 爬虫-数据解析
  • 1. xpath和正则表达式心得
  • 2. xpath语法详解
  • 3. 正则表达式
    • 3.1 点（.）匹配任意的字符：
    • 3.2 \d匹配任意的数字：
    • 3.3 \D匹配任意的非数字：
    • 3.4 \s匹配的是空白字符（包括：\n，\t，\r和空格）：
    • 3.5 \w匹配的是a-z和A-Z以及数字和下划线：
    • 3.6 \W匹配的是和\w相反的：
    • 3.7 []组合的方式，只要满足中括号中的某一项都算匹配成功：
    • 3.8 匹配多个字符：
    • 3.9 小案例：
    • 3.10 ^（脱字号）：表示以...开始：
    • 3.11 $：表示以...结束：
    • 3.12 |：匹配多个表达式或者字符串：
    • 3.13 贪婪模式和非贪婪模式：
    • 3.14 案例：匹配0-100之间的数字：
    • 3.15 转义字符和原生字符串：
  • 4. re模块中常用函数：
    • 4.1 match：
    • 4.2 search：
    • 4.3 分组：
    • 4.4 findall：
    • 4.5 sub：
    • 4.6 split：
    • 4.7 compile：

1. xpath和正则表达式心得

0）推荐安装谷歌浏览器插件xpath helper（谷歌应用商店，需要FQ，后面会提到其缺陷，但初学时效果极佳）

1）xpath获取某标签下的文本使用/text()函数 例如//div/p/text()

2）xpath获取标签中属性的值使用/@href 或/@src 类似写法 例如//div/ul/li/a/@href

3）xpath获取节点下所有标签中的所有文本使用//text() 例如标签下有很多

标签，而文本全在p标签下，此时使用/span//text()效果拔群

4）xpath获取语法后跟[1] 可以选择多个相同标签中需要的那一个 例如/div[1]

5）xpath可以先找到一个大标签，在大标签中再次寻找需要的小标签

6）谷歌浏览器xpath helper插件中使用的xpath语法找到的文本不一定在代码中可行，原因在于谷歌浏览器访问时有特殊标识，返回的html代码不一样，另外ajax数据因为被浏览器解析了，所以也可以被xpath找到，但代码中得到是html代码，所以代码中可能出现找不到的情况，一定不能完全迷信xpath helper。

一个检查方法是右键检查网页源代码，然后搜索想要找的信息，看能不能找到，如果能找到，代码中基本也能。

7）正则表达式的贪婪模式和非贪婪模式一定要注意

8）

titles = re.findall(r'<div class="cont">.*?<b>(.*?)</b>', response_text,re.DOTALL)  

正则表达式的findall函数非常好用，findall函数会找到符合正则模式的所有字符，其中加入括号后，以列表的形式返回括号中的值，这个正则的意思就是class=cont的<div>标签后面的<b>标签中间的值。 (.*?)代表非贪婪模式下，找到两个标签间的所有字符，而加入re.DOTALL参数，是因为两个标签之间可能有换行，而.不能表示转义字符，所以加入这个参数才能取出值，另外用re.DOTALL的缩写re.S也可以

9）text = re.sub(r'<.*?>', "", text).strip() sub函数用于替换，这里将所有标签替换成空，并用srip函数去除\n和空格等。

2. xpath语法详解

xpath语法建议在w3school或其他博客学习 http://www.w3school.com.cn/xpath/index.asp，这里不再复述。

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

举例一些xpath语法

//div/h3/text()

//div[@id='course']/ul/li[1]/text()

//div[@id='course']/ul/li[position()>2]

xpath虽然强大，但是某些时候也不是全能的，需要结合代码中的方法提取想要的值。

TODO

3. 正则表达式

正则表达式需要用到python自带的re模块，以下示例代码中均已导入re模块。

3.1 点（.）匹配任意的字符：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a

但是点（.）不能匹配不到换行符。示例代码如下：

text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

3.2 \d匹配任意的数字：

text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1

3.3 \D匹配任意的非数字：

text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a

而如果text是等于一个数字，那么就匹配不成功了。示例代码如下：

text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

3.4 \s匹配的是空白字符（包括：\n，\t，\r和空格）：

text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白

3.5 \w匹配的是a-z和A-Z以及数字和下划线：

text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _

而如果要匹配一个其他的字符，那么就匹配不到。示例代码如下：

text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

3.6 \W匹配的是和\w相反的：

text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +

而如果你的text是一个下划线或者英文字符，那么就匹配不到了。示例代码如下：

text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute

3.7 []组合的方式，只要满足中括号中的某一项都算匹配成功：

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888

之前讲到的几种匹配规则，其实可以使用中括号的形式来进行替代：

• \d：[0-9]
• \D：[0-9]
• \w：[0-9a-zA-Z]
• \W：[^0-9a-zA-Z]

3.8 匹配多个字符：

1. *：可以匹配0或者任意多个字符。示例代码如下：

    text = "0731"
    ret = re.match('\d*',text)
    print(ret.group())
    >> 0731
   

   以上因为匹配的要求是\d，那么就要求是数字，后面跟了一个星号，就可以匹配到0731这四个字符。

2. +：可以匹配1个或者多个字符。最少一个。示例代码如下：

    text = "abc"
    ret = re.match('\w+',text)
    print(ret.group())
    >> abc
   

   因为匹配的是\w，那么就要求是英文字符，后面跟了一个加号，意味着最少要有一个满足\w的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符，那么就会报错。示例代码如下：

    text = ""
    ret = re.match('\w+',text)
    print(ret.group())
    >> AttributeError: 'NoneType' object has no attribute
   

3. ?：匹配的字符可以出现一次或者不出现（0或者1）。示例代码如下：

    text = "123"
    ret = re.match('\d?',text)
    print(ret.group())
    >> 1
   

4. {m}：匹配m个字符。示例代码如下：

    text = "123"
    ret = re.match('\d{2}',text)
    print(ret.group())
    >> 12
   

5. {m,n}：匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下：

    text = "123"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 12
   

   如果text只有一个字符，那么也可以匹配出来。示例代码如下：

    text = "1"
    ret = re.match('\d{1,2}',text)
    prit(ret.group())
    >> 1
   

3.9 小案例：

1. 验证手机号码：手机号码的规则是以1开头，第二位可以是34587，后面那9位就可以随意了。示例代码如下：

    text = "18570631587"
    ret = re.match('1[34587]\d{9}',text)
    print(ret.group())
    >> 18570631587
   

   而如果是个不满足条件的手机号码。那么就匹配不到了。示例代码如下：

    text = "1857063158"
    ret = re.match('1[34587]\d{9}',text)
    print(ret.group())
    >> AttributeError: 'NoneType' object has no attribute
   

2. 验证邮箱：邮箱的规则是邮箱名称是用数字、数字、下划线组成的，然后是@符号，后面就是域名了。示例代码如下：

    text = "hynever@163.com"
    ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
    print(ret.group())
   

3. 验证URL：URL的规则是前面是http或者https或者是ftp然后再加上一个冒号，再加上一个斜杠，再后面就是可以出现任意非空白字符了。示例代码如下：

    text = "http://www.baidu.com/"
    ret = re.match('(http|https|ftp)://[^\s]+',text)
    print(ret.group())
   

4. 验证身份证：身份证的规则是，总共有18位，前面17位都是数字，后面一位可以是数字，也可以是小写的x，也可以是大写的X。示例代码如下：

    text = "3113111890812323X"
    ret = re.match('\d{17}[\dxX]',text)
    print(ret.group())
   

3.10 ^（脱字号）：表示以...开始：

text = "hello"
ret = re.match('^h',text)
print(ret.group())

如果是在中括号中，那么代表的是取反操作.

3.11 $：表示以...结束：

# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com

3.12 |：匹配多个表达式或者字符串：

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello

3.13 贪婪模式和非贪婪模式：

贪婪模式：正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式：正则表达式会尽量少的匹配字符。
示例代码如下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式，所以会输出0123456
>> 0123456

可以改成非贪婪模式，那么就只会匹配到0。示例代码如下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

3.14 案例：匹配0-100之间的数字：

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99

而如果text=101，那么就会抛出一个异常。示例代码如下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

3.15 转义字符和原生字符串：

在正则表达式中，有些字符是有特殊意义的字符。因此如果想要匹配这些字符，那么就必须使用反斜杠进行转义。比如$代表的是以...结尾，如果想要匹配$，那么就必须使用\$。示例代码如下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99

原生字符串：
在正则表达式中，\是专门用来做转义的。在Python中\也是用来做转义的。因此如果想要在普通的字符串中匹配出\，那么要给出四个\。示例代码如下：

text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())

因此要使用原生字符串就可以解决这个问题：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

4. re模块中常用函数：

4.1 match：

从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h

如果第一个字母不是h，那么就会失败。示例代码如下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'

如果想要匹配换行的数据，那么就要传入一个flag=re.DOTALL，就可以匹配换行符了。示例代码如下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

4.2 search：

在字符串中找满足条件的字符。如果找到，就返回。说白了，就是只会找到第一个满足条件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99

4.3 分组：

在正则表达式中，可以对过滤到的字符串进行分组。分组使用圆括号的方式。

1. group：和group(0)是等价的，返回的是整个满足条件的字符串。
2. groups：返回的是里面的子组。索引从1开始。
3. group(1)：返回的是第一个子组，可以传入多个。
   示例代码如下：

text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

4.4 findall：

找出所有满足条件的，返回的是一个列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']

4.5 sub：

用来替换字符串。将匹配到的字符串替换为其他字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0

sub函数的案例，获取拉勾网中的数据：

html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术，对html5页面适配充分了解，熟悉不同浏览器间的差异，熟练写出兼容各种浏览器的代码；</p>
<p>2、熟悉运用常见JS开发框架，如JQuery、vue、angular，能快速高效实现各种交互效果；</p>
<p>3、熟悉编写能够自动适应HTML5界面，能让网页格式自动适应各款各大小的手机；</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面，实现HTML5模板化；</p>
<p>5、熟悉手机端和PC端web实现的差异，有移动平台web前端开发经验，了解移动互联网产品和行业，有在Android,iOS等平台下HTML5+CSS+JavaScript（或移动JS框架）开发经验者优先考虑；6、良好的沟通能力和团队协作精神，对移动互联网行业有浓厚兴趣，有较强的研究能力和学习能力；</p>
<p>7、能够承担公司前端培训工作，对公司各业务线的前端（HTML5\CSS3）工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责：</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面，各类交互的实现；</p>
<p>2、持续的优化前端体验和页面响应速度，并保证兼容性和执行效率；</p>
<p>3、根据产品需求，分析并给出最优的页面前端结构解决方案；</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试；</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

4.6 split：

使用正则表达式来分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

4.7 compile：

对于一些经常要用到的正则表达式，可以使用compile进行编译，后期再使用的时候可以直接拿过来用，执行效率会更快。而且compile还可以指定flag=re.VERBOSE，在写正则表达式的时候可以做好注释。示例代码如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小数点前面的数字
                \.? # 小数点
                \d* # 小数点后面的数字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())