理解爬虫原理

爬虫原理

1. 简单说明爬虫原理

　　　　向网站发送请求，获取网页资源并提取所需要的数据。

2. 理解爬虫开发过程

1).简要说明浏览器工作原理；

　　　　浏览器工作原理的实质就是实现http协议的通讯，具体过程如下：(HTTP通信的流程，大体分为三个阶段)

  1. 连接，服务器通过一个ServerSocket类对象对某端口进行监听，监听都之后进行连接，打开一个socket虚拟文件。
  2. 请求，创建与监理socket连接相关的流对象后，浏览器获取请求，为get请求，则从请求信息中获取所访问的html文件名，向服务器发送请求。
  3. 响应，服务器收到请求后，搜索相关的目录文件，若不存在，返回错误的信息。若存在，则读取html文件，进行加http头等处理响应给浏览器，浏览器解析html文件，若其中还包含图片，视频等资源，则浏览器再次访问web服务器，获取图片视频等，并对其进行组装显示给用户。

2).使用 requests 库抓取网站数据；

import requests

response = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/')

3).了解网页

　　写一个简单的html文件，包含多个标签，类，id

<html>
</head>
<body>
<h1 id="title">Hello</h1>
<a href="*" class="line">The Line1</a><a href="* line2" class="line" qao=123> The Line2</a>
<p id="preceed">The Preceed </p>
</body>
</html>

 

4).使用 Beautiful Soup 解析网页；

通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree

select（选择器）定位数据

找出含有特定标签的html元素

t=soup2.select('h1')[0].text
print(t)

 

找出含有特定类名的html元素

for i in range(len(soup2.select('.line'))):
    d=soup2.select('.line')[i].text
    print(d)

 

找出含有特定id名的html元素

 

preceed=soup2.select('#preceed')[0].text
print(preceed)

 

3.提取一篇校园新闻的标题、发布时间、发布单位

posted @ 2019-03-25 17:31  Bigdickdick  阅读(205)  评论(0)  编辑  收藏  举报