理解爬虫原理
1、简单说明爬虫原理
请求网站并提取数据的自动化程序
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
浏览器的主要功能就是向服务器发出请求，在浏览器窗口中展示您想要访问的网络资源。
2).使用 requests 库抓取网站数据
3).了解网页
写一个简单的html文件，包含多个标签，类，id
<html> <head> <title>了解网页</title> <form id="form1" name="form1" method="post" action=""> <h2 class="STYLE3">请选择您喜欢的音乐（只能选一种）</h2> <h2 class="STYLE3"> <span class="STYLE1"> <label> <input type="radio" name="RadioGroup1" value="1" /> 摇滚</label> </span></h2> <h2 class="STYLE3"><span class="STYLE1"> <br /> <label> <input type="radio" name="RadioGroup1" value="2" /> 爵士<br /> <br /> </label> <br /> <label> <input name="RadioGroup1" type="radio" value="3" checked="checked" /> 流行</label> </span><br /> </h2> </form> <h2> </h2> <label></label> </body> </html>
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
找出类名为search-input的标签
3.提取一篇校园新闻的标题、发布时间、发布单位
url = 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html'
