爬虫的基本原理

(1) 简单来说，爬虫就是获取网页并提取和保存信息的自动化程序
(2) 使用 Python 爬取网页 ---> 使用【正则表达式 | CSS 选择器 | XPath 选择器】提取信息 ---> 使用数据库保存提取的信息
(3) 有时候，我们用 Python 爬取网页得到的源代码和浏览器中看到的不一样，如下，浏览器会自动去请求并加载 "app.js" 这个 JavaScript 文件，但我们使用 Python 获取的 HTML 源代码并不会自动去加载
(4) 因此，使用基本 HTTP 请求库得到的源代码可能跟浏览器中的页面源代码不太一样。对于这样的情况，我们可以分析其后台 Ajax 接口，也可使用 Selenium 、Splash 这样的库来实现模拟 JavaScript 渲染

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>首页</title>
</head>
<body>
<div id="container">
</div>
</body>
<script src="app.js"></script>
</html>

 

 

 

 

 

 

 

    

posted @ 2019-03-14 14:22  孔雀东南飞  阅读(185)  评论(0)  编辑  收藏  举报