摘要：
四、爬虫的分类1. 简单爬虫（静态网页）如果网页是静态的,所有的数据直接在HTML代码中呈现,这种网页最容易爬取.以上示例就是一个典型的静态网页爬虫. 2. 动态爬虫（处理JavaScript生成的内容）有些网页的数据不是直接在HTML中,而是通过JavaScript动态生成的.这类网页需要更复杂的 阅读全文
摘要：
三、简单爬虫示例 接下来,我们会编写一个简单的爬虫,从一个网页上获取数据. 1. 获取网页内容 第一步是使用 requests 库来获取网页的内容.我们以获取百度首页为例. import requests # 发送请求获取网页内容 url = 'https://www.baidu.com' resp 阅读全文
摘要：
二、常用爬虫库 在Python中,有两个非常流行的库用于爬虫开发： requests：用于发送网络请求,获取网页内容. BeautifulSoup：用于解析网页内容,提取需要的数据. 1. 安装库 首先,你需要安装这两个库.在命令行中执行以下命令： pip install requests beau 阅读全文
摘要：
爬虫是指通过编程自动从网页上获取信息的技术.想象你平时打开网页,右键点击 “查看源代码”,那些你看到的HTML代码就是网页的结构,而爬虫就像一位帮你阅读这些网页内容的“机器人”. 一、爬虫的基本流程 发送请求：爬虫向目标网页发送请求,获取网页内容. 解析网页：从返回的网页内容中提取你需要的信息. 保 阅读全文
摘要：
通过对 Hadoop 核心技术的学习，我不仅掌握了大数据处理的基本原理和方法，还学会了如何使用 Hadoop 生态系统中的各种工具和技术来解决实际问题。 在学习过程中，我深刻体会到了分布式系统的强大之处。Hadoop 通过将大规模数据集分布存储在多个节点上，并利用 MapReduce 编程模型进行并 阅读全文
摘要：
3. 与传统资源管理方式对比与传统的 Hadoop 1.0 中的资源管理方式相比，YARN 具有明显的优势。在 Hadoop 1.0 中，MapReduce 既是计算框架又是资源管理框架，这使得它在扩展性和灵活性方面存在一定的局限性。而 YARN 将资源管理和计算框架分离，使得不同的计算框架可以共享 阅读全文
