摘要:
1.4 数据库的安装 作为数据存储的重要部分,数据库同样是必不可少的,数据库可以分为关系型数据库和非关系型数据库。 关系型数据库如 SQLite、MySQL、Oracle、SQL Server、DB2 等,其数据库是以表的形式存储;非关系型数据库如 MongoDB、Redis,它们的存储形式是键值对 阅读全文
摘要:
1.1 Python 3 的安装 既然要用 Python 3 开发爬虫,那么第一步一定是安装 Python 3。这里会介绍 Windows、Linux 和 Mac 三大平台下的安装过程,相关链接如下: 官方网站:http://python.org 下载地址:https://www.python.or 阅读全文
摘要:
序一 人类社会已经进入大数据时代,大数据深刻改变着我们的工作和生活。随着互联网、移动互联网、社交网络等的迅猛发展,各种数量庞大、种类繁多、随时随地产生和更新的大数据,蕴含着前所未有的社会价值和商业价值。大数据成为 21 世纪最为重要的经济资源之一。正如马云所言:未来最大的能源不是石油而是大数据。对大 阅读全文
摘要:
Python3 网络爬虫开发实战 本书介绍了如何利用 Python 3 开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识;然后讨论了 urllib、requests 等请求库,Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法;接着通过多个案例 阅读全文
摘要:
import requests url = 'https://www.sogou.com/web' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 阅读全文