「Python入门只需20分钟」从安装到数据抓取、存储原来这么简单

本文我会详细的介绍 Python 的安装 到开发工具的简单介绍，并编写一个抓取天气信息数据并存储到数据库的例子。（这篇文章适用于完全不了解Python的小白超超超快速入门）

如果有时间的话，强烈建议跟着一起操作一遍，因为介绍的真的很详细了。

• Python 安装
• PyCharm(ide) 安装
• 抓取天气信息
• 数据写入excel
• 数据写入数据库

Python 安装

下载 Python: 官网地址： https://www.python.org/

 

 

选择你希望下载的版本（都可以的），还有是否64位，选择下载的文件类型时，推荐下载安装包，因为在安装的时候回自动给你配环境路径。（在下载的时候你可以去下载 python 的 开发工具 PyCharm,获取去简单了解一下 Python）

安装时需要注意的是：勾选 Add Python x.x to Path

 

安装好之后，打开cmd，输入python，如果出现提示，则完成。

 

PyCharm 安装

下载 PyCharm : 官网地址：http://www.jetbrains.com/pycharm/

 

 

免费版本的可以会有部分功能缺失，所以不推荐，所以这里我们选择下载企业版。

安装好 PyCharm，首次打开可能需要你 输入邮箱 或者 输入激活码，获取激活码

对于 PyCharm 的基本使用，可以简单看一下 这篇博客

抓取天气信息

更多Python视频、源码、资料加群683380553免费获取

Python的详细学习还是需要些时间的。如果有其他语言经验的，可以暂时跟着我来写一个简单的例子。

我们计划抓取的数据：杭州的天气信息，杭州天气 可以先看一下这个网站。

实现数据抓取的逻辑：使用python 请求 URL，会返回对应的 HTML 信息，我们解析 html，获得自己需要的数据。（很简单的逻辑）

第一步：创建 Python 文件

 

写第一段Python代码

 

这段代码类似于 Java 中的 Main 方法。可以直接鼠标右键，选择 Run。

 

第二步：请求RUL

python 的强大之处就在于它有大量的模块（类似于Java 的 jar 包）可以直接拿来使用。

我们需要安装一个 request 模块： File - Setting - Product - Product Interpreter

 

 

点击如上图的 + 号，就可以安装 Python 模块了。搜索 requests 模块（有 s 噢），点击 Install。

 

我们顺便再安装一个 beautifulSoup4 和 pymysql 模块，beautifulSoup4 模块是用来解析 html 的，可以对象化 HTML 字符串。pymysql 模块是用来连接 mysql 数据库使用的。

 

 

相关的模块都安装之后，就可以开心的敲代码了。

定义一个 getContent 方法:

 

在 main 方法中调用：

 

第三步：分析页面数据

定义一个 getData 方法

 

上面的解析其实就是按照 HTML 的规则解析的。可以打开 杭州天气 在开发者模式中（F12），看一下页面的元素分布。

 

在 main 方法中调用：

 

数据写入excel

现在我们已经在 Python 中拿到了想要的数据，对于这些数据我们可以先存放起来，比如把数据写入 csv 中。

定义一个 writeDate 方法：

 

在 main 方法中调用：

 

执行之后呢，再指定路径下就会多出一个 weather.csv 文件，可以打开看一下内容。

 

 

到这里最简单的数据抓取--储存就完成了。

数据写入数据库

因为一般情况下都会把数据存储在数据库中，所以我们以 mysql 数据库为例，尝试着把数据写入到我们的数据库中。

第一步创建WEATHER 表：

创建表可以在直接在 mysql 客户端进行操作，也可能用 python 创建表。在这里 我们使用 python 来创建一张WEATHER 表。

定义一个 createTable 方法：（之前已经导入了 import pymysql 如果没有的话需要导入包）

 

在 main 方法中调用：

 

执行之后去检查一下数据库，看一下 weather 表是否创建成功了。

 

第二步批量写入数据至 WEATHER 表：

定义一个 insertData 方法：

 

在 main 方法中调用：

 

检查：执行这段 Python 语句后，看一下数据库是否有写入数据。有的话就大功告成了。

 

全部代码看这里：

 

Python 的安装到数据抓取、存储到这就全部完成了。当然只是最简单的入门，如果还对 Python 有浓厚兴趣的话，希望可以系统性的学习。