Python的工作库

Python的工作库有三种类型，分别是Python内置标准库、第三方库和自定义库。
·内置标准库是Python安装之后自带的库和包，例如re、string、datetime等，读者可在https://docs.python.org/2/library/index.html查看所有。
·第三方库是除了Python程序之外的，第三方主体开发的流行库，例如Sklearn、Numpy、Pandas等，一般是直接通过网络相关资源下载到本地安装或者使用pip命令在线安装。
·自定义库是本地的相关程序，一般是自定义的功能模块。

   

Python中导入不同类型的库，约定俗成的位置顺序是：
·Python标准库。
·Python第三方库。
·自定义库。
例如：
import re # Python标准库
import numpy as np # Python第三方库
import apriori # 自定义库

 

 

 

  数据采集层：包括在线数据和外部数据的采集。
·数据处理层：在线数据在采集规则的约束下完成原始数据采集、处理和预运算，同时根据处理规则整合外部接入数据并做整合计算，最终可供外部调用的数据仓库数据或服务数据。

·数据应用层：根据外部特定请求以报告、数据源、数据服务、数据API、数据仓库等形式返回结果。

 

1、文件读写
文件的读写包括常见的txt、Excel、xml、二进制文件以及其他格式的数据文本，主要用于本地数据的读写。

 

 

2.网络抓取和解析
网络抓取和解析用于从互联网中抓取信息，并对HTML对象进行处理，有关xml对象的解析和处理的库在“1.文件读写”中找到。

 

 

 

  

3.数据库连接
数据库连接可用于连接众多数据库以及访问通用数据库接口，可用于数据库维护、管理和增、删、改、查等日常操作。

 

 

4.数据清洗转换
数据清洗转换主用于数据正式应用之前的预处理工作。

 

 

5.数据计算和统计分析
数据计算和统计分析主要用于数据探查、计算和初步数据分析等工作。

 

 

6.自然语言处理和文本挖掘
自然语言处理和文本挖掘库主要用于以自然语言文本为对象的数据处理和建模。

 

 

 

 

 

7.图像和视频处理
图像处理和视频处理主要适用于基于图像的操作、处理、分析和挖掘，如人脸识别、图像识别、目标跟踪、图像理解等。

 

 

8.音频处理
音频处理主要适用于基于声音的处理、分析和建模，主要应用于语音识别、语音合成、语义理解等。

 

 

9.数据挖掘/机器学习/深度学习
数据挖掘、机器学习和深度学习等是Python进行数据建模和挖掘学习的核心模块。

 

 

 

10.数据可视化
数据可视化主要用于做数据结果展示、数据模型验证、图形交互和探查等方面。

 

 

 

 

11.交互学习和集成开发
交互学习和集成开发主要用来做Python开发、调试和集成之用，包括Python集成开发环境和IDE。

 

 

12.其他Python协同数据工作工具
其他Python协同数据工作工具指除了上述主题以外，其他在数据工作中常用的工具或库。

 

 

搜索

复制