python计算生态

python 计算生态

数据分析

1. Numpy：表达N维数组的最基础库

可以把N维数据看做一个对象，作为一个整体进行操作

提供直接的矩阵运算、广播函数、线性代数等功能

2. Pandas：数据分析高层次应用库

提供简单易用的数据结构和数据结构分析工具

理解数据类型与索引的关系，操作索引即操作数据

Series = 索引 + 一维数据

DataFrame = 行列索引 + 二维数据

3. SciPy：数学、科学和工程计算功能库

提供一批数学算法及工程数据运算功能

类似Matlab，可用于如傅里叶变换、信号处理等应用

数据可视化

1. Matplotlib：高质量的二维数据可视化功能库

提供超过100种数据可视化展示效果

通过matplotlib.pyplot子库调用各可视化效果

2. Seaborn：统计类数据可视化功能库

提供了一批高层次的统计类数据可视化展示效果

主要展示数据集按分布、分类和线性关系等内容

3. Mayavi：三维科学数据可视化功能库

提供了一批简单易用的3D科学计算数据可视化展示效果

文本处理

1. PyPDF2：用来处理pdf文件的工具集

提供了一批处理PDF文件的计算功能

支持获取信息、分割/整合文件、加密解密等

2. NLTK：自然语言文本处理第三方库

提供过了一批简单易用的自然语言文本处理功能

支持语言文本分类、标记、语言句法、语义分析等

3. Python-docx：创建或更新Microsoft Word文件的第三方库

提供创新或更新.doc .docx等文件的计算功能

增加并配置段落、图片、表格、文字等，功能全面

机器学习

1.Scikit-leran：机器学习方法工具集

提供一批统一化的机器学习方法功能接口

提供聚类、分类、回归、强化学习等计算功能

2. Tensorflow：AlphaGo背后的机器学习计算框架

谷歌公司推动的开源机器学习框架

将数据流图作为基础，图节点代表运算，边代表张量

3. MXNet：基于神经网络的深度学习计算框架

提供可扩展的神经网络及深度学习计算功能

可用于自动驾驶、机器翻译、语音识别等众多领域

网络爬虫

1. Requests：最友好的网络爬虫功能库

提供了简单易用的类HTTP协议网络爬虫功能

支持连接池、SSL、Cookies、HTTP(S)代理等

2. Scrapy：优秀的网络爬虫框架

提供了构建网络爬虫系统的框架功能，功能半成品

支持批量和定时的网络爬取、提供数据处理流程等

Python最主要且最专业的网络爬虫框架

3. pyspider：强大的Web页面爬取系统

提供了完整的网页爬取系统构建功能

支持数据库后端、消息队列、优先级、分布式架构等

Web信息提取

1. Beautiful Soup：HTML和XML的解析库

提供了HTML和XML等Web信息的功能

又名bs4，可以加载多种解析引擎

常与网络爬虫库搭配使用

2. Re：正则表达式解析和处理功能库

提供了定义和解析正则表达式的一批通用功能

可用于各类场景，包括定点的Web信息提取

3. Python-Goose：提取文章类型Web页面的功能库

提供了对Web页面中文章信息/视频等元数据的提取

针对特定类型Web页面，应用覆盖面较广

Python最主要的Web信息提取库

Web网站开发

1. Django：最流行的Web应用框架

提供了Web系统的基本应用框架

MTV模式：模型、模板、视图

Python最重要的Web应用框架

2. Pyramid：规模适中的Web应用框架

提供了简单方便构建Web系统的应用框架

不大不小，规模适中，适合快速构建并适度扩展类应用

3. Flask：Web应用开发微框架

提供了最简单构建Web系统的应用框架

特点：简单、规模小、快速

网络应用开发

1. WeRoBot：微信公众号开发框架

提供了解析微信服务器消息及反馈消息的功能

建立微信机器人的重要技术手段

2. aip：百度AI开放平台接口

提供了访问百度AI服务的Python功能接口

语音、人脸、OCR、NLP、知识图谱、图像搜索等领域

3. MyQR：二维码生成第三方库

提供了生成二维码的系列功能

基本二维码、艺术二维码和动态二维码

图形用户界面

1. PyQt5：Qt开发框架的Python接口

提供了创建Qt5程序的Python API接口

Qt是非常成熟的跨平台桌面应用开发系统，完备GUI

推荐的Python GUI开发第三方库

2. wxPython：跨平台GUI开发框架

提供了专用于Python的跨平台GUI开发框架

3. PyGobject：使用GTK+开发GUI的功能库

提供了整合GTK+、WebKitGTK+等库的功能

GTK+：跨平台的一种用户图形界面GUI框架

游戏开发

1. PyGame：简单的游戏开发功能库

提供了基于SDL的简单游戏开发功能及实现引擎

Pyhton游戏入门最主要的第三方库

2. Panda3D：开源、跨平台的3D渲染和游戏开发库

一个3D游戏引擎，提供了Python和C++两种接口

支持很多先进特性：法线贴图、光泽贴图、卡通渲染等

3. cocos2d：构建2D游戏和图形界面交互式应用框架

提供了基于OpenGL的游戏开发图形渲染功能

虚拟现实

1. VR Zero：在树莓派上开发VR应用的Pyhton库

提供大量与VR相关的功能

2. pyovr：Oculus Rift的Pyhton开发接口

基于成熟的VR设备，提供全套文档，工业级应用设备

3. Vizard：基于Python的通用VR开发引擎

专业的企业级虚拟现实开发引擎

提供详细的官方文档

支持多种主流VR设备，具有一定通用性

图形艺术

1. Quads：迭代的艺术

对图片进行四分迭代，形成像素风

可以生成动图或静图图像

简单易用，具有很高展示度

2. ascii_art：ASCII艺术库

将普通图片转为ASCII艺术风格

输出可以使纯文本或彩色文本

3. turtle：海龟绘图体系