马会东的博客

马会东的博客

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

第十一章学习知识导图

考点主要是:

1) 更广泛的Python计算生态,只要求了解第三方库的名称,不限于以下领域: 网络爬虫、数据分析、文本处理、数据可视化、用户图形界面、机器学习、Web开发、游戏开发

2) 作者归纳:本章就是考选择题,大致就是问以下的哪个是不属于某方向的库,但是经常超纲考,大家如果有题库的话做这部分的题应该会感觉到,不过就算超纲也无所谓,最多两分而已,这章考生分清楚哪个方向有哪个库就行了,更细致的看看了解一下就足够了。本次更新完,计算机二级考试python的所有知识点就全部介绍完毕了,希望大家在学习python的路途上继续加油。人生苦短,我用python。

一、网络爬虫方向

1、网络爬虫方向

(1) 网络爬虫是自动进行HTTP访问并捕获HTML页面的程序。Python语言提供了多个具备网络爬虫功能的第三方库。这里,仅介绍2个常用的Python网络爬虫库:requests和scrapy

2、requests

(1) requests库是一个简洁且简单的处理HTTP请求的第三方库,它的最大优点是程序编写过程更接近正常URL访问过程。这个库建立在Python语言的urllib3库基础上。request库支持非常丰富的链接访问功能

3、scrapy

(1) scrapy是Python开发的一个快速的、高层次的Web获取框架。不同于简单的网络爬虫功能,scrapy框架本身包含了成熟网络爬虫系统所应该具有的部分共用功能,

(2) scrapy用途广泛,可以应用于专业爬虫系统的构建、数据挖掘、网络监控和自动化测试等领域

二、数据分析方向

1、数据分析方向

数据分析是Python的一个优势方向,具有大批高质量的第三方库。这里仅介绍3个最常用的生态库:numpy、scipy和pandas

2、Numpy

(1) numpy是Python的一种开源数值计算扩展第三方库,用于处理数据类型相同的多维数组(ndarray),简称“数组”。

(2) 这个库可用来存储和处理大型矩阵,比Python语言提供的列表结构要高效的多。numpy提供了许多高级的数值编程工具,如:矩阵运算、矢量处理、N维数据变换等。

(3) numpy内部是C语言编写,对外采用Python语言进行封装,因此,在进行数据运算时,基于numpy的Python程序可以达到接近 C 语言的处理速度。numpy也成为Python数据分析方向各其他库的基础依赖库,已经成为了科学计算事实上的“标准库”

3、scipy

(1) scipy是一款方便、易于使用、专为科学和工程设计的Python工具包。在numpy库的基础上增加了众多的数学、科学以及工程计算中常用的库函数。它包括统计、优化、整合、线性代数、傅里叶变换、信号分析、图像处理、常微分方程求解等众多模块。

4、pandas

(1) pandas是基于numpy扩展的一个重要第三方库,它是为了解决数据分析任务而创建的。Pandas提供了一批标准的数据模型和大量快速便捷处理数据的函数和方法,提供了高效地操作大型数据集所需的工具。

(2) pandas提供两种最基本的数据类型: S e r i e s 和DataFrame,分别代表一维数组和二维数组类型。

三、文本处理方向

1、Pandas

(1) Python语言非常适合处理文本,因此,在这个方向也形成了大量有价值的第三方库。这里介绍4个最常用的生态库:pdfminer、openpyxl、python-docx、beautifulsoup4

2、Pdfminer

(1) pdfminer是一个可以从PDF文档中提取各类信息的第三方库。与其他PDF相关的工具不同,它能够完全获取并分析 P D F 的文本数据。Pdfminer能够获取PDF中文本的准确位置、字体、行数等信息,能够将PDF文件转换为HTML及文本格式。

(2) pdfminer 包含两个重要的工具: p d f 2 t x t . p y 和dumppdf.py。

(3) pdf2txt.py能够从 P D F 文件中提取所有文本内容。dumppdf.py能够把PDF文件内容变成XML格式,并进一步提取其中的图片。

3、openpyxl

(1) openpyxl是一个处理Microsoft Excel文档的Python第三方库,它支持读写Excel的xls、xlsx、xlsm、xltx、xltm等格式文件,并进一步能处理Excel文件中excel工作表、表单和数据单元pandas

4、python-docx

(1) python-docx是一个处理Microsoft Word文档的Python第三方库,它支持读取、查询以及修改doc、docx等格式文件,并能够对Word常见样式进行编程设置,包括:字符样式、段落样式、表格样式等,进一步可以使用这个库实现添加和修改文本、图像、样式和文档等功能。

5、beautifulsoup4

(1) beautifulsoup4库,也称为Beautiful Soup库或bs4库,用于解析和处理HTML和XML。需要注意,它不是BeautifulSoup库。它的最大优点是能根据HTML和XML语法建立解析树,进而高效解析其中的内容

(2) beautifulsoup4库将数据从HTML和XML文件中解析出来,它能够提供一种符合习惯的方法去遍历搜索和修改解析树,将专业的Web页面格式解析部分封装成函数,提供了若干有用且便捷的处理函数。

四、数据可视化方向

1、数据可视化方向

(1) 数据可视化指根据数据特点将其展示为易于理解图形的过程。Python语言在数据可视化方面具有较强的优势。这里介绍3个最常用的生态库:matplotlib、TVTK、mayavi

2、matplotib

(1) matplotlib是提供数据绘图功能的第三方库,主要进行二维图表数据展示,广泛用于科学计算的数据可视化。使用这个库可以利用Python程序绘制超过100种数据可视化效果

3、TVTK

(1) TVTK库在标准的VTK库之上用Traits 库进行封装的Python第三方库。视觉工具函数库(VTK)是一个开源、跨平台、支持平行处理的图形应用函数库,它是专业可编程的三维可视化工具。TVTK在Python生态系统中被等同于VTK。

(2) mayavi基于VTK开发,完全用Python编写,提供了一个更为方便实用的可视化软件,可以简洁地嵌入到用户编写的Python程序中,或者直接使用其面向脚本的API快速绘制三维可视化图形。值得注意的是,mayavi也被称为mayavi2。

(3) nmayavi库在Windows平台上暂时不能方便的使用pip命令安装,建议使用文件安装,请下载mayavi对应版本文件,然后在本地安装

五、用户图形界面方向

1、用户图形界面方向

(1) Python标准库内置了一个GUI库——tkinter,这个库基于Tck/Tk开发,然而,这个库十分陈旧,提供的开发控件也很有限,编写出来的GUI风格与现代程序GUI风格相差甚远,从用户体验角度说,tkinter库并不成熟。这里介绍3个高质量的用户图形界面Python生态库:pyqt5、wxpython、pygtk

2、pyqt5

(1) pyqt5是Qt5应用框架的Python第三方库,它有超过 6 2 0 个类和近 6 0 0 0 个函数和方法。它是Python中最为成熟的商业级GUI第三方库。这个库是Python语言当前最好的GUI第三方库,它可以在Windows、Linux和Mac OS X等操作系统上跨平台使用npyqt5采用“信号-槽”机制将事件和对应的处理程序进行绑定。pyqt5窗体有很多内置信号,也可以自定义信号。

3、wxpython

(1) wxPython是Python语言的一套优秀的GUI图形库,它是跨平台GUI库wxWidgets的Python封装,可以使Python程序员能够轻松地创建健壮可靠、功能强大的图形用户界面的程序。

4、pygtk

(1) pygtk是基于GTK+的Python语言封装,它提供了各式的可视元素和功能,能够轻松创建具有图形用户界面的程序。pygtk具有跨平台性,利用它编写的代码能够不加修改地稳定运行在各操作系统中,如Windows、MacOS、Linux等

六、机器学习方向

1、机器学习方向

(1) 机器学习是人工智能领域的一个重要分支,Python语言也是机器学习和人工智能的重要基础语言。这里介绍3个高质量的机器学习框架:Scikit-learn、TensorFlow、Theano

2、Scikit-learn

Scikit-learn是一个简单且高效的数据挖掘和数据分析工具,它基于NumPy、SciPy和matplotlib构建。Scikit-learn的基本功能主要包括6个部分:分类,回归,聚类,数据降维,模型选择和数据预处理。Scikit-learn也被称为sklearn。

3、Tensorflow

TensorFlow是谷歌公司基于DistBelief进行研发的第二代人工智能学习系统,也是用来支撑著名的AlphaGo系统的后台框架。Tensor(张量)指N维数组,Flow(流)指基于数据流图的计算,TensorFlow描述张量从流图的一端流动到另一端的计算过程

4、Theano

Theano为执行深度学习中大规模神经网络算法的运算而设计,擅长处理多维数组。Theano开发始于2007,可以理解它是一个运算数学表达式的编译器,并可以高效运行在GPU或CPU上。Theano是一个偏向底层开发的库,更像一个研究平台而非单纯的深度学习库

七、Web开发方向

1、Web开发方向

(1) Web开发是Python语言流行的一个重要方向,主要用于服务器后端开发。根据Python Web开发框架的复杂程度,这里依次介绍3个Python第三方生态库:Django、Pyramid、Flask

2、Django

Django是Python生态中最流行的开源Web应用框架。

Django采用模型、模板和视图的编写模式,称为MTV模式。Django中提供了开发网站经常用到的模块,Django的开发理念是DRY(Don't Repeat Yourself),用于鼓励快速开发,进而减少程序员可以建立一个高性能Web应用所花费的时间和精力,形成一种一站式解决方案

3、Pyramid

Pyramid是一个通用、开源的Python Web应用程序开发框架。它主要的目的是让Python开发者更简单的创建

Web应用,相比Django,Pyramid是一个相对小巧、快速、灵活的开源Python Web框架。Pyramid仍然面向较大规模的Web应用,但它更关注灵活性,开发者可以灵活选择所使用的数据库、模板风格、URL结构等内容。

4、Flask

Flask是轻量级Web应用框架,相比Django和Pyramid,它也被称为微框架。使用Flask开发Web应用十分方便,甚至几行代码即可建立一个小型网站。Flask核心十分简单,并不直接包含诸如数据库访问等的抽象访问层,而是通过扩展模块形式来支持。

八、游戏开发方向

1、游戏开发方向

(1) 游戏开发是一个有趣的方向,在游戏逻辑和功能实现层面,Python已经成为重要的支撑性语言。这里介绍3个Python第三方生态库:Pygame、Panda3D、cocos2d

2、Pygame

Pygame是在SDL库基础上进行封装的、面向游戏开发入门的Python第三方库,除了制作游戏外,还用于制作多媒体应用程序。其中,SDL(Simple DirectMedia Layer)是开源、跨平台的多媒体开发库,通过OpenGL和Direct3D底层函数提供对音频、键盘、鼠标和图形硬件的简洁访问

Pygame是一个游戏开发框架,提供了大量与游戏相关的底层逻辑和功能支持,非常适合作为入门库理解并实践游戏开发

3、Panda3D

Panda3D是一个开源、跨平台的3D渲染和游戏开发库,简答说,它是一个3D游戏引擎,由迪士尼和卡耐基梅隆大学娱乐技术中心共同进行开发。Panda3D支持Python和C++两种语言,但对Python支持更全面。

Panda3D支持很多当代先进游戏引擎所支持的特性:法线贴图、光泽贴图、HDR、卡通渲染和线框渲染等。

4、cocos2d

cocos2d是一个构建2D游戏和图形界面交互式应用的框架,它包括C++、JavaScript、Swift、Python等多个版本。cocos2d基于OpenGL进行图形渲染,能够利用GPU进行加速。cocos2d引擎采用树形结构来管理游戏对象,一个游戏划分为不同场景,一个场景又分为不同层,每个层处理并响应用户事件

九、更多第三方库

1、PIL

(1) PIL库是Python语言在图像处理方面的重要第三方库,支持图像存储、显示和处理,它能够处理几乎所有图片格式,可以完成对图像的缩放、剪裁、叠加以及向图像添加线条、图像和文字等操作。

(2) PIL库主要可以完成图像归档和图像处理两方面功能需求:

图像归档:对图像进行批处理、生成图像预览等;

图像处理:图像基本处理、像素处理、颜色处理等

2、SymPy

SymPy是一个支持符号计算的Python第三方库,它是一个全功能的计算机代数系统。SymPy代码简洁、易于理解,支持符号计算、高精度计算、模式匹配、绘图、解方程、微积分、组合数学、离散数学、几何学、概率与统计、物理学等领域计算和应用

3、NLTK

NLTK是一个非常重要的自然语言处理Python第三方库,它支持多种语言,尤其对中文支持良好。NLTK可以进行语料处理、文本统计、内容理解、情感分析等多种应用,具备非常可靠的应用价值

4、WeRoBot

WeRoBot 是一个微信公众号开发框架,也称为的微信机器人框架。WeRoBot可以解析微信服务器发来的消息,并将消息转换成成Message或者Event类型

5、MyQR

MyQR是一个能够产生基本二维码、艺术二维码和动态效果二维码的Python 第三方库

十、本章小结

本章通过8个具体方向30个Python功能库的简要介绍纵览Python语言计算生态的丰富性,希望读者能够从Python基础语法出发,看到更广阔的程序设计生态,进一步“理解和运用计算生态”,掌握符合信息时代需要的程序设计能力

十一、作者总结

到此为止,计算机等级考试二级python就已经全部介绍完成了,希望每一位报考计算机二级python都可以顺利通过,从下次开始,作者将从头开始介绍比计算机二级更为细致的知识点,如果您想从事python的相关工作,计算机二级考试只能算是您入门的一个见证,在我今年三月考过计算机二级python以后,到现在为止,学习python,发现还有好多遗漏的知识,所以就认认真真的又把所有的基础知识过了一遍,建议大家学习python一定要把基础打好。还有就是二级python的考试不涉及面向对象编程,作者在后续的更新中会按照下面思维导图的计划再细化一遍python的学习,然后会介绍面向对象编程,数据库,和正则表达式的相关知识。

作者写python的相关文章单纯为了记录学习过程和分享自己的学习经验,同时分享自己的学习资料,并没有利益目的。

如果作者的文章有帮助到您,希望可以关注点赞支持。

作者计划先进行深度学习和机器学习的相关学习

posted on 2020-07-17 13:57  马会东  阅读(869)  评论(0编辑  收藏  举报