python(北京理工大学慕课)第八-十章
第8章 程序设计方法学
8.1 实例13: 体育竞技分析
8.1.1自顶向上和自低向上的设置方法
- 自顶向下(设计): 解决复杂问题的有效方法
将一个总问题表达为若干个小问题组成的形式
使用同样方法进一步分解小问题
直至,小问题可以用计算机简单明了的解决
- 自底向上(执行)--逐步组建复杂系统的有效测试方法
分单元测试,逐步组装
按照自顶向下相反的路径操作
直至,系统各部分以组装的思路都经过测试和验证
8.1.2体育竞技问题分析
- 问题分析--体育竞技分析
需求:毫厘是多少?如何科学分析体育竞技比赛?
输入:球员的水平
输出:可预测的比赛成绩
计算思维:抽象 + 自动化
模拟:抽象比赛过程 + 自动化执行N场比赛
当N越大时,比赛结果分析会越科学
- 比赛规则
双人击球比赛:A & B,回合制,5局3胜 ;开始时一方先发球,直至判分,接下来胜者发球 ;球员只能在发球局得分,15分胜一局
8.1.3"体育竞技分析"实例讲解
步骤1:打印程序的介绍性信息 - printInfo()
步骤2:获得程序运行参数:proA, proB, n - getInputs()
步骤3:利用球员A和B的能力值,模拟n局比赛 -simNGames()
步骤4:输出球员A和B获胜比赛的场次及概率 - printSummary()
第一阶段:程序总体框架及步骤
def main(): printIntro() probA, probB, n = getInputs() //输入函数 winsA, winsB = simNGames(n, probA, probB) //比赛函数 printSummary(winsA, winsB)
介绍性内容,提高用户体验:
def printIntro(): print("这个程序模拟两个选手A和B的某种竞技比赛") print("程序运行需要A和B的能力值(以0到1之间的小数表示)")
def getInputs(): a = eval(input("请输入选手A的能力值(0-1): ")) b = eval(input("请输入选手B的能力值(0-1): ")) n = eval(input("模拟比赛的场次: ")) return a, b, n
def printSummary(winsA, winsB): n = winsA + winsB print("竞技分析开始,共模拟{}场比赛".format(n)) print("选手A获胜{}场比赛,占比{:0.1%}".format(winsA, winsA/n)) print("选手B获胜{}场比赛,占比{:0.1%}".format(winsB, winsB/n))
第二阶段:步骤3 模拟N局比赛
def simNGames(n, probA, probB): winsA, winsB = 0, 0 for i in range(n): scoreA, scoreB = simOneGame(probA, probB) if scoreA > scoreB: winsA += 1 else: winsB += 1 return winsA, winsB
第三阶段 根据分数判断局的结束
def simOneGame(probA, probB): scoreA, scoreB = 0, 0 serving = "A" #发球方 while not gameOver(scoreA, scoreB): if serving == "A": #发球时才能得分 if random() < probA: scoreA += 1 else: serving="B" #输这另一方发球 else: if random() < probB: scoreB += 1 else: serving="A" return scoreA, scoreB def gameOver(a,b): return a==15 or b==15
8.1.4 总结
- 理解自顶向下的设计思维:分而治之
- 理解自底向上的执行思维:模块化集成
- 自顶向下是“系统”思维的简化
8.2 Python程序设计思维
8.2.1计算思维与程序设计
- 第3种人类思维特征
逻辑思维:推理和演绎,数学为代表,A->B B->C A->C
实证思维:实验和验证,物理为代表,引力波<-实验
计算思维:设计和构造,计算机为代表,汉诺塔递归 (抽象和自动化)。抽象问题的计算过程,利用计算机自动化求解,计算思维是基于计算机的思维方式。
8.2.2计算生态与Python语言
- python计算生态
开源思想深入演化和发展,形成了计算生态
计算生态以开源项目为组织形式,充分利 用“共识原则”和“社会利他”组织人员,在竞争发展、相互依存和迅速更迭中完成信息技术的更新换代,
形成了技术的自我演化路径。
没有顶层设计、以功能为单位、具备三个特点:竞争发展 、相互依存 、 迅速更迭
- 计算生态的价值:-创新:跟随创新、集成创新、原始创新
加速科技类应用创新的重要支撑
发展科技产品商业价值的重要模式
国家科技体系安全和稳固的基础
- 计算生态的运用:--刀耕火种 -> 站在巨人的肩膀上
编程的起点不是算法而是系统
编程如同搭积木,利用计算生态为主要模式
编程的目标是快速解决问题
8.2.3用户体验与软件产品
1)用户体验 (实现功能 -> 关注体验)
- 用户体验指用户对产品建立的主观感受和认识
- 关心功能实现,更要关心用户体验,才能做出好产品
- 编程只是手段,不是目的,程序最终为人类服务
2)提高用户体验的方法
方法1:进度展示
- 如果程序需要计算时间,可能产生等待,请增加进度展示
- 如果程序有若干步骤,需要提示用户,请增加进度展示
- 如果程序可能存在大量次数的循环,请增加进度展示
方法2:异常处理
- 当获得用户输入,对合规性需要检查,需要异常处理
- 当读写文件时,对结果进行判断,需要异常处理
- 当进行输入输出时,对运算结果进行判断,需要异常处理
其他类方法
- 打印输出:特定位置,输出程序运行的过程信息
- 日志文件:对程序异常及用户使用进行定期记录
- 帮助信息:给用户多种方式提供帮助信息
软件程序 -> 软件产品;用户体验是程序到产品的关键环节
8.2.4基本的程序设计模式
I:Input 输入,程序的输入
P:Process 处理,程序的主要逻辑
O:Output 输出,程序的输出
确定IPO:明确计算部分及功能边界
编写程序:将计算求解的设计变成现实
调试程序:确保程序按照正确逻辑能够正确运行
1)自顶向下-(分而治之)
通过函数或对象封装将程序划分为模块及模块间的表达,具体包括:主程序、子程序和子程序间关系
分而治之:一种分而治之、分层抽象、体系化的设计思想
2)自底向上--(模块化设计)
紧耦合:两个部分之间交流很多,无法独立存在
松耦合:两个部分之间交流较少,可以独立存在
模块内部紧耦合、模块之间松耦合
3)配置化设计
引擎+配置:程序执行和配置分离,将可选参数配置化
将程序开发变成配置文件编写,扩展功能而不修改程序
关键在于接口设计,清晰明了、灵活可扩展
8.2.5应用开发的四个步骤
从应用需求到软件产品
1 产品定义:对应用需求充分理解和明确定义产品定义,而不仅是功能定义,要考虑商业模式
2 系统架构:以系统方式思考产品的技术实现 系统架构,关注数据流、模块化、体系架构
3 设计与实现:结合架构完成关键设计及系统实现 结合可扩展性、灵活性等进行设计优化
4 用户体验:从用户角度思考应用效果 用户至上,体验优先,以用户为中心
8.3 Python第三方库安装
8.3.1看见更大的Python世界
python第三方库社区网站: https://pypi.org/
8.3.2第三方库的pip安装方法
方法1(主要方法): 使用pip命令
适合Windows、Mac和Linux等操作系统 ;获取第三方库的方式,目前的主要方式 ;适合99%以上情况,需要联网安装
- D:\>pip install <第三方库名> ---安装指定的第三方
- D:\>pip install –U <第三方库名> - --使用-U标签更新已安装的指定第三方库
- D:\>pip uninstall <第三方库名> - 卸载指定的第三方库
- D:\>pip download <第三方库名> - 下载但不安装指定的第三方库
- D:\>pip show <第三方库名> - 列出某个指定第三方库的详细信息
- D:\>pip search <关键词> - 根据关键词在名称和介绍中搜索第三方库
- D:\>pip list - 列出当前系统已经安装的第三方库
方法2: 集成安装方法
集成安装:结合特定Python开发工具的批量安装
方法3: 文件安装方法
某些第三方库pip下载后,需要编译再安装 ;如果操作系统没有编译环境,则能下载但不能安装
可以直接下载编译后的版本用于安装吗?
能,通过Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu)可找到编译后的版本安装。
实例:安装wordcloud
步骤1:在UCI页面上搜索wordcloud
步骤2:下载对应版本的文件
步骤3:使用pip install <文件名>安装
8.4 模块7: os库的基本使用
os库提供通用的、基本的操作系统交互功能
基本介绍:os库是Python标准库,包含几百个函数 ;常用路径操作、进程管理、环境参数等几类
- 路径操作:os.path子库,处理文件路径及信息
- 进程管理:启动系统中其他程序
- 环境参数:获得系统软硬件信息等环境参数
1)路径操作
os.path子库以path为入口,用于操作和处理文件路径
import os.path or import os.path as op 导入包
2)进程管理
os.system(command)
执行程序或命令command ;在Windows系统中,返回值为cmd的调用返回信息
import os os.system("C:\\Windows\\System32\\calc.exe")
3)环境参数
获取或改变系统环境信息
8.5 实例14: 第三方库自动安装脚本
问题分析:第三方库自动安装脚本
需求:批量安装第三方库需要人工干预,能否自动安装? - 自动执行pip逐一根据安装需求安装
如何自动执行一个程序?例如:pip?
- 常见的库介绍:
- 代码
import os libs = {"numpy","matplotlib","pillow","sklearn","requests",\ "jieba","beautifulsoup4","wheel","networkx","sympy",\ "pyinstaller","django","flask","werobot","pyqt5",\ "pandas","pyopengl","pypdf2","docopt","pygame"} try: for lib in libs: os.system("pip install " + lib) print("Successful") except:
print("Failed Somehow")
第9章 Python计算生态概览
9.1 从数据处理到人工智能
从数据处理到人工智能:
数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
- 数据表示:采用合适方式用程序表达数据
- 数据清理:数据归一化、数据转换、异常值处理
- 数据统计:数据的概要理解,数量、分布、中位数等
- 数据可视化:直观展示数据内涵的方式
- 数据挖掘:从数据分析获得知识,产生数据外的价值
- 人工智能:数据/语言/图像/视觉等方面深度分析与决策
9.1.1Python库之数据分析
1)Numpy: 表达N维数组的最基础库
- Python接口使用,C语言实现,计算速度优异
- Python数据分析及科学计算的基础库,支撑Pandas等
- 提供直接的矩阵运算、广播函数、线性代数等功能
2) Pandas: Python数据分析高层次应用库
- 提供了简单易用的数据结构和数据分析工具
- 理解数据类型与索引的关系,操作索引即操作数据
- Python最主要的数据分析功能库,基于Numpy开发
Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据
3)SciPy: 数学、科学和工程计算功能库
- 提供了一批数学算法及工程数据运算功能
- 类似Matlab,可用于如傅里叶变换、信号处理等应用
- Python最主要的科学计算功能库,基于Numpy开发
9.1.2Python库之数据可视化
1)Matplotlib: 高质量的二维数据可视化功能库
- 提供了超过100种数据可视化展示效果
- 通过matplotlib.pyplot子库调用各可视化效果
- Python最主要的数据可视化功能库,基于Numpy开发
2)Seaborn: 统计类数据可视化功能库
- 提供了一批高层次的统计类数据可视化展示效果
- 主要展示数据间分布、分类和线性关系等内容
- 基于Matplotlib开发,支持Numpy和Pandas
3) Mayavi:三维科学数据可视化功能库
- 提供了一批简单易用的3D科学计算数据可视化展示效果
- 目前版本是Mayavi2,三维可视化最主要的第三方库
- 支持Numpy、TVTK、Traits、Envisage等第三方库
9.1.3Python库之文本处理
1)PyPDF2:用来处理pdf文件的工具集
- 提供了一批处理PDF文件的计算功能
- 支持获取信息、分隔/整合文件、加密解密等
- 完全Python语言实现,不需要额外依赖,功能稳定
案例:
from PyPDF2 import PdfFileReader, PdfFileMerger merger = PdfFileMerger() input1 = open("document1.pdf", "rb") input2 = open("document2.pdf", "rb") merger.append(fileobj = input1, pages = (0,3)) merger.merge(position = 2, fileobj = input2, pages = (0,1)) output = open("document-output.pdf", "wb") merger.write(output)
2)NLTK:自然语言文本处理第三方库
- 提供了一批简单易用的自然语言文本处理功能
- 支持语言文本分类、标记、语法句法、语义分析等
- 最优秀的Python自然语言处理库
案例:
from nltk.corpus import treebank t = treebank.parsed_sents('wsj_0001.mrg')[0] t.draw()
3)Python-docx:创建或更新Microsoft Word文件的第三方库
- 提供创建或更新.doc .docx等文件的计算功能
- 增加并配置段落、图片、表格、文字等,功能全面
from docx import Document document = Document() document.add_heading('Document Title', 0) p = document.add_paragraph('A plain paragraph having some ') document.add_page_break() document.save('demo.docx')
9.1.4Python库之机器学习
1)Scikit-learn:机器学习方法工具集
- 提供一批统一化的机器学习方法功能接口
- 提供聚类、分类、回归、强化学习等计算功能
- 机器学习最基本且最优秀的Python第三方库
2)TensorFlow:AlphaGo背后的机器学习计算框架
- 谷歌公司推动的开源机器学习框架
- 将数据流图作为基础,图节点代表运算,边代表张量
- 应用机器学习方法的一种方式,支撑谷歌人工智能应用
import tensorflow as tf init = tf.global_variables_initializer() sess = tf.Session() sess.run(init) res = sess.run(result) print('result:', res)
3)MXNet:基于神经网络的深度学习计算框架
- 提供可扩展的神经网络及深度学习计算功能
- 可用于自动驾驶、机器翻译、语音识别等众多领域
- Python最重要的深度学习计算框架
9.2 实例15: 霍兰德人格分析雷达图
雷达图 Radar Chart——是多特性直观展示的重要方式
问题分析:
1)什么是霍兰德人格分析?
- 霍兰德认为:人格兴趣与职业之间应有一种内在的对应关系
- 人格分类:研究型、艺术型、社会型、企业型、传统型、现实性
- 职业:工程师、实验员、艺术家、推销员、记事员、社会工作者
2)霍兰德人格分析雷达图
- 需求:雷达图方式验证霍兰德人格分析
- 输入:各职业人群结合兴趣的调研数据
- 输出:雷达
- 通用雷达图绘制:matplotlib库
- 专业的多维数据表示:numpy库
#HollandRadarDraw import kwargs as kwargs import numpy as np import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams['font.family']='SimHei' matplotlib.rcParams['font.sans-serif']='SimHei' radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)','企业型(E)','常规型(C)','现实型(R)']) #雷达标签 nAttr = 6 data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88], [0.85, 0.35, 0.30, 0.40, 0.40, 0.30], [0.43, 0.89, 0.30, 0.28, 0.22, 0.30], [0.30, 0.25, 0.48, 0.85, 0.45, 0.40], [0.20, 0.38, 0.87, 0.45, 0.32, 0.28], [0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #数据值 data_labels = ('艺术家', '实验员', '工程师', '推销员', '社会工作者','记事员') angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False) data = np.concatenate((data, [data[0]])) angles = np.concatenate((angles, [angles[0]])) radar_labels = np.concatenate((radar_labels, [radar_labels[0]])) fig = plt.figure(facecolor="white") plt.subplot(111, polar=True) #plt.plot(angles,data,'bo-',color='gray', linewidth=1, alpha=0.2) plt.plot(angles,data,'o-', linewidth=1.5, alpha=0.2) plt.fill(angles,data, alpha=0.25) plt.thetagrids(angles*180/np.pi, radar_labels) plt.figtext(0.52, 0.95, '霍兰德人格分析', ha='center', size=20) legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1) plt.setp(legend.get_texts(), fontsize='large') plt.grid(True) plt.savefig('holland_radar.jpg') plt.show()
9.3 从Web解析到网络空间
9.3.1Python库之网络爬虫
Requests: 最友好的网络爬虫功能库
- 提供了简单易用的类HTTP协议网络爬虫功能
- 支持连接池、SSL、Cookies、HTTP(S)代理等
- Python最主要的页面级网络爬虫功能库
Scrapy: 优秀的网络爬虫框架
- 提供了构建网络爬虫系统的框架功能,功能半成品
- 支持批量和定时网页爬取、提供数据处理流程等
- Python最主要且最专业的网络爬虫框架
pyspider: 强大的Web页面爬取系统
- 提供了完整的网页爬取系统构建功能
- 支持数据库后端、消息队列、优先级、分布式架构等
- Python重要的网络爬虫类第三方库
9.3.2Python库之Web信息提取
Beautiful Soup: HTML和XML的解析库
- 提供了解析HTML和XML等Web信息的功能
- 又名beautifulsoup4或bs4,可以加载多种解析引擎
- 常与网络爬虫库搭配使用,如Scrapy、requests等
Re: 正则表达式解析和处理功能库
- 提供了定义和解析正则表达式的一批通用功能
- 可用于各类场景,包括定点的Web信息提取
- Python最主要的标准库之一,无需安装
Python-Goose: 提取文章类型Web页面的功能库
- 提供了对Web页面中文章信息/视频等元数据的提取功能
- 针对特定类型Web页面,应用覆盖面较广
- Python最主要的Web信息提取库
from goose import Goose
url='http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_meta_language': False, 'target_language':'es'})
article = g.extract(url=url)
article.cleaned_text[:150]
9.3.3Python库之Web网站开发
Django: 最流行的Web应用框架
- 提供了构建Web系统的基本应用框架
- MTV模式:模型(model)、模板(Template)、视图(Views)
- Python最重要的Web应用框架,略微复杂的应用框架
Pyramid: 规模适中的Web应用框架
- 提供了简单方便构建Web系统的应用框架
- 不大不小,规模适中,适合快速构建并适度扩展类应用
- Python产品级Web应用框架,起步简单可扩展性好
Flask: Web应用开发微框架
- 提供了最简单构建Web系统的应用框架
- 特点是:简单、规模小、快速
- Django > Pyramid > Flask
9.3.4Python库之网络应用开发
WeRoBot: 微信公众号开发框架
- 提供了解析微信服务器消息及反馈消息的功能
- 建立微信机器人的重要技术手段
aip: 百度AI开放平台接口
- 提供了访问百度AI服务的Python功能接口
- 语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
- Python百度AI应用的最主要方式
MyQR: 二维码生成第三方库
- 提供了生成二维码的系列功能
- 基本二维码、艺术二维码和动态二维码
9.4 从人机交互到艺术设计
9.4.1 Python库之图形用户界面
PyQt5: Qt开发框架的Python接口
- 提供了创建Qt5程序的Python API接口
- Qt是非常成熟的跨平台桌面应用开发系统,完备GUI
- 推荐的Python GUI开发第三方库
wxPython: 跨平台GUI开发框架
- 提供了专用于Python的跨平台GUI开发框架
- 理解数据类型与索引的关系,操作索引即操作数据
- Python最主要的数据分析功能库,基于Numpy开发
PyGObject: 使用GTK+开发GUI的功能库
- 提供了整合GTK+、WebKitGTK+等库的功能
- GTK+:跨平台的一种用户图形界面GUI框架
- 实例:Anaconda采用该库构建GUI
9.4.2Python库之游戏开发
PyGame: 简单的游戏开发功能库
- 提供了基于SDL的简单游戏开发功能及实现引擎
- 理解游戏对外部输入的响应机制及角色构建和交互机制
- Python游戏入门最主要的第三方库
Panda3D: 开源、跨平台的3D渲染和游戏开发库
- 一个3D游戏引擎,提供Python和C++两种接口
- 支持很多先进特性:法线贴图、光泽贴图、卡通渲染等
- 由迪士尼和卡尼基梅隆大学共同开发
cocos2d: 构建2D游戏和图形界面交互式应用的框架
- 提供了基于OpenGL的游戏开发图形渲染功能
- 支持GPU加速,采用树形结构分层管理游戏对象类型
- 适用于2D专业级游戏开发
9.4.3Python库之虚拟现实
VR Zero: 在树莓派上开发VR应用的Python库
- 提供大量与VR开发相关的功能
- 针对树莓派的VR开发库,支持设备小型化,配置简单化
- 非常适合初学者实践VR开发及应用
pyovr: Oculus Rift的Python开发接口
- 针对Oculus VR设备的Python开发库
- 基于成熟的VR设备,提供全套文档,工业级应用设备
- Python+虚拟现实领域探索的一种思路
Vizard: 基于Python的通用VR开发引擎
- 专业的企业级虚拟现实开发引擎
- 提供详细的官方文档
- 支持多种主流的VR硬件设备,具有一定通用性
9.4.4Python库之图形艺术
Quads: 迭代的艺术
- 对图片进行四分迭代,形成像素风
- 可以生成动图或静图图像
- 简单易用,具有很高展示度
ascii_art: ASCII艺术库
- 将普通图片转为ASCII艺术风格
- 输出可以是纯文本或彩色文本
- 可采用图片格式输出
9.5 实例16: 玫瑰花绘制
import turtle as t # 定义一个曲线绘制函数 def DegreeCurve(n, r, d=1): for i in range(n): t.left(d) t.circle(r, abs(d)) # 初始位置设定 s = 0.2 # size t.setup(450*5*s, 750*5*s) t.pencolor("black") t.fillcolor("red") t.speed(100) t.penup() t.goto(0, 900*s) t.pendown() # 绘制花朵形状 t.begin_fill() t.circle(200*s,30) DegreeCurve(60, 50*s) t.circle(200*s,30) DegreeCurve(4, 100*s) t.circle(200*s,50) DegreeCurve(50, 50*s) t.circle(350*s,65) DegreeCurve(40, 70*s) t.circle(150*s,50) DegreeCurve(20, 50*s, -1) t.circle(400*s,60) DegreeCurve(18, 50*s) t.fd(250*s) t.right(150) t.circle(-500*s,12) t.left(140) t.circle(550*s,110) t.left(27) t.circle(650*s,100) t.left(130) t.circle(-300*s,20) t.right(123) t.circle(220*s,57) t.end_fill() # 绘制花枝形状 t.left(120) t.fd(280*s) t.left(115) t.circle(300*s,33) t.left(180) t.circle(-300*s,33) DegreeCurve(70, 225*s, -1) t.circle(350*s,104) t.left(90) t.circle(200*s,105) t.circle(-500*s,63) t.penup() t.goto(170*s,-30*s) t.pendown() t.left(160) DegreeCurve(20, 2500*s) DegreeCurve(220, 250*s, -1) # 绘制一个绿色叶子 t.fillcolor('green') t.penup() t.goto(670*s,-180*s) t.pendown() t.right(140) t.begin_fill() t.circle(300*s,120) t.left(60) t.circle(300*s,120) t.end_fill() t.penup() t.goto(180*s,-550*s) t.pendown() t.right(85) t.circle(600*s,40) # 绘制另一个绿色叶子 t.penup() t.goto(-150*s,-1000*s) t.pendown() t.begin_fill() t.rt(120) t.circle(300*s,115) t.left(75) t.circle(300*s,100) t.end_fill() t.penup() t.goto(430*s,-1070*s) t.pendown() t.right(30) t.circle(-600*s,35) t.done()