摘要:
安装 python-docx 处理 Word 需要用到 python-docx 库,目前版本为 0.8.10 ,执行如下安装命令: 写入 Word 平时我们在操作 Word 写文档的时候,一般分为几部分:标题、章节、段落、图片、表格、引用以及项目符号编号等。下面我们就按这几部分如何用 Python 阅读全文
摘要:
简介 XML 全称 Extensible Markup Language,中文译为可扩展标记语言。 XML 之前有两个先行者:SGML 和 HTML,率先登场的是 SGML, 尽管它功能强大,但文档结构复杂,既不容易学也不易于使用,因此几个主要的浏览器厂商均拒绝支持 SGML,这些因素限制了 SGM 阅读全文
摘要:
常用工具 数据处理是 Python 的一大应用场景,而 Excel 又是当前最流行的数据处理软件。因此用 Python 进行数据处理时,很容易会和 Excel 打起交道。得益于前人的辛勤劳作,Python 处理 Excel 已有很多现成的轮子,比如 xlrd & xlwt & xlutils 、 X 阅读全文
摘要:
什么是 aiohttp?一个异步的 HTTP 客户端\服务端框架,基于 asyncio 的异步模块。可用于实现异步爬虫,更快于 requests 的同步爬虫。 aiohttp 和 requests requests 版爬虫 requests 同步方式连续 30 次简单爬取 http://httpbi 阅读全文
摘要:
异步IO之asyncio 异步IO:当发起一个 IO 操作时,并不需要等待它的结束,程序可以去做其他事情,当这个 IO 操作结束时,会发起一个通知。 在 Python 中可以使用 asyncio 模块异步编程,用于协程、网络爬虫、同步等。 asyncio 中的概念 event_loop 事件循环 事 阅读全文
摘要:
相对TCP,UDP则是面向无连接的协议。 UDP 协议 我们来看 UDP 的定义: UDP 协议(User Datagram Protocol),中文名是用户数据报协议,是 OSI(Open System Interconnection,开放式系统互联) 参考模型中一种无连接的传输层协议,提供面向事 阅读全文
摘要:
网络连接与通信是我们学习任何编程语言都绕不过的知识点。Python 也不例外,本文就介绍因特网的核心协议 TCP ,以及如何用 Python 实现 TCP 的连接与通信。 TCP 协议 TCP协议(Transmission Control Protocol, 传输控制协议)是一种面向连接的传输层通信 阅读全文
摘要:
Python 提供了 PIL(python image library)图像库,来满足开发者处理图像的功能,该库提供了广泛的文件格式支持,包括常见的 JPEG、PNG、GIF 等,它提供了图像创建、图像显示、图像处理等功能。 基本概念 要学习 PIL 图像库的使用,我们必须先来了解一些关于图像的基本 阅读全文
摘要:
介绍了文件的基本读写操作,但是很多时候数据的读写并不一定都是在文件中,我们也可以在内存中读写数据,因此引出我们今天的主要内容,即 StringIO 和 BytesIO,让你学会在内存中进行数据的基本读写操作。 前言-内存与硬盘 在正式介绍 StringIO 和 BytesIO 之前,我们先来了解一下 阅读全文
摘要:
pandas是一个常用的第三方 Python 库,提供快速灵活的数据处理功能,也是进行数据分析的有力工具 pandas尤其擅长处理以下数据: 以下几种数据尤其适合用pandas进行处理: 多种数据混合的扁平化数据格式,比如 SQL 表和 Excel 电子表格; 时间序列数据,不管有序无序; 任意带有 阅读全文
摘要:
文件操作中最基本的当然属于文件的读写操作。当我们利用爬虫抓取到一堆数据时,就需要进行文件写操作,将数据写入到文件当中;当我们需要对抓取到的文件内容进行筛选,获取有效信息时,需要对文件进行读操作。 打开和关闭文件 文件的打开模式多种多样,就像“条条道路通罗马”一样,每一种模式都可以用来打开文件,但是由 阅读全文
摘要:
Matplotlib 是一个非常优秀的 Python 2D 绘图库,只要给出符合格式的数据,通过 Matplotlib 就可以方便地制作数据图。 一、初识 Matplotlib Matplotlib 以多种硬拷贝格式和跨平台的交互式环境生成出版物质量的图形。Matplotlib 可用于 IPytho 阅读全文
摘要:
Numpy 位运算 NumPy包中,可用位操作函数进行位运算,以 bitwise_ 开头的函数是位运算函数。 NumPy 位运算函数如下: 函数描述 bitwise_and 对数组元素执行位与运算 bitwise_or 对数组元素执行位或运算 invert 按位取反(位非运算) left_shift 阅读全文
摘要:
对于数据分析来说,排序和筛选数据是不可或缺的一部分内容。NumPy 也提供了多种排序和筛选函数,本文就来介绍一下 NumPy 常见的排序和筛选函数。 排序函数 NumPy 中提供了排序相关的函数。排序函数已经帮助我们实现了不同的排序算法,我们只需要拿来直接使用就行。每个排序算法的执行速度,时间复杂度 阅读全文
摘要:
经常看到或者用到一些可以使用微博、微信、支付宝等账号登录的应用,还有一些微博助手、微信公众号助手、客户端之类的东西,这些是怎么做的呢,背后的原理是什么呢?为什么公众号配置起来那么繁琐呢?什么是 access token、refresh token?等等,今天我们来了解下开放式授权模式 OAuth 随 阅读全文
摘要:
简介 SQLAlchemy 是一个使用 Python 实现的 ORM 框架,它的设计理念是:SQL 数据库的量级和性能比对象集合重要,对象集合的抽象比表和行重要;它采用了类似于 Java 里 Hibernate 的数据映射模型;它的目标是提供能兼容众多数据库(如:SQLite、MySQL、Postg 阅读全文
摘要:
NumPy 字符串函数 以下函数用于对 dtype 为 numpy.string_ 或 numpy.unicode_ 的数组执行向量化字符串操作。它们基于 Python 内置库中的标准字符串函数。 这些函数在字符数组类(numpy.char)中定义: 函数描述 add() 对两个数组的逐个字符串元素 阅读全文
摘要:
Flask-Login 框架,它是基于 Session 和 Cookie 技术来实现用户授权和验证的,不过 Session 有很多的局限性,这一节介绍一种基于 token 的验证方式 —— JWT (JSON Web Token),除了对 JWT 的概念讲解之外,还有在 Flask 中简单实践 se 阅读全文
摘要:
Python 操作 MySQL 数据库需要是使用到 PyMySQL 驱动 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2 中则使用 mysqldb。 PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Pyth 阅读全文
摘要:
NumPy 是 Python 中一个基本的科学计算库,包含以下特性: 强大的 N 维数组对象; 精巧的广播(broadcasting)功能; C/C++ 和 Fortran 代码集成工具; 实用的线性代数、傅里叶变换、随机数生成等功能。 其中,N 维数组是 NumPy 最为核心的特性。 除了显而易见 阅读全文