摘要: Pandas提供API来自定义其行为的某些方面,大多使用来显示。 API由五个相关函数组成。它们分别是: get_option() set_option() reset_option() describe_option() option_context() 常用参数,请参考下表: 编号参数描述 1 阅读全文
posted @ 2019-11-02 13:01 PythonGirl 阅读(394) 评论(0) 推荐(0) 编辑
摘要: 在本章中,我们将使用基本系列/索引来讨论字符串操作。在随后的章节中,将学习如何将这些字符串函数应用于数据帧(DataFrame)。 Pandas提供了一组字符串函数,可以方便地对字符串数据进行操作。 最重要的是,这些函数忽略(或排除)丢失/NaN值。 几乎这些方法都使用Python字符串函数(请参阅 阅读全文
posted @ 2019-11-02 11:19 PythonGirl 阅读(587) 评论(0) 推荐(0) 编辑
摘要: Pandas有两种排序方式,它们分别是: 按标签 按实际值 import pandas as pd import numpy as np df=pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],columns=['col2' 阅读全文
posted @ 2019-11-01 21:27 PythonGirl 阅读(1374) 评论(0) 推荐(0) 编辑
摘要: Pandas对象之间的基本迭代的行为取决于类型。当迭代一个系列时,它被视为数组式,基本迭代产生这些值。其他数据结构,如:DataFrame和Panel,遵循类似惯例,迭代对象的键。 简而言之,基本迭代(对于i在对象中)产生 - Series - 值 DataFrame - 列标签 Pannel - 阅读全文
posted @ 2019-11-01 20:08 PythonGirl 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 重新索引会更改DataFrame的行标签和列标签。 可以通过索引来实现多个操作: 重新排序现有数据以匹配一组新的标签。 在没有标签数据的标签位置插入缺失值(NA)标记。 import pandas as pd import numpy as np N=20 df = pd.DataFrame({ ' 阅读全文
posted @ 2019-10-31 22:44 PythonGirl 阅读(625) 评论(0) 推荐(0) 编辑
摘要: 要将自定义或其他库的函数应用于Pandas对象,有三个重要的方法,下面来讨论如何使用这些方法。使用适当的方法取决于函数应用于哪个层面(DataFrame,行或列或元素)。 表合理函数应用:pipe() 行或列函数应用:apply() 元素函数应用:applymap() 一、对整个DataFrame执 阅读全文
posted @ 2019-10-31 21:45 PythonGirl 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 有很多方法用来集体计算DataFrame的描述性统计信息和其他相关操作。 其中大多数是sum(),mean()等聚合函数。 一般来说,这些方法采用轴参数,就像ndarray.{sum,std,...},但轴可以通过名称或整数来指定: 数据帧(DataFrame) - “index”(axis=0,默 阅读全文
posted @ 2019-10-30 22:12 PythonGirl 阅读(1016) 评论(0) 推荐(0) 编辑
摘要: 到目前为止,我们了解了三种Pandas数据结构以及如何创建它们。接下来将主要关注数据帧(DataFrame)对象,因为它在实时数据处理中非常重要,并且还讨论其他数据结构。 一、系列基本功能 编号属性或方法描述 1 axes 返回行轴标签列表。 2 dtype 返回对象的数据类型(dtype)。 3 阅读全文
posted @ 2019-10-29 21:42 PythonGirl 阅读(313) 评论(0) 推荐(0) 编辑
摘要: 面板(Panel)是3D容器的数据。面板数据一词来源于计量经济学,部分源于名称:Pandas - pan(el)-da(ta)-s。 3轴(axis)这个名称旨在给出描述涉及面板数据的操作的一些语义。它们是 - items - axis 0,每个项目对应于内部包含的数据帧(DataFrame)。 m 阅读全文
posted @ 2019-10-28 22:54 PythonGirl 阅读(547) 评论(0) 推荐(0) 编辑
摘要: 数据帧(DataFrame)是二维数据结构,即数据以行和列的表格方式排列。 数据帧(DataFrame)的功能特点: 潜在的列是不同的类型 大小可变 标记轴(行和列) 可以对行和列执行算术运算 结构体 假设要创建一个包含学生数据的数据帧。参考以下图示 - 可以将上图表视为SQL表或电子表格数据表示。 阅读全文
posted @ 2019-10-28 22:15 PythonGirl 阅读(505) 评论(0) 推荐(0) 编辑
摘要: 系列(Series)是能够保存任何类型的数据(整数,字符串,浮点数,Python对象等)的一维标记数组。轴标签统称为索引。 pandas.Series Pandas系列可以使用以下构造函数创建 - 可以使用各种输入创建一个系列,如: 数组 字典 标量值或常数 创建一个空的系列 创建一个基本系列,是一 阅读全文
posted @ 2019-10-28 20:46 PythonGirl 阅读(297) 评论(0) 推荐(0) 编辑
摘要: Pandas的三种数据结构: 系列(Series) 数据帧(DataFrame) 面板(Panel) 这些数据结构,构建在Numpy数组之上,这意味着它们很快 维数和描述 考虑这些数据结构的最好方法是,较高维数据结构是其较低维数据结构的容器。 例如,DataFrame是Series的容器,Panel 阅读全文
posted @ 2019-10-28 20:00 PythonGirl 阅读(272) 评论(0) 推荐(0) 编辑
摘要: Numpy 可以读写磁盘上的文本数据或二进制数据。 NumPy 为 ndarray 对象引入了一个简单的文件格式:npy。 npy 文件用于存储重建 ndarray 所需的数据、图形、dtype 和其他信息。 常用的 IO 函数有: load() 和 save() 函数是读写文件数组数据的两个主要函 阅读全文
posted @ 2019-10-26 16:33 PythonGirl 阅读(607) 评论(0) 推荐(0) 编辑
摘要: NumPy 提供了线性代数函数库 linalg,该库包含了线性代数所需的所有功能。 函数描述 dot 两个数组的点积,即元素对应相乘。 vdot 两个向量的点积 inner 两个数组的内积 matmul 两个数组的矩阵积 determinant 数组的行列式 solve 求解线性矩阵方程 inv 计 阅读全文
posted @ 2019-10-25 21:00 PythonGirl 阅读(313) 评论(0) 推荐(0) 编辑
摘要: NumPy 中包含了一个矩阵库 numpy.matlib,该模块中的函数返回的是一个矩阵,而不是 ndarray 对象。 一个 的矩阵是一个由行(row)列(column)元素排列成的矩形阵列。 矩阵里的元素可以是数字、符号或数学式。以下是一个由 6 个数字元素构成的 2 行 3 列的矩阵: mat 阅读全文
posted @ 2019-10-25 20:09 PythonGirl 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 在操作数组的时候返回的不是视图就是副本。 副本:复制 视图:链接 副本是一个数据的完整拷贝,如果我们对副本进行修改,它不会影响到原始数据,物理内存不在同一位置。 视图是数据的一个别称或引用,通过该别称或引用亦可访问、操作原有数据,但原有数据不会产生拷贝。如果我们对视图进行修改,它会影响到原始数据,物 阅读全文
posted @ 2019-10-25 19:15 PythonGirl 阅读(445) 评论(0) 推荐(0) 编辑
摘要: 思路: (1)打开登录页面,并输入用户名和密码,点击登录按钮,弹出验证码图片; (2)获取2张验证码图片,带缺口和不带缺口; (3)获取缺口位置。遍历带缺口的图片和不带缺口的图片的每个像素,利用 is_pixel_equal() 方法判断两张图片同一位置的像素是否相同。比较两张图 RGB 的绝对值是 阅读全文
posted @ 2019-10-24 23:35 PythonGirl 阅读(617) 评论(0) 推荐(1) 编辑
摘要: 使用超级鹰打码平台处理登录的文字点击验证码 import time from io import BytesIO from PIL import Image from selenium import webdriver from selenium.webdriver import ActionCha 阅读全文
posted @ 2019-10-24 22:27 PythonGirl 阅读(719) 评论(0) 推荐(0) 编辑
摘要: 模拟登陆微博相对来说,并不难。验证码是常规的5个随机数字字母的组合,识别起来也比较容易。主要是用到许多Selenium中的知识,如定位标签、输入信息、点击等。如对Selenium的使用并不熟悉,请先移驾《Python爬虫 | Selenium详解》。相信你再来看本篇一定可以看懂。 破解微博登陆的思路 阅读全文
posted @ 2019-10-24 22:04 PythonGirl 阅读(1187) 评论(1) 推荐(0) 编辑
摘要: 12306官网登录的验证码破解比较简单,验证码是常规的点触类型验证码,使用超级鹰识别率比较高。 思路: (1)webdriver打开浏览器; (2)先对整个屏幕截屏,通过标签定位找到验证码图片,并定位到验证码图片的坐标,然后从先前截屏的图片中截取验证码部分的图片; (3)通过超级鹰识别验证码上字的坐 阅读全文
posted @ 2019-10-24 21:48 PythonGirl 阅读(856) 评论(0) 推荐(0) 编辑
摘要: import requests import re import execjs import time import hmac from hashlib import sha1 class Zhihu(object): def __init__(self, username, password): 阅读全文
posted @ 2019-10-24 20:21 PythonGirl 阅读(526) 评论(0) 推荐(0) 编辑
摘要: 加减乘除 NumPy 算术函数包含简单的加减乘除: add(),subtract(),multiply() 和 divide()。 注意:数组必须具有相同的形状或符合数组广播规则。 输出结果为: 此外 Numpy 也包含了其他重要的算术函数。 倒数 numpy.reciprocal() 函数返回参数 阅读全文
posted @ 2019-10-23 22:47 PythonGirl 阅读(291) 评论(0) 推荐(0) 编辑
摘要: NumPy 包含大量的各种数学运算的函数,包括三角函数,算术运算的函数,复数处理函数等。 三角函数 NumPy 提供了标准的三角函数:sin()、cos()、tan()。 输出结果为: 正弦值:[0. 0.5 0.70710678 0.8660254 1. ] 余弦值:[1.00000000e+00 阅读全文
posted @ 2019-10-23 20:50 PythonGirl 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 本章函数用于对 dtype 为 numpy.string_ 或 numpy.unicode_ 的数组执行向量化字符串操作。 它们基于 Python 内置库中的标准字符串函数。 这些函数在字符数组类(numpy.char)中定义。 numpy.char.add() numpy.char.add() 函 阅读全文
posted @ 2019-10-22 22:09 PythonGirl 阅读(338) 评论(0) 推荐(0) 编辑
摘要: NumPy "bitwise_" 开头的函数是位运算函数。本章都是按二进制来操作的。 NumPy 位运算包括以下几个函数: 注:也可以使用 "&"、 "~"、 "|" 和 "^" 等操作符进行计算。 bitwise_and bitwise_and() 函数对数组中整数的二进制形式执行位与运算。 im 阅读全文
posted @ 2019-10-22 20:32 PythonGirl 阅读(238) 评论(0) 推荐(0) 编辑
摘要: Numpy 中包含了一些函数用于处理数组,大概可分为以下几类: 修改数组形状 翻转数组 修改数组维度 连接数组 分割数组 数组元素的添加与删除 一、修改数组形状 numpy.reshape numpy.reshape 函数可以在不改变数据的条件下修改形状 arr:要修改形状的数组 newshape: 阅读全文
posted @ 2019-10-21 20:19 PythonGirl 阅读(339) 评论(0) 推荐(0) 编辑
摘要: NumPy 迭代器对象 numpy.nditer 提供了一种灵活访问一个或者多个数组元素的方式。 迭代器最基本的任务的可以完成对数组元素的访问。 实例1:使用 arange() 函数创建一个 2x3 数组,并使用 nditer 对它进行迭代。 输出结果为: 以上实例不是使用标准 C 或者 Fortr 阅读全文
posted @ 2019-10-20 11:51 PythonGirl 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式, 对数组的算术运算通常在相应的元素上进行。 下面的图片展示了数组 b 如何通过广播来与数组 a 兼容。 4x3 的二维数组与长为 3 的一维数组相加,等效于把数组 b 在二维上重复 4 次再运算 如果两个数组 阅读全文
posted @ 2019-10-20 09:59 PythonGirl 阅读(267) 评论(0) 推荐(0) 编辑
摘要: NumPy 比一般的 Python 序列提供更多的索引方式。除了之前看到的用整数和切片的索引外,数组可以由整数数组索引、布尔索引及花式索引。 整数数组索引 实例1:获取数组中(0,0),(1,1)和(2,0)位置处的元素 输出结果为: 实例2:获取了 4x3 数组中的四个角的元素。 行索引是 [0, 阅读全文
posted @ 2019-10-18 23:36 PythonGirl 阅读(359) 评论(0) 推荐(0) 编辑
摘要: ndarray对象的内容可以通过索引或切片来访问和修改,与 Python 中 list 的切片操作一样。 (1)ndarray 数组索引可以基于 0 - n 的下标进行; (2)切片对象可以通过内置的 slice 函数,并设置 start, stop 及 step 参数进行,从原数组中切割出一个新数 阅读全文
posted @ 2019-10-18 22:01 PythonGirl 阅读(196) 评论(0) 推荐(0) 编辑
摘要: numpy.arange ***** 使用numpy 包中的 arange 函数,创建数值范围并返回 ndarray 对象,函数格式如下: 实例1: 生成 0 到 5 的数组: import numpy as np x = np.arange(5) print (x) 输出结果如下: 实例2: 设置 阅读全文
posted @ 2019-10-18 20:21 PythonGirl 阅读(602) 评论(0) 推荐(0) 编辑
摘要: numpy.asarray numpy.asarray 类似 numpy.array,但 numpy.asarray 参数只有三个,比 numpy.array 少两个。 参数说明: 将列表转换为 ndarray import numpy as np x = [1,2,3] a = np.asarra 阅读全文
posted @ 2019-10-17 23:53 PythonGirl 阅读(227) 评论(0) 推荐(0) 编辑
摘要: ndarray 数组除了可以使用底层 ndarray 构造器来创建外,也可以通过以下几种方式来创建。 一、numpy.empty numpy.empty 方法用来创建一个指定形状(shape)、数据类型(dtype)且未初始化的数组: 参数说明: 一个创建空数组的实例: import numpy a 阅读全文
posted @ 2019-10-17 21:29 PythonGirl 阅读(345) 评论(0) 推荐(0) 编辑
摘要: NumPy 数组的维数称为秩(rank),一维数组的秩为 1,二维数组的秩为 2,以此类推。 在 NumPy中,每一个线性的数组称为是一个轴(axis),也就是维度(dimensions)。比如说,二维数组相当于是两个一维数组,其中第一个一维数组中每个元素又是一个一维数组。所以一维数组就是 NumP 阅读全文
posted @ 2019-10-17 18:49 PythonGirl 阅读(308) 评论(0) 推荐(0) 编辑
摘要: numpy 支持的数据类型比 Python 内置的类型要多很多,基本上可以和 C 语言的数据类型对应上,其中部分类型对应为 Python 内置的类型。 下表列举了常用 NumPy 基本类型: numpy 的数值类型实际上是 dtype 对象的实例,并对应唯一的字符,包括 np.bool_,np.in 阅读全文
posted @ 2019-10-16 23:18 PythonGirl 阅读(222) 评论(2) 推荐(0) 编辑
摘要: NumPy 最重要的一个特点是其 N 维数组对象 ndarray,它是一系列同类型数据的集合,以 0 下标为开始进行集合中元素的索引。 ndarray 内部由以下内容组成: 一个指向数据(内存或内存映射文件中的一块数据)的指针。 数据类型或 dtype,描述在数组中的固定大小值的格子。 一个表示数组 阅读全文
posted @ 2019-10-16 21:49 PythonGirl 阅读(198) 评论(0) 推荐(0) 编辑
摘要: NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供 阅读全文
posted @ 2019-10-16 20:08 PythonGirl 阅读(205) 评论(0) 推荐(0) 编辑
摘要: import turtle as t t.pensize(4) t.hideturtle() t.colormode(255) t.color((255,155,192),"pink") t.setup(840,500) t.speed(10) #鼻子 t.pu() t.goto(-100,100) t.pd() t.seth(-30) t.begin_fill() a=0.4 for i in 阅读全文
posted @ 2019-10-16 19:29 PythonGirl 阅读(486) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/python3 # -*- coding: utf-8 -*- import requests from PIL import Image from io import BytesIO response = requests.get('https://static.geetes 阅读全文
posted @ 2019-10-13 13:45 PythonGirl 阅读(5054) 评论(0) 推荐(0) 编辑
摘要: 在用selenium爬取网页的时候,有时候需要登陆,这时候用selenium获取cookie和携带cookie是很方便的,获取cookie可以通过内置的函数get_cookies(),它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的,所有get_cookies( 阅读全文
posted @ 2019-10-12 18:43 PythonGirl 阅读(2922) 评论(0) 推荐(1) 编辑