随笔分类 - python
python基础语法学习
摘要:1.简介 UnitTest是python 自带的自动化测试框架 UnitTest主要包含的内容 TestCase(测试用例) TestSuite(测试套件,把多个TestCase集成到一个测试Testsuite) TestRunner(执行测试用例) TestLoader(自动从代码中加载多个测试用
阅读全文
摘要:1. 数据合并 对数据合并,可以使用concat、merge、join 等方法。 1. concat 方法 一般concat 用于上下数据堆叠合并。concat 有用的三个参数: objs: 数据 axis: {0/‘index’, 1/‘columns’}要连接的轴。0 为上下堆叠,1为左右拼接
阅读全文
摘要:1. 安装以及测试 简介 NumPy 是一个运行速度非常快的数学库,主要用于数组计算,包含: 一个强大的N维数组对象 ndarray 广播功能函数 整合 C/C++/Fortran 代码的工具 线性代数、傅里叶变换、随机数生成等功能 numpy内置了并行运算功能,当系统有多个核心时,做某种计算时,n
阅读全文
摘要:Jupyter notebook是一个交互式的Python shell,也是IPython的封装版,非常适合用来进行数据分析和机器学习。也可以用来编辑python与markdown文档。 1. 安装以及简单测试 安装 pip install -i https://pypi.tuna.tsinghua
阅读全文
摘要:简单研究下读取mysql、查询、分组、聚合、绘图。 其还有窗口函数等更加复杂的操作,暂时不做研究。 1. 准备数据 DROP TABLE IF EXISTS `t_user_log`; CREATE TABLE `t_user_log` ( `id` int(11) NOT NULL AUTO_IN
阅读全文
摘要:Pandas 名字衍生自术语 "panel data"(面板数据)和 "Python data analysis"(Python 数据分析) 参考: https://pandas.pydata.org/ http://c.biancheng.net/pandas/plot.html 1. 简介 Pa
阅读全文
摘要:1. 简介 Python中的装饰器是一种可以装饰其它对象的工具。类似于装饰模式,实际是对原有对象进行功能上的增强(原有对象可以是对象、函数、类)。其使用像java 的注解。 该工具本质上是一个可调用的对象(callable),所以装饰器一般可以由函数、类来实现。装饰器本身需要接受一个被装饰的
阅读全文
摘要:1. 安装 pip install scrapy 2. scrapy简单运行以及架构 1. 项目创建以及运行 创建项目 aaa@localhost pyspace % scrapy startproject demo1 New Scrapy project 'demo1', using templa
阅读全文
摘要:python的线程类似于java 的线程,也区分守护线程和非守护线程。守护线程的作用就是为其他线程的运行提供便利。 默认是非守护线程。当进程所有的非守护结束后,进程会自动结束。 1. 线程简单使用 1. 直接new Thread 的方式 # 线程使用的方式一 import threading # 需
阅读全文
摘要:pywinauto 简单使用 pywinauto是一组实现windows GUI窗口自动化的python模块。使用pywinauto可以方便的给窗口发送鼠标、键盘事件,使用python程序控制程序窗口。主要是针对CS程序自动化应用。必须是GUI程序。 参考: https://github.com
阅读全文
摘要:1. 为什么使用selenium 前面爬虫大多使用的是urllib 库, 另外还有requests 库。urllib 可以解决好多问题,包括代理、自定义请求体、cookie 设置等。 这些库都是模拟浏览器进行访问,毕竟是模拟,有些网站针对反爬会造成爬取的数据不准确。 这时候就需要引入seleni
阅读全文
摘要:之前研究了基于BeautifulSoup4 解析html, 现在研究下xpath 的使用方法。 参考菜鸟教程: https://www.runoob.com/xpath/xpath-examples.html chrome浏览器自己可以安装插件: XPath Helper,再调试的时候可以使用该插件
阅读全文
摘要:1.Django安装 下载网站:https://www.djangoproject.com/download/ 我本地的python版本是2.7.17,所以我下的版本是Django版本1.11,cmd执行如下命令: pip install Django==1.11 检验是否安装成功:(python命
阅读全文
摘要:1. python 模块 模块是一个包含所有你定义的函数和变量的文件,其后缀名是.py。模块可以被别的程序引入,以使用该模块中的函数等功能。这也是使用 python 标准库的方法。(有点像java的class文件,一个class文件包含多个方法) 一个模块只会被导入一次,不管你执行了多少次impor
阅读全文
摘要:JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于人阅读和编写。 1.json库的使用 使用 JSON 函数需要导入 json 库:import json。 1. json.dumps 将 Python 对象编码成 JSON 字符串。 语法 例如:将p
阅读全文
摘要:1. PyMySQL连接数据库操作 1. 安装 PyMySQL 什么是 PyMySQL?PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-
阅读全文
摘要:上一篇简单的实现了获取url返回的内容,在这一篇就要第返回的内容进行提取,并将结果保存到html中。 一 、 需求: 抓取主页面:百度百科Python词条 https://baike.baidu.com/item/Python/407313 分析上面的源码格式,便于提取: 关键词分析:位于class
阅读全文
摘要:简答的爬虫 简单的说,爬虫的意思就是根据url访问请求,然后对返回的数据进行提取,获取对自己有用的信息。然后我们可以将这些有用的信息保存到数据库或者保存到文件中。如果我们手工一个一个访问提取非常慢,所以我们需要编写程序去获取有用的信息,这也就是爬虫的作用。 一、概念: 网络爬虫,也叫网络蜘蛛(Web
阅读全文
摘要:切片实际上是取子集,类似于java和JS的substrig()方法的功能。为了截取指定部分的数据才产生切片的概念。 切片实际上是三个参数, 'abc'[start:end:step] 第一个参数是起始下标(取值的时候包含该下标),如果缺省该下标代表从0开始 第二个参数是结束下标(取值的时候不包含该下
阅读全文
摘要:面向对象的概念: 类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 类变量:类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。直接通过类名.属性访问的就是类成员。定义成员在方法外
阅读全文