python队列、线程、进程、协程
摘要：转自：https://www.cnblogs.com/wangqiaomei/p/5682669.html 目录： 一、queue 1.1 queue用法 # 先进先出队列 # put放数据，是否阻塞，阻塞时的超时事件 # get取数据（默认阻塞），是否阻塞，阻塞时的超时事件 # 队列的最大长度：q
阅读全文
proxy
摘要：import random import requests from bs4 import BeautifulSoup def random_headers(): ua_lst = ['Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Versi...
阅读全文
爬取-入库
摘要：练习requests/BeautifulSoup选择器/sqlite3的用法
阅读全文
header格式化
摘要：从火狐浏览器上每次复制header字符串修改成字典类型比较麻烦，所以写个代码，不用每次都花时间修改cookie字符串。
阅读全文
Python操作剪贴板
摘要：import win32clipboard as w import win32con def getText(): w.OpenClipboard() d = w.GetClipboardData(win32con.CF_UNICODETEXT) w.CloseClipboard() return d def setText(aString): w.O...
阅读全文
posted @
2018-04-20 09:55
math98
阅读(368)
推荐(0) 编辑
Xpath语法与lxml库的用法(etree_xpath)
摘要：来一段代码先： BeautifulSoup已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath 安装 XPath语法 XPath 是一门在 XML 文档
阅读全文
python字典遍历的几种方法
摘要：（1）遍历key值 >>> a {'a': '1', 'b': '2', 'c': '3'} >>> for key in a: print(key+':'+a[key]) a:1 b:2 c:3 >>> for key in a.keys(): print(key+':'+a[key]) a:1
阅读全文
urllib相关
摘要：import urllib.request #Python3中的urlretrieve下载 url = 'http://imgsrc.baidu.com/baike/pic/item/d002b34ba8072cb382025cfc.jpg' filename = 'd:/project/test/guo.jpg' urllib.request.urlretrieve(url, filename...
阅读全文
Python之os.path
摘要：os.path模块主要用于常用路径名操作，在编程中使用频率特高 os.path常用函数 示例 参考：https://www.cnblogs.com/wuxie1989/p/5623435.html
阅读全文
posted @
2018-04-19 10:49
math98
阅读(110)
推荐(0) 编辑
Python之数学(math)和随机数(random)
摘要：math包包含了最基本的数学运算函数，如果想要更加高级的数学功能，可以使用标准库外的numpy和scipy库，他们不但支持数组和矩阵运算， 还有丰富的数学和物理方程可供使用 random包可以用来生成随机数，随机数不仅可以用于数学用途，还经常被嵌入到算法中 math包 1. 常数 math包主要处理
阅读全文
posted @
2018-04-19 10:42
math98
阅读(678)
推荐(0) 编辑
SQLite和Excel操作
摘要：代码写的很简单，一个类，在构造函数的时候初始化数据库对象，析构的时候释放数据库对象。一个插入数据函数，一个读取Excel函数，代码：
阅读全文
posted @
2018-04-19 10:31
math98
阅读(1063)
推荐(0) 编辑
Python之sqlite3
摘要：Python sqlite3数据库是一款非常小巧的内置模块，它使用一个文件存储整个数据库，操作十分方便，相比其他大型数据库来说，确实有些差距。但是在性能表现上并不逊色，麻雀虽小，五脏俱全，sqlite3实现了多少sql-92标准，比如说transaction、trigger和复杂的查询等。 描述 P
阅读全文
posted @
2018-04-19 10:14
math98
阅读(206)
推荐(0) 编辑
Python正则表达式
摘要：Python3 正则表达式 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和
阅读全文
Python--csv文件处理
摘要：CSV(Comma-Separator Values)逗号分割值，由于是纯文本文件，任何编辑器都可以打开。下面用csv和pandas两种方式进行csv文件操作 原始csv文件内容 Supplier Name,Invoice Number,Part Number,Cost,Purchase Date
阅读全文
Python之json文件
摘要：概念： 序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON，XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。 JSON（Java Script Object Notation）：一种轻量级
阅读全文
Python之xpath
摘要：xpath是一种在XML文档中定位元素的语言，常用于xml、html文件解析，比css选择器使用方便XML文件最小构成单元： - element（元素节点） - attribute（属性节点） - text（文本） - namespace（命名空间） - processing-instruction
阅读全文
os文件操作收集
摘要：python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。 得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd() 返回指定目录下的所有文件和目录名:os.listdir() 函数用来删除一个文件:os.remove() 删除多个目录：os.r
阅读全文
posted @
2018-04-16 10:00
math98
阅读(178)
推荐(0) 编辑
Python实现进度条总结，倒计时
摘要：倒计时： import sys print('倒计时程序！') for i in range(10, -1, -1): mystr = '\r倒计时%s秒' % str(i) sys.stdout.write(mystr) sys.stdout.flush() time.sleep(1) 进度条，个
阅读全文
posted @
2018-04-16 08:58
math98
阅读(737)
推荐(0) 编辑
引用其他py文件中的函数
摘要：有两种的实现方法，第一种有2个小的方法，第2个小方法比较正式 添加__init.py__ 说明 在想引用的文件所在目录下和想执行的py目录下，新建一个文件： __init.py__，即可通过 相对路径的方式引用 方法1 目录如下： a.py内容： b.py内容： 其他文件为空 和py_test同目录
阅读全文
posted @
2018-04-11 10:33
math98
阅读(293)
推荐(0) 编辑
python中对list去重的多种方法
摘要：1.以下的几种情况结果是一样的，去重之后顺序会改变: 或用set 或使用itertools.grouby import itertools ids = [1,4,3,3,4,2,3,4,5,6,1] ids.sort() it = itertools.groupby(ids) for k, g in
阅读全文
pyttsx3将文字转语音
摘要：import pyttsx3 engine = pyttsx3.init() engine.say("你好"); engine.setProperty('volume',0.9) engine.runAndWait()
阅读全文
posted @
2018-04-11 00:36
math98
阅读(172)
推荐(0) 编辑
Python3中编码问题
摘要：html = r'{"code":404,"msg":"\u8be5\u8d44\u6e90\u4e0d\u5b58\u5728"}' print(html)# {"code":404,"msg":"\u8be5\u8d44\u6e90\u4e0d\u5b58\u5728"} print(html.
阅读全文
posted @
2018-04-10 20:54
math98
阅读(743)
推荐(0) 编辑
Python中的join()函数的用法
摘要：1、str对象的join()函数 语法：'sep'.join(seq) 参数说明 sep：分隔符。可以为空 seq:要连接的元素：序列、字符串、元组、字典 例子： 2、os.path.join()函数 语法： os.path.join(path1[,path2[,......]]) 例子：
阅读全文
python3实现文件下载的方法总结
摘要：从网上搜了下python实现文件下载的方法，总结如下，备查。 以下方法均已测试，环境win7 python3.6 方法一： 使用 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。 1 urlretrieve(url, [filen
阅读全文
python自动发邮件库yagmail
摘要：转自：http://www.cnblogs.com/fnng/p/7967213.html 一般发邮件方法 我以前在通过Python实现自动化邮件功能的时候是这样的： 其实，这段代码也并不复杂，只要你理解使用过邮箱发送邮件，那么以下问题是你必须要考虑的： 你登录的邮箱帐号/密码 对方的邮箱帐号 邮件
阅读全文
pandas_Excel_sqlite
摘要：to_sql(self, name, con, flavor, schema, if_exists, index, index_label, chunksize, dtype)
阅读全文
python中schedule模块的使用
摘要：使用python进行job管理的schedule模块，简单好用，在这里记录一下。详细源码可以参考这里 https://github.com/dbader/schedule安装方法 pip install schedule 使用方法 运行该程序之后，可以定时的进行执行。除了代码中提到的方法之外，还有例
阅读全文
修改Excel文件
摘要：1 import xlrd 2 from xlutils.copy import copy as copyWorkbook 3 from xlutils.filter import process, XLRDReader, XLWTWriter 4 def copy2(wb): 5 w = XLWTWriter() 6 process(XLRDReader(wb, '...
阅读全文
selenium_126_cookie
摘要：1 from selenium import webdriver 2 from selenium.common.exceptions import TimeoutException 3 from selenium.webdriver.common.by import By 4 from selenium.webdriver.support.ui import WebDriverWait ...
阅读全文
BeautifulSoup_lxml解析
摘要：CSS选择器 子串匹配 模糊匹配 select带有空格的class
阅读全文
