随笔分类 - python
摘要：一、python 执行shell 实时打印到屏幕上 from subprocess import Popen, PIPE, STDOUT move_data = "cmd_val" def exec_command(command): move_path = Popen(command, stdou
阅读全文
摘要：import re phoneNumRegex = re.compile(r'zhang(wei|yang|hao)') mo = phoneNumRegex.search('my number zhangwei,zhangyang') print(mo.groups()) # ?前面字符是可选择的
阅读全文
摘要：官方配置文档中： Configuration - Spark 3.3.0 Documentation (apache.org) 没有找到相应的参数配置 可以从以下两点进行操作： 1）环境变量中：export HADOOP_USER_NAME=test 2）pyspark中: os.environ["
阅读全文
摘要：插入mysql时，如果内容中有引号等特殊符号，会报错，简单的解决方法可以用反斜杠转义，还可以用 pymysql 的方法（pymysql.escape_string）自动转义： # ！/usr/bin/python3 # -*- coding: utf-8 -*- import pymysql con
阅读全文
摘要：知道为啥threading仅有start而没有end不？ 线程一般用在网络连接、释放系统资源、dump流文件，这些都跟IO相关了，你突然关闭线程那这些没有合理地关闭怎么办会造成一定的影响 这里一种方案： inspect模块用于收集python对象的信息，可以获取类或函数的参数的信息，源码，解析堆栈，
阅读全文
摘要：执行的是后台shell命令操作，这里有一个超时退出操作 import time import subprocess import sys # 超时异常类 class TimeOutError(Exception): def __init__(self, *args, **kwargs): self.
阅读全文
摘要：import re phoneNumRegex = re.compile(r'zhang(wei|yang|hao)') mo = phoneNumRegex.search('my number zhangwei,zhangyang') print(mo.groups()) # ?前面字符是可选择的
阅读全文
摘要：在执行脚本的时候，变量的值一般可以在一个脚本中用global 声明一下 但是在子模块中使用父模块的变量值 这里提供一种思路： 在运行的时候 一般是函数把locals()当参数传入到子模块 脚本运行/父模块 exec(sql,locals) 然后在函数具体的地方 （子模块） var = list(va
阅读全文
摘要：Elasticsearch 通过 Elasticsearch，您能够执行及合并多种类型的搜索（结构化数据、非结构化数据、地理位置、指标），搜索方式随心而变。参考：https://github.com/elastic/elasticsearch-py/blob/7.10/docs/sphinx/ind
阅读全文
摘要：linecache 模块允许从一个 Python 源文件中获取任意的行，并会尝试使用缓存进行内部优化，常应用于从单个文件读取多行的场合。 此模块被 traceback 模块用来提取源码行以便包含在格式化的回溯中。tokenize.open() 函数被用于打开文件。 此函数使用 tokenize.de
阅读全文
摘要：在输出自己想要的结果时，中文显示的是乱码，类似：'\xe6\x9d\x8e\xe5\x9b\x9b' 可以使用str(列表).decode('string_escape') #!/usr/local/python/bin/python # coding=utf-8 print "列表" list1
阅读全文
摘要：#!/usr/local/python/bin/python # coding=utf-8 import sys import os import datetime import time import pytz import subprocess # 获取并检查外部传入参数 if (len(sys
阅读全文
摘要：#!/usr/bin/python # -*- coding:utf-8 -*- import time import sys import os # 主程序 if __name__ == "__main__": NUM = 0 while True: NUM += 1 print ( "{1} 执
阅读全文
摘要：用到的两个函数： set() 函数：创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。cmp(x,y) 函数：用于比较2个对象，如果 x < y 返回 -1, 如果 x == y 返回 0, 如果 x > y 返回 1 1.列出不同的键值 #!/usr/bin/p
阅读全文
摘要：#!/usr/bin/python # -*- coding:utf-8 -*- import time,datetime import os,sys #获取并检查外部传入参数 if(len(sys.argv)==2): bizDate=sys.argv[1] print "数据日期：",bizDa
阅读全文
摘要：亲测可用 解决如下： pypi地址：https://pypi.python.org/pypi/readline 下载 readline-6.2.4.1.tar.gz tar -xvf readline-6.2.4.1.tar.gz cd readline-6.2.4.1 python setup.p
阅读全文
摘要：map 和 filter 函数属于内置函数，reduce函数在python2 中是内置函数，从python3开始移动到了functools模块中，使用时需要先导入模块课 1.遍历函数（map） 针对每个元素进行操作，最终获取新的序列 >>> li=[11,22,33] >>> map(lambda
阅读全文
摘要：针对配置文件进行切分，重组，每隔30行为一段，进行重新生成功能。 #!/usr/local/python/bin/python # coding=utf-8 import sys import re import os f = open('config.conf','r') #判断文件条数 def
阅读全文
摘要：不多说，直接 上货吧 #!/usr/bin/python # -*- coding:utf-8 -*- import os, sys import time import re import MySQLdb reload(sys) sys.setdefaultencoding("utf8") #源系
阅读全文
摘要：判断python中的一个字符串是否为空，可以使用如下方法 1、使用字符串长度判断 len(s) ==0 则字符串为空 #!/user/local/python/bin/python # coding=utf-8 test1 = '' if len(test1) == 0: print '字符串TES
阅读全文
