Python - 随笔分类 - 诸子流

Yara安装使用教程

摘要：一、安装官方文档（含python调用yara）：https://yara.readthedocs.io/en/v4.1.1/gettingstarted.html 开源yara规则库：https://github.com/Yara-Rules/rules git clone https://git 阅读全文

posted @ 2021-08-12 14:28 诸子流阅读(3873) 评论(0) 推荐(0) 编辑

Python3+itertools实现排列组合教程

摘要：一、说明本文的直接起因是上周公司的一个比赛用到了排列组合，之前没用过，这里记一记。本文说的排列组合是借助itertools实现，而不是自己写代码实现。 itertools的其他一些函数还是比较有意思的，所以在最后也会做下简单的介绍。二、排列组合实现功能需求总数算法实现函数示例示例输出阅读全文

posted @ 2021-04-30 17:44 诸子流阅读(963) 评论(0) 推荐(0) 编辑

Python3 socket通过代理访问web服务实现

摘要：一、说明 1.1 背景说明关于“代理”，从burpsuite到ss这类正向代理，再从nginx到haproxy这类反向代理，也用了好多年配置了好多年了。在日积月累之下也确认了以下几个问题：正向代理和反向代理的区别正常访问路径是client public network server，如果代理服阅读全文

posted @ 2021-03-15 19:57 诸子流阅读(2021) 评论(0) 推荐(0) 编辑

Python3协程（coroutine）理解

摘要：一、背影说明最早开始接解协程应该是看到Scrapy库代码里有await的字眼，接下来曾多次尝试理解协程怎么用，但都失败了。主要的问题是很多文章上来就是告诉你生成器是什么、原理是什么，我一直觉得原理这东西深入理解时是应该的，但是我作为一个小白我不希望你跟我讲原理，我没耐心也听不懂。我只希望你告诉阅读全文

posted @ 2021-03-10 18:39 诸子流阅读(657) 评论(0) 推荐(1) 编辑

Python3正则表达式search和findall差异讨论

摘要：一、背景说明自从整理了“正则表达式书写规则说明”后，使用正则表达式的地方都基本能应对。唯一搞不清的是不懂为什么re.search的还要用group()才能获取匹配的结果（而且是group这么个感觉和获取字符串完全不搭边的名字），正是没搞清的这点留下了很大的隐患。上周同事问正则中重复次数只能作用于阅读全文

posted @ 2020-09-14 19:13 诸子流阅读(1394) 评论(1) 推荐(1) 编辑

Python Segmentation fault错误定位办法

摘要：一、背景说明昨天在看操作日志报表，发现周末只有一两条数据，显得不正常。但一是周末操作本来也不多，二是还有其他事情要做，就没管了。但周二再看周一还是没数据，同事向上排查发现是上游表就没数据。开始还比较淡定，猜测和之前一样是因为代码catch到异常就直接exit把exit去掉再把这两天的数据补回来就阅读全文

posted @ 2020-09-01 19:39 诸子流阅读(20706) 评论(0) 推荐(2) 编辑

Python3压缩和解压缩实现

摘要：一、说明压缩和解压缩是日常常用的操作，不管是windows上图形界面的操作，还是linux上用命令来进行压缩解压缩，总的而言都还是比较方便的。但用代码来实现就没做过，近期也得实现代码压缩与解压缩操作，所以就抽时间来研究一下。二、zip文件压缩和解压缩实现 import os import zi 阅读全文

posted @ 2020-09-01 19:32 诸子流阅读(1842) 评论(0) 推荐(0) 编辑

Python3+profile性能分析

摘要：一、说明我们简单地分析性能，可以通过运行前后的datatime.datatime.now()相减来确定运行两个时间中间的代码花费了多少时间。但这种做法只能记录单次运行花费的时间、不能方便计算运行多次平均花费的时间，更不能深入分析整个程序各函数所花费的时间。二、利用timeit分析语句/函数性能阅读全文

posted @ 2020-08-26 19:03 诸子流阅读(1154) 评论(0) 推荐(0) 编辑

Python3通过函数名调用函数的几种场景实现

摘要：一、说明之前写了一篇“Python执行系统命令教程”讲了如何执行系统命令。除了执行系统命令外，我们有时还需要动态地执行一些python代码，有经验的朋友就会知道可以使用内置函数eval实现这一需求，如eval("print(__file__)")，这还是比较简单的。但如果要动态执行一个函数，讲阅读全文

posted @ 2020-07-14 18:46 诸子流阅读(2635) 评论(0) 推荐(0) 编辑

Python3文件路径/目录获取教程

摘要：一、获取文件路径实现 1.1 获取当前文件路径 import os current_file_path = __file__ print(f"current_file_path: {current_file_path}") __file__变量其实有个问题，当文件被是被调用文件时__file__总是阅读全文

posted @ 2020-07-09 18:38 诸子流阅读(6721) 评论(0) 推荐(1) 编辑

Python3 os.walk()函数导致buffer/cache占用过高问题处理

摘要：一、背景说明 os.walk()应该是当前python中遍历目录最推荐的函数，之前用python写了一个用于收集系统用到的第三方组件的脚本，在测试时使用os.walk()遍历了部分目录，并通过了全网的测试。但在改成遍历根目录后，被业务反馈说脚本占用内存过高导致了内存告警。在直观感觉上，只遍历目录又阅读全文

posted @ 2020-06-23 19:48 诸子流阅读(1511) 评论(0) 推荐(0) 编辑

Python3+cgroupspy安装使用教程

摘要：一、系统资源使用限制的必要性探讨对于一个脚本，最基础的限制是要限制单进程实例以保证了不会存在多个进程实例、在运行程序主体逻辑前检测系统资源剩余量确保自己不是压夸系统的最后一根稻草、设置程序运行超时时间以保证进程实例不会无休止地运行下去。进一步，在部署有可用性要求较高的服务的主机中，我们还需要关注阅读全文

posted @ 2020-06-23 19:39 诸子流阅读(1401) 评论(0) 推荐(0) 编辑

Python执行系统命令教程

摘要：一、背景说明以前就感觉进步的速度和博客的数量成正比，所以很长一段时间内想不通为什么很多博客为什么到最后很少甚至不在更新了，直到最近自己也快成为断更的一员。这段时间其实碰到和解决了挺多典型的问题，但上班高负荷运转下班没心思周末觉得太耗费时间，就导致一直拖着没写。但Python执行系统命令这个问题阅读全文

posted @ 2020-06-23 19:17 诸子流阅读(1534) 评论(0) 推荐(0) 编辑

Python3命令注入防范

摘要：一、背景说明说实话自己是做安全的，平时总是给别人代码找茬，但轮到自己写代码有时比开发还不注重安全，其中有安全脚本一般比较小考虑安全那么处理安全问题的代码比重将会大大超过业务代码的问题也有不是专职开发添加一项功能还没开发那么熟练的问题。由于安全脚本一般不是对外开启服务的，所以一般也不会暴出什么问题。阅读全文

posted @ 2020-05-26 18:55 诸子流阅读(2934) 评论(0) 推荐(0) 编辑

Python3序列化和反序列化实现

摘要：一、说明早上看到Python使用pickle进行序列化和反序列化，然后发现面临的一个获取不到返回值的框架，似乎可以通过在框架中先序列化，然后在外部进行反序列化的方法来实现。就研究了一下pickle库的具体使用。本身也没什么复杂，一方面还是怕忘记，另一方面是自从学Java听到反序化这个词开始就有一阅读全文

posted @ 2020-03-27 18:22 诸子流阅读(1686) 评论(0) 推荐(0) 编辑

周易占卦解卦程序

摘要：一、背景说明上上周末看《易经》其封面大概是这么一张图（其实还有各卦对应的五行但一下找不到这样的图），想着为什么一个卦用三层表示呢，辗转反侧突然想到这就是二进制啊，需要三位才能表示八个数（000-111）。然后又去看占卦解卦原理，感觉就是给定一个输入经过一定的算法流转给出一个输出，最后一想这就阅读全文

posted @ 2020-03-21 22:45 诸子流阅读(2636) 评论(0) 推荐(1) 编辑

Python3从头/尾删除子符串的正确操作

摘要：一、说明从某个时候发现python的字符串变量自带的strip()方法，除了可以删除字符串头尾的空格，还可以用来删除头尾的字符串觉得很好用。也就一直这么用，一直也没发现什么问题。今天在修复一个bug时使用了strip()方法但从结果看bug并没有按预期被消除，一是没怀疑strip()删除子字符串阅读全文

posted @ 2020-03-20 20:06 诸子流阅读(3192) 评论(0) 推荐(0) 编辑

Python中return和yield的区别

摘要：一、说明 return一直中，每中语言中其没没有很大差别，就不多说了。（shell语言return的是退出状态，可能差别是比较大的，感兴趣可参见“Linux Shell函数定义与调用”）最早看到yield应该是哪们语言用来调整什么线程优先级的，记不清了，不过那里的yield和python中的yie 阅读全文

posted @ 2020-03-20 20:05 诸子流阅读(13036) 评论(1) 推荐(7) 编辑

Python3报错处理：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

摘要：一、背景说明最开始不愿意使用Python，一大原因是因为Python2默认使用ASCII编码处理中文可以说是一件痛苦的事情。仅从更换默认编码一项变换，就可以说Python3和Python2不算同一门语言。 Python3更换为默认使用Unicode（utf-8）编码，一直使用下来再没有遇到编码问题阅读全文

posted @ 2020-03-13 20:12 诸子流阅读(75142) 评论(1) 推荐(2) 编辑

Python/Shell/MySQL时间获取与格式转换

摘要：一、说明时间的获取及时间各格式间的转换是比较常用的操作，但一是多种语言经常容易弄混，二是同一种语言同一个功能可能有不同的实现函数，导致每次处理时间经常要百度所以来记录一下。另外个人真不喜欢同样功能有多种写法的形式，从理想角度说多种实现方式让不同的人都能以其喜欢的方式进行编写；但实际上当你忘记的时阅读全文

posted @ 2020-02-29 12:15 诸子流阅读(2237) 评论(0) 推荐(0) 编辑

随笔分类 - Python