随笔分类 - code
摘要：0X01 背景 周四周五，花了两天的时间，思考着celery内存泄露的问题。 情境如下： 在使用内存变量的时候(跨步骤调用变量)，突然想到一个问题，celery 多进程会不会共用一个变量，导致多个进程在运行的时候变量错乱了呢？ 比如在进程1中把target 设置为A，在进程2中把target设置成2
阅读全文
摘要：```import threadingfrom queue import Queueclass ThreadPush(threading.Thread): def __init__(self, threadName, my_queue): # 继承父类的方法 super(ThreadPush, self).__init__() self.thread...
阅读全文
摘要：https://www.jianshu.com/p/8ce59d1a8097
阅读全文
摘要：最近一段时间，项目从python2转为python3，并伴随的大量的功能重构，于是乎陷入了测试、找BUG、改BUG的循环中。老实说，吐了吐了。 最新的一个BUG，是nmap扫描的问题。 发出3000个IP nmap扫描的任务，最后只收到了不到100个IP有端口。 测了一下，大部分ping不同。 能p
阅读全文
摘要：```
ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'xxxxx' which is not functionally dependent on columns in GROUP BY clause; this is inco...
阅读全文
摘要：``` celery retry时，将发送到原有的队列，并在任务中加入执行的时间，以及当前重试的次数。 worker立刻读取该任务，同时记录一条【任务】到 unacked中，表示该任务在worker中还未执行。 eyJleHBpcmVzIjogbnVsbCwgInV0YyI6IGZhbHNlLCAiYXJncyI6IFsiMTIzNCJdLCAiY2hvcmQiOiBudWxsLCAiY2FsbG
阅读全文
摘要：重定向print输出到Mongo logging.getLogger(logname)
阅读全文
摘要：百度了一圈，很没创意的用过滤器，前端每次显示时间表格都要用过滤器，这种挺烦的。隐约记得以前见过没有用过滤器的。换google https://stackoverflow.com/questions/53402437/formatting datetimefield in django 完美解决，全局
阅读全文
摘要：方法1 View—— Toolbar—— 左上方的左右箭头，可以跳转光标位置，左箭头可以放回 方法2 设置快捷键 setting—— keymap—— Main menu—— Navigate—— back返回 Forward跟进 设置时选择自己方便操作的快捷键，消除快捷键原本的绑定 我设置了 ct
阅读全文
摘要：```
import simplejson a = """{"a":"\\""}"""
b = """{"a":"\\'"}"""
print simplejson.loads(a)
print simplejson.loads(b) 输出：
{'a': '"'}
simplejson.errors.JSONDecodeError: In
阅读全文
摘要：有业务线提出需求：要求对于其流量，只能在0点到7点扫描。 对此，celery发送任务到队列时可以指定执行的时间。 当worker收到任务后，判断还未到执行时间，会存储在worker中，在到达时候后再执行。 如果还未执行就中断worker，则任务会重新打回celery队列中，不担心丢失。 所以只需要传
阅读全文
摘要：group_concat函数有长度限制 后续 19.07.31
阅读全文
摘要：0X01 python redis分布式锁通用方法 REDIS分布式锁实现的方式：SETNX + GETSET "使用Redis SETNX 命令实现分布式锁" python 版本实现上述思路（案例1） "Redis分布式锁的python实现" 但是，流通的代码 redis锁中有BUG，有考虑不周的
阅读全文
摘要：0X01 前言 我的主语言是python，说起java，想起了大二（三年前）上课时教过，课程设计的时候曾经做过个俄罗斯方块，后面其他设计copy代码读懂代码（再后面的课设就用python了）。 本次涉及到大数据团队给出的代码，java + scala + flink。考虑到一些小的需求、设计改动、数
阅读全文
摘要：kafka集群有权限校验，在连接时需要加入client.id。但pykafka不能配置该选项。搜索了一下，需要使用confluent kafka 链接： https://blog.csdn.net/lanyang123456/article/details/80639625
阅读全文
摘要：今天晚上讨论下个季度扫描器的需求。 0x01 要重构么？ 重构前提 扫描器可读性较差，当初理解的时候看了一两天理解了大致的流程。之后在写功能的过程中，又在一些地方卡住了。 另一方面，是代码耦合性太高了，程序运行依靠redis、celery、管理平台的任务功能、插件下载平台，和其他东西耦合性过高，无法
阅读全文
摘要：if not any([_ in fingers for _ in finger_ids])
阅读全文
摘要：MySQL 中，用正则表达式匹配？，需要使用两个转义字符 \\? 因使用一个被坑了很久。
阅读全文
摘要：背景： 昨天写了一个页面用于规则库的增删改查。 数据使用datatables渲染，后端返回数据由前端进行一次性渲染和分页。 隐藏列： 排序的ID不展示，但是排序又想按照ID来排，所以把ID单独作为一列，按照ID列排序，再隐藏掉。 这样就按照ID排序而又不显示ID。 createdRow渲染boots
阅读全文