摘要: python内置threading.Thread类创建的子线程抛出的异常无法在主线程捕获,可以对该类进行优化,为子线程添加exit code属性,主线程通过获取子线程的返回状态,来判断子线程中是否发生了异常。 import threading from traceback import format 阅读全文
posted @ 2021-02-01 16:50 zcsh 阅读(2756) 评论(0) 推荐(0) 编辑
摘要: python没有为内置的threading.Thread类提供一个kill接口,可以通过使用CPython API向线程抛出一个SystemExit异常来终止线程。如果线程没有被系统调用阻塞(sleep, recv, accept等),线程将会强制退出。参考连接:https://github.com 阅读全文
posted @ 2021-01-31 15:40 zcsh 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 摘要:在我们的时序异常检测应用中,设计了对时序数据进行多变量高斯(MVN)建模的算法方案进行异常检测,本文对基于tensorflow的两种MVN建模方案进行了总结。 1、基于custom cholesky分解 基于tensorflow keras对多维数据进行多变量高斯(MVN)概率建模是可行的。方 阅读全文
posted @ 2021-01-29 09:54 zcsh 阅读(601) 评论(0) 推荐(0) 编辑
摘要: 在我们的异常检测应用中,需要对每组IoT设备分别训练一个模型,每个模型对一组设备的指标数据进行实时异常检测。方案采用master-worker+消息队列的方式实现模型对外服务,但是每个worker的日志需要集中收集到同一个日志文件,而不是每个worker产生一个日志文件。此时我们采用基于loggin 阅读全文
posted @ 2021-01-28 10:45 zcsh 阅读(620) 评论(0) 推荐(0) 编辑
摘要: 在做基于ray的分布式任务处理时,偶尔遇到由于ray集群不稳定导致的长时间连接不上,进而导致程序卡死,无法向后端返回任务状态的情况。但是ray的初始化函数本身未实现超时机制,因此设计基于多线程+信号的timeout装饰器,当连接超时时,向后端返回异常状态。 这里之所以要起新线程去初始化ray,是为了 阅读全文
posted @ 2021-01-22 15:16 zcsh 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 数据库表是一个二维表,包含多行多列。 把一个表的内容用Python的数据结构表示出来的话,可以用一个list表示多行,list的每一个元素是tuple,表示一行记录,比如,包含id和name的user表: [ ('1', 'Michael'), ('2', 'Bob'), ('3', 'Adam') 阅读全文
posted @ 2021-01-21 11:28 zcsh 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 1、query string search GET /index/type/_search?q=name:zhangsan&sort=age:desc 2、query DSL(Domain Sepcified Language) 1)查询所有结果 GET /index/type/_search { 阅读全文
posted @ 2021-01-16 15:58 zcsh 阅读(2967) 评论(0) 推荐(0) 编辑
摘要: 1、使用装饰器 def singleton(cls): _instance = {} def _singleton(*args, **kwargs): if cls not in _instance: _instance[cls] = cls(*args, **kwargs) return _ins 阅读全文
posted @ 2021-01-07 14:12 zcsh 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 转自:https://zhuanlan.zhihu.com/p/79934510 风控业务背景 在风控中,我们常用KS指标来评估模型的区分度(discrimination)。这也是风控模型同学最为追求的指标之一。那么,有多少人真正理解KS背后的内涵?本文将从区分度的概念、KS的计算方法、业务指导意义 阅读全文
posted @ 2021-01-04 17:22 zcsh 阅读(3018) 评论(0) 推荐(1) 编辑
摘要: 转自:https://zhuanlan.zhihu.com/p/79682292 风控业务背景 在风控中,稳定性压倒一切。原因在于,一套风控模型正式上线运行后往往需要很久(通常一年以上)才会被替换下线。如果模型不稳定,意味着模型不可控,对于业务本身而言就是一种不确定性风险,直接影响决策的合理性。这是 阅读全文
posted @ 2021-01-04 16:57 zcsh 阅读(1050) 评论(0) 推荐(0) 编辑