摘要: 转自:https://zhuanlan.zhihu.com/p/78809853 1、IV值的用途 IV,即信息价值(Information Value),也称信息量。 目前还只是在对LR建模时用到过这两个关键指标,当我们使用决策树时可以通过限制树的深度间接筛选掉一些对于当前任务贡献比较小的变量, 阅读全文
posted @ 2021-01-04 15:32 zcsh 阅读(1393) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.cnblogs.com/fariver/p/6573112.html 动态链接库在Windows中为.dll文件,在linux中为.so文件。以linux平台为例说明python调用.so文件的使用方法。 本例中默认读者已经掌握动态链接库的生成方法,如果不太清楚的可以参 阅读全文
posted @ 2021-01-02 19:44 zcsh 阅读(1049) 评论(0) 推荐(0) 编辑
摘要: 摘要:本文是我在从事AIOps研发工作中做的基于MCTS的多维可加性指标的异常根因定位方案,方案基于清华大学AIOPs实验室提出的Hotspot算法,在此基础上做了适当的修改。 1 概述 1.1 研究对象 拥有多维度属性(如省份、运营商、数据中心)的可加性KPI,如页面访问量。 1.2 要解决的问题 阅读全文
posted @ 2021-01-01 14:19 zcsh 阅读(2123) 评论(3) 推荐(0) 编辑
摘要: 表达式全集 字符描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配 阅读全文
posted @ 2021-01-01 14:01 zcsh 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 基本思路:基于parameter server + multiple workers模式。同步方式:parameter server负责网络参数的统一管理,每次迭代均将参数发送给每一个worker,多个worker同时迭代数据集,计算当前批次的损失和梯度,当所有worker全部完成当前批次的计算后, 阅读全文
posted @ 2020-12-29 15:12 zcsh 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 基本思路:1、对数据分块,使用多个worker分别处理一个数据块,每个worker暴露两个接口,分别是损失计算的接口loss和梯度计算的接口grad;2、同时定义full_loss和full_grad接口对每个worker的loss和grad进行聚合;3、使用bfgs算法进行参数优化,分别使用ful 阅读全文
posted @ 2020-12-29 14:43 zcsh 阅读(769) 评论(0) 推荐(0) 编辑
摘要: 转自https://www.cnblogs.com/shenh/p/9518343.html 一、前言 容器使用沙箱机制,互相隔离,优势在于让各个部署在容器的里的应用互不影响,独立运行,提供更高的安全性。本文主要介绍python应用(django)跑在docker容器里,编写dockerfile实现 阅读全文
posted @ 2020-12-16 17:06 zcsh 阅读(543) 评论(0) 推荐(0) 编辑
摘要: pandas dataframe写入hdfs csv文件的两种方式: 1、 from hdfs.client import Client cleint.write(hdfs_url, df.to_csv(idnex=False), overwrite=True, encoding='utf-8') 阅读全文
posted @ 2020-12-08 17:24 zcsh 阅读(2631) 评论(0) 推荐(0) 编辑
摘要: 记录python里的一个有意思的小技巧:通过字符串定义函数名称。 import sys m=sys.modules[__name__] def temp(x): return x+1 setattr(m, 'foo1', temp) def temp(x): return x+2 setattr(m 阅读全文
posted @ 2020-11-13 11:41 zcsh 阅读(606) 评论(0) 推荐(0) 编辑
摘要: 转自https://www.cnblogs.com/dogecheng/p/12659605.html 简介 特征工程在机器学习中具有重要意义,但是通过手动创造特征是一个缓慢且艰巨的过程。Python的特征工程库featuretools可以帮助我们简化这一过程。Featuretools是执行自动化特 阅读全文
posted @ 2020-11-10 10:40 zcsh 阅读(474) 评论(0) 推荐(0) 编辑