08 2018 档案

Yarn Node Labels

摘要：Yarn Node Labels + Capacity-Scheduler 在yarn-site.xml中开启capacity-schedule 配置capacity-scheduler.xml文件添加Yarn Node Labels yarn rmadmin -addToClusterNodeL 阅读全文

posted @ 2018-08-29 15:47 澄轶阅读(1075) 评论(0) 推荐(0) 编辑

JVM调优总结 -Xms -Xmx -Xmn -Xss

摘要：原：JVM调优总结 -Xms -Xmx -Xmn -Xss java -Xmx3550m -Xms3550m -Xmn2g-Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后J 阅读全文

posted @ 2018-08-29 14:36 澄轶阅读(239) 评论(0) 推荐(0) 编辑

[转] - Weiflow——微博机器学习框架

摘要："Weiflow——微博机器学习框架" 本文从开发效率（易用性）、可扩展性、执行效率三个方面，介绍了微博机器学习框架Weiflow在微博的应用和最佳实践。在上期《基于Spark的大规模机器学习在微博的应用》一文中我们提到，在机器学习流中，模型训练只是其中耗时最短的一环。如果把机器学习流比作烹饪，那阅读全文

posted @ 2018-08-29 14:15 澄轶阅读(156) 评论(0) 推荐(0) 编辑

方差+标准差+四分位数+z-score公式

摘要：一、方差公式其中公式中μ为平均数，N为这组数据的个数，x1、x2、x3……xN为这组数据具体数值。二、标准差公式其中公式中数值X1，X2，X3，......XN(皆为实数)，其平均值(算术平均值)为μ，标准差为σ。三、四分位数四分位数Qi所在的位置公式为：即 Q1的位置= (n+1) × 阅读全文

posted @ 2018-08-11 13:51 澄轶阅读(766) 评论(0) 推荐(0) 编辑

python 获取本机ip

摘要：有的设备上，有host相关配置，或者网络环境特殊，导致从hostname获取ip不符合预期。如下函数整合了多种获取ip的方式，大部分情况都可涵盖，一般情况下可以满足需求~ 核心是创建一个UDP协议下的socket，连接远端服务器，这里写了google的公共DNS地址。因为是UDP，没有发送请求就不阅读全文

posted @ 2018-08-04 15:18 澄轶阅读(873) 评论(0) 推荐(0) 编辑