上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 70 下一页

2018年7月6日

MapReduce-寻找三角形

摘要: 在图中,如何判断三角形?三角形在很多场景都有应用,比如社交网络中确定人和人之间的关系。 那么如果通过代码逻辑来实现呢?在数据结构之图中,区分三联体(有一端没有关联关系的三角形)和三角形是关键;两者之间的差别在于边的"度",如果>=2,则可以断定点和边的关系是三角形。为什么度要>=2呢?因为如果一条边 阅读全文

posted @ 2018-07-06 13:21 下士闻道 阅读(260) 评论(0) 推荐(0) 编辑

2018年7月5日

Redis的多线程

摘要: Redis是单线程内部机制,那么怎么实现并发?在单机上部署多个Redis实例。 阅读全文

posted @ 2018-07-05 22:35 下士闻道 阅读(242) 评论(0) 推荐(0) 编辑

2018年6月19日

JVM内存模型(二)

摘要: JVM为什么要区分为栈和堆? 栈代表的操作逻辑存储,堆代表的是数据逻辑存储,这样来划分更加清晰; JVM的内存在宏观上面来讲分为私有内存和共享内存;所谓共享内存(堆)寓意就是各个私有的栈(每个线程私有)可以通过引用来共享堆中的对象。这样的设计可以让各个线程共享一个对象;节省空间,另外可以实现逻辑语义 阅读全文

posted @ 2018-06-19 23:31 下士闻道 阅读(129) 评论(0) 推荐(0) 编辑

JVM内存模型(一)

摘要: 主要澄清之前对JVM内存模型的一些误区: JMV内存主要分为5块:方法区(Method Area),堆区(Heap),虚拟机栈(VM stack),本地方法栈(Native Method stack),程序计数器; 可以看到内存整体可以划分为共享区和私有区;共享区其实就是堆(年轻带,老年代)和方法区 阅读全文

posted @ 2018-06-19 22:56 下士闻道 阅读(213) 评论(0) 推荐(0) 编辑

2018年6月18日

HBase的BlockCache

摘要: BlockCache 首先要明白Block,在HBase里面存储的最小单元;在memstore向硬盘刷的时候,如果目标block的大小+size之后大于MAX_SIZE,将会新创建一个block来存储数据。 Block有四种类型:data,meta,index以及bloom;data就是存储数据的b 阅读全文

posted @ 2018-06-18 20:50 下士闻道 阅读(414) 评论(0) 推荐(0) 编辑

2018年6月13日

Excel小技巧

摘要: Excel方向键失效 Excel的方向键操作不再是sheet范围内转动;而是变成了整个sheet页面在跳动。 不只是Excel,viso也是如此。 这是因为你的Scroll Lock键被按下了;所致箭头被解读为页面滚轮在滑动;只需要把Scroll Lock键给关闭即可。我的笔记本数字键F6有个锁头图 阅读全文

posted @ 2018-06-13 23:41 下士闻道 阅读(407) 评论(0) 推荐(0) 编辑

spark内存模型

摘要: 在spark里面,内存管理有两块组成,一部分是JVM的堆内内存(on-heap memory),这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定; 另外一部分是堆外内存(off-heap memory),堆外内存默认是 阅读全文

posted @ 2018-06-13 10:42 下士闻道 阅读(380) 评论(0) 推荐(0) 编辑

2018年6月12日

sklearn的画图

摘要: from sklearn.metrics import roc_curve fpr, tpr, thresholds=roc_curve(y_train_5, y_scores) fpr, tpr >>> (array([0.00000000e+00, 0.00000000e+00, 1.83220 阅读全文

posted @ 2018-06-12 18:32 下士闻道 阅读(1376) 评论(0) 推荐(0) 编辑

HBase常用指令

摘要: disable 'smsFlow'drop 'smsFlow'create 'smsFlow','info','partition'count 'smsFlow'scan 'smsFlow' truncate 'smsFlow' 阅读全文

posted @ 2018-06-12 15:52 下士闻道 阅读(145) 评论(0) 推荐(0) 编辑

Sentry从0到1

摘要: 无Sentry 在没有sentry的情况下,他的权限逻辑是这样的:jdbc采用hive权限创建的表,只有hive用户可以看到;hue用户是无法看到的; Sentry 在启用sentry,就是基于sentry的授权体系了。 安装Sentry 启动Sentry,首先要安装: 1. 安装sentry服务; 阅读全文

posted @ 2018-06-12 15:43 下士闻道 阅读(1221) 评论(0) 推荐(0) 编辑

上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 70 下一页

导航