JVM内存模型（二）
摘要：JVM为什么要区分为栈和堆？ 栈代表的操作逻辑存储，堆代表的是数据逻辑存储，这样来划分更加清晰； JVM的内存在宏观上面来讲分为私有内存和共享内存；所谓共享内存（堆）寓意就是各个私有的栈（每个线程私有）可以通过引用来共享堆中的对象。这样的设计可以让各个线程共享一个对象；节省空间，另外可以实现逻辑语义
阅读全文
posted @ 2018-06-19 23:31
06 2018 档案
JVM内存模型（一）
摘要：主要澄清之前对JVM内存模型的一些误区： JMV内存主要分为5块：方法区（Method Area），堆区（Heap），虚拟机栈（VM stack），本地方法栈（Native Method stack），程序计数器； 可以看到内存整体可以划分为共享区和私有区；共享区其实就是堆（年轻带，老年代）和方法区
阅读全文
posted @ 2018-06-19 22:56
HBase的BlockCache
摘要：BlockCache 首先要明白Block，在HBase里面存储的最小单元；在memstore向硬盘刷的时候，如果目标block的大小+size之后大于MAX_SIZE，将会新创建一个block来存储数据。 Block有四种类型：data，meta，index以及bloom；data就是存储数据的b
阅读全文
posted @ 2018-06-18 20:50
Excel小技巧
摘要：Excel方向键失效 Excel的方向键操作不再是sheet范围内转动；而是变成了整个sheet页面在跳动。 不只是Excel，viso也是如此。 这是因为你的Scroll Lock键被按下了；所致箭头被解读为页面滚轮在滑动；只需要把Scroll Lock键给关闭即可。我的笔记本数字键F6有个锁头图
阅读全文
posted @ 2018-06-13 23:41
spark内存模型
摘要：在spark里面，内存管理有两块组成，一部分是JVM的堆内内存（on-heap memory），这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定； 另外一部分是堆外内存（off-heap memory），堆外内存默认是
阅读全文
posted @ 2018-06-13 10:42
sklearn的画图
摘要：from sklearn.metrics import roc_curve fpr, tpr, thresholds=roc_curve(y_train_5, y_scores) fpr, tpr >>> (array([0.00000000e+00, 0.00000000e+00, 1.83220
阅读全文
posted @ 2018-06-12 18:32
HBase常用指令
摘要：disable 'smsFlow'drop 'smsFlow'create 'smsFlow','info','partition'count 'smsFlow'scan 'smsFlow' truncate 'smsFlow'
阅读全文
posted @ 2018-06-12 15:52
Sentry从0到1
摘要：无Sentry 在没有sentry的情况下，他的权限逻辑是这样的：jdbc采用hive权限创建的表，只有hive用户可以看到；hue用户是无法看到的； Sentry 在启用sentry，就是基于sentry的授权体系了。 安装Sentry 启动Sentry，首先要安装： 1. 安装sentry服务；
阅读全文
posted @ 2018-06-12 15:43
Spark的word count
摘要：word count 注意spark的套路： 1. 创建配置配置，创建sparkcontext； 2. 获取数据源； 3. flatmap进行元素独立； 4. filter进行过滤； 5. map封装为元组； 6. reduce进行计数； 按照数量排序 你可以采用一条龙的方式来进行上述实现，感觉那是
阅读全文
posted @ 2018-06-08 11:41
Apache Spark 内存管理详解
摘要：在spark里面，内存管理有两块组成，一部分是JVM的堆内内存（on-heap memory），这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定； 另外一部分是堆外内存（off-heap memory），堆外内存默认是
阅读全文
posted @ 2018-06-04 10:04
Python与机器学习
摘要：pandas里面的对于数据操作比如where，drop以及dropna等都会有一个属性：inplace，这个单词意思是原地，如果inplace=true代表数据本身要返回（原地数据也会被改变）；如果inplace=false（默认）代表只是返回数据一个副本（copy，原数据并不会被改变）。 Data
阅读全文
posted @ 2018-06-04 09:59
Jupyter和IPython
摘要：Jupyter内核就是IPython（Interactive Python）；你看到的按tab键能够自动提示/补齐都是IPython实现的。 IPython其实不只限于IPython，其实你看到的IDE里面的tab键自动感应都是IPython的实现，比如Pycharm里面的Anaconda库就是包含
阅读全文
posted @ 2018-06-04 09:24
Builder模式
摘要：Builder模式有什么好处？ 构造函数构造一个函数的好处就是直接，但是缺点就是如果参数比较多，需要重载构造函数或者一个构造函数里面定义多个构造参数，对于调用方来讲十分不友好； 另外一种方式就是java bean模式，定义一个简洁的构造函数，然后通过set属性的方式来构造；这种方式避免了构造函数模式
阅读全文
posted @ 2018-06-04 09:10
线性模型的fit，predict
摘要：线性模型的fit其实一个进行学习的过程，根据数据和标签进行学习；predict则是基于fit之后形成的模型，来决定指定的数据对应于标签（y_train_5)的值。 下面的是手写字母判断是否为“5” sgd_clf = SGDClassifier(random_state=42) sgd_clf.fi
阅读全文
posted @ 2018-06-03 18:49
