lamba数据架构以及数据湖
摘要：面试大数据项目，面试过程中发现面试官提到的两个概念没有搞清楚： 1. lamba数据架构；这个概念的提出是由storm的作者提出来的，其实主旨就是想要说明，数据的处理分成三层，一类是批处理程序（batch laryer，非实时），比如午夜跑出来的报表，可以供第二天进行消费；第二类是实时增量处理数据（
阅读全文
posted @ 2018-05-31 20:30
05 2018 档案
sklearn, Numpy以及Pandas
摘要：pandas里面的对于数据操作比如where，drop以及dropna等都会有一个属性：inplace，这个单词意思是原地，如果inplace=true代表数据本身要执行该操作；如果inplace=false（默认）代表操作影响的是数据一个副本（copy），返回的也是该副本；所以如果是drop，in
阅读全文
posted @ 2018-05-30 17:51
机器学习概念
摘要：极大似然 使用极大似然的大的前提是模型已知，数据独立同分布； 他的价值在于可以通过局部数据来获取全局的参数，具体的实现就是通过求导数为零的方式来创造 评估方法 评估就是利用测试数据来评估一下用训练数据训练的模型。 评估方法牵涉到一个很重要的环节就是对数据集进行划分；主要有三种：第一种留出法（leav
阅读全文
posted @ 2018-05-25 16:40
Spark性能调优
摘要：1.压缩 KyroSerializer相比于JavaSerialize处理性能上10倍以上（综合了内存以及CPU）；但是对于基本类型比如Int等压缩效果和javaSerializer相比并没有明显优势；另外Kyro支持的Java对象类型比较少，需要做相关配置。 2. Shuffle原理以及Manag
阅读全文
posted @ 2018-05-25 16:32
解决问题的应用软件+操作系统+硬件思路
摘要：刚才一瞬间发现一切编译之后都不好用了； 之前的一个操作是解决Errors running builder 'Integrated External Tool Builder' on project '的异常问题；难道是因为它吗？ 就在我打算重新解压缩工程的时候；突然想到之前把网线给拔了，会不会是..
阅读全文
posted @ 2018-05-06 19:41
最小单元和上层建筑
摘要：理解技术首先是合，就是掌握抽象的流程为主，就像金字塔的塔尖，向下拓展；流程清晰之后就是分，要把流程进行拆分，或者说分离，因为只有分离了你才更加有掌控力，因为如果是揉在一起你很难对于进行埋点，入口，出口控制；只有分离，都拆开了，你才能够更好对其进行修改。 以上的心得是我在读dockerone.io里面
阅读全文
posted @ 2018-05-06 19:33
application项目获取bean
摘要：对于web项目，编程方式获取bean如下： 但是对于应用类项目要如何获取呢？方式之一就是通过实现ApplicationContextAware接口。 1. 定义接口 2. 在applicationContext里面定义bean；只有这样定义才可以在spring初始化加载的时候填充该类的applica
阅读全文
posted @ 2018-05-06 19:18
有些文件不需要配置，只需要放到resources下面
摘要：今天和一位同事探讨了一个问题，开始的时候我事先的读取某个映射文件是配置在applicationContext.xml的bean定义里面；但是他提出来，是否可以不需要配置呢？直接作为一个资源文件完事，这样测试联调部署都方便。确实，如果一个文件的作用只是存一些数据，并且一般不变，那么完全可以放到配置里面
阅读全文
posted @ 2018-05-06 18:18
RAFT算法
摘要：接触到RAFT是在学习KUDU的时候，KUDU的官方文档中一个连接指向了RAFT；只是觉得这个算法一定有其特点，要知道KUDU可以是一帮HBASE的大神写的。原始开始了解。 RAFT是一致性算法，说到一致性算法很多都会想到zookeeper，是的，这是我们接触比较多的内部包含一致性算法的应用产品了。
阅读全文
posted @ 2018-05-05 21:11
