10 2017 档案
摘要：mac 上python编译报错No module named MySQLdb You installed python You did brew install mysql You did export PATH=$PATH:/usr/local/mysql/bin And finally, you
阅读全文
摘要：http://blog.csdn.net/citywolf4/article/details/49071679 https://github.com/mmastrac/iterm2-zmodem
阅读全文
摘要：对于编译出的程序，在 cmd 和 power shell 运行时都不能正确显示汉字。 网上查，可以再命令窗口修改： 1、打开CMD.exe命令行窗口 2、通过 chcp命令改变代码页，UTF-8的代码页为65001 chcp 65001 执行该操作后，代码页就被变成UTF-8了。 在当前窗口的确可以
阅读全文
摘要：每个数据仓库都包含一个或者多个事实数据表。事实数据表可能包含业务销售数据，如现金登记事务所产生的数据，事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据（事实），并且这些数字信息可以汇总，以提供有关单位作为历史的数据，每个事实数据表包含一个由多个部分组成的索引，该索引包含作为外键的相关性
阅读全文
摘要：OLTP：联机事物处理 OLAP：联机分析处理 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是
阅读全文
摘要：摘要： 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 2.1 数据倾斜原理 2.2 数据倾斜问题发现与
阅读全文
摘要：Spark Streaming与Storm都可以做实时计算，那么在做技术选型的时候到底应该选择哪个呢？通过下图可以从计算模型、计算延迟、吞吐量、事物、容错性、动态并行度等方方面进行对比。 对于Storm来说： 1、建议在那种需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进
阅读全文
摘要：通过分析reduceByKey和groupByKey的源码，发现两个算子都使用了combineByKey这个算子，那么现在来分析一下combineByKey算子。 在combineByKey函数中包含 createCombiner、mergeValue、mergeCombiners函数 create
阅读全文
摘要：先来看一下在PairRDDFunctions.scala文件中reduceByKey和groupByKey的源码 通过源码可以发现: reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce中的combin
阅读全文
摘要：Spark-Streaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为window DStream的一个RDD。 网官图中所
阅读全文
