Jiang_Xi

摘要： 1. ERROR: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. Ther 阅读全文

摘要： Zookeeper的配置文件不多，环境搭建的时候只需要修改一个文件：conf目录下的zoo.cfg (把templete文件改下名字)，下面是一个简单的例子： tickTime=2000 initLimit=5 syncLimit=2 dataDir=/home/zookeeper/data dat 阅读全文

摘要： 先说说搭建过程中遇到的坑， 1.在启动hive的时候如果遇到了类似如下的错，表示有几个配置项没有配置 java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${s 阅读全文

摘要： 窄依赖 所谓窄依赖就是说子RDD中的每个分区（partition）只依赖于父RDD中有限个数的partition。在API中解释如下： 窄依赖在代码中有两种具体实现，一种是一对一的依赖：OneToOneDependency，从其getparent方法中不难看出，子RDD只依赖于父 RDD相同ID的P 阅读全文

摘要： 转自：http://blog.csdn.net/bluejoe2000/article/details/30465175 在scala中这四个类型名称很类似，作用确实完全不同的。 None是一个object，是Option的子类型，定义如下 [java] view plain copy print? 阅读全文

摘要： SQL SERVER开窗函数 总结的很好，转来做个笔记。 转自：http://www.cnblogs.com/csdbfans/p/3504845.html 今天将要介绍SQL Sever的开窗函数，何谓开窗函数，不懂吧。反正对于我来说，我是摸不着头脑了，第一次听说过。那么，什么是开窗函数，其实可以 阅读全文

摘要： 执行 ./hdfs namenode -format 的时候如果报了JAVA_HOME not set and jdk not found 的 错，检查两个地方： 1.是不是真的没有设置JAVA_HOME, echo $JAVA_HOME 检查一下； 2. 如果设置了，就去$HADOOP_HOME/ 阅读全文

摘要： 1. transform操作返回的是rdd, action操作返回其它数据类型，可以以此来区分操作类型； 2. Spark懒加载，懒到直到Action操作的时候才会加载数据计算，RDD的create和Transform都不会真的加载和计算； 3. 默认情况下，每次Action操作RDD都会被重新计算 阅读全文

摘要： Scala统一访问原则：对于无参数方法的方法形式 obj.width 又像是在直接引用 obj 对象的 width 属性，这种统一性就叫做统一访问原则，就是说代码不因为属性是通过字段实现还是方法实现而受影响。例如前面的 def width: Int 可以写成 val width: Int，然而 ob 阅读全文

摘要： 转载自：http://blog.csdn.net/liuwenbo0920/article/details/45243775 1. Spark中的基本概念 在Spark中，有下面的基本概念。Application:基于Spark的用户程序，包含了一个driver program和集群中多个execu 阅读全文