摘要：
HashSet常用方法介绍public boolean add(E e)public boolean isEmpty()void clear()public Iterator iterator()int size()详细方法详见JDK帮助文档Object的equals方法和hashCode方法1、 ... 阅读全文
2014年9月17日 #
2014年9月13日 #
摘要：
使用java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/hadoop/lib下，代码如下：package com.luogankun.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class HelloU... 阅读全文
摘要：
启动ThriftJDBCServer:cd $SPARK_HOME/sbinstart-thriftserver.sh &使用jdbc访问ThriftJDBCServer代码段：package com.luogankun.spark.sqlimport java.sql.DriverManageri... 阅读全文
摘要：
Thrift JDBC Server描述Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。使用Th... 阅读全文
摘要：
Spark SQL CLI描述Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI与ThriftServer进行交互。使用Spark SQL CLI前需要注意：1、将hive-si... 阅读全文
2014年9月11日 #
摘要：
集合使用注意事项：1、集合当中只能放置对象的引用，无法放置原生数据类型，我们需要使用原生数据类型的包装类才能加入到集合当中去(JDK5之后会进行自动的装箱和拆箱操作，表面上看集合中是可以直接放置原生数据类型进去，但实质上是进过自动装箱成对象操作的)；2、集合当中放置的都是Object类型，因此取出来... 阅读全文
摘要：
public class StringDemo01 { public static void main(String[] args) { String s1 = new String("abc"); // a String s2 = "abc"; // b ... 阅读全文
摘要：
存在的问题：当把hql写到shell中，不方便阅读；但把hql写到文件中，又传递不了参数；怎么办呢？自定义hivefile执行方式形如：第一个参数为要执行的hql文件，后续的参数为要替换的key-value对。hivefile d:/hivefile_test.hql -date "2013-01-... 阅读全文
2014年9月10日 #
摘要：
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ... 阅读全文
摘要：
使用版本：kafka_2.10-0.8.1.1安装：tar -zxvf kafka_2.10-0.8.1.1.tgz -C ~/app/添加环境变量：.bash_profileexport KAFKA_HOME=/home/spark/app/kafka_2.10-0.8.1.1export PAT... 阅读全文