2016年3月26日
scala报Exception in thread "main" java.lang.NoSuchMethodError：scala.Product.$init$(Lscala/Product;)V
摘要： IDEA中运行spark报如下错误 Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at org.apache.spark.SparkConf$Depreca 阅读全文
posted @ 2016-03-26 23:42 tonglin0325 阅读(688) 评论(0) 推荐(0) 编辑
Hive学习笔记——UDF开发
摘要： 实现一个UDF函数可以继承 org.apache.hadoop.hive.ql.exec.UDF，也可以继承 org.apache.hadoop.hive.ql.udf.generic.GenericUDF 1.继承UDF，参考 https://docs.microsoft.com/en-us/az 阅读全文
posted @ 2016-03-26 23:40 tonglin0325 阅读(230) 评论(0) 推荐(0) 编辑
Spark学习笔记——读写Avro
摘要： 1.DataFrame API读取avro文件 https://sparkbyexamples.com/spark/read-write-avro-file-spark-dataframe/ pom引入，spark2.4.0之后可以使用apache的spark-avro包，之前需要使用databri 阅读全文
posted @ 2016-03-26 22:50 tonglin0325 阅读(466) 评论(0) 推荐(0) 编辑
Java——NIO
摘要： 1.缓冲区Buffer import java.nio.IntBuffer; //主类 //Function : IntBuffer_demo public class IntBuffer_demo { public static void main(String[] args) { // TODO 阅读全文
posted @ 2016-03-26 21:55 tonglin0325 阅读(484) 评论(0) 推荐(0) 编辑
将parquet schema转换成avro schema
摘要： 1.引入依赖 <!--parquet--> <dependency> <groupId>org.apache.parquet</groupId> <artifactId>parquet-avro</artifactId> <version>1.10.0</version> </dependency> 阅读全文
posted @ 2016-03-26 20:36 tonglin0325 阅读(202) 评论(0) 推荐(0) 编辑
Hudi学习笔记——同步hive metastore
摘要： 1.使用Flink SQL 如果使用的是flink sql的话，如果想要同步表到hive metastore的话，只需要在flink sql的建表语句中添加 hive_sync 相关的一些配置即可，如下 'hive_sync.enable' = 'true', 'hive_sync.mode' = 阅读全文
posted @ 2016-03-26 16:19 tonglin0325 阅读(411) 评论(0) 推荐(0) 编辑