08 2018 档案

Sqoop导入HBase，并借助Coprocessor协处理器同步索引到ES
摘要：1.环境 Mysql 5.6 Sqoop 1.4.6 Hadoop 2.5.2 HBase 0.98 Elasticsearch 2.3.5 2.安装（略过） 3.HBase Coprocessor实现 HBase Observer ES方法 打包并上传到hdfs 4.创建HBase表，并启用Cop 阅读全文
posted @ 2018-08-22 21:05 大葱拌豆腐 阅读(1038) 评论(0) 推荐(0) 编辑
Gson的两种解析用法
摘要：第一种. 常见的解析,直接将json字符串解析为对应的类. 第二种. 泛型解析,这里做个笔记,因为有点不好记 阅读全文
posted @ 2018-08-21 13:28 大葱拌豆腐 阅读(524) 评论(0) 推荐(0) 编辑
SparkSQL UDF使用方法与原理详解
摘要：UDF是SQL中很常见的功能，但在Spark-1.6及之前的版本，只能创建临时UDF，不支持创建持久化的UDF，除非修改Spark源码。从Spark-2.0开始，SparkSQL终于支持持久化的UDF。讲解SparkSQL中使用UDF和底层实现的原理。 1. 临时UDF 创建和使用方法: 实现原理， 阅读全文
posted @ 2018-08-14 23:18 大葱拌豆腐 阅读(2644) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示