dairui130

hive函数 get_json_object的使用

摘要： hive提供了json的解析函数：get_json_object 使用方法对于jsonArray（json数组），如person表的xjson字段有数据：取出第一个json对象，那么hive sql为：结果是：取出第一个json的age字段的值：结果总结 param1：需要解析的json 阅读全文

posted @ 2019-03-06 21:16 dairui130 阅读(71236) 评论(1) 推荐(5) 编辑

kafka groupid

摘要： kafka 分组简言之，就是相同分组的消费者，会分摊消费kafka中同一个topic中的数据。阅读全文

posted @ 2019-03-06 19:08 dairui130 阅读(1007) 评论(0) 推荐(0) 编辑

excel设定备选值

摘要： excel设定备选值有的时候我们要人为向excel中某一列添加数据，可以通过下面的方法，为这列设定备选值。操作方法 2.来源中添加备选值，注意用英文逗号分隔。 3. 再选中这列的某个单元格，可以直接点击填入备选值了。注意：这种方式，这一列只允许输入备选值中的内容，手动输入其他内容会报错。阅读全文

posted @ 2019-03-06 15:03 dairui130 阅读(1830) 评论(0) 推荐(0) 编辑

mac快捷键

摘要：公司统一要求用mac办公，总结下常用的程序的快捷键 MacOS 删除文件：command + Delete 截图：command + shift + 4 退出最大化: control + command + f 修改文件名 : enter（选中然后回车）切换输入法：control + comman 阅读全文

posted @ 2019-03-06 10:35 dairui130 阅读(306) 评论(0) 推荐(0) 编辑

数据统计--union all 执行多条sql

摘要：需求--统计hive某张表type字段不同取值的数据量我们已知某张表的type的取值是1，2，3，4，5，想要统计不同type的数据量，并清晰的展现出来。可以通过union all 的方式，sql如下：得到的结果如下：阅读全文

posted @ 2019-03-05 21:07 dairui130 阅读(495) 评论(0) 推荐(0) 编辑

sqoop快速入门

摘要：转自http://www.aboutyun.com/thread-22549-1-1.html 阅读全文

posted @ 2019-03-04 21:22 dairui130 阅读(104) 评论(0) 推荐(0) 编辑

linux中cat、more、less命令区别详解

摘要：待做阅读全文

posted @ 2019-03-04 19:17 dairui130 阅读(270) 评论(0) 推荐(0) 编辑

flume遇到的问题

摘要：原因：checkpoint文件夹，不为空。解决：设置空的checkpoint文件夹。或删除checkpoint文件夹下的内容。原因：java堆内存默认20m，数据量大时oom。解决： export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g - 阅读全文

posted @ 2019-03-04 16:57 dairui130 阅读(1152) 评论(0) 推荐(0) 编辑

excel查找某一列的值在、不在另一列中

摘要：统计中遇到找出一列的值不在另一列的需求：找出A列中不在B列的值方法如下：使用countif函数比如找出A列中不在B列的值：在C1中输入下拉单元格，在首行添加筛选筛选的方法，在我另一篇博客中。得到如下结果结果为1则表示，A列的值在B中。0则表示不在B中。阅读全文

posted @ 2019-03-03 20:19 dairui130 阅读(14645) 评论(1) 推荐(0) 编辑

kafka的分区