malloc+ - 博客园

HBase基本操作

摘要： --任一列值='TEST' ，ValueFilter(=,'binary:TEST')scan 'FAB_MES:TO_BSLOTQUEUETIME',FILTER=>"ValueFilter(=,'binary:TEST')"--任一列值包含'TEST'，不区分大小写ValueFilter(=,' 阅读全文

posted @ 2019-07-04 15:48 malloc+ 阅读(314) 评论(0) 推荐(0) 编辑

java常用操作

摘要： 1、上传文件： 2、getResourceAsStream中文乱码 getResourceAsStream(name)=getClassLoader0().getSystemResource(name).openStream() getResourceAsStream和getResource路径是指阅读全文

posted @ 2019-06-27 14:02 malloc+ 阅读(333) 评论(0) 推荐(0) 编辑

SparkStreaming

摘要： 1、RDD基础 RDD.scala源码写到RDD的5个属性。driver生成RDD 分发到个executor，RDD可理解为操作描述，除sc.parallelize()生成的RDD包含数据外，一般RDD不包含具体数据，只存储要读取的文件位置，DAG等。 KafkaUtils.createDirect 阅读全文

posted @ 2019-06-20 23:57 malloc+ 阅读(146) 评论(0) 推荐(0) 编辑

HIVE小问题随记

摘要： 1、float与double类型比较，因hive、java等IEEE（IEEE二进制浮点数算术标准）的系统，float 0.3实际存储数据略大于0.3,因此大于double0.3，hive存储浮点数数据建议使用double类型。 2、常用命令：desc formatted test;show cr 阅读全文

posted @ 2019-06-19 10:20 malloc+ 阅读(665) 评论(0) 推荐(0) 编辑

SparkSQL调优

摘要： 1、执行计划（过往记忆https://www.iteblog.com/archives/2562.html） 2、逻辑计划优化方法：谓词下推，列裁剪，常量替换，常量累加 3、优化方法数据源方面： 1、hive 使用parquet格式，不要用textfile。列式存储便于查询引擎做谓词下推、更优的阅读全文

posted @ 2019-06-18 22:47 malloc+ 阅读(4076) 评论(0) 推荐(0) 编辑

HIVE函数

摘要： 1、日期函数 2、表生成函数二、窗口函数（https://blog.csdn.net/yangshaojun1992/article/details/84074863）阅读全文

posted @ 2019-06-18 16:26 malloc+ 阅读(247) 评论(0) 推荐(0) 编辑

hive基本操作

摘要：一、创建分区分桶表二、常用查询命令三、索引阅读全文

posted @ 2019-06-14 17:28 malloc+ 阅读(274) 评论(0) 推荐(0) 编辑

object

摘要：除基本数据类型外，java所有对象都继承自Object对象，一下介绍几种Object具有的方法，一般自定义对象需重写以下方法。一、equals()方法重写方法步骤建议：设计原则： 1、自反性：任何非空x, x.equals(x)返回true。 2、对称性：x.equals(y) 返回true，阅读全文

posted @ 2019-06-12 16:35 malloc+ 阅读(1409) 评论(0) 推荐(0) 编辑

JAVA常用类型

摘要： 1、set 去重是调用hashmap 实现。 2、hashmap 底层会维护一个node[] table,table[hash值] 存放key对应的node，node实现了map.entry。node{ hash,key,value,next} map .put()，先调用hashcode()生成h 阅读全文

posted @ 2019-05-27 18:47 malloc+ 阅读(139) 评论(0) 推荐(0) 编辑

Tomcat相关

摘要： 1、编码问题 windows默认编码为GBK，linux默认编码为UTF-8。因此Tomcat部署到windows环境下时，调用HttpCaller时报signature verification failed。需要修改Tomcat编码格式为UTF-8，catalina.bat文件增加 set " 阅读全文

posted @ 2019-05-21 17:02 malloc+ 阅读(91) 评论(0) 推荐(0) 编辑

@malloc

导航

公告