整合侠 - 博客园

2020年8月7日

摘要： JPA查询：如何过滤条件为null的查询条件问题：JPA不会自动过滤为null的查询条件；解决方案：方案一：调用JPA之前判断，写多个查询方法；方案二：利用原生sql 加 if的方式实现参数为空不作为查询条件；例如： @Query(value = "select * from user w 阅读全文

posted @ 2020-08-07 10:28 整合侠阅读(9846) 评论(1) 推荐(1) 编辑

solr获取总记录数

摘要： solr获取总记录数 /** * 获取索引库中总记录条数 * @return */ public long getSolrIndexCount(){ long num = 0; try { SolrQuery params = new SolrQuery(); params.set("q", "*: 阅读全文

posted @ 2020-08-07 10:06 整合侠阅读(860) 评论(0) 推荐(0) 编辑

2020年7月21日

Hadoop - hdfs dfs常用命令的使用

摘要： Hadoop - hdfs dfs常用命令的使用用法 1，-mkdir 创建目录Usage：hdfs dfs -mkdir [-p] < paths>选项：-p很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间Usage：hdf 阅读全文

posted @ 2020-07-21 15:10 整合侠阅读(13511) 评论(0) 推荐(0) 编辑

Hive之优化

摘要： Hive之优化第一节：简介 hive的优化 mapreduce的优化 1个reducetask对应的数据量最好不超过2G reducetask的个数最好不超过0.95*datanode的个数第二节：优化手段一、合理选择排序二、合理做笛卡尔积三、in/exists效率低 hive 高效实现手阅读全文

posted @ 2020-07-21 14:49 整合侠阅读(143) 评论(0) 推荐(0) 编辑

Hive之数据倾斜

摘要： Hive之数据倾斜第一节：简介一、数据倾斜数据倾斜：由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。大数据中不怕数据量大,怕数据倾斜。 hive的数据倾斜 mapreduce的数据倾斜。二、主要表现形式 hive运行日志中 map 100% reduce 97% map 100 阅读全文

posted @ 2020-07-21 14:48 整合侠阅读(425) 评论(0) 推荐(0) 编辑

Hive之执行流程

摘要： Hive之执行流程一、简介 hive运行的本质就是将hql语句，转换为一组操作符 operator。这里的 operator 代表 mapreduce操作和hdfs的操作，是hive执行hql语句的最小单位。二、几个典型语句的分析 1、join 2、group by 3、order by shu 阅读全文

posted @ 2020-07-21 14:46 整合侠阅读(386) 评论(0) 推荐(0) 编辑

Hive的高级应用

摘要： Hive的高级应用一、进入hive之前的操作 1、简介进入hive客户端之前的操作 hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] 2、设置参数相关的（1）-hiveconf -hiveconf 阅读全文

posted @ 2020-07-21 14:45 整合侠阅读(297) 评论(0) 推荐(0) 编辑

Hive之函数

摘要： Hive之函数第一节：内置函数一、显示内置函数列表 show functions；默认271个二、查看函数的基本使用 desc function funname; desc function max; 三、查看函数的详细使用教程 desc function extended funname; 阅读全文

posted @ 2020-07-21 14:43 整合侠阅读(395) 评论(0) 推荐(0) 编辑

Hive之数据类型

摘要： Hive之数据类型第一节：原子数据类型 9种整型4种：tinyint、smallint、int、bigint 浮点型：float 、double 布尔：boolean 字符串：string 时间戳：timestamp 第二节：复杂数据类型一、简介所有的复杂数据类型都是由原子数据类型构成二阅读全文

posted @ 2020-07-21 14:42 整合侠阅读(421) 评论(0) 推荐(0) 编辑

Hive之数据组织形式

摘要： Hive之数据组织形式第一节：数据库 Hive的数据库同mysql中的数据库，将数据进行细化管理，不同业务模块的数据放在一个数据库中。第二节：数据表一、按管理权限分 1、内部表管理权限是hive自己，hive对表中的数据（原始数据）有绝对的增删权限的。内部表在进行删除表的时候，表中的数据（h 阅读全文

posted @ 2020-07-21 14:40 整合侠阅读(383) 评论(0) 推荐(0) 编辑

公告