RICH-ATONE

clickhouse为啥快

摘要： ClickHouse在计算层做了⾮常细致的⼯作，竭尽所能榨⼲硬件能⼒，提升查询速度。它实现了单机多核并⾏、分布式计算、向量化执⾏与SIMD指令、代码⽣成等多种重要技术。一：列式存储 ①首先clickhouse采用列式存储，相对与行式存储，优势有对列的聚合、计数、求和优于行式存储。（行式存储针对某个阅读全文

posted @ 2022-06-14 18:16 RICH-ATONE 阅读(682) 评论(0) 推荐(0) 编辑

Linux批量替换文件名

摘要： Linux下修改⽂件名有mv和rename。其中mv命令只能对单个⽂件重命名，这是mv命令和rename命令的在重命名⽅⾯的根本区别。linux的rename命令有两个版本，一个是c语言版本的，一个是perl语言版本的，一般内置的都是C语言版本的；初始化创建测试文件： # touch test_{ 阅读全文

posted @ 2022-06-07 16:54 RICH-ATONE 阅读(2967) 评论(0) 推荐(0) 编辑

shell脚本中使用for循环开启并行方法

摘要：示例：参考： shell脚本中使用for循环开启并行方法阅读全文

posted @ 2022-05-28 12:25 RICH-ATONE 阅读(419) 评论(0) 推荐(0) 编辑

Hadoop-动态刷新hdfs/yarn配置

摘要：在很多时候，修改了hadoop的配置后，希望立即生效，但是线上还有任务在执行，不能重启，可以执行以下命令让修改后的hdfs/yarn配置生效； 0、刷新yarn集群的队列执行命令： ${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues 或 yarn rmad 阅读全文

posted @ 2022-05-28 12:18 RICH-ATONE 阅读(1280) 评论(0) 推荐(0) 编辑

Shell脚本单引号、双引号和反引号的区别

摘要： Shell脚本单引号、双引号和反引号的区别阅读全文

posted @ 2022-05-19 18:03 RICH-ATONE 阅读(83) 评论(0) 推荐(0) 编辑

Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

摘要：参考： https://blog.csdn.net/weixin_43230682/article/details/107185876 阅读全文

posted @ 2022-05-16 19:47 RICH-ATONE 阅读(113) 评论(0) 推荐(0) 编辑

Hive：如何解决NULL值引发的数据倾斜

摘要：实际业务中有些大量的null值或者一些无意义的数据参与到计算作业中，表中有大量的null值，如果表之间进行join操作，就会有shuffle产生，这样所有的null值都会被分配到一个reduce中，必然产生数据倾斜。疑问：NULL值和需要匹配的字段根本就匹配不上，为什么会进入到同一个reduce? 阅读全文

posted @ 2022-05-10 16:26 RICH-ATONE 阅读(1171) 评论(0) 推荐(0) 编辑

JetBrains全家桶破解

摘要：参考： https://tech.souyunku.com/?p=49896 https://souyunku.lanzoux.com/iccqv04bdz2b 阅读全文

posted @ 2022-05-08 17:17 RICH-ATONE 阅读(126) 评论(0) 推荐(0) 编辑

Mysql中索引key 、primary key 、unique key 与index区别

摘要： Mysql中索引key 、primary key 、unique key 与index区别阅读全文

posted @ 2022-04-28 19:10 RICH-ATONE 阅读(60) 评论(0) 推荐(0) 编辑

Kylin 安装启动时报：Please make sure the user has the privilege to run hbase shell

摘要：参考：https://blog.csdn.net/Luomingkui1109/article/details/86539423 阅读全文

posted @ 2022-04-26 17:14 RICH-ATONE 阅读(116) 评论(0) 推荐(0) 编辑