Hadoop重新格式化HDFS的方法
摘要：操作针对2.7.x版本的Hadoop 1、首先停止已经启动的hadoop [hadoop@localhost ~]$ stop-all.sh 2、然后查看hadoop配置文件hdfs-site.xml,确定dfs.namenode.name.dir、dfs.datanode.data.dir以及ha
阅读全文
posted @ 2022-09-27 18:07
09 2022 档案
Linux 平均负载 Load Average 详解
摘要：Linux 平均负载 Load Average 详解
阅读全文
posted @ 2022-09-15 17:08
ClickHouse 中最重要的表引擎：MergeTree 的深度原理解析
摘要：ClickHouse 中最重要的表引擎：MergeTree 的深度原理解析
阅读全文
posted @ 2022-09-09 15:16
clickhouse分区设计操作以及优化
摘要：clickhouse分区的作用； 分区会不会提高查询速度也要看查询条件里面带什么。如果查询条件就是分区的等值操作，那优化器在生成查询操作的时候肯定能够做到partition elimination，扫描的io块少了查询速度肯定也能提高。如果查询条件里面没有分区等值查询条件，那么再怎么分区，都是扫描所
阅读全文
posted @ 2022-09-09 14:30
Clickhouse join优化之分桶优化
摘要：1、背景 ck在单表查询能够做到极致，但是在join上性能就相对尬尴, A JOIN B 特别是当两张表的数据都不小的时候，经常就会有内存溢出，超时等等情况 特别是当AB都为分布表的时候 就拿常用的事件表（events_all）和用户表（users_all）做JOIN为例，都是分布表； 以下为cli
阅读全文
posted @ 2022-09-09 11:22
Shell 脚本之流程控制
摘要：Shell 中常见的流程控制： if...else：和所有语言的if...else...类型一样 case...esac：与其他语言中的 switch ... case 语句类似 for：与其他语言中的 for 循环一样 while：和其他语言的 while 循环一样 until循环：与 while
阅读全文
posted @ 2022-09-07 16:06
shell判断一个字符串是否包含另一个字符串 （五种方法示例）
摘要：方法一：利用字符串运算符 str='this is a tree! and that is a car.' //如果包含this [[ $str =~ "this" ]] && echo "\$str contains this" //如果不包含that [[ $str =~ "that" ]] |
阅读全文
posted @ 2022-09-07 15:48
Shell脚本的Sleep命令
摘要：linux shell 中的sleep命令 在有的shell（比如linux中的bash）中sleep还支持睡眠（分，小时） sleep 1 睡眠1秒 sleep 1s 睡眠1秒 sleep 1m 睡眠1分 sleep 1h 睡眠1小时
阅读全文
posted @ 2022-09-07 15:30
Clickhouse执行报错（Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = ‘deny‘)）
摘要：错误示例： DB::Exception: Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = 'deny'). You may rewrite query to use local tables in
阅读全文
posted @ 2022-09-07 15:23
hive分桶优化
摘要：什么是分桶？ 和分区一样，分桶也是一种通过改变表的存储模式，从而完成对表优化的一种调优方式。 但和分区不同的是，分区是将表拆分到不同的子目录中进行存储，而分桶是将表拆分到不同文件中进行存储。 那什么是分桶呢？它按分桶键哈希取模的方式，将表中数据随机、均匀地分发到若干桶文件中。 比如，对表的ID字段进
阅读全文
posted @ 2022-09-06 17:52
clickhouse实现 lag/lead
摘要：clickhouse中的lead和lag实现有多种方法，在标准的SQL中使用的windows function即可实现。 示例数据： CREATE TABLE llexample ( g Int32, a Date ) ENGINE = Memory; INSERT INTO llexample S
阅读全文
posted @ 2022-09-04 23:59
YARN 运维、巡检、监控、调优、排障
摘要：YARN 运维、巡检、监控、调优、排障 （涉及内存大小配置问题）
阅读全文
posted @ 2022-09-04 23:55
Hadoop2.7.1完全分布式配置（10min搞定）
摘要：Hadoop完全分布式配置前言Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完
阅读全文
posted @ 2022-09-04 23:52
logstash和filebeat架构相关
摘要：filebeat架构： filebeat由两个主要的组件，inputs harvesters输入和收割机 harvesters读单个文件，逐行读取发送到输出。每一个文件都有一个harvester，收割机负责文件的打开和关闭，收割机工做时文件时打开的状态。最后没有读不到了会出现close_inacti
阅读全文
posted @ 2022-09-04 23:22
clickhouse和prestoTPC测试
摘要：参考示例： https://help.aliyun.com/document_detail/199475.html （阿里云tpc测试文档） TPC-DS用于Clickhouse和Doris性能测试 （数据生成参考） 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、
阅读全文
posted @ 2022-09-04 23:07
Shell命令往Kafka发送数据示例
摘要：启动发送命令： hdfs dfs -cat /user/pirate/warehouse/3_415/* | head -10 | ./bin/kafka-console-producer.sh --broker-list ip:9092 --topic mytest 启动消费命令： ./bin/k
阅读全文
posted @ 2022-09-02 11:26
