摘要：
一、EC原理 二、常用命令与对应解释 1.查看当前支持的EC策略 hdfs ec -listPolicies 2023-05-30 10:10:43,251 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo 阅读全文
摘要：
es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗? es 写数据过程 客户端选择一个 node 发送请求过去，这个 node 就是 coordinating node（协调节点）。 coordinating node 对 docum 阅读全文
摘要：
当spark跑在yarn上时 单个executor执行时，数据量过大时会导致executor的memory不足而使得rdd 最后lost，最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 阅读全文
摘要：
oozie:4.3.1 hadoop 2.7.6 hive编译使用2.0.0参与编译不通过,但是可以指定为1.2.0，编译可以通过,后期不使用hive的action即可(也可以使用,但是可能会出现异常情况,大部分还是可以执行正常) 0、安装maven是前提(ps:这个简单,下载,解压,配置环境变量, 阅读全文
摘要：
获取当天日期 一： 二： 获取其他日期及其时间只需要修改timedelta里的参数即可往前推是负- 往后推是正+： 可选参数： datetime.timedelta(days=0, seconds=0, microseconds=0#毫秒, milliseconds=0, minutes=0, ho 阅读全文
摘要：
一般使用linux原生态的命令curl上传文件时命令如下 假如要上传文件是myfile.txt 其中file_name是接收的key 后面的myfile.txt是要上传的文件,在=后面加上@符号表示要上传的是文件 如果要单独上传参数则是 要同时上传文件与参数,则需要将参数分开一次指定,如下: 有多少 阅读全文
摘要：
当insert数据到有分区的hive表里时若不明显指定分区会抛出异常 当指定分区后又会有非严格模式异常 此时依据错误提示set好非严格模式即可 阅读全文
摘要：
hive表在创建时候指定存储格式 当insert数据到表时抛出异常 此时查看表结构 可以看到SerDe Library 的格式是LazySimpleSerDe，序列化格式不是orc的,所以抛出异常 这里将表的序列化方式修改为orc即可 再看序列化格式已经是orc，使用insert(insert ov 阅读全文
摘要：
hadoop集群某个节点dfs存储比其他节点存储高时,一般会使用hadoop提供的balance(start-balancer.sh -threshold 10 )工具来移动高存储节点上的块到低存储节点上. 其中 -threshold 默认设置：10，参数取值范围：0-100，参数含义：判断集群是否 阅读全文
摘要：
在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置 一、编译安装lzo与lzop 在集群的每一台主机上都需要编译安装！！！ 1.下载编译安装lzo文件 http://www.oberhumer.co 阅读全文