spark2 报错:Lineage directory /var/log/spark2/lineage doesn‘t exist or is not writable. 解决方法

摘要: 异常原文:20/08/06 14:29:43... 阅读全文
posted @ 2020-08-06 14:57 疯狂的小萝卜头 阅读(1251) 评论(0) 推荐(0) 编辑

Centos7 在Cloudera Manager基础上安装Phoenix和升级Spark2.x

摘要: 安装文件下载Phoenix下载地址:http... 阅读全文
posted @ 2020-08-05 17:37 疯狂的小萝卜头 阅读(248) 评论(0) 推荐(0) 编辑

pyspark On Yarn 的模块依赖问题

摘要: 创建自定义模块dependency/myda... 阅读全文
posted @ 2020-07-31 15:38 疯狂的小萝卜头 阅读(421) 评论(0) 推荐(0) 编辑

spark 报错:UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 解决方法

摘要: pyspark 调用DataFrame.sh... 阅读全文
posted @ 2020-07-31 14:35 疯狂的小萝卜头 阅读(1998) 评论(0) 推荐(0) 编辑

spark 报错:Protocol message end-group tag did not match expected tag 解决方法

摘要: spark将结果存回hdfs时,如果使用90... 阅读全文
posted @ 2020-07-31 11:32 疯狂的小萝卜头 阅读(3227) 评论(0) 推荐(0) 编辑

hive 向表中导入数据时忽略首行

摘要: 问题在使用load data inpath ... 阅读全文
posted @ 2020-07-30 16:11 疯狂的小萝卜头 阅读(4018) 评论(0) 推荐(1) 编辑

python 利用pyspark读取HDFS中CSV文件的指定列 列名重命名 并保存回HDFS

摘要: 需求读取HDFS中CSV文件的指定列,并对列... 阅读全文
posted @ 2020-07-28 17:56 疯狂的小萝卜头 阅读(4608) 评论(0) 推荐(0) 编辑

python 利用pandas读取本地中CSV文件的指定列 列名重命名 并保存回本地

摘要: 需求读取本地中CSV文件的指定列,并对列进行... 阅读全文
posted @ 2020-07-28 17:43 疯狂的小萝卜头 阅读(6849) 评论(0) 推荐(0) 编辑

CDH版本Hbase二级索引详细配置方案Solr key value index(二)中文分词

摘要: 前提已完成二级索引创建,请参照:https:... 阅读全文
posted @ 2020-07-27 16:39 疯狂的小萝卜头 阅读(210) 评论(0) 推荐(0) 编辑

CDH版本Hbase二级索引详细配置方案Solr key value index

摘要: 概述Hbase在Hbase中,表的RowKe... 阅读全文
posted @ 2020-07-24 17:11 疯狂的小萝卜头 阅读(300) 评论(0) 推荐(0) 编辑