deepJL

2021年7月19日

摘要： hive metastore server hive --service hiveserver2 阅读全文

posted @ 2021-07-19 22:18 deepJL 阅读(24) 评论(0) 推荐(0) 编辑

摘要： 1、查询topic，进入kafka目录： bin/kafka-topics.sh --list --zookeeper localhost:2181 2、查询topic内容： bin/kafka-console-consumer.sh --bootstrap-server localhost:909 阅读全文

posted @ 2021-07-19 16:56 deepJL 阅读(10402) 评论(0) 推荐(1) 编辑

hadoop常用端口

摘要： ![](https://img2020.cnblogs.com/blog/1923436/202107/1923436-20210719011501898-772095311.png) 阅读全文

posted @ 2021-07-19 01:15 deepJL 阅读(27) 评论(0) 推荐(0) 编辑

Kafka: Replication factor: 1 larger than available brokers: 0.

摘要：在确保kafka、zookeeper 版本正确，并且启动正常的情况下，可以自己看看配置的zookeeper路径下有没有kafka的元数据。我遇到的原因是 kafka的server.properties 配置文件写的 127.0.0.1:2181/kafka 然后使用命令的时候写了 –zookee 阅读全文

posted @ 2021-07-19 01:05 deepJL 阅读(847) 评论(0) 推荐(1) 编辑

2021年7月18日

图片暂存

摘要： ![](https://img2020.cnblogs.com/blog/1923436/202107/1923436-20210718231305007-149591113.png) ![](https://img2020.cnblogs.com/blog/1923436/202107/1923436-20210718231435520-1268626880.png) 阅读全文

posted @ 2021-07-18 23:15 deepJL 阅读(26) 评论(0) 推荐(0) 编辑

2021年7月11日

split("\\s+") 和 split(" +") 有什么区别?和别的问题

摘要： \s表示空格,回车,换行等空白符, +号表示一个或多个的意思,所以... split(" +") 按空格进行拆分（也就是说只有按空格键流出来的空白才会是拆分的一句）阅读全文

posted @ 2021-07-11 16:19 deepJL 阅读(179) 评论(0) 推荐(0) 编辑

reduce 和 reduceByKey

摘要： reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。 val c = sc.parallelize(1 to 10) 阅读全文

posted @ 2021-07-11 09:48 deepJL 阅读(108) 评论(0) 推荐(0) 编辑

map与flatMap区别

摘要： #map与flatMap区别 map: object keysTest{ def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("keysTest").setMaster("l 阅读全文

posted @ 2021-07-11 09:41 deepJL 阅读(125) 评论(0) 推荐(0) 编辑

2021年7月7日

一眼看懂map和flatmap的区别

摘要： #一眼看懂map和flatmap的区别 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 Spark 中 map函数会对每一条输入进行指定的操作阅读全文

posted @ 2021-07-07 19:24 deepJL 阅读(608) 评论(0) 推荐(0) 编辑

2021年7月5日

hive中清空外部表的三种方式

摘要：本文总结hive中清空外部表的三种方式 hive版本：2.1.1 环境准备新建一张外部表： create external table test_external (name String,age int,sex String) stored as orc; 插入数据： insert into t 阅读全文

posted @ 2021-07-05 07:10 deepJL 阅读(2050) 评论(0) 推荐(0) 编辑

公告