07 2021 档案
摘要：Windows 下载安装 netcat命令 netcat(nc)下载 netcat(nc)下载地址： 请求 点击 netcat 1.12 链接进行下载 netcat(nc)安装 解压netcat-win32-1.12文件夹 配置环境变量 在Path里添加netcat路径： 测试 打开两个cmd窗口
阅读全文
摘要：1、查询topic，进入kafka目录： bin/kafka-topics.sh --list --zookeeper localhost:2181 2、查询topic内容： bin/kafka-console-consumer.sh --bootstrap-server localhost:909
阅读全文
摘要：
阅读全文
摘要：在确保kafka、zookeeper 版本正确，并且启动正常的情况下， 可以自己看看配置的zookeeper路径下有没有kafka的元数据。 我遇到的原因是 kafka的server.properties 配置文件写的 127.0.0.1:2181/kafka 然后使用命令的时候写了 –zookee
阅读全文
摘要： 
阅读全文
摘要：\s表示 空格,回车,换行等空白符, +号表示一个或多个的意思,所以... split(" +") 按空格进行拆分（也就是说只有按空格键流出来的空白才会是拆分的一句）
阅读全文
摘要：reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。 val c = sc.parallelize(1 to 10)
阅读全文
摘要：#map与flatMap区别 map: object keysTest{ def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("keysTest").setMaster("l
阅读全文
摘要：#一眼看懂map和flatmap的区别 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 Spark 中 map函数会对每一条输入进行指定的操作
阅读全文
摘要：本文总结hive中清空外部表的三种方式 hive版本：2.1.1 环境准备 新建一张外部表： create external table test_external (name String,age int,sex String) stored as orc; 插入数据： insert into t
阅读全文
