摘要：
一、安装JDK1.8 二、安装ES 三个节点：master、slave01、slave02 1、这里下载的是elasticsearch-6.3.1.rpm版本包 https://www.elastic.co/cn/downloads/elasticsearchwget --no-check-cert 阅读全文
摘要：
一、sed格式命令 二、sed命令的选项 三、Sed定位 Sed命令在没有给定的位置时，默认会处理所有行； Sed支持以下几种地址类型： 1、first step 这两个单词的意思：first 指起始匹配行，step指步长，例如：sed -n 2~5p 含义：从第二行开始匹配，隔5行匹配一次，即2, 阅读全文
摘要：
一、认识Spark sql 1、什么是Sparksql? spark sql是spark的一个模块，主要用于进行结构化数据的处理，它提供的最核心抽象就是DataFrame。 2、SparkSQL的作用？ 提供一个编程抽象（DataFrame），并且作为分布式SQL查询引擎 DataFrame：它可以 阅读全文
摘要：
一、spark的算子分类 转换算子和行动算子 转换算子：在使用的时候，spark是不会真正执行，直到需要行动算子之后才会执行。在spark中每一个算子在计算之后就会产生一个新的RDD。 二、在编写spark程序的时候，会遇到可以通过spark算子完成的操作，同时，scala原生语法也可以完成的操作是 阅读全文
摘要：
一、如果某一个新的RDD产生的分区数，是从父RDD继承过来的。分区是RDD中的一部分数据（如果只有一个分区的话，那么就是全部） 二、怎么知道某一个 RDD有多少个分区？ 三、如何设置RDD的分区？ 1、在sparkConf当中设置setMaster中的值，可以改变RDD中的分区数 local 表示采 阅读全文
摘要：
1、创建scala maven项目 选择骨架的时候为org.scala-tools.archetypes:scala-aechetype-simple 1.2 2、导入包，进入spark官网Documentation选择第二个-选择自己的spark版本-选择programming guides-选择 阅读全文
摘要：
Kafka的基本介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志、消息服务等等。 主要应用场景：日志收集系统和消息系统。 主要设计目标： 1、以时 阅读全文
摘要：
一、查看CPU信息 1、cpu信号 2、物理CPU个数 3、每个物理CPU的核数 4、是否使用了超线程 二、查看内存信息 total：内存总量 used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用 free：未分配的内存 buffers：系统分 阅读全文
摘要：
一、数据准备 现准备原始json数据(test.json)如下： 现在将数据导入到hive中，并且最终想要得到这么一个结果： 可以使用：内置函数（get_json_object）或者自定义函数完成 二、get_json_object(string json_string, string path) 阅读全文