随笔分类 - 日报
摘要：参数 path:路径/login host:www.baidu.com query:username=zs protocol:http协议 package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.s
阅读全文
摘要：package SparkSQL.fun import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * _1 _2 * zs 60-70-90 * ls 70-80-90 * 求zs和ls的总成绩 平
阅读全文
摘要：启动方式 zkCli.sh 通过简单的命令行代码操作zk文件系统 1. ls /路径：查找某一个节点下的子节点 2. get /路径：查询某一个节点的数据值
阅读全文
摘要：1. 第一次启动zk集群 第一次启动的时候，每一个server会根据myid的大小进行投票选举，如果有半数以上的server投票选择了同一个节点，那么这个节点就会成为leader，剩余的节点全部成为follower. 会根据启动顺序和myid选择leader领导者，只有在启动中有半数以上的节点选择了
阅读全文
摘要：zookeeper文件系统组成 zookeeper本质上是文件系统+通知机制组成的 zookeeper文件系统说明 树形的文件系统，在树形文件系统当中，每一个节点就是存储数据的位置，节点同时兼顾了文件和文件夹的功能。 每个节点默认只能存储1MB的数据 虽然说zookeeper中自带了一个文件系统，但
阅读全文
摘要：查看 // 默认是前10条 print(num) 保存数据 一批次产生一个文件 package SparkStreaming.action import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStr
阅读全文
摘要：window 画图理解 说明 countByWindow 对每个滑动窗口的数据执行count操作 reduceByWindow 对每个滑动窗口的数据执行reduce操作 reduceByKeyAndWindow 对每个滑动窗口的数据执行reduceByKey操作 countByValueAndWin
阅读全文
摘要：将之前批次的状态保存， package SparkStreaming.trans import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.stream
阅读全文
摘要：转换算子1 map,flatMap RDD支持的转换算子DStream大部分都是支持的 map、flatMap、filter、distinct、union、join、reduceByKey...... RDD中部分行动算子DStream会当作转换算子使用，算子的执行逻辑是一样的 package Sp
阅读全文
摘要：推送式 将flume采集的数据主动推送给Spark程序，容易导致Spark程序接受数据出问题，推送式整合是基于avro端口下沉地方式完成 引入SparkStreaming和Flume整合的依赖 <dependency> <groupId>org.apache.spark</groupId> <art
阅读全文
摘要：sparkstreaming创建有两种方式 1. 借助SparkConf对象创建 val conf = new SparkConf().setAppName("streamingContext").setMaster("local[4]") /** * streamingcontext第一种创建方式
阅读全文
摘要：端口 // 地址，端口号，级别(将数据存储在所设置的级别中，这里设置级别为spark的内存) val ds: DStream[String] = ssc.socketTextStream("node1", 44444, StorageLevel.MEMORY_ONLY) 读取HDFS中的数据 imp
阅读全文
摘要：安装nc yum install -y nc 说明 -l, --listen Bind and listen for incoming connections -k, --keep-open Accept multiple connections in listen mode 使用 nc -lk 端
阅读全文
摘要：||DataFrame|Dataset| | | | | |创建方式|**1.根据集合或者RDD的隐式函数toDF(列名)创建(需要引入SparkSession的隐式转换函数)2.SparkSession的createDataFrame函数3.外部结构化文件4.外部关系型数据库5.**Hive数据仓
阅读全文
摘要：说明 使用Dataframe相关算子进行转换的来 都需要引入sparksession的隐式转换内容 map算子 将原有的Dataset的每一行数据进行转换 得到一个新的数据类型 就是新的Dataset的类型 flatMap算子 将原有的Dataset的每一行数据进行压扁操作 得到一个集合数据类型 集
阅读全文
摘要：1. 注意 1. 通过外部存储文件创建Dataset，dataset只支持纯文本文件。 2. 虽然说Dataset不支持其他格式的结构化文件，但是可以把结构化文件创建成DataFrame，然后把DataFrame转换Dataset。 3. textFile算子创建出来的Dataset是一个字符串类型
阅读全文
摘要：说明 定义： 底层用到了函数的柯里化，需要传递两个值。 第二个值是一个隐式参数，需要定义一个隐式变量给隐式参数传递值。 隐式变量不需要我们定义 在SparkSession中全部给我们定义好了。 隐式变量是一个编码器Encoder变量 我们只需要导入即可 import session.implicit
阅读全文
摘要：object CreateDatasetByToDs { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("demo01").setMaster("local[*]") val session
阅读全文
摘要：## 修改hdfs-site.xml <property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://node1:9000/user/hive/warehouse</value> <description>location of
阅读全文
