摘要: 本篇文章适合redis集群操作。 首先介绍下redis哨兵模式: https://www.jianshu.com/p/06ab9daf921d 转一下吧!哈哈哈,大致是什么意思呢。比如说现在有三台redis服务器,我们给它分配三个哨兵,当多数哨兵发现leader挂了的时候,他们会让小弟上马作为新的l 阅读全文
posted @ 2020-12-16 13:38 帅东我不帅 阅读(1482) 评论(0) 推荐(0) 编辑
摘要: 这个问题是在服务器上报的,本地还是行的通的。 本地和服务器都是广播过变量的,服务器就是不行,解决方案是将结果数据返回成一个array,在外部调用session进行存储 今天的第二个问题 dataframe也可以直接调用算子,但是无结果,需要df.collect。收集一下之后再进行数据处理 阅读全文
posted @ 2020-11-13 17:29 帅东我不帅 阅读(461) 评论(0) 推荐(0) 编辑
摘要: sqoop命令: sqoop import --connect "jdbc:mysql://mysqlIP:开放的端口/QualityControl?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull" 阅读全文
posted @ 2020-11-12 14:11 帅东我不帅 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 这是我这边导入的依赖~<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.2.1</version></dependency><dependency> 阅读全文
posted @ 2020-11-05 14:31 帅东我不帅 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 废话不多说,干货来!! 第一步:我们要将相对应集群的三个文件拷贝到本地来,就这三个 第二步:要注意core-site.xml中的fs.defaulfFs这个配置项是默认文件系统的名称。一个URI和权威确定文件系统实现的方案。uri的计划决定配置属性(fs.SCHEME.impl)命名文件系统实现类。 阅读全文
posted @ 2020-11-03 16:41 帅东我不帅 阅读(472) 评论(0) 推荐(0) 编辑
摘要: oh shit tmd! 一个小小的java类搞了一下午!! 以后记住了,一个项目里只写一个main方法,写多了麻烦也就多了....毕竟我这么怕麻烦 华丽丽的代码风格线 ,这里代码就省略了,只要知道是个入口类就好了(代码过于简陋,怕多年之后忆起今朝,不堪啊****) 华丽丽的代码分割线 华丽丽的注意 阅读全文
posted @ 2020-10-14 20:00 帅东我不帅 阅读(363) 评论(0) 推荐(0) 编辑
摘要: 近期要实现一个业务,将一个环境kafka中的数据转发到另一个环境kafka中~ 话不多说,干活!!emmm···· 华丽丽的代码风格线 import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org 阅读全文
posted @ 2020-10-14 19:49 帅东我不帅 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 1 开始or结束 用椭圆形+矩形的组合作为开始或者结束的标志 2 处理过程 用矩形框表示处理过程,可以表示一行或者一段代码。 3 判断 这个其实比较熟悉,用不同的角角作为不同的分支。 4 文件 没怎么用过,用来表示文件。 5 用户的输入输出 用平行四边形表示,这个也是第一次知道。 6 预设处理 我理 阅读全文
posted @ 2020-07-31 09:08 帅东我不帅 阅读(4143) 评论(0) 推荐(0) 编辑
摘要: 写入时所报异常 org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest:Found unrecoverable error[172.0.0.1:9200] returned Bad Request(400) - closed:Bailing out. 阅读全文
posted @ 2020-07-11 10:55 帅东我不帅 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 首先看到下面的timing out就是超时,再看前面的state是状态,大致意思就是说修改状态超时,因为我的是sparkStreaming任务,它是批次处理数据的,每个批次结束后都会修改状态,而超时大致就与这个地方有关 此处设置的超时时间是24小时,此处将其注释掉就ok java.lang.Ille 阅读全文
posted @ 2020-07-10 09:26 帅东我不帅 阅读(315) 评论(0) 推荐(0) 编辑