摘要: 1 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有 阅读全文
posted @ 2018-09-18 16:42 夢見貓、 阅读(258) 评论(0) 推荐(0) 编辑
摘要: 进入storm/conf目录,修改storm.yaml配置文件为如下内容: 在配置的主机上都启动ui, nimbus即可. 当一台nimbus挂掉之后, 另外一台会立刻跟上, 检测到挂的nimbus会自动重启.不会影响supervisor上的作业. 阅读全文
posted @ 2018-08-23 13:49 夢見貓、 阅读(352) 评论(0) 推荐(0) 编辑
摘要: 在配置kafka和storm的时候, 经常的会出现一些问题, 主要在以下几个: 1. 打jar包上去storm集群的时候会出现jar包冲突,类似于log4j或者sf4j的报错信息. 2. kafka本地Java生产者和消费者无法消费数据 3. kafkaSpout的declareFields到底是什 阅读全文
posted @ 2018-08-23 11:33 夢見貓、 阅读(3136) 评论(0) 推荐(0) 编辑
摘要: 在上一讲中, 我们着重的讲了表达式的一些基础知识和基本的使用, 今天我们来实战一把, 对Map的Value值排序进行简化. 在以前的思路我们的做法如下: 什么意思呢?意思就是先把Map变成可排序的List使用Comparator接口对entry进行排序, 可是这样代码很多很乱, 我们需要做一些简化. 阅读全文
posted @ 2018-08-01 14:09 夢見貓、 阅读(10391) 评论(1) 推荐(0) 编辑
摘要: 最近实在是闲的蛋疼, 突然想起前一段时间使用Lambda表达式觉得惊为天人, 所以就去仔细的学习了一下, 整理出一份博客出来供大家观赏. 一. 什么是lambda表达式. Lambda 是一个匿名函数,可以把 Lambda表达式 理解为是一段可以传递的代码 (将代码像数据一样进行传递)。可以写出更简 阅读全文
posted @ 2018-07-31 16:45 夢見貓、 阅读(635) 评论(1) 推荐(0) 编辑
摘要: 主要特性:1.多平台支持Windows,Mac OS X,Linux2.多标签,批量服务器管理.3.支持登录Ssh和Windows远程桌面.4.漂亮的平滑字体显示,内置100多个配色方案.5.终端,sftp同屏显示,同步切换目录.6.命令自动提示,智能匹配,输入更快捷,方便.7.sftp支持,通过各 阅读全文
posted @ 2018-07-30 09:29 夢見貓、 阅读(9837) 评论(1) 推荐(0) 编辑