kafka产生的数据通过Flume存到HDFS中
摘要：试验目标： 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配
阅读全文
posted @
2019-02-28 11:55
吹静静
阅读(4405)
推荐(0) 编辑
kafka服务自动关闭
摘要：解决方法： kafka启动的时候添加守护进程 问题原因： 待补充。。。
阅读全文
posted @
2019-02-27 14:29
吹静静
阅读(2037)
推荐(0) 编辑
Flink安装启动
摘要：1.下载安装包并解压 下载网址：https://flink.apache.org/ 版本选择可以根据安装的hadoop版本和Scala版本进行选择 我用的是：flink-1.3.3-bin-hadoop27-scala_2.10.tgz 解压：tar -xvf flink-1.3.3-bin-had
阅读全文
posted @
2019-02-25 17:34
吹静静
阅读(5455)
推荐(0) 编辑
hadoop长时间运行后，stop-all.sh报错
摘要：报错现象： hadoop在stop-all.sh的时候依据的是datanode上的mapred和dfs进程号。 而默认的进程号保存在/tmp下，linux默认会每 隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。 因此删掉hadoop-hadoop-jobtracker.pid和had
阅读全文
posted @
2019-02-25 15:14
吹静静
阅读(672)
推荐(0) 编辑
Linux环境下配置maven环境
摘要：1.下载安装包并解压 安装包直接去apache官网下载：https://maven.apache.org/download.cgi 将安装包放在自己指定的目录：/home/software/apache-maven-3.6.0 解压：tar -xvf apache-maven-3.6.0 2.配置环
阅读全文
posted @
2019-02-25 14:18
吹静静
阅读(6240)
推荐(0) 编辑
Redis单线程单进程为什么效率那么高
摘要：1、完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)； 2、数据结构简单，对数据操作也简单，Redis中的数据结构是专门进行设计的； 3、采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进
阅读全文
posted @
2019-02-17 14:31
吹静静
阅读(664)
推荐(0) 编辑
管理
