摘要：
1.先到zookeeper的bin下面 2.输入命令./zkCli.sh 如下图： 3.输入命令 ls / 4.输入命令 ls /consumers 这个命令是消费者 还没有数据 5. 输入下图中的命令就能看到了 6. 阅读全文
摘要：
linux机器需要连接网络 克隆一台机器 1.解压: 2.yum install gcc-c++ 3.make 如下图：多了 4. 5.复制配置文件 6.前台启动方式 7.修改配置文件 后台启动 修改为yes 将下图 8.启动redis 9.检查是否启动 10 11 127.0.0.1 是本机 IP 阅读全文
摘要：
一、Nosql 数据库 1 什么是 NoSQL NoSQL(NoSQL = Not Only SQL),意即“不仅仅是 SQL”，是一项全新的数据库理念，泛指非关系型的数据库。 2 为什么需要 NoSQL 随着互联网 web2.0 网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据 阅读全文
摘要：
spark消费kafka的两种方式 直连方式的两种 自动和手动 自动 自动偏移量维护kafka 0.10 之前的版本是维护在zookeeper中的,kafka0.10以后的版本是维护在kafka中的topic中的 案例： 注：先启动zookeeper 再启动kafka集群 命令： zkServer. 阅读全文
摘要：
累加器和广播变量 如果你启用检查并也使用了累加器和广播变量，那么你必须创建累加器和广播变量的延迟单实例从而在驱动因失效重启后他们可以被重新实例化。 案例： package com.bw.streaming.day03 import org.apache.spark.{SparkConf, Spark 阅读全文