lilixia

2019年8月18日

摘要： 1. 2. 3. 4. 5. 6. 7. 阅读全文

posted @ 2019-08-18 14:49 lilixia 阅读(147) 评论(0) 推荐(0) 编辑

摘要： Redis 的特性 1.多数据库 1)概念:一个 redis 实例可以包含多个数据库，客户端可以指定连接到某个 redis 实例的的某个库，就好比 mysql 中创建过个数据库，客户端连接时指定连接哪个库 2)一个 redis 实例最多提供 16 个库，下表从 0 到 15，客户端默认连接 0 号阅读全文

posted @ 2019-08-18 09:18 lilixia 阅读(189) 评论(0) 推荐(0) 编辑

Error starting the context, marking it as stopped org.apache.kafka.common.KafkaException: Failed to construct kafka consumer

摘要：我做的是 Streaming拉取kafka的直连方式案例错误原因是我包引入错误你们好好检查一下阅读全文

posted @ 2019-08-18 07:37 lilixia 阅读(5962) 评论(1) 推荐(0) 编辑

2019年8月17日

查看kafka在zookeeper中节点信息和查看方式

摘要： 1.先到zookeeper的bin下面 2.输入命令./zkCli.sh 如下图： 3.输入命令 ls / 4.输入命令 ls /consumers 这个命令是消费者还没有数据 5. 输入下图中的命令就能看到了 6. 阅读全文

posted @ 2019-08-17 23:24 lilixia 阅读(8954) 评论(0) 推荐(0) 编辑

安装单机版redis

摘要： linux机器需要连接网络克隆一台机器 1.解压: 2.yum install gcc-c++ 3.make 如下图：多了 4. 5.复制配置文件 6.前台启动方式 7.修改配置文件后台启动修改为yes 将下图 8.启动redis 9.检查是否启动 10 11 127.0.0.1 是本机 IP 阅读全文

posted @ 2019-08-17 15:11 lilixia 阅读(147) 评论(0) 推荐(0) 编辑

一 Redis 简介和存储

摘要：一、Nosql 数据库 1 什么是 NoSQL NoSQL(NoSQL = Not Only SQL),意即“不仅仅是 SQL”，是一项全新的数据库理念，泛指非关系型的数据库。 2 为什么需要 NoSQL 随着互联网 web2.0 网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据阅读全文

posted @ 2019-08-17 14:58 lilixia 阅读(368) 评论(0) 推荐(0) 编辑

Spark消费kafka的直连方式

摘要： spark消费kafka的两种方式直连方式的两种自动和手动自动自动偏移量维护kafka 0.10 之前的版本是维护在zookeeper中的,kafka0.10以后的版本是维护在kafka中的topic中的案例：注：先启动zookeeper 再启动kafka集群命令： zkServer. 阅读全文

posted @ 2019-08-17 10:41 lilixia 阅读(5277) 评论(1) 推荐(1) 编辑

Streaming 累加器和广播变量和sql

摘要：累加器和广播变量如果你启用检查并也使用了累加器和广播变量，那么你必须创建累加器和广播变量的延迟单实例从而在驱动因失效重启后他们可以被重新实例化。案例： package com.bw.streaming.day03 import org.apache.spark.{SparkConf, Spark 阅读全文

posted @ 2019-08-17 09:02 lilixia 阅读(454) 评论(0) 推荐(0) 编辑

2019年8月16日

sparkStreaming转换算子02

摘要： Union算子 Count算子 reduce算子 countByValue算子 Join算子 Transformation算子 *************************************************** updataStateByKey算子窗口滑动保存算子阅读全文

posted @ 2019-08-16 21:08 lilixia 阅读(195) 评论(0) 推荐(0) 编辑

DStreams输入从kafka消费数据直连

摘要：基本数据源文件数据源自定义数据源企业中如果没有合适的抓取数据的手段,可以通过继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。 kafka版本的区别 http://spark.apache.org/docs/2.2.0/streaming-kafka-0-1 阅读全文

posted @ 2019-08-16 16:24 lilixia 阅读(291) 评论(0) 推荐(0) 编辑

公告