摘要：
Hive默认使用的计算框架是MapReduce，在我们使用Hive的时候通过写SQL语句，Hive会自动将SQL语句转化成MapReduce作业去执行，但是MapReduce的执行速度远差与Spark。通过搭建一个Hive On Spark可以修改Hive底层的计算引擎，将MapReduce替换成S 阅读全文
摘要：
package com.bnls.test.parseimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.stream 阅读全文
摘要：
package com.bnls.test.hbaseimport org.apache.hadoop.hbase._import org.apache.hadoop.hbase.client.{ConnectionFactory, Delete, HTable, Put}import org.ap 阅读全文
摘要：
package com.bnls.test.poolimport java.sql.{Connection, ResultSet}import com.jolbox.bonecp.{BoneCP, BoneCPConfig}import org.slf4j.LoggerFactoryobject C 阅读全文
摘要：
package com.bnls.test.parseimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.stream 阅读全文
摘要：
package com.bnls.test.sparkimport com.bnls.test.common.ZookeeperHelperimport com.bnls.test.hbase.HbaseHelperimport org.apache.spark.streaming.dstream. 阅读全文
摘要：
package com.bnls.test.commonimport kafka.common.TopicAndPartitionimport org.apache.curator.framework.CuratorFrameworkFactoryimport org.apache.curator. 阅读全文
摘要：
目录： 1、需求 2、代码步鄹 3、代码展现 4、pom.xml文件 5、结果展现 ——————————————————————————————————– 1、需求 前提：将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClust 阅读全文
摘要：
Mysql + canal + zookeeper环境搭建 一、mysql集群搭建 1. mysql基本环境 操作系统： Linux version 2.6.32-431.el6.x86_64 数据库：MySQL Community Server 5.7.20 主节点IP：10.60.81.157 阅读全文