VIP8cnbl - 博客园

2019年5月14日

摘要：万恶百度，没有这个问题的答案阅读全文

posted @ 2019-05-14 17:30 VIP8cnbl 阅读(239) 评论(0) 推荐(0) 编辑

Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式

摘要：目录 Receiver Direct Direct代码目录 Receiver Direct Direct代码简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver 使用Kafka的高层次Consume 阅读全文

posted @ 2019-05-14 15:47 VIP8cnbl 阅读(400) 评论(0) 推荐(0) 编辑

hive的rcfile表数据导入到oracle

摘要： hive的rcfile表数据导入到oracle，由于rcfile使用的是特殊的压缩方式，所以依靠sqoop来导数据的时候会出现一下问题，例如 ERROR tool.ExportTool: Error during export: Export job failed! 此问题博主有偿解答，需要的留言。阅读全文

posted @ 2019-05-14 15:14 VIP8cnbl 阅读(275) 评论(1) 推荐(0) 编辑

2019年4月4日

kylin启动

摘要：启动顺序 hadoop start-all.sh start zk zaServer.sh start hbase start-hbase.sh start hive hive --service metastore & 阅读全文

posted @ 2019-04-04 10:31 VIP8cnbl 阅读(190) 评论(0) 推荐(0) 编辑

2019年4月3日

linux运行jar

摘要： java -jar bbp_api-1.0.jar com.bbp.controller.HelloController >> /home/log 2> 1 阅读全文

posted @ 2019-04-03 21:33 VIP8cnbl 阅读(103) 评论(0) 推荐(0) 编辑

Hbase 安装

摘要： #### 一、 HBase介绍##### 1 是什么###### 1.1 HBase是什么(baidu, 官网)``` HBase是一个Hadoop生态圈中的一种数据库, 分布式、可伸缩的、是一个稀疏的、存储海量数据的工具。以谷歌的Bigtable为模型的分布式、版本化、非关系数据库:结构化数据分布阅读全文

posted @ 2019-04-03 20:59 VIP8cnbl 阅读(158) 评论(0) 推荐(0) 编辑

2019年3月21日

sqoop 数据迁移

摘要： sqoop文件配置 mysql迁移到hdfs ./sqoop import \--connect jdbc:mysql://node1:3306/sales_source \--username root \--password 123 \--target-dir /sqoop/product \ 阅读全文

posted @ 2019-03-21 22:59 VIP8cnbl 阅读(161) 评论(0) 推荐(0) 编辑

2019年3月20日

kafka 启动与redis启动

摘要： 1. kafka 消息中间件或者消息队列组件：消息生产者：Producer，它是生产数据的源头，负责生成消息发送到服务器。消息消费者：Consumer，它是消息的消费方，负责消费kafka的消息。主题：Topic，是由用户创建的，配置在kafka服务器，用于建立生产者和消费者之间的生产和消费阅读全文

posted @ 2019-03-20 21:33 VIP8cnbl 阅读(359) 评论(0) 推荐(0) 编辑

2019年3月12日

SparkSQL与SparkCore出指标

摘要： scala：2.10.6 pom.xml SparkSQL方式阅读全文

posted @ 2019-03-12 22:03 VIP8cnbl 阅读(526) 评论(0) 推荐(0) 编辑

2019年3月7日

新机配置各种环境变量

摘要：用户变量： classpath (.;%JAVA_HOME%/lib) JDK的环境变量 HADOOP_HOME (C:\myworks\hadoop-2.8.1) hadoop的环境变量 JAVA_HOME (D:\bigdata\jdk) JDK的环境变量 path (%JAVA_HOME%/b 阅读全文

posted @ 2019-03-07 14:48 VIP8cnbl 阅读(188) 评论(0) 推荐(0) 编辑

零壹

公告