I love myself and love all love self's people

}

07 2019 档案

kudu集群高可用搭建
摘要：首先咱得有KUDU安装包 这里就不提供直接下载地址了（因为有5G，我 的服务器网卡只有4M，你们下的很慢） 这里使用的是CDH版本 官方下载地址http://archive.cloudera.com/cdh5/ 我这里有3个节点node01,node02,node03。这里上传到node03中 这里 阅读全文
posted @ 2019-07-29 19:30 强行快乐~ 阅读(2241) 评论(0) 推荐(0)
SparkSql 整合 Hive
摘要：SparkSql整合Hive 需要Hive的元数据，hive的元数据存储在Mysql里，sparkSql替换了yarn,不需要启动yarn，需要启动hdfs 首先你得有hive,然后你得有spark,如果是高可用hadoop还得有zookeeper,还得有dfs(hadoop中的) 我这里有3台节点 阅读全文
posted @ 2019-07-25 20:07 强行快乐~ 阅读(410) 评论(0) 推荐(0)
戒毒篇1
该文被密码保护。
posted @ 2019-07-25 17:19 强行快乐~ 阅读(0) 评论(0) 推荐(0)
戒毒序篇
该文被密码保护。
posted @ 2019-07-24 13:48 强行快乐~ 阅读(1) 评论(0) 推荐(0)
星期二
该文被密码保护。
posted @ 2019-07-23 22:00 强行快乐~ 阅读(0) 评论(0) 推荐(0)
SparkStreaming 整合kafka Demo
摘要：这里使用的是低级API，因为高级API非常不好用，需要繁琐的配置，也不够自动化，却和低级API的效果一样，所以这里以低级API做演示 你得有zookeeper和kafka 我这里是3台节点主机 架构图 与高级API的区别,简单并行(不需要创造多个输入流，它会自动并行读取kafka的数据)，高效（不会 阅读全文
posted @ 2019-07-23 18:49 强行快乐~ 阅读(1907) 评论(0) 推荐(0)
SparkStreaming整合flume
摘要：SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 阅读全文
posted @ 2019-07-22 23:37 强行快乐~ 阅读(571) 评论(0) 推荐(0)
SparkStreaming wordCountDemo基础案例
摘要：体现sparkStreaming的秒级准实时性，所以我们需要一个能够持续输入数据的东东 1.CentOS上下载nc 创建一个scala工程,导入相关pom依赖 创建一个object 编写代码 跑起来 使用scoket nc打开9999端口发送数据 测试 阅读全文
posted @ 2019-07-22 19:27 强行快乐~ 阅读(1632) 评论(2) 推荐(0)
SparkStreaming和storm的区别
摘要：这是2种不同的架构。 他们的区别是SparkStreaming的吞吐量非常高，秒级准实时处理，Storm是容错性非常高，毫秒级实时处理 解释：sparkStreaming是一次处理某个间隔的数据，比如5秒内的数据，批量处理，所以吞吐量高。 Storm是来一条处理一条，所以速度快，不存在丢失数据 应用 阅读全文
posted @ 2019-07-22 16:46 强行快乐~ 阅读(1133) 评论(0) 推荐(1)
IDEA设置默认WorkingDirectory
摘要： 阅读全文
posted @ 2019-07-20 21:38 强行快乐~ 阅读(2837) 评论(0) 推荐(0)
好像生病了，多希望沈薇来看看，这篇日记啊
该文被密码保护。
posted @ 2019-07-19 21:34 强行快乐~ 阅读(0) 评论(0) 推荐(0)
沈薇日记5，阵雨
该文被密码保护。
posted @ 2019-07-17 21:12 强行快乐~ 阅读(1) 评论(0) 推荐(0)
沈薇生病了
该文被密码保护。
posted @ 2019-07-16 22:00 强行快乐~ 阅读(0) 评论(0) 推荐(0)
IDEA安装Scala
摘要：Scala的安装 使用scala必须有jdk windows下开发工具的安装(我这里使用的是IDEA) 进入这个页面，如果没有进入这个界面,而直接进入项目的话 请点击https://blog.csdn.net/Gnd15732625435/article/details/81182078 .点击co 阅读全文
posted @ 2019-07-13 18:43 强行快乐~ 阅读(6262) 评论(2) 推荐(1)
沈薇的日记3
该文被密码保护。
posted @ 2019-07-13 18:36 强行快乐~ 阅读(0) 评论(0) 推荐(0)
HBase集群搭建
摘要：HBase集群搭建 上传解压 （1） 上传hbase安装包,这里使用的是1.3.1 点击这里下载hbase-1.3.1-bin.tar.gz 上传到/export/software文件夹下(没有文件夹,自己创建mkdir /export/software,之后的就不在赘述) （2） 解压 配置hba 阅读全文
posted @ 2019-07-11 18:55 强行快乐~ 阅读(507) 评论(0) 推荐(0)
昨天吵架了
该文被密码保护。
posted @ 2019-07-11 16:48 强行快乐~ 阅读(1) 评论(0) 推荐(0)
沈薇今天的日常生活
该文被密码保护。
posted @ 2019-07-10 21:35 强行快乐~
Kafka集群搭建
摘要：KafKa的集群搭建 准备3台虚拟机 192.168.140.128 kafka01 192.168.140.129 kafka02 192.168.140.130 kafka03 初始化环境 这里使用的是root账户 1）需要安装jdk、zookeeper Jdk的安装请点击这里(待补充) Zoo 阅读全文
posted @ 2019-07-10 20:36 强行快乐~ 阅读(327) 评论(1) 推荐(0)

联系qq:1035133465