摘要：
一、单机安装 1.准备安装包 将源码编译出的安装包拷贝出来（编译请参照上一篇01.Flink笔记-编译、部署）或者在Flink官网下载bin包 2.配置 前置：jdk1.8+ 修改配置文件flink-conf.yaml #Flink的默认WebUI端口号是8081，如果有冲突的服务，可更改rest. 阅读全文
摘要：
错误1.错误: 找不到或无法加载主类 idea、scala代码 idea 导入的scala工程，编写代码后报该错误。 原因：\src\main\scala 包路径下没有将scala这个包设置成Sources root 解决：设置scala的文件夹属性 错误2. ERROR scheduler.Liv 阅读全文
摘要：
背景 集群运行一段时间（大概一月多）后，cloudera manager管理界面出现爆红，爆红的组件有hdfs、zookeeper。 发现问题 点击详细内容查看，报日志空间不够的错误。初步判断是各个组件的日志数据把空间占满了。 查看各个目录下磁盘占用情况 cdh的各组件的日志一般在/var/log目 阅读全文
摘要：
概念 文件系统 磁盘进行读写的最小单位：数据块，文件系统构建于磁盘之上，文件系统的块大小是磁盘块的整数倍。 文件系统块一般为几千字节，磁盘块一般512字节。 hdfs的block、pocket、chunk block block hdfs的块，常说的block，是这三个里最大的单位。默认128MB（ 阅读全文
摘要：
SparkContext可以说是Spark应用的发动机引擎，Spark Drive的初始化围绕这SparkContext的初始化。 SparkContext总览 sparkcontxt的主要组成部分 sparkEnv：spark运行环境，Executor是处理任务的执行器，依赖于SparkEnv的环 阅读全文
摘要：
Flink开发环境部署配置 Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。所需工具：Java、maven、Git。 本次操作是在windows环境下。 一、工具安装 Java配置（略） maven配置 下载安装 配置环 阅读全文
摘要：
本文介绍spark2.1.0的源码编译 1.编译环境： Jdk1.8或以上 Hadoop2.7.3 Scala2.10.4 必要条件： Maven 3.3.9或以上（重要） 点这里下载 http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.2/binar 阅读全文
摘要：
如何通过时间戳批量删除hbase的数据 我们使用hive关联hbase插入数据时，有时会写错数据，此时hbase中的数据量已经很大很大了（上亿）。此时，我们要修改错误的数据，只需要删除写错的那部分数据就可以了，但是很遗憾，hbase中没有这样的sql语句（hbase是不能用SQL操作的，这里概指hb 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
在一个项目中同时使用hbase和elasticsearch出现netty的jar包冲突的问题 事件： 在同一maven项目中使用hbase的同时又用了es 程序运行后出错 上网查了一些原因，说是netty的版本不同的原因，自己在编译后的目录也看到了不同，分别用了4.0.23和4.1.13两个版本 但 阅读全文