摘要：
因为前面Hbase2集群出现过一次故障，当时花了一个周末才修好，就去了解整理了一些hbase故障的，事故现场可以看前面写的一篇：Hbase集群挂掉的一次惊险经历 一. HBCK一致性 一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Reg 阅读全文
摘要：
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 假设docker已经安装好了，如果没有安装，可以照着 5分钟安装docker教程 安装一下。 一. 下载镜像 默认下载最新版本，如果想指定对应版本，可以用冒号后加版本，像这样mysql:5.7： docker pull mysql:5.7 阅读全文
摘要：
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的数据，居然需要300s，这显然是有问题的，我推测可能是有小文件。 我去hdfs目录查看了一下该 阅读全文
摘要：
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 行存储与列存储 当今的数据处理大致可分为两大类，联机事务处理 OLTP(on-line transaction processing)联机分析处理 OLAP(On-Line Analytical Processing)=，OLTP 是传统 阅读全文
摘要：
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本 阅读全文
摘要：
有些时候需要我们去统计某一个hbase表的行数，由于hbase本身不支持SQL语言，只能通过其他方式实现。 可以通过一下几种方式实现hbase表的行数统计工作: 这里有一张hbase表test:test： hbase(main):009:0> scan 'test:test' ROW COLUMN+ 阅读全文
摘要：
Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
摘要：
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文
摘要：
当你看到这篇文章的时候，表明你已经有docker的基础知识了，或者可以看上一篇文章 Docker 入门教程。 传统的使用wordpress搭建网站，意味着你需要搭建以下四个环境： php； apache / nginx； mysql； wordpress； 这里面主要是php的搭建真心麻烦，各种依赖 阅读全文
摘要：
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 Centos安装docker需要操作系统是 CentOS 7 or 8，必须启用centos extras存储库。默认情况下，此存储库处于启用状态，但如果已禁用它，则需要重新启用它。 卸载旧版本 老版本的docker被称作docker 或 阅读全文