摘要：
一、Hue 简介 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据， 阅读全文
摘要：
一、组件版本说明 Java JDK:1.8.0_144 spark-2.4.3-bin-hadoop2.7hadoop-2.7.7 scala-2.12.8 hadooponwindows-master Python3.7 注意事项： Spark运行在Java 8 +，Python 2.7 + / 阅读全文
摘要：
一、Checkpoint相关源码分为四个部分 1、Checkpoint的基本使用:spark_core & spark_streaming 2、初始化的源码 3、Checkpoint的job生成及执行的过程 4、读Checkpoint的过程 二、Checkpoint的基本使用 Checkpoint可 阅读全文
摘要：
一、简介 Apache Phoneix是运行在HBase之上的高性能关系型数据库，通过Phoneix可以像使用jdbc访问关系型数据库一样访问HBase。 Phoneix操作的表以及数据存储在HBase上，phoneix只需要和HBase进行表关联。然后在用工具进行一些读写操作。 可以把Phonei 阅读全文
摘要：
一、说明 先创建一个hbase表格，能够导入本地数据到hbase中，最后能够通过phoneix进行访问。 1、数据准备（10W条，样例如下），文件test.txt 2、上传到hdfs /tmp/下 1、在hbase中创建好表 2、在phoenix中建立相同的表名以实现与hbase表的映射 注意： a 阅读全文
摘要：
一、Hbase集成Phoneix 1、下载 2、上传并解压 3、将phoenix-core-4.13.1-HBase-1.2.jar、phoenix-4.13.1-HBase-1.2-server.jar发送到hregionserver所在的hbase的lib目录下： 4、重启Hbase 5、启动p 阅读全文
摘要：
方案一：Hive关联HBase表方式 适用场景：数据量不大4T以下（走hbase的api导入数据） 一、hbase表不存在的情况 创建hive表hive_hbase_table映射hbase表hbase_table，会自动创建hbase表hbase_table，且会随着hive表删除而删除，这里需要 阅读全文
摘要：
转：https://mp.weixin.qq.com/s/jllAegJMYh_by95FhHt0jA 阅读全文
摘要：
增量导入 一、说明 当在生产环境中，我们可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。这种情况下我们不可能将所有数据重新再导入一遍，所以此时需要数据增量导入。 增量导入数据分为两种方式： 一是基于递增列的增量数据导入（Append方式）。 二是基于时间列的数 阅读全文
摘要：
一、说明： 将关系型数据库中的数据导入到 HDFS（包括 Hive， HBase） 中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。 二、操作 1、创建一张跟mysql中的im表一样的hive表im: 过程中报错总结： ERROR Could not register mb 阅读全文