摘要：
最近在看 mycat ，官网： http://www.mycat.io/ 上面就有 PDF 的教程下载。但是对于我这个初学者来讲，搭建环境的时候还是有点晕，下面从一个简单的例子来讲解相关配置。我用的是 linux 版本的，在解压后的目录记作：${MYCAT}，在 ${MYCAT}/conf 目录下有 阅读全文
摘要：
Redis 主从配置中，主节点挂了以后，需要手动把一个从节点升成主节点，把另外的从节点做为新的主节点的从节点。redis 提供了 sentinel，可以自动的进行上面的处理。 在 redis 的安装包里，有一个 sentinel 的示例。运行下面的命令，可以获得一个去掉空行和注释后的配置文件： 编辑 阅读全文
摘要：
问题：我用 sqoop 把 Mysql 中的数据导入到 hive，使用了--delete-target-dir --hive-import --hive-overwrite 等参数，执行了两次。 mysql 中只有 20 条记录。在 hive shell 中，查询导入到的表的记录，得到结果 20 条 阅读全文
摘要：
Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘 分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HB 阅读全文
摘要：
为了开发测试方便，想直接在 IDEA 里运行 Spark 程序，可以连接 Hive，需不是打好包后，放到集群上去运行。主要配置工作如下： 1. 把集群环境中的 hive-core.xml, hdfs-site.xml, core-site.xml 三个文件复制一份，放到 resource 目录下。网 阅读全文
摘要：
HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase，不知道为什么，总是过几天就挂掉，暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下： 前提： Ambari 中已经装好 YARN 和 HBase 了。 （1）把 YARN 阅读全文
摘要：
Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在New Relic的生产环境中，Kafka群集每秒能够处理超过1500万条消息， 阅读全文
摘要：
HDP 上安装了 Hive3.1 和 Spark2, 提交 Spark 作业时，报找不到 Hive 中表的问题 但是查一了下 hive 表，明明是存在这个表的。查看日志，注意到如下的一段日志。 没修改值之前，我在 Spark-shell 里创建了一张 hive 表，发现其创建的位置是 spark.s 阅读全文
摘要：
YARN 中有三种调度器： 1. FIFO 调度器 (FIFO Scheduler) 应用在一个队列中，按照提交的顺序运行应用。 缺点：小作业如果在大作业后面提交，将会一直等到大作业结束才运行。 2. 容量调度器 (Capacity Scheduler) 有一个独立的专门队伍保证小作业一提交就可以启 阅读全文
摘要：
1. 想用 sqoop 增量的方式导入到 hive。运行下面的命令： 错误提示： --incremental lastmodified option for hive imports is not supported 我晕， --incremental lastmodified 和 --hive-i 阅读全文