摘要：目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装规划 3 3.1. 用户规划 3 3.2. 目录规划 4 4. 相关端口 4 5. 下载安装包 4 6. 修改配置文件 5 6.1. 修改策略 5 6.2. 修改conf/regionservers 5 6.3. 修改conf/hbase-
阅读全文
摘要：目录 目录 1 1. 前言 3 2. 缩略语 3 3. 安装步骤 4 4. 下载安装包 4 5. 机器规划 4 6. 设置批量操作参数 5 7. 环境准备 5 7.1. 修改最大可打开文件数 5 7.2. 修改OOM相关参数 6 7.3. 免密码登录设置 6 7.4. 修改主机名 6 7.4.1.
阅读全文
摘要：目录 目录 1 1. 背景 1 2. 环境 1 3. 执行语句 1 4. 问题描述 1 5. 错误信息 2 6. 问题原因 3 7. 解决办法 4 1. 背景 机房裁撤，需将源HBase集群的数据迁移到目标HBase集群，采用快照迁移方式。 2. 环境 Hadoop-3.1.2 + HBase-2.
阅读全文
摘要：类别 名称 （可重点关注加粗部分） 官网 备注 查询引擎 Phoenix https://phoenix.apache.org/ Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Pre...
阅读全文
摘要：目录目录 11. 前言 32. 特性介绍 33. 部署 53.1. 机器列表 53.2. 主机名 53.2.1. 临时修改主机名 63.2.2. 永久修改主机名 63.3. 免密码登录范围 73.4. 修改最大可打开文件数 73.5. OOM相关：vm.overcom...
阅读全文
摘要：目录目录 11. 前言 32. 特性介绍 33. 部署 53.1. 机器列表 53.2. 主机名 53.2.1. 临时修改主机名 63.2.2. 永久修改主机名 63.3. 免密码登录范围 73.4. 修改最大可打开文件数 73.5. OOM相关：vm.overcom...
阅读全文
摘要：目录目录 11. 现象描述 12. 问题定位 23. 解决方案 54. 相关代码 5 1. 现象描述外界连接9090端口均超时，但telnet端口总是成功。使用top命令观察，发现单个线程的CPU最高达99.99%，但并不总是99.9%，而是在波动。当迁走往该机器的流...
阅读全文
摘要：1) 配置HDFS HttpFS和WebHDFS如果HDFS是HA方式部署的，则只能使用HttpFS，而不能用WebHDFS。2) 安装依赖：apr-iconv-1.2.1confuse-3.0apr-util-1.5.4libpng-1.6.26apr-1.5.2 ...
阅读全文
摘要：目录目录 11. 约定 12. 安装jdk 13. 安装maven 14. 网络配置 24.1. eclipse 34.2. maven 35. 从hbase官网下载源代码包： 46. eclipse导入hbase源代码 47. 编译hbase-thrift 68. ...
阅读全文
摘要：如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。ERROR cluster.YarnClientSche...
阅读全文
摘要：类别名称官网备注查询引擎Phoenixhttps://phoenix.apache.org/Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写Kylinhttp://kylin.ioeBay开源的基于Hadoop的分布式...
阅读全文
摘要：目录目录 11. 约定 12. 安装Scala 12.1. 下载 22.2. 安装 22.3. 设置环境变量 23. 安装Spark 23.1. 下载 23.2. 安装 23.3. 配置 33.3.1. 修改conf/spark-env.sh 34. 启动Spark ...
阅读全文
摘要：目录 目录 1 1. 前言 1 2. 约定 2 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 4 5. 安装步骤 5 5.1. 下载Hive 1.2.1二进制安装包 5 5.2. 安装Hive 5 5.3. 安装MySQL-Connect
阅读全文
摘要：可以从下列链接找到process_monitor.sh：https://github.com/eyjian/libmooon/blob/master/shell/process_monitor.sh 假设： 1) java安装目录为/data/jdk 2) 监控脚本process_monitor监控
阅读全文
摘要：目录目录 11. 前言 22. 概念 22.1. Region name 23. 约定 24. 相关端口 35. 下载HBase 36. 安装步骤 36.1. 修改conf/regionservers 36.2. 修改conf/hbase-site.xml 36.2....
阅读全文
摘要：进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake ...
阅读全文
摘要：实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfds)) { int rc; ...
阅读全文
摘要：目录目录 11. 前言 32. 特性介绍 33. 部署 53.1. 机器列表 53.2. 主机名 53.2.1. 临时修改主机名 63.2.2. 永久修改主机名 63.3. 免密码登录范围 74. 约定 74.1. 安装目录约定 74.2. 服务端口约定 84.3. ...
阅读全文
摘要：众所周知，HBase的一个例族flush时，会导致所有例族都跟着被flush。在HBase-0.94的官方说明（http://hbase.apache.org/0.94/book/number.of.cfs.html）也明确HBase不能很好的支持一个以上的例族。 H...
阅读全文
