摘要： 写入报错如些： 1.修改elasticsearch配置文件elasticsearch.yml,更改线程池相关配置： 2.重启节点前关闭shard迁移： 3.然后su -ef kill掉es进程； 4.重启es服务： 5.开启shard迁移功能： 6.整个在线es集群共有23个节点，一批一批执行，每批 阅读全文

摘要： 1.搭建mysql 5.7环境chown mysql:mysql -R /data/groupadd mysqluseradd -g mysql mysql yum install numactlrpm -e mysql-libs --nodeps rpm -ivh mysql-community- 阅读全文

摘要： 1.添加新节点 2.迁移hdfs和hbase数据； 3.迁移源节点各个服务到新节点； 4.利用HA，包括hdfs，hbase master，resourcemanager的ha实现在线迁移； 5.数据验证，可用性验证； 阅读全文

摘要： 1.hive中基本操作； DDL，DML 2.hive中函数 User-Defined Functions : UDF(用户自定义函数，简称JDF函数)UDF: 一进一出 upper lower substring（进来一条记录，出去还是一条记录）UDAF：Aggregation（用户自定的聚合函数 阅读全文

摘要： TiDB 简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 阅读全文

摘要： 在cdh集群中，删除之前的hive服务，然后将hive添加到其他节点，然后再通过hive客户端连接hive报错： 解决办法： 阅读全文

摘要： 1.首次安装好mysql数据库后，会生成一个随机密码，使用如下办法找到： cat /var/log/mysqld.log |grep password 2.首次安装好mysql数据库后，第一次登陆进去，需要先修改root用户密码： grant all privileges on *.* to 'ro 阅读全文

摘要： 如下图，当postgresql安装成功，建立好数据库scm，rman，amon之后，添加cm对应服务报错hadoopNode2没有相应数据库： No database server found running on host hadoopNode2. 错误原因： 在客户端访问PostgreSQL数据 阅读全文

摘要： 1.首先查看Cloudera Management Service下有哪些服务，cdh版本为5.9.2： 可以看到基本上有以上6个角色； 2、停止所有角色，并执行删除； 3.找到集群中另外一个节点，添加对应角色，我这里添加到hadoopNode4上： 元数据库为mysql，在hadoopNode6上 阅读全文

摘要： 公司线上大数据集群，之前用的是公有云主机，现在换成了自己idc机房机器，需要服务迁移，已下为测试： 1.备份原postgresql数据库： 2.选一个节点hadoopNode2，安装cloudea-manager-server服务： 3.hadoopNode2上安装postgresql，要做到和ha 阅读全文