摘要： 1.发现问题： 在hive客户端或者beeline查询hive表时候报错： 根据报错信息查看，是在集群namenode做了HA之后，产生的hdfs路径不对的问题； 2.解决问题，修改hive元数据mysql信息表DBS和SDS: 更改语句： mysql> update sds set LOCATIO 阅读全文

摘要： 原博客地址：http://blog.csdn.net/evankaka 摘要：本文主要讲了笔者在使用sqoop过程中的一些实例 一、概述与基本原理 Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的 阅读全文

摘要： 正常情况下，hmaster会定期清理oldWALs文件夹，一般该文件大小也就几百兆，但是我们线上 环境出现了该文件没有自动回收情况，如图： 该目录占用hdfs空间多达7.6T，浪费空间： 后来经过多番查找，找到了问题所在，之前开启hbase复制之peers，参考博文连接如下： https://sta 阅读全文

摘要： 1.编写目的：由于cdh-5.9.2自带spark版本是spark1.6，现需要测试spark2新特性，需要整合spark2， 且spark1.x和spark2.x可以同时存在于cdh中，无需先删除spark1.x； 2.安装包下载 2.1首先下载csd包，地址： http://archive.cl 阅读全文

摘要： 一，开源软件版本： hadoop版本 ： hadoop-2.7.5 hive版本 ：apache-hive-2.1.1 spark版本： spark-2.3.0-bin-hadoop2.7 各个版本到官网下载就ok，注意的是版本之间的匹配 机器介绍，三台机器，第一台canal1为主节点+工作节点，另 阅读全文

摘要： 1. 说明 安装好phoenix后对于HBase中已经存在的数据表不会自动进行映射，所以想要再phoenix中操作HBase已有数据表就需要手动进行配置。 2. 创建HBase表 3. 插入数据 高能预警：HBase数据表默认主键列名是ROW 4. 创建Phoenix表 在Phoenix中创建相同结 阅读全文

摘要： [hdfs@node1 root]$ sqoop import --connect jdbc:mysql://node2:3306/cm?charset-utf8 --username root --password 123456 --table USERS --columns "USER_ID,U 阅读全文

摘要： 本文内容主要来源于互联网上主流文章，只是按照个人理解稍作整合，后面附有参考链接。 一、摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈 阅读全文

摘要： 一.jdk初识与HelloWord： 二.java基础： 2.1 标识符_关键字_数据类型 2.2 数据类型转换 2.3 程序编写格式 2.4 运算符 2.5 分支与for循环 2.6 while_break_contine 2.7 switch 三.面向对象 3.1 面向对象设计思想 3.2 ja 阅读全文

摘要： 一.前提主从集群之间能互相通讯； 二.在cluster1上（源集群）： 1.查看集群已开启的peers hbase(main):011:0> list_peers PEER_ID CLUSTER_KEY STATE TABLE_CFS 10 slave.01.bigdata.prod.wgq,sla 阅读全文