木子小僧

摘要： 1、hive建表 hive是支持分区的，但是这次建表没有写分区。 2、opt文件 3、执行opt文件 sqoop --options-file 目录.opt 阅读全文

摘要： 1、统计每张表的数据量SELECT *FROM ( select TABLE_NAME, concat( round( sum(DATA_LENGTH / 1024 / 1024 ), 7 ) ) as size from information_schema. tables where table 阅读全文

摘要： 一、虚拟机的安装和网络配置。 1、虚拟机安装。 2、安装CentOS-6.5 64位版本。 桥接模式； Master： 内存：3G； 硬盘容量40G； 4核； Slave： 内存2G； 硬盘容量30G； 2核； 3、网络配置(master,slave) 1)进入root账号 su - root 输入 阅读全文

摘要： 由于暴力关机，Hadoop fs -ls 出现了下图问题： 问题出现的原因是下面红框框里面的东西，我当时以为从另一个节点下载一个conf.cloudera.yarn文件就能解决问题，发现不行啊，于是删掉。 从另一个节点scp过来这个文件。 解决办法： 问题解决了。如下图： 阅读全文

摘要： 一、了解hbase的存储体系。 hbase的存储体系核心的有Split机制，Flush机制和Compact机制。 1、split机制 每一个hbase的table表在刚刚开始的时候，只有一个region，随着数据的不断插入到表中，region开始增大，当增大到一定的阀值以后，region就会等分两个 阅读全文

摘要： 阅读全文

摘要： 在执行hbase sqoop抽取的时候，遇到了一个错误，如下图： 在执行程序的过程中，遇到权限问题很正常，也容易让人防不胜防，有问题就想办法解决，这个是关键。 解决办法如下： 第一步：su hdfs，进入hdfs。 第二步：hadoop fs -ls ，瞅瞅user的权限。 第三步：修改权限 had 阅读全文

摘要： 用过以后，总得写个总结，不然，就忘喽。 一、寻找操作的jar包。 java操作hbase，首先要考虑到使用hbase的jar包。 因为咱装的是CDH5，比较方便，使用SecureCRT工具，远程连接到你安装的那台服务器上。 jar包的存放位置在/opt/cloudera/parcels/CDH/li 阅读全文

摘要： 一、Java读取文件 案例1：读取D盘的1.txt文件 编码： 结果： 二、写入文件 案例：讲D盘中的1.txt文件内容写入D盘一个2.txt文件。 编码： 阅读全文

摘要： HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行 首先感谢网络能够给我提供一个开放的学习平台，如果没有网上的技术爱好者提供的帮助，很难学好hbase。 一、hbase简介 官方：HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存 阅读全文