zhangqi0828 - 博客园

2019年5月29日

摘要： HBase表数据的转移在Hadoop阶段，我们编写的MR任务分别进程了Mapper和Reducer两个类，而在HBase中我们需要继承的是TableMapper和TableReducer两个类。目标：将fruit表中的一部分数据，通过MR迁入到fruit_mr表中 Step1、构建ReadFru 阅读全文

posted @ 2019-05-29 00:34 zhangqi0828 阅读(352) 评论(0) 推荐(0) 编辑

Hbase集群类型|集群配置|服务器选型|磁盘容量规划

摘要： HBase和Hadoop的集群类型 1、单机模式主要用于开发工作，一台机器上运行所有的守护进程，或者一台机器运行多个虚拟机。一般用于评估和测试。 2、小型集群 20台机器以内的集群，不同的机器运行不同的守护进程，适用于数据量和处理请求较少的小型生产环境。 3、中型集群 20到1000台机器集群，3 阅读全文

posted @ 2019-05-29 00:34 zhangqi0828 阅读(1219) 评论(0) 推荐(0) 编辑

2019年5月28日

虚拟机恢复初始化设置

摘要：我们虚拟机所有的默认设置都在.metadata的文件夹中，如果我们的测试中需要将虚拟机的所有的设置恢复到原始设置，那么只需要删除。metadata文件夹即可。阅读全文

posted @ 2019-05-28 19:35 zhangqi0828 阅读(4726) 评论(0) 推荐(0) 编辑

HBase常用操作

摘要： 1、进入HBase客户端命令操作界面 2、查看帮助命令 3、查看当前数据库中有哪些表 4、创建一张表 5、向表中存储一些数据 6、扫描查看存储的数据或：查看某个rowkey范围内的数据 7、查看表结构 8、更新指定字段的数据查看更新后的数据： 9、查看指定行的数据或：查看指定行指定列或列族的数阅读全文

posted @ 2019-05-28 09:42 zhangqi0828 阅读(305) 评论(0) 推荐(0) 编辑

HMaster高可用

摘要： 1、确保HBase集群已正常停止 2、在conf目录下创建backup-masters文件 3、在backup-masters文件中配置高可用HMaster节点 4、将整个conf目录scp到其他节点 5、打开页面测试 http://hadoop-senior01.itguigu.com:60010 阅读全文

posted @ 2019-05-28 09:36 zhangqi0828 阅读(156) 评论(0) 推荐(0) 编辑

Hbase的安装和部署

摘要： 1、Zookeeper集群的正常部署并启动 2、Hadoop集群的正常部署并启动 3、解压HBase 4、修改HBase配置文件 hbase-env.sh hbase-env.sh hbase-site.xml hbase-site.xml regionservers (集群域名) regionse 阅读全文

posted @ 2019-05-28 09:30 zhangqi0828 阅读(861) 评论(0) 推荐(0) 编辑

2019年5月27日

java之短路与&&和短路或||

摘要：短路的意思就是惰性计算,符号右边的就不进行计算了. ||和&&就是这样, 阅读全文

posted @ 2019-05-27 15:08 zhangqi0828 阅读(3804) 评论(0) 推荐(1) 编辑

sqoop一些常用命令及参数

摘要：常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。序号命令类说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取阅读全文

posted @ 2019-05-27 10:36 zhangqi0828 阅读(7157) 评论(1) 推荐(0) 编辑

sqoop的导入|Hive|Hbase

摘要：导入数据（集群为对象）在Sqoop中“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 1 RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 3) 导入数据阅读全文

posted @ 2019-05-27 10:35 zhangqi0828 阅读(420) 评论(0) 推荐(0) 编辑

sqoop导出数据|Hive|HDFS和脚本编写

摘要：导出数据在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。 HIVE/HDFS到RDBMS 提示：Mysql中如果表不存在，不会自动创建脚本打包使用opt格式的文件打包sqoop命令，然后阅读全文

posted @ 2019-05-27 10:35 zhangqi0828 阅读(865) 评论(0) 推荐(0) 编辑

zhangqi

be a coder

公告