打赏

随笔分类 -  Hadoop HBase集群搭建与开发环境

1
关于Hadoop HDFS的一些原理、相关知识
摘要:不多说,直接上干货! 问题详情 情况描述如题所示,hbase启动以后,HMaster进程启动了,几秒钟以后自动关闭,但是HRegionServer进程正常运行; 解决办法: 1、检查下每台机器的时间是否同步; 2、检查下每台机器的防火墙是否关闭; 3、查看HMaster的日志路径 但是不久后HMas 阅读全文
posted @ 2018-06-17 14:47 大数据和AI躺过的坑 阅读(20418) 评论(0) 推荐(1) 编辑
摘要:不多说,直接上干货! 这个问题,得非 你的hive和hbase是不是同样都是CDH版本,还是一个是apache版本,一个是CDH版本。 问题详情 说明没创建成功。 Hive和HBase同是CDH版本的解决办法 首先通过用下面的命令,重新启动hive ./hive -hiveconf hive.roo 阅读全文
posted @ 2018-01-07 17:20 大数据和AI躺过的坑 阅读(47016) 评论(0) 推荐(0) 编辑
摘要:不多说,直接上干货! 很多同行,也许都知道,对于我们大数据搭建而言,目前主流,分为Apache 和 Cloudera 和 Ambari。 后两者我不多说,是公司必备和大多数高校科研环境所必须的! 分别,详情见我如下的博客 Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐) A 阅读全文
posted @ 2017-05-06 09:17 大数据和AI躺过的坑 阅读(2899) 评论(0) 推荐(0) 编辑
摘要:进程情况 问题 解决办法 分布式集群HBase启动后某节点的HRegionServer自动消失问题 阅读全文
posted @ 2017-04-23 17:54 大数据和AI躺过的坑 阅读(7875) 评论(0) 推荐(0) 编辑
摘要:详细问题 我这里是,我的这个slave1的HRegionServer 进程启动后,不久自动消失。 去查看日志,排查问题: 发现问题: 解决办法 重新启动hbase 成功! 我还查看到网上的其他博客说,是否是hbase-site.xml配置文件多写或漏写,当然,你们可以去参考,我这里也把自己的这个配置 阅读全文
posted @ 2017-04-20 11:30 大数据和AI躺过的坑 阅读(8844) 评论(1) 推荐(0) 编辑
摘要:福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号: 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力。 百家号 :九月哥快讯 快手号: jiuyuege 无论是hadoop、sp 阅读全文
posted @ 2017-03-22 11:23 大数据和AI躺过的坑 阅读(695) 评论(0) 推荐(0) 编辑
摘要:问题描述如下: 出现此问题可能是zookeeper不稳定造成的,采用的是虚拟机,经常挂起的状态,使用hbase的list命令出现下面错误,这个可能是hbase的稳定性造成的,解决办法有两种。这里使用第一种办法就解决了。 解决方法:1.重启hbase stop-hbase.sh stop-hbase. 阅读全文
posted @ 2017-03-15 21:49 大数据和AI躺过的坑 阅读(68933) 评论(2) 推荐(3) 编辑
摘要:若是删除不存在的列修饰符,看下会是什么情况 package zhouls.bigdata.HbaseProject.Test1; import javax.xml.transform.Result; import org.apache.hadoop.conf.Configuration;import 阅读全文
posted @ 2016-12-10 16:18 大数据和AI躺过的坑 阅读(4664) 评论(0) 推荐(0) 编辑
摘要:问题详细描述如下: 2016-12-09 15:10:39,160 ERROR [org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation] - The node /hbase is not in ZooKe 阅读全文
posted @ 2016-12-09 15:21 大数据和AI躺过的坑 阅读(11595) 评论(0) 推荐(0) 编辑
摘要:步骤一 若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客。 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 步骤一里的,需要补充的。如下: 在项目名,右键, 然后,编写pom.xml,这里不多赘述。见 HBase 开发环境搭建(Eclipse\MyEcli 阅读全文
posted @ 2016-12-08 11:24 大数据和AI躺过的坑 阅读(514) 评论(0) 推荐(0) 编辑
摘要:见 5 hbase-shell + hbase的java api 阅读全文
posted @ 2016-12-08 09:46 大数据和AI躺过的坑 阅读(593) 评论(0) 推荐(0) 编辑
摘要:此讨论并不局限于HBase,也会延伸到MongoDB和Cassandra这样的NoSQL数据库。 1、RDBMS RDBMS有以下特点: 面向视图:RDBMS表使用固定的视图,表中的数据类型也会事先定义。表的视图在创建时就已经定义,并且不容易修改。向视图中添加元素的操作会以新建表的形式实现,这一操作 阅读全文
posted @ 2016-12-07 10:24 大数据和AI躺过的坑 阅读(1463) 评论(0) 推荐(0) 编辑
摘要:见 https://hbase.apache.org/apidocs/index.html 阅读全文
posted @ 2016-12-07 09:49 大数据和AI躺过的坑 阅读(629) 评论(0) 推荐(0) 编辑
摘要:原博客出自于: http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/ 感谢! Posted: Apr 3, 2014 Tags: Hadoophbasethrift Comments: 0 Comments Hadoophbasethri 阅读全文
posted @ 2016-11-07 17:37 大数据和AI躺过的坑 阅读(810) 评论(0) 推荐(0) 编辑
摘要:进入http://abloz.com/hbase/book.html 阅读全文
posted @ 2016-11-07 15:24 大数据和AI躺过的坑 阅读(894) 评论(0) 推荐(0) 编辑
摘要:伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true,它表示HBase使用自身自带的Zookeeper实例。但是,该实例只能为单机或伪分布模式下的HBase提供服务。 若是分布式模式,则需要配置自己的Zookeeper集群。如 阅读全文
posted @ 2016-11-02 16:10 大数据和AI躺过的坑 阅读(476) 评论(0) 推荐(0) 编辑
摘要:写在前面的话 首先, 搭建基于MyEclipse的Hadoop开发环境 相信,能看此博客的朋友,想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下基础。 比如, CentOS图形界面下如何安装Eclipse和使用maven Eclipse下新建Maven项目、自动打依赖jar包 【转】ma 阅读全文
posted @ 2016-11-02 15:52 大数据和AI躺过的坑 阅读(3523) 评论(0) 推荐(0) 编辑
摘要:hbase shell下list命令出错。 [hadoop@djt002 hbase]$ hbase shell 2016-07-20 19:37:12,522 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecate 阅读全文
posted @ 2016-10-13 16:24 大数据和AI躺过的坑 阅读(1911) 评论(0) 推荐(0) 编辑
摘要:本博文的主要内容有 .HBase .特点 .HBase在Hadoop子系统中的位置 .HBase表结构 .row key ,即 rc .Column Family,即 cf .时间戳 .Table & Region .RegionServer概念 .HBase模型 .Client .Zookeepe 阅读全文
posted @ 2016-10-13 15:41 大数据和AI躺过的坑 阅读(518) 评论(0) 推荐(1) 编辑
摘要:本博文的主要内容有: .HBase的分布模式(3、5节点)安装 .HBase的分布模式(3、5节点)的启动 .HBase HA的分布式集群的安装 .HBase HA的分布式集群的启动 .HBase HA的切换 HBase HA分布式集群搭建———集群架构 HBase HA分布式集群搭建———安装步骤 阅读全文
posted @ 2016-10-12 14:56 大数据和AI躺过的坑 阅读(5750) 评论(0) 推荐(0) 编辑

1
点击右上角即可分享
微信分享提示