随笔分类 - BigData
Hadoop Hbase NoSQL MongoDB等大数据相关技术
摘要：一、配置简单的口令访问 1，建立数据库和用户 2，修改master访问配置文件pg_hba.conf，添加一个口令访问用户 3，重载配置文件使之生效 注意这个命令并非停止集群，只是为了重新装载配置。
阅读全文
摘要：一、在ambari管理界面启用HDFS HA 在ambari中这步很简单，在所有安装的服务都正常之后，在HDFS的服务界面中，点击下拉菜单“Actions”，选择启用HDFS HA项 “Enable NameNode HA”，然后根据提示向导一步一步的认真做就可以了。尤其需要注意的是手动操作的环节不
阅读全文
摘要：一、第一步当然是配置YARN HA，这在使用ambari管理时很简单，这里不在赘述。 二、建立HAWQ的专用资源队列queue 不要手工编辑scheduler设置，最方便的当然是使用queue manager，入口看图。 添加一个hawq_queue 三、重启受影响的yarn服务 添加或修改queu
阅读全文
摘要：Loading Data into HAWQ Leave a reply Loading data into the database is required to start using it but how? There are several approaches to achieve thi
阅读全文
摘要：一、HAWQ基本安装自带gpfdist协议 gpfdist是HAWQ支持的外部表访问协议之一，这是hawq自带的一个简单的集成http服务命令。 在我的前述安装hawq之后，gpfdist命令位于hawq的bin目录之中。/opt/gpadmin/apache-hawq/bin/gpfdist gp
阅读全文
摘要：一、 安装PXF3.3.0.0，这里所安装的pxf的包文件都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz里面下面步骤都是以root身份执行这里注意，pxf插件要用到tomcat服务，必须使用安装包里面的7.0.62， 不能安装或升级为 tomcat8，这会
阅读全文
摘要：一、zookeeper超出最大连接限制：ambari server检测到critical错误, zookeeper server on ep-bd01:2181 连接被积极拒绝，翻看主机上zookeeper的日志 tail -n200 zookeeper-zookeeper-server-ep-bd
阅读全文
摘要：在ambari-server中修改了yarn的配置，重新启动服务，结果RM启动失败，错误也很奇怪，“不合理的资源请求，没有请求任何资源”！详细如下： 网上多方搜索无解，最后无奈重新启动主机，重启所有服务，结果成功！ 再次重启RM，失败，原因同上。 一、配置RM HA，这次启动了，但是配置的两个RM节
阅读全文
摘要：一、 HAWQ2.3.0环境准备【全部主机节点】： 1， vim /etc/sysctl.conf,编辑如下内容: 保存退出后，使用命令“sysctl -p” 使之生效： 2， vim /etc/security/limits.conf 编辑如下内容: 重新登录以使配置生效，或者使用命令临时设置一下
阅读全文
摘要：本文记录使用ambari-server安装HDP的过程，对比于使用cloudera-manager安装CDH，不得不说ambari的易用性差的比较多~_~，需要用户介入的过程较多，或者说可定制性更高。 首先、安装之前，在每个主机节点上执行下面命令，已清除缓存，避免一些repo原因导致的安装失败。 下
阅读全文
摘要：一、集群软硬件环境准备： 操作系统： centos 7 x86_64.1804 Ambari版本：2.7.0 HDP版本：3.0.0 HAWQ版本：2.3.05台PC作为工作站： ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点，用于安装a
阅读全文
摘要：注意未经说明，所有本文中所有操作都默认需要作为root用户进行操作。 一、安装zmodem，用于远程上传下载文件，安装gedit，方便重定向到远程windows上编辑文件（通过xlanuch） 二、关闭防火墙 三、关闭SELinux 在系统运行状态暂时关闭（重启后失效）: 编辑设置文件/etc/sy
阅读全文
摘要：一、所有节点上使用yum安装配置NTP服务yum install ntp -y 二、选定一台节点作为NTP server, 192.168.58.11修改/etc/ntp.conf 1，注释掉restrict 127.0.0.1 ，修改为： 2，使本地时钟可作为时钟源，添加如下两行： 3，屏蔽默认服
阅读全文
摘要：一、安装并使用MariaDB作为Ambari、Hive、Hue的存储数据库。 启动、查看状态，检查mariadb是否成功安装 二、配置mariadb 1，首先停止MariaDb 服务的运行 2，编辑/etc/my.cnf 在[mysqld]段下，添加如下几行行配置： 保存退出后，配置mariadb服
阅读全文
摘要：HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
阅读全文
摘要：本系列文章只是记录了笔者本人在学习实验安装和使用基于CDH5.0.2的HBASE集群过程中的一些经验教训和心得，绝不是详细的安装过程，因本人不过一初学者，很多方面不甚了了，如果能让不幸读到的人有所得则不胜欣喜，否则大家一笑置之即可。通过tarball形式安装HBASE Cluster（CDH5....
阅读全文
摘要：通过tarball形式安装HBASE Cluster（CDH5.0.2）——Hadoop NameNode HA 切换引起的Hbase错误，以及Hbase如何基于NameNode的HA进行配置配置HBASE的时候一开始按照cdh网站上的说明，hbase.rootdir的值设置使用的是基于Hadoop...
阅读全文
摘要：一、应该先配置好zookeeper并成功启动，否则hbase无法启动二、配置HBASE集群1，配置hbase-env.sh，下面是最少配置项目[hadoop@zk1 conf]$ vim hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_60export...
阅读全文
摘要：本文参考博文Hadoop2.2.0遇到64位操作系统平台报错，重新编译Hadoop由于我采用的tarball方式安装hadoop，其lib/native下根本没有内容，启动hdfs时报这个经典的native 库转载失败警告WARN util.NativeCodeLoader: Unable to l...
阅读全文
摘要：yarn.resourcemanager.ha.enabled true yarn.resourcemanager.ha.rm-ids ...
阅读全文
