08 2019 档案
摘要：CDH安装过程中出现的错误 1、iptables: /sbin/iptables 不存在 我是因为误删将 /sbin/下的文件删除了。 解决方法： yum install iptables 2、com.mysql.jdbc.execptions.jdbc4.CommunicationsExcepti
阅读全文
摘要：问题描述： 使用CDH 5.2版本安装时，agent节点有12个。按照安装说明，在各个节点启动cm-agent之后，发现只有6个节点能被纳管。其它的节点总是无法加入纳管中。 在确认防火墙已经关闭后，仍然无法解决问题 问题分析： 1. 查看已经加入纳管的节点，发现这6个节点并不是固定的，有一个节点是不
阅读全文
摘要：CDH仅完成 0/3 个步骤。首个失败：主机 node6 (id=2) 上的客户端配置 (id=1) 已使用 1 退出，而预期值为 0 javaHome出现了问题 JAVA_HOME并不是根据环境变量来获取，而是在它列举的几个目录下寻找， 创建软连接ln -s /usr/java/jdk /usr/
阅读全文
摘要：Deploy Client Configuration Failed 1．问题描述 当使用CDH增添spark服务的时候，出现了以下错误： Faile to deploy client configuration to the cluster. 具体如下图： 2．思路 网上查了以下，各种的都没有解决
阅读全文
摘要：swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是swap空间，swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。linux的基本默认设置为60，具体如下
阅读全文
摘要：HBase的配置 修改配置hue.ini的配置文件 [hbase] hbase_clusters=(Cluster|node1:9090) hbase_conf_dir=/usr/hbase-0.98.12.1-hadoop2/conf Cluster Hue展现的名字 node1:9090 hba
阅读全文
摘要：HDFS配置 参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html Hadoop配置文件修改 hdfs-site.xml <property> <name>dfs.webhdfs.enabled</nam
阅读全文
摘要：HIVE配置 修改hue.ini配置文件 [beeswax] hive_server_host=node1 hive_server_port=10000 hive_conf_dir=/usr/hive-1.2.1/conf 重启HUE build/env/bin/supervisor 启动hdfs和
阅读全文
摘要：HUE: Hadoop User Experience 官网地址：http://gethue.com/ Hue官网无法下载，超时。 使用CDH版本安装。 下载地址： http://archive.cloudera.com/cdh5/cdh/5/ 说明文档： http://archive.cloude
阅读全文
摘要：一、准备工作 主机个数：n台 操作系统：CentOS 6.5 安装所需软件包： CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel CDH-5.4.0-1.c
阅读全文
摘要：安装CDH第三方依赖包： yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
阅读全文
摘要：#登录mysql mysql -uroot -p； use mysql； #所有ip能访问 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION; #设置某个ip能访问 GRANT ALL PR
阅读全文
摘要：centos6.5下安装mysql数据库 1.安装mysql数据库：yum install mysql-server 2.临时启动数据库：service mysqld start 3.开机启动数据库：chkconfig mysqld on
阅读全文
摘要：场景：我们在部署了TOMCAT应用，刚刚开始启动的一个段时间内。访问系统的速度比较快。但是过了一段时间，应用系统就慢慢的变慢起来了。服务的访问加载时间慢慢变长。 问题解决思路： 1，查看部署应用系统的系统资源使用情况，CPU,内存，IO这几个方面去看。找到对就的进程。 2，使用jstack,jmap
阅读全文
at org.apache.hadoop.hbase.tmpl.master.BackupMasterStatusTmplImpl.renderNoFlush(BackupMasterStatusTm
摘要：at org.apache.hadoop.hbase.tmpl.master.BackupMasterStatusTmplImpl.renderNoFlush(BackupMasterStatusTm 解决方法如下： vim hbase-site.xml 添加 <property> <name>hb
阅读全文
摘要：在日志（身为小白白的我，一开始日志在哪我都不知道！路径：/usr/local/hadoop/app/hbase-0.98.8/logs/hbase-hadoop-master-Master.log(也就是安装hbase下的logs文件夹中)）中寻找到错误的原因，如下图： 产生错误的原因：zookee
阅读全文
摘要：解决办法 因为，如下，我的Hadoop HA集群。 1、首先在hdfs-site.xml中添加下面的参数，该参数的值默认为false： <property> <name>dfs.ha.automatic-failover.enabled.ns</name> <value>true</value> <
阅读全文
摘要：原因分析 原因分析 原因分析 原因分析 1、hadoop 与 hbase 版本不兼容，导致的异常。 2、log日志信息显示 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，可能是更换了hbase的版本后zookeepe
阅读全文
摘要：初始新建虚拟机或者复制虚拟机后，发现虚拟机能ping通内外网，但是本机无法ping通虚拟机，xshell也无法连接虚拟机 这时候就很头疼了，因为要上传很多文件到虚拟机上面 解决办法： 1、关闭虚拟机后，打开虚拟机的虚拟网络编辑器，虚拟机》编辑》虚拟网络编辑器》NAT模式》更改配置》还原默认设置，静待
阅读全文
摘要：官方帮助文档：http://hbase.apache.org/book.html PDF：http://hbase.apache.org/apache_hbase_reference_guide.pdf 1、安装前准备 – Hadoop集群要启动正常 – Zookeeper集群启动正常 HBase
阅读全文
摘要：配置好HBase后，想从浏览器通过端口60010看下节点情况，但是提示无法访问 在服务器上netstat -natl|grep 60010 发现并没有60010端口 原来是因为HBase 1.0 之后的版本都需要在hbase-site.xml中配置端口，如下 <property> <name>hba
阅读全文
摘要：1、环境介绍 涉及到软件下载地址：https://pan.baidu.com/s/1hpcXUSJe85EsU9ara48MsQ 服务器：CentOS 6.8 其中：2 台 namenode、3 台 datanode zookeeper集群地址：192.168.67.11:2181,192.168.
阅读全文
摘要：设置hdfs-site.xml SNN启动后需要向NN请求相关image文件，但未配置导致。
阅读全文
摘要：SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。 SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。
阅读全文
摘要：这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.错误。 解决方案，在
阅读全文
摘要：netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。 netstat常用命令参数 1 2 3 4 5 6 7 8 9 10
阅读全文
摘要：Hadoop启动之后，遇到一个奇怪的问题： VMware虚拟机中Hadoop服务的端口50070无法访问的问题 通过127.0.0.1:50070、localhost:50070、主机名:50070均可访问，唯独IP:50070不能访问到。 通过查找日志：发现datanode的日志中提示：访问Mas
阅读全文
摘要：一、临时关闭防火墙 1、 查看防火墙的状态 [root@vpnSS ~]# /etc/init.d/iptables status Table: filter Chain INPUT (policy ACCEPT) num target prot opt source destination 1 A
阅读全文
摘要：1、根据进程名查看进程信息，以查看tomcat进程名为例，查看所对应的进程id为1095(或者使用： ps -aux | grep tomcat 查看占用内存等信息) ps -ef | grep tomcat 2、根据进程id查看进程占用端口，查看对应端口为8080（如果没有netstat命令，使用
阅读全文
摘要：linux下使用mkdir可以创建目录，使用mkdir -p参数就可以创建：mkdir -p /home/orale/duqiang1/duqiang2 如果父目录存在也不会报错。 linux下使用mkdir可以创建目录，使用mkdir -p参数就可以创建：mkdir -p /home/orale/
阅读全文
摘要：配置环境要求： Centos7 jdk 8 Vmware 14 pro hadoop 3.1.1 Hadoop下载 安装4台虚拟机，如图所示 克隆之后需要更改网卡选项，ip，mac地址，uuid 重启网卡: 为了方便使用，操作时使用的root账户 设置机器名称 再使用hostname命令，观察是否更
阅读全文
摘要：CentOS修改IP地址 # ifconfig eth0 192.168.1.80 这样就把IP地址修改为192.168.1.80(如果发现上不了网了，那么你可能需要把网关和DNS也改一下，后面会提到)，但是当你重新启动系统或网卡之后，还是会变回原来的地址，这种修改方式只适用于需要临时做IP修改。要
阅读全文
摘要：前言： 由于最近写的程序在运行一段时间后出现高cpu，然后不可用故进而进行排查，最终定位到由于metaspace引起fullgc，不断的fullgc又占用大量cpu导致程序最终不可用。下面就是这次过程的分析排查和总结，便于以后温故，同时也希望能给遇到同样问题的同学一些参考。 一 jvm的内存分配情况
阅读全文
摘要：1.背景 2.为什么废弃永久代（PermGen） 3.深入理解元空间（Metaspace） 4.总结 正文分割线 一、背景 1.1 永久代（PermGen）在哪里？ 根据，hotspot jvm结构如下(虚拟机栈和本地方法栈合一起了)： 上图引自网络，但有个问题：方法区和heap堆都是线程共享的内存
阅读全文
摘要：什么是方法区？ 方法区（Method Area）是jvm规范里面的运行时数据区的一个组成部分，jvm规范中的运行时数据区还包含了：pc寄存器、虚拟机栈、堆、方法区、运行时常量池、本地方法栈。 方法区存储东西？ 主要用来存储class、运行时常量池、字段、方法、代码、JIT代码等。 注意： （1）运行
阅读全文
摘要：如何使用start with connect by prior递归用法
阅读全文
摘要：一、什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。 Java语言的一个非常重要的特点就是与平台的无关性。而使用Java虚拟机是实现这一特点的关键。
阅读全文
摘要：概述 Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statistics monitoring tool”，它位于java的bin目录下，主要利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控，包括了对Heap size和垃圾回收状况
阅读全文
摘要：记一次HBase内存泄漏导致RegionServer挂掉问题
阅读全文
摘要：搭建好HBase 集群后，各种后台进程都正常，搭建手册参考： Hbase 2.1.3 集群搭建手册https://www.cndba.cn/dave/article/3322 但是通过web访问，却报如下错误： 2019-03-05 23:13:49,508 WARN [qtp1911600942-
阅读全文
摘要：原因：HBASE1.0之后的版本web端访问的接口变更为16010 原因：HBASE1.0之后的版本web端访问的接口变更为16010 原因：HBASE1.0之后的版本web端访问的接口变更为16010 原因：HBASE1.0之后的版本web端访问的接口变更为16010
阅读全文
摘要：1.安装ntp服务命令 yum install -y ntp 2.常用NTP服务器地址： ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp4.aliyun.com ntp5.aliyun.com ntp6.aliyun.com ntp7.aliy
阅读全文
摘要：HBase简介、搭建环境及安装部署
阅读全文
摘要：1.进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与pattern
阅读全文
摘要：zookeeper的安装目录:/usr/local/zookeeper-3.4.6/bin/zkServer.sh; 配置文件路径：../conf/zoo.cfg 端口 ：2181； ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作
阅读全文
摘要：一、集群1.启动/停止Hadoop集群：start-all.sh stop-all.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步
阅读全文
摘要：介绍 Druid是一个拥有大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍然能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延时问题，当时试图使用h
阅读全文
摘要：(一）背景 MapReduce不能满足大数据快速实时adhoc查询计算的性能要求，Facebook2012年开发，2013年开源 （二）是什么 基于内存的并行计算，Facebook推出的分布式SQL交互式查询引擎 多个节点管道式执行 支持任意数据源 数据规模GB~PB 是一种Massively pa
阅读全文
摘要：二阶导数，是原函数导数的导数，将原函数进行二次求导。一般的，函数y=f（x）的导数yˊ=fˊ（x）仍然是x的函数，则y′′=f′′（x）的导数叫做函数y=f（x）的二阶导数。在图形上，它主要表现函数的凹凸性。
阅读全文
摘要：一、什么是凸函数 对于一元函数f(xf(x)，如果对于任意tϵ[0,1]tϵ[0,1]均满足：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)，则称f(x)f(x)为凸函数(convex function) 如果对于任意
阅读全文
摘要：Python 中用pylab模块， pylab.plot() 函数，绘制折线统计图 1. marker参数说明如下： 2.linestyle参数说明如下： 3.markerfacecolor参数说明如下：
阅读全文
摘要：看一个例子就懂了 c = array([[[0, 1, 2, 0, 1, 2]], [[0, 1, 2, 0, 1, 2]]]) print('{0}\n'.format(c.shape)) print('{0}\n'.format(c.sum())) //① print('{0}\n'.forma
阅读全文
摘要：1、介绍 HUE是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等。 2、安装 2.1
阅读全文
摘要：史上最全CentOS6离线安装部署Cloudera Manager5.9.3 史上最全CentOS6离线安装部署Cloudera Manager5.9.3 史上最全CentOS6离线安装部署Cloudera Manager5.9.3 史上最全CentOS6离线安装部署Cloudera Manager
阅读全文
