随笔分类 - 大数据
摘要：import java.io.IOException; import java.io.ByteArrayOutputStream; import java.io.DataOutputStream; import java.io.ByteArrayInputStream; import java.io
阅读全文
摘要：异常描述 发现配置文件hbase-site.xml中，数据存储路径，写错了，修改后，重启HBASE，然后操作HBASE，出现异常 异常解决 格式化HBASE（删除zookeeper上的HBASE节点，操作步骤：zkCli.sh rmr /hbase） 重启HBASE
阅读全文
摘要：解决方案 时间跟系统不一致 ntpdate 0.cn.pool.ntp.org //命令更新时间 是否启动regionserver 先启动regionserver，然后在启动Hmaster ./hbase-daemon.sh start regionserver 然后执行： ./hbase-daem
阅读全文
摘要：配置文件：~/conf/zoo.cfg # The number of milliseconds of each tick 心跳停止的最长时间2s tickTime=2000 # The number of ticks that the initial # synchronization phase
阅读全文
摘要：这里我们用一个学生成绩表作为例子,对HBase的基本操作和基本概念进行讲解: 下面是学生的成绩表: name grade course:math course:art Tom 1 87 97 Jerry 2 100 80 这里grad对于表来说是一个列,course对于表来说是一个列族,这个列族由两
阅读全文
摘要：部署安装 安装 HBase 版本：1.3.3 单机、分布式（略） 启动、停止 启动HBase之前，必须保证hadoop集群和zookeeper集群是可用的。 启动：start-hbase.sh 停止：stop-hbase.sh HBase 的Web UI http://hadoop2:16010/m
阅读全文
摘要：环境信息 虚拟机：Centos 7 、 Hive版本：1.2.1 异常信息 Cannot create directory /tmp/hive. Name node is in safe mode. 异常处理 正常根据提示，使用 hdfs dfsadmin -safemode leave 即可 但是
阅读全文
摘要：运维--启停 HDFS启停 初始化HDFS ： hadoop namenode -format 启动HDFS ： start-dfs.sh （主节点启动） 关闭HDFS ： stop-dfs.sh NameNode启停 hadoop-daemon.sh start NameNode hadoop-d
阅读全文
摘要：环境信息 虚拟机版本：centos7 、HBase版本1.3.3 、 Hadoop版本：2.6.4 、Zookeeper版本：3.4.5 异常信息 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper exists failed after 4
阅读全文
摘要：通过修改配置文件 dfs.datanode.max.xcievers Hadoop的Datanode有一个用于设置同时处理文件的上限个数的参数，这个参数叫xcievers（Hadoop的作者把这个单词拼错了）。在启动之前，先确认有没有配置Hadoop的conf目录下的hdfs-site.xml中的x
阅读全文
摘要：测试Sqoop 是否可以连接数据库 sqoop list-databases \ --connect jdbc:mysql://hadoop2:3306/ \ --username root \ --password 123456 MySQL导入到HDFS上 全部导入 sqoop import \
阅读全文
摘要：org.jboss.netty.channel.ChannelException: Failed to bind to Spark Streaming整合Flume push方式报错
阅读全文
摘要：Server is not running yet 使用hbase shell ,list 命令时，报Server is not running yet hadoop进入了安全模式，需要退出安全模式 ,hadoop dfsadmin -safemode leave ERROR: Can't get
阅读全文
摘要：Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架
阅读全文
摘要：!!!如果需要创建用户，用户一定要首先创建，然后再进行其他操作！！！ 不然的一顿操作，发现是在别的用户下操作的。这个就很坑了 不同服务器之间的时间同步 Hbase 部署集群的时候会用到 + "Linux的NTP配置总结" + [CentOS 7.2 搭建内网ntp时间服务器](https://www
阅读全文
摘要：参考博客： https://blog.csdn.net/qq_19524879/article/details/82848797 说明： 可以根据参考博客进行安装，但是有几点需要注意，否则会出现各种情况，导致web页面打不开。 1.数据库部分 可以选择sqlite或mysql。mysql对应的ke.
阅读全文
摘要：问题描述 kafka 生产消费出现异常 报错信息 ERROR Error when sending message to topic kafka_streaming_topic with key: null, value: 3 bytes with error: Failed to update m
阅读全文
