随笔分类 -  大数据

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
摘要：今天在用mr 生成HFile文件，在执行jar 的时候出现一个错误： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法： wget ht 阅读全文
posted @ 2016-06-14 16:15 zhanggl 阅读(337) 评论(0) 推荐(0)
HDFS 工具类
摘要：读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类，用put方式批量或者单条数据入库 阅读全文
posted @ 2016-06-14 14:42 zhanggl 阅读(1609) 评论(0) 推荐(0)
Hadoop伪分布式部署
摘要：为了测试方便记录下hadoop伪分布式部署：包下载地址：http://archive.cloudera.com/cdh5/cdh/5/我选用的是cdh5.4.5版本etc/profile 配置文件export JAVA_HOME=/home/jdk1.7.0_79export JRE_HOME=/h... 阅读全文
posted @ 2016-01-26 17:37 zhanggl 阅读(307) 评论(0) 推荐(0)
cdh5.47 上配置flume
摘要：flume 配置文件# Define a memory channel called ch1 on agent1agent1.channels.ch1.type = memoryagent1.channels.ch1.capacity = 100000agent1.channels.ch1.tran... 阅读全文
posted @ 2016-01-08 16:27 zhanggl 阅读(2808) 评论(0) 推荐(0)
HBase启动错误提示别的机器60000已经存在
摘要：已经用cm 安装好了cdh，需要在上面添加HBase，并且做一个HBase故障转移功能，现在需要配置2个HMaster 在不同的机器上。启动出现异常信息：2015-12-23 14:44:38,893 INFO org.apache.zookeeper.ZooKeeper: Session: 0x3... 阅读全文
posted @ 2015-12-23 14:51 zhanggl 阅读(2352) 评论(0) 推荐(0)
CM集群管理
摘要：用CM装完cdh 版本后，将不同机架的服务器已经认为拆掉网线，但是主机管理那边还是显示已经下载的服务器存在。如图：该怎么配置 node8 和node9会自动消失：DataNode已经显示dead 状态mkdir -p /home/data1mkdir -p /home/data2mkdir -p /... 阅读全文
posted @ 2015-12-23 09:25 zhanggl 阅读(698) 评论(0) 推荐(0)
CM 安装CDH 错误： 安装失败。 无法接收 Agent 发出的检测信号。
摘要：在安装CDH的时候出现错误提示： 安装失败。 无法接收 Agent 发出的检测信号。日志提示错误：start >> raise socket.error(msg) ... 阅读全文
posted @ 2015-12-17 14:18 zhanggl 阅读(2967) 评论(0) 推荐(0)
离线安装 Cloudera ( CDH 5.x )（转载）
摘要：要配置生产环境前，最好严格按照官方文档/说明配置环境。比如，官方说这个安装包用于RETHAT6, CENTOS6，那就要装到6的版本下，不然很容易出现各种各样的错。配置这个CDH5我入了很多坑：CDH暂不官方支持CentOS 7, 查到国外有人是安装成功了,但是会有各种小问题需要息解决. 如7带的是... 阅读全文
posted @ 2015-12-17 12:45 zhanggl 阅读(9407) 评论(0) 推荐(0)
Hadoop 基础知识
摘要：Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节... 阅读全文
posted @ 2015-12-13 00:38 zhanggl 阅读(284) 评论(0) 推荐(0)
CM 安装cdh 版本及出现问题
摘要：添加节点：安装完cdh 后jps出现：process information unavailable　解决办法： 阅读全文
posted @ 2015-12-11 15:27 zhanggl 阅读(578) 评论(0) 推荐(0)
spark集群进入 bin 下面目录./spark-shell 出现Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
摘要：spark集群启动的时候可以正常，进入./spark-shell 就会出现如下错误配置文件：spark-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_51export SCALA_HOME=/home/hadoop/scala-2.11.6export SPAR... 阅读全文
posted @ 2015-03-24 18:41 zhanggl 阅读(2030) 评论(0) 推荐(0)
storm0.91集群部署
摘要：事先配置2台服务器配置好zookeeper，在配置文件中用zookeeper管理集群，配置文件如下配置文件/conf/storm.yamlsupervisor.slots.ports: 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的... 阅读全文
posted @ 2014-11-16 20:56 zhanggl 阅读(250) 评论(0) 推荐(0)