随笔分类 -  Hadoop/HBase

1 2 下一页

关于Hadoop和HBase的知识分享
Maven 引用CDH 5.4 的zookeeper时报错：Could not find artifact javax.jms:jms:jar:1.1 in cloudera 的解决办法
摘要：错误： Could not find artifact javax.jms:jms:jar:1.1 in cloudera 由于默认5.4.0的包引用了zookeeper 3.3.1版本，进而引用了log4j的某个版本，导致的报错，改为如下即可： pom： 使用cloudera的源： <reposi 阅读全文

posted @ 2023-10-08 11:16 sixiiweb 阅读(105) 评论(0) 推荐(0) 编辑

Arm64v8 cpu + Centos7 aarch64中安装 Ambari 2.7.3 和 HDP 3.1.0
摘要：# 下载不存在的资源的方法使用迅雷云盘，添加下载任务到云盘，有一定的概率下载到已经被删除的资源。比如下载HDP相关的资源：<http://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/HDP-GPL/3.x/updates/3.1.0.0/HDP- 阅读全文

posted @ 2023-03-18 18:01 sixiiweb 阅读(583) 评论(0) 推荐(0) 编辑

CentOS 7.5 安装 CDH6.3.2
摘要：#install OS centos 7.5#install lsb net-tools package yum install -y redhat-lsb net-tools #Install epel on centos7 wget -O /etc/yum.repos.d/epel-7.repo 阅读全文

posted @ 2020-11-30 13:56 sixiiweb 阅读(383) 评论(0) 推荐(0) 编辑

cloud-init在centos中关于静态ip和hostname的配置
摘要：我使用的是cloud-init 版本是 19.4。 一般情况下，都是希望按照规则修改ip或者hostname，但是我的需求比较特殊：我希望当创建新实例的时候，cloud-init不要去修改机器名，并且不要修改网卡的网络设置，不要修改机器的语言设置。 我默认是两个网卡，一个dhcp用来连接外网，一个是 阅读全文

posted @ 2020-11-27 16:14 sixiiweb 阅读(2184) 评论(0) 推荐(0) 编辑

大数据集群迁移记录
摘要：文章中用到的脚本及脚本的执行log在文末的附件中应该能找到。 nohup sh /tmp/discp/distcp.shnohup sh /tmp/distcp/distcp.sh &>/tmp/distcp/distcp.log &hadoop distcp -update -log hdfs:/ 阅读全文

posted @ 2019-08-13 10:01 sixiiweb 阅读(873) 评论(0) 推荐(0) 编辑

CentOS6非root用户下安装及配置CDH5.3.0
摘要：由于CentOS6已经结束生命周期，所有的软件源均已发生改变，所以需要先替换掉原有的软件源为阿里云的源： mkdir /etc/yum.repos.d/backup mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/backup/ vim /etc/yum.re 阅读全文

posted @ 2019-08-13 09:50 sixiiweb 阅读(1145) 评论(0) 推荐(0) 编辑

CentOS7下的CDH 6.2.0 安装过程
摘要：#install OS centos 7.5#install lsb package #install epel, or you'll receive error msg when you install hue for "Requires: libtidy" #install net-tools 阅读全文

posted @ 2019-08-13 09:48 sixiiweb 阅读(2359) 评论(0) 推荐(0) 编辑

CDH的几个包的下载地址
摘要：https://archive.cloudera.com/cdh5/parcels/5.3.0/ http://archive.cloudera.com/cm5/installer/5.3.0/ http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5 阅读全文

posted @ 2016-07-19 16:58 sixiiweb 阅读(521) 评论(0) 推荐(0) 编辑

HiveServer2 的jdbc方式创建udf的修改（add jar 最好不要使用），否则会造成异常： java.sql.SQLException: Error while processing statement: null
摘要：自从Hive0.13.0开始，使用HiveServer2 的jdbc方式创建udf的临时函数的方法由： ADD JAR ${HiveUDFJarPath} create TEMPORARY function md5 as 'com.hugedata.hive.udf.codec.UDFMd5'; 改 阅读全文

posted @ 2015-10-23 20:20 sixiiweb 阅读(1660) 评论(0) 推荐(0) 编辑

Hive 打开调试模式
摘要：编程过程中发现错误，无法看到具体的错误信息，网上搜了下，按照下面的方法启动Hive Shell就可以打开调试（注意：此方法只对本次回话有效）：hive --hiveconf hive.root.logger=DEBUG,console如果需要对所有会话有效，则可以修改Hive的配置文件。不过不建... 阅读全文

posted @ 2015-01-26 10:30 sixiiweb 阅读(2684) 评论(0) 推荐(0) 编辑

Java代码通过API操作HBase的最佳实践
摘要：HBase提供了丰富的API。这使得用Java连接HBase非常方便。有时候大家会使用HTable table=new HTable(config,tablename);的方式来实例化一个HTable对象，实际上这并不是最好的实例化HTable的办法。最好的办法是使用HTablePool，并且每个线... 阅读全文

posted @ 2014-04-16 17:25 sixiiweb 阅读(9245) 评论(0) 推荐(0) 编辑

HBase中多Filter查询示例
摘要：在Hbase查询中有时需要用到多个Filter关联的查询。代码如下： ArrayList listForFilters = new ArrayList(); // 当前Filter Filter filter = null; for (String taskIDTmp : taskIDArray) { if ((null != taskIDTmp) && (!"".equals(taskIDTmp))) { filter = new PrefixFilter(By... 阅读全文

posted @ 2014-03-01 15:45 sixiiweb 阅读(8143) 评论(2) 推荐(0) 编辑

使用C#和Thrift来访问Hbase实例
摘要：今天试着用C#和Thrift来访问Hbase，主要参考了博客园上的这篇文章。查了Thrift，Hbase的资料，结合博客园的这篇文章，终于搞好了。期间经历了不少弯路，下面我尽量详细的记录下来，免得大家走弯路。本文的环境：Hbase 0.94.1VS2012（.NetFramework 4.0）Thrifit 0.7.0（点此下载）一定要注意各产品的版本号，不同的版本可能相互不兼容。下面开始干活：0.开启Hbase的Thrift服务在Hbase的master上运行：hbase-daemon.sh start thrift -threadpool1.下载Thrift 0.7.0的源码和代码生成工具 阅读全文

posted @ 2014-02-19 15:42 sixiiweb 阅读(8349) 评论(5) 推荐(7) 编辑

安装CDH5时出错 5.68.168.192.in-addr.arpa domain name pointer bogon.
摘要：这个是因为使用的DNS是联通的server，联通会将所有保留的网络地址RFC1918( http://tools.ietf.org/html/rfc1918)都指向"bogon" 这个hostname。 将集群的dns服务器设置为8.8.8.8即可解决这个问题，官方给出的解释也是DNS服务器配置问题 阅读全文

posted @ 2014-01-23 09:36 sixiiweb 阅读(1620) 评论(0) 推荐(0) 编辑

Hbase/Hadoop Java API编程常用语句
摘要：从scanner获取rowkey：for(Result rr : scanner){ String key =Bytes.toString(rr.getRow())}HBase API - Result objectgetRow()Method for retrieving the row key that corresponds to the row from which this Result was created. 阅读全文

posted @ 2013-12-21 12:16 sixiiweb 阅读(303) 评论(0) 推荐(0) 编辑

Apache Hadoop下一代MapReduce框架（YARN）简介 （Apache Hadoop NextGen MapReduce (YARN)）
摘要：英文看着头大，先试着翻译一下。E文原文：http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html翻译真是太难了，而且我翻译的好烂，好烂，有时候自己也只能理解个大概。====================================begin====================================MapReduce在hadoop-0.2.3中发生了很大的变化，现在是MapReduce2.0，又称为YARN。MRv2的基本思想是将JobTracker的两个主要功能： 阅读全文

posted @ 2013-12-03 17:11 sixiiweb 阅读(996) 评论(0) 推荐(0) 编辑

Manning Hadoop in Practice 翻译【6.2.2】
摘要：不是从第一章开始。6.2.2 Map的困境技巧 29 鉴别map阶段的数据差异问题数据差异是非常常见的。在map阶段，数据差异主要以少量不可以分割的大文件或者大量小文件为代表。问题你想要确认一个job是否因为存在数据差异而导致其运行缓慢。解决方案使用JobTracker的UI来比较同一个job的map阶段的不同task的输入文件的大小。讨论数据差异表现为少数的task执行时花费的时间比其他的task多很多。如果你将延迟完成的task的输入文件大小和整个map的所有task的输入文件大小做一下比较的话，你就可以得到一个鉴别数据差异的万全之策了。图6.6展示了使用JobTracker的UI来鉴别数 阅读全文

posted @ 2013-11-28 17:39 sixiiweb 阅读(380) 评论(0) 推荐(0) 编辑

图数据库titan 和 rexster安装手册
摘要：titan是图数据库, rexster是图显示服务titan 安装下载 titan 0.3.2解压 titan-all-0.3.2.zip 到 /opt/hugedata/share/解压后得到 /opt/hugedata/share/titan-all-0.3.2/建立软连接cd /opt/hugedata/share/ln -s titan-all-0.3.2 titan/etc/profile 增加export TITAN_HOME=/opt/hugedata/share/titansource /etc/profile----------------------测试titan, 生成g 阅读全文

posted @ 2013-11-13 16:44 sixiiweb 阅读(2328) 评论(0) 推荐(0) 编辑

【转】WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script. 的解决办法
摘要：前段时间集群出问题，hadoop和hbase启动不了了。后来hadoop回复了，hbase死活master无法启动。打开日志发现报了以下错误：WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script.于是上网search，网上这位兄弟提供了解决办法：http://www.cnblogs.com/colorfulkoala/archive/2013/03/25/2980 阅读全文

posted @ 2013-10-28 19:17 sixiiweb 阅读(2065) 评论(0) 推荐(0) 编辑

根据Rowkey从HBase中查询数据
摘要：/** * @Title: queryData * @Description: 从HBase查询出数据 * @author xxxx * @param tableName * 表名 * @param rowkey * rowkey * @return 返回用户信息的list * @throws IOException * @throws UnsupportedEncodingException */ public static ArrayList q... 阅读全文

posted @ 2013-10-27 14:18 sixiiweb 阅读(25160) 评论(0) 推荐(0) 编辑

1 2 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示