06 2016 档案

摘要:今天在用mr 生成HFile文件,在执行jar 的时候出现一个错误: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法: wget ht 阅读全文
posted @ 2016-06-14 16:15 zhanggl 阅读(333) 评论(0) 推荐(0) 编辑
摘要:方式1 修改pom.xml增加如下内容 运行mvn clean package即可 特点: 这种方式虽然可以打包,但是不会将依赖包也添加进去。所以我认为这种方式的打包适合写一个工具,然后打成JAR包,导入其他工程使用,如果是一个单独运行的JAR包,则不适用。 方式2 在pom.xml增加如下内容 运 阅读全文
posted @ 2016-06-14 15:39 zhanggl 阅读(555) 评论(0) 推荐(0) 编辑
摘要:读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类,用put方式批量或者单条数据入库 阅读全文
posted @ 2016-06-14 14:42 zhanggl 阅读(1603) 评论(0) 推荐(0) 编辑
摘要:环境hadoop cdh5.4.7 hbase1.0.0 测试数据: topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库: create 't2','info'。创建数据库t2, columnFamily:info 输出目录要有带colum 阅读全文
posted @ 2016-06-06 10:44 zhanggl 阅读(4432) 评论(0) 推荐(0) 编辑