zhanggl - 博客园

2016年8月

cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice

摘要：异常信息如下：异常原因：做完HA后 hive 查询hdfs上文件只认 hdfs://nameservice1 解决办法： 1、需要修改hive 数据库里面 DBS ： Hive数据仓库的总路径 SDS ： Hive每张表对应的路径 2张表的数据。将原来节点信息修改为HA后的名称例如：DBS 阅读全文

posted @ 2016-08-09 16:25 zhanggl 阅读(5205) 评论(1) 推荐(0) 编辑

web 项目引入 maven jar 工具类异常

摘要：普通的web 项目引入 maven 子项目后，，启动web不会出现异常，登录web 页面异常提示：在子项目中做了处理还是不行。阅读全文

posted @ 2016-08-05 14:54 zhanggl 阅读(296) 评论(0) 推荐(0) 编辑

2016年7月

hdfs 创建一个新用户

摘要：需要给第三方提供hdfs用户，和上传文件的权限 1、需要先在linux 上创建一个普通用户： hn,并修改密码 sudo -u hdfs hadoop fs -mkdir /user/用户名 sudo -u hdfs hadoop fs -mkdir /user/hn sudo -u hdfs ha 阅读全文

posted @ 2016-07-27 10:55 zhanggl 阅读(4196) 评论(0) 推荐(0) 编辑

ssh 免密码登录实现批量处理

摘要：搭建集群的时候ssh 免密码登录是一个问题以下脚本将实现批量处理文件1主机名：host 17.19.18.11:12317.19.18.12:123 文件2：ssh_setup.py 文件3：ssh_distribute.py 文件4：noscp.exp 文件5：sshkey.exp 步骤： 1. 阅读全文

posted @ 2016-07-25 16:29 zhanggl 阅读(715) 评论(0) 推荐(0) 编辑

在JAVA中使用JSONObject生成json

摘要： JSON是一种轻量级的数据交换格式，在现在的web开发中，是非常常见的。在没有方便的工具之前，我们或许会使用拼字符串的形式来生成json数组，今天我们使用一个json-lib.jar包来为我们实现生成json的功能。所必须的包有： commons-httpclient-3.1.jar common 阅读全文

posted @ 2016-07-13 16:45 zhanggl 阅读(2801) 评论(0) 推荐(0) 编辑

读取hive文件并将数据导入hbase

摘要： JDBCUtils类：阅读全文

posted @ 2016-07-10 20:45 zhanggl 阅读(5488) 评论(0) 推荐(0) 编辑

2016年6月

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

摘要：今天在用mr 生成HFile文件，在执行jar 的时候出现一个错误： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法： wget ht 阅读全文

posted @ 2016-06-14 16:15 zhanggl 阅读(333) 评论(0) 推荐(0) 编辑

Maven 打包

摘要：方式1 修改pom.xml增加如下内容运行mvn clean package即可特点：这种方式虽然可以打包，但是不会将依赖包也添加进去。所以我认为这种方式的打包适合写一个工具，然后打成JAR包，导入其他工程使用，如果是一个单独运行的JAR包，则不适用。方式2 在pom.xml增加如下内容运阅读全文

posted @ 2016-06-14 15:39 zhanggl 阅读(556) 评论(0) 推荐(0) 编辑

HDFS 工具类

摘要：读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类，用put方式批量或者单条数据入库阅读全文

posted @ 2016-06-14 14:42 zhanggl 阅读(1603) 评论(0) 推荐(0) 编辑

用MR生成HFile文件格式后，数据批量导入HBase

摘要：环境hadoop cdh5.4.7 hbase1.0.0 测试数据： topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库： create 't2','info'。创建数据库t2， columnFamily：info 输出目录要有带colum 阅读全文

posted @ 2016-06-06 10:44 zhanggl 阅读(4433) 评论(0) 推荐(0) 编辑

公告