2016年8月
cdh5.7 做完HA后hive 查询出现异常： expected: hdfs://nameservice
摘要： 异常信息如下： 异常原因： 做完HA后 hive 查询hdfs上文件只认 hdfs://nameservice1 解决办法： 1、需要修改hive 数据库里面 DBS ： Hive数据仓库的总路径 SDS ： Hive每张表对应的路径 2张表的数据。 将原来节点信息修改为HA后的名称 例如：DBS 阅读全文
posted @ 2016-08-09 16:25 zhanggl 阅读(5202) 评论(1) 推荐(0) 编辑
web 项目引入 maven jar 工具类异常
摘要： 普通的web 项目引入 maven 子项目后，，启动web不会出现异常，登录web 页面异常提示： 在子项目中做了处理 还是不行。 阅读全文
posted @ 2016-08-05 14:54 zhanggl 阅读(296) 评论(0) 推荐(0) 编辑
2016年7月
hdfs 创建一个新用户
摘要： 需要给第三方提供hdfs用户，和上传文件的权限 1、需要先在linux 上创建一个普通用户： hn,并修改密码 sudo -u hdfs hadoop fs -mkdir /user/用户名 sudo -u hdfs hadoop fs -mkdir /user/hn sudo -u hdfs ha 阅读全文
posted @ 2016-07-27 10:55 zhanggl 阅读(4192) 评论(0) 推荐(0) 编辑
ssh 免密码登录实现批量处理
摘要： 搭建集群的时候ssh 免密码登录是一个问题以下脚本将实现批量处理 文件1主机名：host 17.19.18.11:12317.19.18.12:123 文件2：ssh_setup.py 文件3：ssh_distribute.py 文件4：noscp.exp 文件5：sshkey.exp 步骤： 1. 阅读全文
posted @ 2016-07-25 16:29 zhanggl 阅读(715) 评论(0) 推荐(0) 编辑
在JAVA中使用JSONObject生成json
摘要： JSON是一种轻量级的数据交换格式，在现在的web开发中，是非常常见的。在没有方便的工具之前，我们或许会使用拼字符串的形式来生成json数组，今天我们使用一个json-lib.jar包来为我们实现生成json的功能。 所必须的包有： commons-httpclient-3.1.jar common 阅读全文
posted @ 2016-07-13 16:45 zhanggl 阅读(2801) 评论(0) 推荐(0) 编辑
读取hive文件并将数据导入hbase
摘要： JDBCUtils类： 阅读全文
posted @ 2016-07-10 20:45 zhanggl 阅读(5487) 评论(0) 推荐(0) 编辑
2016年6月
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
摘要： 今天在用mr 生成HFile文件，在执行jar 的时候出现一个错误： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法： wget ht 阅读全文
posted @ 2016-06-14 16:15 zhanggl 阅读(333) 评论(0) 推荐(0) 编辑
Maven 打包
摘要： 方式1 修改pom.xml增加如下内容 运行mvn clean package即可 特点： 这种方式虽然可以打包，但是不会将依赖包也添加进去。所以我认为这种方式的打包适合写一个工具，然后打成JAR包，导入其他工程使用，如果是一个单独运行的JAR包，则不适用。 方式2 在pom.xml增加如下内容 运 阅读全文
posted @ 2016-06-14 15:39 zhanggl 阅读(555) 评论(0) 推荐(0) 编辑
HDFS 工具类
摘要： 读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类，用put方式批量或者单条数据入库 阅读全文
posted @ 2016-06-14 14:42 zhanggl 阅读(1603) 评论(0) 推荐(0) 编辑
用MR生成HFile文件格式后，数据批量导入HBase
摘要： 环境hadoop cdh5.4.7 hbase1.0.0 测试数据： topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库： create 't2','info'。创建数据库t2， columnFamily：info 输出目录要有带colum 阅读全文
posted @ 2016-06-06 10:44 zhanggl 阅读(4432) 评论(0) 推荐(0) 编辑
下一页