摘要: 异常信息如下: 异常原因: 做完HA后 hive 查询hdfs上文件只认 hdfs://nameservice1 解决办法: 1、需要修改hive 数据库里面 DBS : Hive数据仓库的总路径 SDS : Hive每张表对应的路径 2张表的数据。 将原来节点信息修改为HA后的名称 例如:DBS 阅读全文
posted @ 2016-08-09 16:25 zhanggl 阅读(5204) 评论(1) 推荐(0) 编辑
摘要: 普通的web 项目引入 maven 子项目后,,启动web不会出现异常,登录web 页面异常提示: 在子项目中做了处理 还是不行。 阅读全文
posted @ 2016-08-05 14:54 zhanggl 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 需要给第三方提供hdfs用户,和上传文件的权限 1、需要先在linux 上创建一个普通用户: hn,并修改密码 sudo -u hdfs hadoop fs -mkdir /user/用户名 sudo -u hdfs hadoop fs -mkdir /user/hn sudo -u hdfs ha 阅读全文
posted @ 2016-07-27 10:55 zhanggl 阅读(4196) 评论(0) 推荐(0) 编辑
摘要: 搭建集群的时候ssh 免密码登录是一个问题以下脚本将实现批量处理 文件1主机名:host 17.19.18.11:12317.19.18.12:123 文件2:ssh_setup.py 文件3:ssh_distribute.py 文件4:noscp.exp 文件5:sshkey.exp 步骤: 1. 阅读全文
posted @ 2016-07-25 16:29 zhanggl 阅读(715) 评论(0) 推荐(0) 编辑
摘要: JSON是一种轻量级的数据交换格式,在现在的web开发中,是非常常见的。在没有方便的工具之前,我们或许会使用拼字符串的形式来生成json数组,今天我们使用一个json-lib.jar包来为我们实现生成json的功能。 所必须的包有: commons-httpclient-3.1.jar common 阅读全文
posted @ 2016-07-13 16:45 zhanggl 阅读(2801) 评论(0) 推荐(0) 编辑
摘要: JDBCUtils类: 阅读全文
posted @ 2016-07-10 20:45 zhanggl 阅读(5488) 评论(0) 推荐(0) 编辑
摘要: 今天在用mr 生成HFile文件,在执行jar 的时候出现一个错误: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法: wget ht 阅读全文
posted @ 2016-06-14 16:15 zhanggl 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 方式1 修改pom.xml增加如下内容 运行mvn clean package即可 特点: 这种方式虽然可以打包,但是不会将依赖包也添加进去。所以我认为这种方式的打包适合写一个工具,然后打成JAR包,导入其他工程使用,如果是一个单独运行的JAR包,则不适用。 方式2 在pom.xml增加如下内容 运 阅读全文
posted @ 2016-06-14 15:39 zhanggl 阅读(556) 评论(0) 推荐(0) 编辑
摘要: 读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类,用put方式批量或者单条数据入库 阅读全文
posted @ 2016-06-14 14:42 zhanggl 阅读(1603) 评论(0) 推荐(0) 编辑
摘要: 环境hadoop cdh5.4.7 hbase1.0.0 测试数据: topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库: create 't2','info'。创建数据库t2, columnFamily:info 输出目录要有带colum 阅读全文
posted @ 2016-06-06 10:44 zhanggl 阅读(4433) 评论(0) 推荐(0) 编辑