摘要: 使用 hive --service metastore & hive --service hiveserver2 & 启动hive后,隔一天使用jps查询发现2个RUNJAR消失了 原因:使用&启动后在账户退出后会自动关闭进程 解决: nohup hive --service metastore & 阅读全文
posted @ 2018-04-27 21:21 滴滴嘟 阅读(3758) 评论(0) 推荐(0) 编辑
摘要: 1、使用rpm -ivh 命令安装hive是出现Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY警告 在命令后面加上 --force --nodeps 即可 2、错误( Relative path in absolute URI: ${syst 阅读全文
posted @ 2018-04-04 21:24 滴滴嘟 阅读(843) 评论(0) 推荐(0) 编辑
摘要: Hadoop是使用JAVA写的,所以需要先安装JAVA环境。本次安装的是hadoop-2.7.4,需要JDK 7以上版本。确认java环境 并下载hadoop在linux下tar解压hadoop-2.7.4.tar.gz在配置xml文件属性前 推荐将linux中的/etc/hosts 文件中添加一个 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 在使用hadoop 进行mapreduce过程中 发现需要导入的记录内容复杂 在进行map过程中 value获取的值是按\n来分块 也就是每次value取到的值是\n前面的内容 这难免会导致与功能需求不符(比如一条短信内容中存在回车换行,hadoop就会将一条短信解析成2条) 这时候经讨论 我们提出 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 在研究hadoop存入hbase方式中 想要去使用BulkLoad的方式去存入 但发现jar引不进来 起初想是否是hbase版本更迭 某些方法被弃用,结果试了一边,浪费了大把时光,发现原来是hbase-server.jar没有被引入((┬_┬)) 阅读全文
posted @ 2018-04-02 20:07 滴滴嘟 阅读(620) 评论(1) 推荐(0) 编辑