滴滴嘟

2018年4月27日

摘要：使用 hive --service metastore & hive --service hiveserver2 & 启动hive后，隔一天使用jps查询发现2个RUNJAR消失了原因：使用&启动后在账户退出后会自动关闭进程解决： nohup hive --service metastore & 阅读全文

posted @ 2018-04-27 21:21 滴滴嘟阅读(3960) 评论(0) 推荐(0)

2018年4月4日

hive 研究：搭建过程中遇到的问题以及解决方案

摘要： 1、使用rpm -ivh 命令安装hive是出现Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY警告在命令后面加上 --force --nodeps 即可 2、错误（ Relative path in absolute URI: ${syst 阅读全文

posted @ 2018-04-04 21:24 滴滴嘟阅读(885) 评论(0) 推荐(0)

2018年4月2日

hadoop 研究：mapreduce预读自定义方案

摘要：在使用hadoop 进行mapreduce过程中发现需要导入的记录内容复杂在进行map过程中 value获取的值是按\n来分块也就是每次value取到的值是\n前面的内容这难免会导致与功能需求不符（比如一条短信内容中存在回车换行，hadoop就会将一条短信解析成2条）这时候经讨论我们提出阅读全文

posted @ 2018-04-02 20:10 滴滴嘟阅读(198) 评论(0) 推荐(0)

hadoop研究：单机部署hadoop平台以及遇到的若干问题

摘要： Hadoop是使用JAVA写的，所以需要先安装JAVA环境。本次安装的是hadoop-2.7.4，需要JDK 7以上版本。确认java环境并下载hadoop在linux下tar解压hadoop-2.7.4.tar.gz在配置xml文件属性前推荐将linux中的/etc/hosts 文件中添加一个阅读全文

posted @ 2018-04-02 20:10 滴滴嘟阅读(199) 评论(0) 推荐(0)

hbase 研究：LoadIncrementalHFiles/HFileOutputFormat2 cannot be resolved

摘要：在研究hadoop存入hbase方式中想要去使用BulkLoad的方式去存入但发现jar引不进来起初想是否是hbase版本更迭某些方法被弃用，结果试了一边，浪费了大把时光，发现原来是hbase-server.jar没有被引入((┬＿┬)) 阅读全文

posted @ 2018-04-02 20:07 滴滴嘟阅读(666) 评论(1) 推荐(0)

公告