摘要: Hadoop是使用JAVA写的,所以需要先安装JAVA环境。本次安装的是hadoop-2.7.4,需要JDK 7以上版本。确认java环境 并下载hadoop在linux下tar解压hadoop-2.7.4.tar.gz在配置xml文件属性前 推荐将linux中的/etc/hosts 文件中添加一个 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 在使用hadoop 进行mapreduce过程中 发现需要导入的记录内容复杂 在进行map过程中 value获取的值是按\n来分块 也就是每次value取到的值是\n前面的内容 这难免会导致与功能需求不符(比如一条短信内容中存在回车换行,hadoop就会将一条短信解析成2条) 这时候经讨论 我们提出 阅读全文
posted @ 2018-04-02 20:10 滴滴嘟 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 在研究hadoop存入hbase方式中 想要去使用BulkLoad的方式去存入 但发现jar引不进来 起初想是否是hbase版本更迭 某些方法被弃用,结果试了一边,浪费了大把时光,发现原来是hbase-server.jar没有被引入((┬_┬)) 阅读全文
posted @ 2018-04-02 20:07 滴滴嘟 阅读(620) 评论(1) 推荐(0) 编辑