01 2018 档案

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别
摘要：Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig 阅读全文
posted @ 2018-01-22 23:03 对白的算法屋 阅读(18983) 评论(0) 推荐(1)
Hadoop体系结构杂谈
摘要：hadoop体系结构杂谈 今天跟一个朋友在讨论hadoop体系架构，从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现，MapReduce的模型计算，到一个云盘如何实现，再到Google分布式史上那最伟大的三篇文 阅读全文
posted @ 2018-01-22 22:59 对白的算法屋 阅读(445) 评论(0) 推荐(0)
Hive JDBC：Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”
摘要：今天使用JDBC来操作Hive时，首先启动了hive远程服务模式：hiveserver2 &(表示后台运行)，然后到eclipse中运行程序时出现错误： 解决办法：报错内容提示hive没有/tmp目录的权限，赋予权限即可： hdfs dfs -chmod 777 /tmp 阅读全文
posted @ 2018-01-22 22:56 对白的算法屋 阅读(894) 评论(0) 推荐(0)
Hive JDBC:java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: root is not allowed to impersonate anonymous
摘要：今天使用JDBC来操作Hive时，首先启动了hive远程服务模式：hiveserver2 &(表示后台运行)，然后到eclipse中运行程序时出现错误： 主要报错内容是：java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException 阅读全文
posted @ 2018-01-22 22:54 对白的算法屋 阅读(7009) 评论(3) 推荐(2)
Docker一键部署Hadoop心得（二）
摘要：今天在运行MapReduce程序时，虽然wordcount实例运行成功了，但后面出现了重新使用历史服务器失败的错误 阅读全文
posted @ 2018-01-22 22:43 对白的算法屋 阅读(387) 评论(0) 推荐(0)
Docker一键部署Hadoop心得（一）
摘要：最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点，但在运行一个wordcount实例时出现了错误，错误如下： 问题：请求内存是1536M，而最大内存只有1024M，这个最大内存指的是运行MapReduce程序使用的最大内存，NodeM 阅读全文
posted @ 2018-01-22 22:41 对白的算法屋 阅读(784) 评论(0) 推荐(0)
安装Docker的三种方式
摘要：本人在安装docker时之前一直采用的是系统自带的docker软件包安装，导致下载的docker不是最新版本，因此会有很多docker命令无法使用，例如network等等，现将安装docker的方式总结如下： 安装docker有三种方式： 1、通过系统自带docker软件包安装： ubuntu系统d 阅读全文
posted @ 2018-01-22 22:40 对白的算法屋 阅读(922) 评论(0) 推荐(0)
配置Docker镜像加速器
摘要：由于在国内下载docker官方镜像的速度很慢且容易报错，因此需要配置docker镜像加速器来解决这个问题，加速器就是镜像代理的概念，只代理公有镜像，报错结果如下： 配置docker镜像加速器可以加速在国内下载docker官方镜像的速度，国内有不少机构提供了免费的加速器供大家使用：修改守护进程daem 阅读全文
posted @ 2018-01-22 22:22 对白的算法屋 阅读(1155) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示